🤖 AI

On the Smallness of the Large Language Models Scaling Exponents

Este artigo argumenta que os expoentes de escala atuais dos Grandes Modelos de Linguagem indicam um regime energético insustentável, uma conclusão que persiste mesmo após considerar o "efeito pedestal" dos limites de perda não nulos, ao mesmo tempo em que estabelece analogias com a turbulência de fluidos para discutir a influência da suavidade dos dados nesses expoentes.

Autores originais: Sauro Succi, Peter V. Coveney, Alex Hansen

Publicado 2026-06-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sauro Succi, Peter V. Coveney, Alex Hansen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Panorama Geral: O Problema do "Quanto Maior, Melhor"

Imagine que você está tentando ensinar um robô a falar perfeitamente. A regra atual no mundo da IA é: "Quanto maior o robô, melhor ele fala." Essa ideia, chamada de descoberta "sem parede" (no-wall), sugere que, se você apenas continuar adicionando mais dados e mais poder computacional, o robô continuará ficando mais inteligente para sempre.

No entanto, os autores deste artigo argumentam que essa estratégia é insustentável. Eles dizem que estamos atingindo um limite de consumo de energia, mesmo que ainda não tenhamos atingido um limite de inteligência.

O Problema Central: Retornos Decrescentes

O artigo utiliza um conceito matemático simples para explicar por que isso é um problema. Imagine que você está tentando limpar uma janela muito suja.

O Objetivo: Tornar a janela perfeitamente limpa (zero erros).
A Realidade Atual: Para deixar a janela apenas metade menos suja, você não precisa de o dobro de esforço. Você precisa de 1.000 vezes mais esforço.

Os autores apontam que os Grandes Modelos de Linguagem (LLMs) atuais possuem um "expoente de escala" (um número que mede a rapidez com que eles melhoram) que é muito pequeno (cerca de 0,05 a 0,1).

A Analogia: Se você quiser melhorar o desempenho da IA em uma fração mínima, terá que alimentá-la com uma montanha de novos dados e queimar uma quantidade massiva de eletricidade. É como tentar empurrar uma pedra montanha acima em uma colina que fica cada vez mais íngreme à medida que você sobe. O artigo argumenta que este é um beco sem saída para os recursos energéticos.

A Defesa do "Pedestal": Por Que Não Podemos Apenas Esperar

Alguns críticos dizem: "Não se preocupe! Na verdade, não precisamos que a IA seja perfeita (zero erro). Só precisamos que ela seja 'boa o suficiente' para parar de falar bobagens. Nós interrompemos o treinamento antes que ela atinja o fundo."

Os autores chamam isso de "Efeito Pedestal". Eles imaginam um chão (o pedestal) que os erros da IA nunca podem ultrapassar, não importa quanto dado você forneça.

A Réplica do Artigo: Mesmo que aceitemos que não precisamos da perfeição, a matemática ainda não funciona. Os autores mostram que, como o "chão" é muito alto em relação ao ponto de partida, a zona do "bom o suficiente" é alcançada tão rapidamente que o pequeno expoente de escala ainda se aplica.
A Metáfora: Imagine que você está tentando encher uma banheira. Você argumenta: "Eu não preciso que ela esteja cheia até a borda; só preciso que tenha alguns centímetros de água." Os autores dizem: "Mesmo com esse objetivo baixo, a torneira está pingando tão lentamente que levará um milhão de anos para conseguir esses poucos centímetros, e você ficará sem água (energia) muito antes de chegar lá."

Por Que os Números São Tão Pequenos? (A "Rugosidade" dos Dados)

O artigo pergunta: Por que a IA está melhorando tão devagar?

Eles comparam o treinamento da IA à turbulência de fluidos (como a água girando em um rio ou a fumaça subindo).

Suave vs. Rugoso: Se você está tentando aprender um padrão suave e previsível (como uma linha reta), você aprende rápido. Mas os dados do mundo real (linguagem, imagens, sistemas complexos) são "rugosos" e caóticos, como um oceano tempestuoso.
A Conexão Fractal: Os autores utilizam uma analogia da física. Em uma tempestade, a energia não é espalhada uniformemente; ela se concentra em pequenos redemoinhos caóticos. Para entender a tempestade, você precisa olhar para esses pequenos redemoinhos.
O Resultado: Como os dados são "rugosos" e caóticos, a IA tem que trabalhar muito mais para encontrar os padrões. O artigo sugere que a "rugosidade" dos dados força o expoente de escala a permanecer muito baixo.

A Teoria do "Mapa Escondido"

O artigo faz referência a uma teoria de Sharma e Kaplan (SK) que sugere que a velocidade de aprendizado depende da Dimensão Intrínseca dos dados.

A Analogia: Imagine uma biblioteca.
- O Espaço de Embedding (o tamanho da biblioteca) é enorme — talvez milhões de prateleiras.
- A Dimensão Intrínseca (o número real de livros que contêm a história real) é muito menor, mas ainda assim muito grande.
O Problema: Embora os LLMs sejam incríveis em encontrar a "história real" escondida na enorme biblioteca (comprimindo os dados), a "história real" ainda é complexa demais (tem muitas dimensões) para que a IA aprenda de forma eficiente sem queimar o suprimento de energia do mundo.

A Conclusão: Pare de Perseguir o "Maior"

Os autores concluem que a abordagem "quanto maior, melhor" é uma receita para o esgotamento energético.

O Veredito: Não importa o quão inteligente a IA se torne, se os dados forem complexos e "rugosos", a energia necessária para torná-la ligeiramente mais inteligente será sempre alta demais.
O Caminho Sugerido: Em vez de apenas construir modelos maiores e mais "burros" que consomem mais eletricidade, precisamos voltar para modelos fundamentais conscientes da física (chamados de "modelos de mundo"). Estes são sistemas que entendem como o mundo funciona (como a gravidade ou causa e efeito) em vez de apenas memorizar padrões em um banco de dados massivo.

Em resumo: Estamos tentando resolver um quebra-cabeça complexo jogando cada vez mais pessoas nele, mas o quebra-cabeça é tão difícil que estamos ficando sem café (energia) antes de resolvê-lo. Precisamos mudar a estratégia, não apenas adicionar mais trabalhadores.

Enunciado do Problema
O artigo aborda a sustentabilidade da trajetória atual no desenvolvimento de Grandes Modelos de Linguagem (LLMs), que é impulsionada pela descoberta do "sem-parede" (no-wall): a observação de que o desempenho dos LLMs continua a melhorar à medida que o tamanho do modelo e o volume de dados aumentam. Embora isso tenha levado ao mantra "maior é melhor", os autores argumentam que os expoentes de escala que regem essa melhoria são perigosamente pequenos (tipicamente $\alpha \approx 0,05 \div 0,10$ ). Em termos práticos, um expoente de 0,1 implica que reduzir a função de perda por um fator de dois requer um aumento de $2^{10} = 1024$ vezes nos recursos computacionais. Os autores sustentam que este regime de "retornos decrescentes" torna a atual estratégia de escala insustentável em relação ao consumo de energia, independentemente de a função de perda ser vista como um erro numérico estrito ou uma métrica empírica.

Metodologia e Estrutura Teórica
Os autores empregam uma análise teórica combinando leis de escala, analogias de análise numérica e modelos fenomenológicos da dinâmica de fluidos para criticar e refinar a compreensão dos expoentes de escala dos LLMs.

Refutação da Crítica do "Efeito Pedestal": O artigo aborda primeiro um contra-argumento que sugere que os pequenos expoentes de escala são um viés numérico causado pela negligência de um "pedestal" não nulo (um limite não nulo da função de perda quando o tamanho dos dados $N \to \infty$ ). Ao modelar a função de perda como $L(x) = L_0 + (L_1 - L_0)x^\alpha$ (onde $x=1/N$ ), os autores derivam um "expoente de escala corrente". Eles demonstram que, mesmo com um pedestal pequeno, a transição de regimes de escala "altos" (como a escala Chinchilla de $\alpha \approx 1/3$ ) para os regimes "baixos" observados ( $\alpha \approx 0,05 \div 0,1$ ) ocorre em tamanhos de conjunto de dados bem abaixo daqueles usados em LLMs modernos. Assim, o efeito pedestal explica os baixos expoentes observados, mas não resolve a insustentabilidade subjacente.
Limite Inferior Teórico (Modelo Sharma-Kaplan): Os autores adotam a estrutura teórica proposta por Sharma e Kaplan (SK), que postula que os expoentes de escala são limitados pela dimensão intrínseca ( $d$ ) do manifold de dados: $\alpha \sim 4/d$ . Esta relação sugere que os LLMs funcionam de forma semelhante a métodos de refinamento de grade adaptativa em um espaço de características de dimensão $d$ , onde $d$ é significativamente menor que a dimensão de incorporação (embedding) $D$ .
Analogia com a Turbulência de Fluidos: Para explicar a magnitude desses expoentes, o artigo traça uma analogia com a fenomenologia da turbulência de fluidos.
- Suavidade vs. Rugosidade: Os autores conectam o expoente de escala à suavidade (expoente de Hurst $h$ ) do sinal alvo. Para sinais suaves, $h=1$ , mas para processos não suaves como a turbulência, $h < 1$ .
- Dimensão Fractal: Utilizando a teoria de Kolmogorov de 1941 (K41) e modelos multifractais, eles mostram que, para fluxos turbulentos, o expoente de escala efetivo é reduzido ainda mais devido à rugosidade do sinal e à natureza fractal da dissipação de energia.
- Implicação para LLMs: O artigo argumenta que muitos sistemas complexos (e provavelmente os dados que os LLMs processam) são não suaves. Esta "rugosidade" efetivamente magnifica a dimensão intrínseca por um fator de $1/h$ , levando a expoentes de escala ainda menores ( $\alpha \sim 4h/d$ ).

Principais Contribuições e Resultados

Validação da Insustentabilidade: Os autores confirmam que os pequenos expoentes de escala ( $\alpha < 0,1$ ) não são meramente artefatos de interrupção precoce ou viés numérico (o efeito pedestal), mas refletem uma limitação fundamental na eficiência da escala das arquiteturas atuais de LLM.
Quantificação do Efeito Pedestal: Através de derivação analítica e representação gráfica (Figuras 1 e 2), o artigo mostra que o "pedestal" (limite de perda não nulo) domina o comportamento de escala para tamanhos de conjuntos de dados realistas, mascarando efetivamente qualquer potencial para expoentes de escala mais altos (como o $\alpha \approx 1/3$ da Chinchilla) em aplicações de grande escala.
Limites de Compressão Dimensional: Embora reconheçam a impressionante capacidade dos LLMs de comprimir espaços de incorporação de alta dimensão ( $D \sim$ milhares) para manifolds intrínsecos ( $d \sim 100$ ), os autores calculam que, para qualquer conjunto de dados com uma dimensão intrínseca $d > 40$ , o expoente de escala inevitavelmente cairá abaixo de 0,1.
Impacto da Rugosidade dos Dados: O artigo estabelece que dados não suaves (caracterizados por $h < 1$ ) exacerbam o problema, levando a expoentes de escala ainda menores e maior ineficiência de recursos em comparação com dados suaves.

Significância e Conclusão
O artigo conclui que a estratégia "maior é melhor", impulsionada pelo entusiasmo do "sem-parede", é uma "receita certa para o esgotamento energético". Os autores afirmam que o atual regime de escala é matematicamente insustentável para conjuntos de dados com dimensões intrínsecas superiores a 40, uma condição provavelmente atendida pela maioria das aplicações do mundo real complexas.

A significância deste trabalho reside na sua mudança de foco de apenas aumentar o tamanho do modelo para buscar "insight físico e conformidade com modelos de mundo". Os autores sugerem que o caminho a seguir exige um afastamento do puro uso de força bruta de parâmetros e volume de dados em direção a modelos de IA fundamentais e conscientes da física (os chamados "modelos de mundo") que possam lidar melhor com a dimensionalidade intrínseca e a rugosidade de dados complexos sem depender de leis de escala insustentáveis.