💻 computer science

What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training

Este artigo demonstra que, embora a variação das convenções contábeis para a contagem de parâmetros e computação altere significativamente os expoentes ajustados da fronteira de treinamento computacionalmente otimizada, o impacto prático resultante na eficiência do treinamento é modesto devido à planura do panorama de perda, sendo as escolhas contábeis específicas previsíveis a partir de razões arquitetônicas simples.

Autores originais: Alexander Memming

Publicado 2026-07-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Alexander Memming

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando assar o bolo perfeito, mas não tem uma receita. Você sabe que o sabor depende de duas coisas: quanta farinha você usa (o tamanho do bolo) e quanto tempo você o assa (o tempo de cozimento). No mundo da inteligência artificial, cientistas estão tentando encontrar a "receita" perfeita para treinar gigantescos cérebros computacionais chamados Transformers. Eles querem saber: se eu tiver uma quantia fixa de dinheiro para gastar com eletricidade e tempo de computador, devo construir um cérebro minúsculo e alimentá-lo com uma montanha de dados, ou um cérebro enorme e alimentá-lo com apenas um pouco?

Para descobrir isso, os pesquisadores precisam fazer algumas contas. Eles contam os "ingredientes" (o tamanho do cérebro) e o "esforço" (o trabalho do computador). Mas aqui está a parte complicada: assim como um confeiteiro pode contar as "xícaras de farinha" de forma diferente dependendo se inclui o peso da tigela ou apenas a farinha em si, os cientistas de IA contam "ingredientes" e "esforço" de maneiras diferentes. Alguns contam cada parte individual do cérebro, enquanto outros contam apenas as partes principais de pensamento. Alguns contam as operações matemáticas brutas, enquanto outros contam os segundos reais que o computador leva para trabalhar. Por anos, todos assumiram que essas diferentes formas de contar não importavam muito porque os cérebros que estavam estudando eram tão enormes que as partes extras eram insignificantes. Mas e se você estiver assando um pequeno cupcake em vez de um enorme bolo de casamento? Será que a maneira de contar os ingredientes muda subitamente a receita?

Este artigo, escrito pelo pesquisador independente Alexander Memming, faz exatamente essa pergunta. O autor decidiu parar de adivinhar e começar a medir. Em vez de olhar para modelos de IA massivos e caros que apenas gigantes podem pagar, Memming construiu uma grade de 35 modelos de IA menores e gerenciáveis. Ele treinou todos eles no mesmo texto educativo, usando as mesmas regras, mas analisou os resultados quatro vezes diferentes, mudando apenas como contava o "tamanho" e o "custo".

As descobertas são um pouco como descobrir que sua balança de cozinha está mentindo para você, mas apenas quando você pesa quantidades pequenas. O artigo descobriu que, quando você usa a antiga e simples maneira de contar (que ignora o "cabeçote de saída" do cérebro), a matemática sugere que você deve construir um modelo que é cerca de 19 vezes menor do que uma contagem mais precisa sugere. Em outras palavras, dependendo de qual "régua" você usa, a receita recomendada muda drasticamente. O expoente — um número que diz o quão rápido o modelo deve crescer — mudou de 0,25 para 0,42 apenas mudando o método de contagem. Isso é uma diferença enorme, sugerindo que dois cientistas olhando para exatamente as mesmas execuções de treinamento poderiam publicar "receitas ótimas" completamente diferentes simplesmente porque usaram definições diferentes para seus números.

No entanto, há uma reviravolta que torna isso menos assustador para quem está realmente construindo esses modelos. Embora as receitas parecessem muito diferentes no papel, os bolos tinham quase o mesmo sabor. O autor descobriu que o "vale" do melhor desempenho é muito plano. Isso significa que, se você seguir a receita errada (aquela baseada no antigo e simples método de contagem), você não desperdiça todo o seu orçamento. Você pode desperdiçar cerca de 18% do seu processamento, mas o resultado final ainda é muito próximo do melhor resultado possível. O artigo conclui que, embora precisemos ser muito cuidadosos sobre como relatamos nossos números para que os cientistas possam comparar maçãs com maçãs, o custo prático de errar ligeiramente a contabilidade é surpreendentemente pequeno. A receita "perfeita" é um alvo um pouco móvel, mas a faixa de receitas "boas o suficiente" é muito mais ampla do que pensávamos.

Resumo Técnico: O que conta como Computação? Uma Análise Empírica de Convenções de Contabilidade em Treinamento de Transformers Otimizados para Computação

Problema
Derivar uma receita de treinamento otimizada para computação para transformers envolve duas escolhas críticas, porém frequentemente implícitas: definir o "tamanho do modelo" (o que conta como um parâmetro) e definir a "computação" (o que conta como o custo de treinamento). Os dois estudos mais citados neste domínio, Kaplan et al. [2020] e Hoffmann et al. [2022], fizeram escolhas divergentes: o primeiro contou apenas os parâmetros não-embedding, enquanto o segundo contou o total de parâmetros. Ambos basearam-se na aproximação $C \approx 6ND$ (onde $N$ é o número de parâmetros e $D$ o de tokens), ignorando o custo computacional da projeção softmax de saída e dos mecanismos de atenção.

Embora essas aproximações sejam válidas para modelos de escala de fronteira (ex: GPT-3, Chinchilla), onde os overheads de embedding e de cabeçalha de saída são negligenciáveis, elas falham nas escalas menores acessíveis à pesquisa acadêmica e de menor escala. Nessas escalas, a projeção de saída pode consumir a maior parte dos FLOPs de treinamento, e os parâmetros de embedding podem dominar a contagem de parâmetros. Este artigo questiona: O quanto a fronteira de computação reportada como otimizada (especificamente o expoente $a$ em $N^* \propto C^a$ e a razão de tokens por parâmetro) se desloca quando a convenção de contabilidade muda, mantendo as execuções de treinamento fixas? Além disso, qual é a perda prática incorrida ao seguir uma convenção subótima?

Metodologia
Os autores conduziram um sweep empírico controlado para isolar o efeito das convenções de contabilidade.

Família de Modelos: 35 transformers decoder-only foram treinados no FineWeb-Edu. Os modelos variaram de 0,056M a 5,98M de parâmetros não-embedding ( $N_{ne}$ ), com larguras $d \in \{48, \dots, 288\}$ e profundidades vinculadas à largura ( $L = \max(2, d/48)$ ).
Vocabulário e Computação: Os experimentos foram executados em dois tamanhos de vocabulário BPE ( $V=2048$ e $V=8192$ ) para variar a razão de overhead de embedding/cabeçalha de saída por um fator de 16. A computação de treinamento variou em um intervalo de 5,8 vezes.
Controles: Para eliminar confundidores identificados em estudos de escala anteriores (ex: Porian et al. [2024]), os autores calibraram as taxas de aprendizado via seu próprio sweep, combinaram esquemas de cosseno com as durações de execução, garantiram que não houvesse repetição de dados e utilizaram otimizadores e tokenizadores consistentes.
Quatro Convenções de Contabilidade: As mesmas 35 execuções foram analisadas sob quatro definições diferentes de tamanho ( $N$ $N$ ) e custo ( $C$ $C$ ):
1. K (Kaplan): $N = N_{ne}$ , $C = 6N_{ne}D$ .
2. H (Hoffmann): $N = N_{tot}$ (total de parâmetros), $C = 6N_{tot}D$ .
3. F (FLOP Exato): $N = N_{ne}$ , $C = C_{exact}$ (incluindo matmuls de atenção e softmax de saída).
4. W (Tempo de Relógio/Wall-clock): $N = N_{ne}$ , $C = C_{sec}$ (tempo de dispositivo medido).
Análise: Os autores ajustaram uma superfície de perda aditiva padrão ( $L = E + A/N^\alpha + B/D^\beta$ ) aos dados e derivaram a fronteira de computação otimizada para cada convenção. Eles também derivaram uma relação de forma fechada que prevê o deslocamento nos expoentes com base em duas elasticidades computáveis apenas pela arquitetura.

Principais Resultados

Magnitude do Deslocamento: Mudar a convenção de contabilidade no mesmo conjunto de dados fez com que o expoente ajustado $a$ variasse significamente, variando de 0,25 a 0,42. A razão implícita de tokens por parâmetro deslocou-se por um fator de 19 entre as convenções.
A Dominância da "Cabeçalha": O principal motor da discrepância em pequenas escalas não é a atenção, mas a projeção softmax de saída. Nos modelos menores ( $d=48, V=8192$ ), a cabeçalha de saída consome 83% dos FLOPs de treinamento, fazendo com que a aproximação $6ND$ subestime o custo real em até 8,5×.
Precisão Preditiva: Uma relação de forma fechada derivada de duas elasticidades ( $\kappa_c$ e $\gamma_c$ ) previu com sucesso os expoentes ajustados para três das quatro convenções dentro de 0,105 do ajuste numérico. Isso confirma que o deslocamento é uma consequência aritmética determinística da escolha de contabilidade, não ruído.
Ordenação: As convenções ordenaram consistentemente como $a_H < a_K < a_F$ (onde $H$ é total de parâmetros, $K$ é não-embedding com $6ND $, e$ F$ é FLOP exato), correspondendo às previsões teóricas.
Custo Prático (A Assimetria): Apesar do grande desacordo nos expoentes reportados e nas razões ótimas, o custo prático de seguir a convenção "errada" é modesto. Como o vale da perda IsoFLOP é plano, seguir uma recomendação subótima desperdiça no máximo 18% do orçamento de computação (0,031 nats por token). As três convenções baseadas em FLOP ficaram dentro de 5% uma da outra em termos de equivalência de computação.

Significância e Alegações
O artigo alega que os expoentes de computação reportados como otimizados não são comparáveis entre estudos a menos que a convenção de contabilidade específica (definição de parâmetro e métrica de custo) seja explicitamente declarada. A divergência é maior precisamente no regime onde experimentos de escala acadêmica são tipicamente conduzidos, onde as razões de overhead não são negligenciáveis.

No entanto, o artigo é modesto quanto aos valores absolutos dos expoentes, observando que eles são propriedades do dado específico, da arquitetura e do protocolo de otimização utilizados, não constantes universais. A contribuição primária é estrutural:

Fornece uma regra de conversão (Eq. 12) permitindo que pesquisadores traduzam expoentes entre convenções.
Oferece um diagnóstico (verificar se $a+b=1$ ) para identificar se um estudo assumiu a aproximação $6ND$.
Demonstra que, embora as escolhas de contabilidade criem grandes discrepâncias numéricas nas métricas reportadas, o cenário de perda é suficientemente plano para que a penalidade prática por essas discrepâncias seja pequena.

Os autores concluem que o campo deve reportar explicitamente as convenções de contabilidade para garantir reprodutibilidade e comparabilidade, mas que os praticantes não precisam entrar em pânico por desvios menores nas receitas recomendadas, pois o "vale de computação otimizada" é tolerante.

Mais como este