Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability

1. Problema e Contexto

O artigo investiga se os Grandes Modelos de Linguagem (LLMs), especificamente arquiteturas Transformer, exibem variabilidade escalar em suas representações de magnitude numérica.

• Variabilidade Escalar (Sistemas Biológicos): Em sistemas biológicos, o ruído de representação escala proporcionalmente à magnitude do estímulo, resultando em um coeficiente de variação (CV) constante (Lei de Weber). Isso ocorre devido a restrições metabólicas (orçamento de ruído fixo) em conjunto com estatísticas de entrada distribuídas segundo uma lei de potência.
• A Hipótese de Teste: Os autores propõem que os Transformers, que aprendem puramente através de distribuição estatística sem restrições metabólicas (sem limites de taxa de disparo ou tamanho de população), podem reproduzir a geometria logarítmica compressiva observada em sistemas biológicos, mas falhar em reproduzir a estrutura de ruído (variabilidade escalar).
• Objetivo: Determinar se a variabilidade das representações ocultas (hidden states) aumenta, diminui ou permanece constante à medida que a magnitude numérica aumenta.

2. Metodologia

O estudo foi pré-registrado no OSF e analisou três modelos de 7–8 bilhões de parâmetros: Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3 e Llama-3-8B-Base.

• Dados: Vetores de estado oculto foram extraídos na posição do token de magnitude (antes da normalização RMSNorm) para 26 magnitudes numéricas (de 1 a 1000) em 5 frases "portadoras" (carrier sentences).
• Medidas de Variabilidade:
  1. $V_{eucl}$: Distância euclidiana média dos 5 vetores de frase em relação ao seu centróide para cada magnitude e camada.
  2. $V_{residual}$: Correção de identidade da frase (subtração da média da frase em todas as magnitudes) para remover deslocamentos sistemáticos.
  3. $V_{proj}$: Variância projetada no eixo da magnitude (PC1 dos centróides), isolando a dispersão relevante para a magnitude.
• Análise Estatística: Em 16 camadas principais (camadas 16–31), foi realizada uma regressão linear ordinária (OLS) entre $\log(V)$ e $\log(n)$ para estimar o expoente de escalonamento ($\alpha$).
  • Sob variabilidade escalar (Lei de Weber), espera-se $\alpha \approx 1$.
  • Sob ausência de restrições, espera-se $\alpha < 1$.
• Controles: Uso de estimadores robustos (Theil–Sen), intervalos de confiança bootstrap e exclusão de outliers pré-registrada.

3. Resultados Principais

Os resultados contradisseram a hipótese de variabilidade escalar, revelando um padrão anti-escalar:

• Expoente Negativo ($\alpha < 0$): Ao contrário do esperado ($\alpha > 0$ ou $\approx 1$), a variabilidade representacional diminuiu à medida que a magnitude aumentou.
  • O expoente médio variou de $-0.031$ (Llama-Base) a $-0.046$ (Llama-Instruct) para a medida bruta.
  • O padrão foi consistente em todas as 16 camadas principais, nos três modelos e nas três medidas de variabilidade.
• Falta de Escalaridade: Nenhuma camada ou modelo produziu um $\alpha$ dentro da faixa de variabilidade escalar ($[0.8, 1.2]$).
• Análise por Eixo: O padrão anti-escalar foi 3 a 5 vezes mais forte ao longo do eixo da magnitude (PC1) do que nas dimensões ortogonais, indicando que a redução de variabilidade ocorre especificamente no subespaço comportamentalmente relevante.
• Correlação com Frequência de Corpus: A variabilidade por magnitude foi fortemente correlacionada com a frequência logarítmica no corpus de treinamento ($\rho \approx 0.84$). Números frequentes (geralmente pequenos) aparecem em contextos linguísticos diversos (maior dispersão), enquanto números raros (geralmente grandes) aparecem em contextos mais estereotipados (maior agrupamento/tighter clusters).
• Efeito do Instruction Tuning: O modelo Instruct apresentou um $\alpha$ mais negativo que o modelo Base, sugerindo que o ajuste fino amplifica a compressão das representações de números grandes.

4. Contribuições Chave

1. Dissociação entre Geometria e Ruído: O estudo demonstra empiricamente que a geometria logarítmica compressiva (Lei de Weber) e a variabilidade escalar (CV constante) são propriedades dissociáveis. Os Transformers aprendem a geometria devido às estatísticas de distribuição de frequência dos dados de treinamento (lei de potência dos inteiros), mas não aprendem a estrutura de ruído.
2. Limitação do Aprendizado Distribucional: Prova que o aprendizado puramente distribucional, sem restrições de capacidade metabólica ou orçamentária, é insuficiente para gerar a assinatura de ruído observada em sistemas biológicos.
3. Mecanismo de Compressão: Identifica que a redução de variabilidade em grandes magnitudes nos Transformers é impulsionada pela escassez de contextos linguísticos para números grandes, e não por uma alocação eficiente de recursos sob restrições físicas.

5. Significado e Conclusão

O artigo conclui que os Transformers reproduzem a geometria dos sistemas de magnitude biológica, mas falham em reproduzir o ruído.

• Implicação Teórica: A variabilidade escalar em sistemas biológicos provavelmente surge da interação entre o código eficiente e restrições metabólicas (orçamentos de ruído fixos que forçam alocação proporcional). Como os Transformers não possuem tais restrições, eles alocam menos variabilidade para magnitudes grandes, seguindo a estrutura de distribuição dos dados de treinamento.
• Validade: Embora a variabilidade seja medida como uma dispersão entre frases fixas (e não ruído estocástico direto), a consistência do sinal negativo ($\alpha < 0$) em todas as condições (48 células de modelo-camada) torna a conclusão estatisticamente robusta.

Em suma, o trabalho sugere que a "lei de Weber" completa (geometria + ruído) pode exigir mecanismos de limitação de recursos que os modelos de linguagem atuais não possuem, destacando uma diferença fundamental entre a inteligência artificial baseada em distribuição e a cognição biológica.