💬 NLP

Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models

Este estudo demonstra que, embora modelos de linguagem transformer desenvolvam consistentemente uma geometria representacional logarítmica para magnitudes devido às estatísticas dos dados de treinamento, essa estrutura geométrica por si só não é suficiente para garantir competência comportamental na discriminação de magnitudes.

Autores originais: Jon-Paul Cacioli

Publicado 2026-03-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jon-Paul Cacioli

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem três "cérebros digitais" (modelos de linguagem como o Llama, Mistral e Qwen) e quer descobrir como eles entendem números, tempo e espaço. Será que eles veem o número 100 como "muito maior" que o 10, da mesma forma que um humano percebe? Ou será que para eles, 100 é apenas "um pouco mais" que 10?

Este artigo é como um detetive da mente artificial que usa as regras da psicologia humana para investigar esses cérebros digitais. Aqui está o resumo da história, explicado de forma simples:

1. O Grande Mistério: Como eles "enxergam" os números?

Antes deste estudo, os cientistas estavam brigando. Alguns diziam: "Eles usam uma régua linear (1, 2, 3...)" e outros diziam: "Não, eles usam uma régua comprimida, onde os números grandes ficam espremidos (logarítmica)".

A Descoberta Principal:
Os pesquisadores descobriram que todos os modelos têm uma "régua" logarítmica.

A Analogia: Pense em um mapa de estrelas. No céu, as estrelas próximas parecem muito separadas, mas as estrelas muito distantes parecem agrupadas. Para um humano, a diferença entre 1 e 2 é enorme, mas a diferença entre 100 e 101 é pequena.
O Resultado: Os modelos de IA aprenderam isso sozinhos! Eles não precisam de um professor humano dizendo "usem essa lógica". O simples fato de lerem a internet (onde números pequenos aparecem muito mais vezes que números gigantes) fez com que seus cérebros digitais organizassem os números dessa forma "comprimida". É como se a própria estatística da linguagem ensinasse a matemática.

2. O Grande Paradoxo: Ter o mapa não significa saber andar

Aqui é onde a coisa fica interessante. Ter a "régua" certa (a geometria logarítmica) não garante que o modelo saiba usar essa régua para tomar decisões.

A Analogia: Imagine que você tem um GPS perfeito no seu celular (a geometria logarítmica), mas você não sabe como ligar o carro ou não sabe dirigir (a capacidade de comportamento).
O Que Aconteceu:
- O modelo Llama tinha o GPS perfeito E sabia dirigir. Quando perguntado "qual é maior: 50 ou 100?", ele acertava e usava a lógica de proporção (como os humanos).
- O modelo Mistral também tinha o GPS perfeito (a mesma régua logarítmica), mas não sabia dirigir. Quando perguntado a mesma coisa, ele chutava ou errava, como se não entendesse o conceito de "maior" ou "menor", mesmo tendo os dados organizados corretamente na memória.
- Conclusão: A estrutura interna (o mapa) é a mesma para todos, mas a habilidade de usar esse mapa depende de como o modelo foi "treinado para conversar" (o ajuste fino).

3. O Segredo das Camadas: Onde a mágica acontece?

Os modelos de IA são feitos de camadas, como um sanduíche de muitas fatias. Os cientistas achavam que a "inteligência" estava nas camadas mais profundas (as últimas), onde a representação dos números parecia mais organizada.

A Surpresa:
Não! A "inteligência" para comparar números acontece nas camadas iniciais (as primeiras fatias do sanduíche).

A Analogia: Pense em uma fábrica. As camadas iniciais são a linha de montagem onde o produto é realmente montado e usado. As camadas finais são o escritório administrativo que apenas faz um relatório bonito sobre o produto, mas não o usa para trabalhar.
O Teste: Quando os pesquisadores "consertaram" (interviram) as camadas iniciais, o modelo mudou de ideia sobre qual número era maior. Quando mexeram nas camadas finais (onde a geometria era mais bonita), nada mudou. A estrutura mais organizada não é a que faz o trabalho pesado.

4. Por que isso importa?

Este estudo nos ensina duas lições importantes:

A Estatística é Poderosa: Se você der a uma IA dados do mundo real (onde números pequenos são comuns e grandes são raros), ela vai aprender a organizar esses números de forma eficiente, quase como um ser humano, sem precisar de biologia ou neurônios.
Estrutura não é Habilidade: Só porque uma IA "tem" uma representação interna organizada (como um mapa logarítmico), não significa que ela consegue "fazer" algo útil com isso. A habilidade de usar essa informação depende de como ela foi treinada para interagir com nós.

Em resumo: Os modelos de IA aprenderam a "ver" o mundo dos números da mesma forma que nós (comprimindo o que é grande), mas alguns deles ainda não aprenderam a "falar" sobre isso corretamente. É como ter um cérebro brilhante, mas não saber como expressar o que ele pensa.

Resumo Técnico: Leis de Weber em Representações de Magnitude em Transformers

1. Problema e Contexto

O artigo aborda uma contradição fundamental na literatura recente sobre como Modelos de Linguagem (LLMs) baseados em transformers representam magnitudes (numéricas, temporais e espaciais). Estudos anteriores chegaram a conclusões divergentes:

Alguns encontraram espaçamento logarítmico (AlQuabeh et al., 2025).
Outros concluíram que o encoding é linear (Zhu et al., 2025).
Outros sugeriram representações circulares por dígito ou estruturas sinusoidais (Levy & Geva, 2025; Kadlčík et al., 2025).

Os autores argumentam que essas discrepâncias são metodológicas e propõem aplicar o quadro formal da psicofísica para resolver o debate. A hipótese central é baseada na Codificação Eficiente: se a distribuição natural de dados (frequência de números em texto) segue uma lei de potência (aproximadamente $1/s$ ), um sistema que otimiza a informação deve desenvolver uma geometria de representação logarítmica, resultando na Lei de Weber ( $\Delta S/S = k$ ), mesmo sem as restrições biológicas (custo metabólico, limites de taxa de disparo) presentes em sistemas neurais biológicos.

2. Metodologia

O estudo emprega um conjunto de quatro paradigmas convergentes, aplicados a três modelos instruídos (Llama-3-8B, Mistral-7B, Qwen-2.5-7B) e um modelo base (Llama-3-8B), cobrindo três domínios de magnitude (numérico, temporal, espacial).

A. Geometria Representacional (RSA):
- Utilizou-se Representational Similarity Analysis (RSA) com testes de permutação de Mantel para comparar as matrizes de dissimilaridade (RDM) dos estados ocultos do modelo com matrizes teóricas (Linear, Logarítmica/Weber, Potência/Stevens).
- Métricas: Distância Cosseno e Euclidiana.
- Foco: Determinar se a estrutura de distância global é logarítmica.
B. Discriminação Comportamental:
- Tarefas de comparação aproximada (ex: "qual é maior: 3 dúzias ou 28?").
- Cálculo da Fração de Weber (WF) para verificar se a precisão da discriminação depende da razão relativa entre os números (Lei de Weber) ou da diferença absoluta.
C. Gradiente de Precisão:
- Medição da densidade representacional local ( $1/||h(n+1) - h(n)||$ ) para verificar se a precisão diminui conforme a magnitude aumenta (previsão de codificação eficiente).
D. Intervenção Causal (Patching):
- Inserção de ativações ao longo de uma direção de magnitude aprendida para testar se a subespaço de magnitude é causalmente relevante para a tarefa de comparação em diferentes camadas.
Controles de Robustez:
- Análise de limites de dígitos, controle de tokenização, verificação de limites de unidades (tempo/espaço) e análise de distribuição de frequência no corpus (OpenWebText).

3. Principais Contribuições

Quadro de Psicofísica para LLMs: Primeira aplicação completa do toolkit de psicofísica (frações de Weber, funções psicométricas, RSA, gradientes de precisão e intervenção causal) para investigar representações internas de magnitude em LLMs.
Resolução Empírica de Conflitos: Demonstra que a geometria é consistentemente logarítmica em escala global, reconciliando os achados de AlQuabeh (logarítmico) e Zhu (linear), onde sondas lineares funcionam devido à suavidade da compressão logarítmica, mas a estrutura global é não-linear.
Dissociações Informativas:
- Geometria sem competência comportamental (presente em tempo/espaço, mas sem desempenho acima do acaso).
- Leitura específica do modelo (Llama e Qwen mostram Lei de Weber; Mistral não).
- Inversão de camadas causais (camadas iniciais são funcionalmente ativas, camadas tardias com geometria forte não são).

4. Resultados Chave

Geometria Logarítmica Consistente (H1 Suportada):
- Em todos os 96 células (modelo × domínio × camada), a geometria logarítmica superou a linear.
- Correlações RSA com matriz de dissimilaridade de Weber variaram de 0,68 a 0,96.
- O expoente de Stevens ( $\beta$ ) convergiu para ~0,01, indicando uma compressão logarítmica quase pura (mais extrema que em sistemas biológicos).
- A geometria é robusta tanto para métricas de cosseno quanto euclidianas.
Dissociação Geometria-Comportamento (H2 Parcialmente Suportada):
- Numérico: O modelo Llama exibiu uma Fração de Weber de 0,20 (dentro da faixa humana), mostrando discriminação dependente de razão. O Mistral não mostrou essa dependência (comportamento baseado em diferença absoluta).
- Temporal e Espacial: Ambos os modelos possuíam geometria logarítmica forte nesses domínios, mas performaram ao nível do acaso nas tarefas de discriminação. A análise de controle revelou que a falta de abstração através de limites de unidades (ex: "minutos" vs. "horas") impede a transferência da geometria para o comportamento.
Inversão de Camadas Causais (E5):
- A intervenção causal revelou que as camadas iniciais (onde a geometria é mais fraca) são funcionalmente implicadas na comparação aproximada (especificidade 4,1×).
- As camadas tardias (onde a geometria é mais forte e estruturada) não foram causalmente engajadas na tarefa de comparação sob intervenção linear (especificidade 1,2×). Isso sugere que a geometria forte nas camadas finais pode ser um resumo estruturado para previsão de tokens, não o substrato computacional para a comparação ativa.
Codificação Eficiente:
- A análise de corpus confirmou que a frequência de inteiros no treinamento segue uma lei de potência ( $\alpha = 0,77$ ), satisfazendo a pré-condição distribucional para a codificação logarítmica, mesmo na ausência de restrições biológicas.
Generalização Cross-Arquitetura:
- O modelo Qwen-2.5-7B replicou a geometria logarítmica e, surpreendentemente, mostrou um desempenho comportamental superior ao Llama (acurácia de 83,9% e WF de 0,179), confirmando que a geometria é uma propriedade convergente do pré-treinamento, enquanto o comportamento depende do fine-tuning.

5. Significado e Conclusão

O estudo conclui que:

Estatísticas de Dados são Suficientes para o Encoding: A geometria logarítmica emerge naturalmente do pré-treinamento em dados de linguagem natural devido à distribuição de frequência de potência (Lei de Benford/Zipf), sem necessidade de restrições biológicas.
Geometria não Garante Competência: A presença de uma estrutura representacional logarítmica não implica que o modelo possa realizar tarefas de comparação de magnitude. A competência comportamental depende de mecanismos de leitura (readout) estabelecidos durante o instruction tuning.
Dissociação Funcional: A camada onde a representação é mais "legível" geometricamente (camadas tardias) não é necessariamente a camada onde a computação funcional ocorre (camadas iniciais).
Contribuição Metodológica: O artigo estabelece a psicofísica como uma metodologia rigorosa para a interpretabilidade de redes neurais, permitindo distinguir entre estrutura representacional e uso funcional, e oferecendo métricas padronizadas (como Fração de Weber) para avaliar capacidades contínuas em LLMs.

Em suma, os LLMs aprendem a "pensar" em magnitudes de forma logarítmica devido à estatística dos dados, mas só aprendem a "agir" sobre essas magnitudes de forma humana quando instruídos especificamente para tal, e a computação ocorre em camadas diferentes daquelas onde a representação é mais estruturada.