💬 NLP

From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks

Este estudo revela que as falhas de modelos de linguagem grandes em tarefas de contagem de caracteres não decorrem da ausência de representações internas corretas, mas sim da supressão estruturada desses sinais por circuitos negativos nas camadas finais do modelo.

Autores originais: Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

Publicado 2026-04-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente superinteligente, capaz de escrever poemas, traduzir idiomas e resolver problemas complexos de física. Parece um gênio, certo? Mas, se você perguntar a ele: "Quantas letras 'p' existem na palavra 'apple'?", ele pode te responder com total confiança: "Duas" (quando a resposta certa é uma) ou "Três".

Esse é o mistério que os autores deste estudo tentaram desvendar. Eles descobriram que, embora esses modelos de Inteligência Artificial (chamados de LLMs) pareçam falhar em tarefas simples de contagem de letras, o problema não é que eles não sabem a resposta. O problema é que eles escondem a resposta certa antes de falar em voz alta.

Aqui está a explicação do que acontece, usando analogias do dia a dia:

1. O Gênio que Esquece o que Sabia

Pense no modelo de linguagem como um cozinheiro de elite que está preparando um prato complexo.

O Início (As Camadas Iniciais): Quando o cozinheiro pega os ingredientes (as letras da palavra), ele os analisa com precisão cirúrgica. Ele sabe exatamente quantas "p"s tem no "apple". Essa informação está lá, clara e cristalina, na memória do cozinheiro.
O Meio (O Processo de Cozimento): À medida que o prato avança, o cozinheiro começa a misturar tudo. A informação sobre a contagem das letras viaja pela cozinha (pelas camadas do modelo) e continua existindo.
O Fim (A Camada Final): Aqui está o truque. Antes de servir o prato ao cliente (a resposta final), o cozinheiro passa por um filtro de segurança ou um chefe de cozinha exigente. Esse chefe olha para a resposta correta ("1") e pensa: "Isso parece muito simples, talvez seja um erro. O cliente provavelmente espera algo mais comum ou óbvio". Então, o chefe suprime a resposta certa e força o cozinheiro a dizer algo errado, como "2" ou "3", apenas para parecer mais "seguro" ou seguir um padrão que ele aprendeu no passado.

2. A Analogia do "Ruído" vs. "Sinal"

Imagine que você está tentando ouvir uma música favorita no rádio.

O Sinal (A Resposta Certa): Nas primeiras estações do rádio (as camadas iniciais do modelo), a música está tocando perfeitamente. Você consegue ouvir cada nota.
O Ruído (A Supressão): À medida que o som passa por vários amplificadores (as camadas finais), um amplificador defeituoso começa a aumentar o volume de uma estática chata e a diminuir o volume da música.
O Resultado: No final, quando o som sai da caixa de som, você ouve apenas estática. O modelo não "perdeu" a música; ele foi ativamente silenciado por componentes específicos no final do processo.

3. O Que Eles Descobriram com "Raio-X" (Análise Mecânica)

Os pesquisadores usaram ferramentas especiais (como "lentes de logit" e "patching de ativação") que funcionam como um raio-X ou uma cirurgia cerebral para o modelo. Eles conseguiram ver o que estava acontecendo dentro da "cabeça" do computador:

A Informação Está Lá: Eles provaram que, se olharem apenas para o meio do processo, o modelo sabe a resposta certa com mais de 90% de certeza.
O "Vilão" é Específico: Não é que todo o modelo esteja confuso. O problema está concentrado em pouquíssimas peças no final do processo (especificamente em certas partes chamadas "MLP" e "Atenção" nas últimas camadas).
O "Circuito Negativo": Eles chamam essas peças de "circuitos negativos". É como se houvesse um pequeno grupo de funcionários no final da linha de montagem que, em vez de empacotar o produto correto, jogam o produto certo no lixo e colocam um errado no lugar, porque acham que o errado é mais provável de agradar o cliente.

4. Por Que Fazer o Modelo Maior Não Ajuda?

Você poderia pensar: "Se fizermos o modelo 10 vezes maior, ele vai aprender a contar?"
A resposta é não.
Os pesquisadores testaram modelos gigantes (com bilhões de parâmetros) e modelos menores. O resultado foi o mesmo. Fazer o modelo maior é como contratar 100 cozinheiros em vez de 1. Se o "chefe de cozinha" (o circuito negativo no final) continuar dizendo para servir o prato errado, ter mais cozinheiros não vai resolver o problema. O erro é estrutural, não falta de inteligência ou tamanho.

5. O Que Isso Significa para o Futuro?

Essa descoberta é importante porque muda como vemos a inteligência artificial:

Não é falta de conhecimento: Os modelos não são "burros" em tarefas simples; eles têm a informação.
É um problema de confiança: Eles foram treinados para confiar em "atalhos" (heurísticas) em vez de fazer o cálculo exato quando a pressão aumenta no final.
O Caminho a Seguir: Para consertar isso, não basta apenas dar mais dados para o modelo. Precisamos redesenhar a "cozinha" (a arquitetura) para garantir que a informação certa chegue à mesa sem ser sabotada pelo "chefe de cozinha" no final.

Em resumo: O modelo sabe contar. Ele vê a resposta certa, mas, no último segundo, decide mentir porque foi treinado para acreditar que a mentira é mais segura. É como um aluno que sabe a resposta da prova, mas, ao preencher o gabarito, decide marcar a opção errada porque acha que o professor vai cobrar algo diferente.

Título: Da Codificação Precoce à Supressão Tardia: Interpretando LLMs em Tarefas de Contagem de Caracteres

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) demonstram desempenho excepcional em benchmarks complexos de raciocínio e linguagem natural, mas falham sistematicamente em tarefas simbólicas elementares, como a contagem de letras em uma palavra (ex: "Quantas letras 'p' existem em 'apple'?").

A Lacuna: Embora essas falhas sejam conhecidas, as razões internas (mecanísticas) permanecem pouco exploradas. Não está claro se o erro decorre da ausência de representação da informação no modelo ou de uma falha em utilizar essa informação durante a geração.
Hipótese de Trabalho: Os autores investigam se os modelos codificam corretamente a contagem de caracteres em suas representações internas, mas falham em expressá-la na saída devido a interferências estruturais no grafo de computação.

2. Metodologia

Os autores utilizam a contagem de caracteres como uma "sonda" (probe) mínima e totalmente controlada para isolar o raciocínio em nível de token de confusões linguísticas de alto nível.

Modelos Analisados: Três famílias de modelos recentes (LLaMA 3.2, Qwen 2.5 e Gemma 2), abrangendo variantes base (pré-treinadas) e ajustadas por instrução (instruction-tuned), com tamanhos variando de 2B a 9B parâmetros.
Dataset: Construído a partir do WordNet e Wiktionary, com 10.000 exemplos balanceados para contagens de 1, 2 e 3.
Técnicas de Interpretabilidade Mecanística:
1. Classificadores de Sonda (Probing Classifiers): Treinados para decodificar a contagem de letras a partir dos estados ocultos (hidden states) em cada camada, testando se a informação está presente.
2. Logit Lens: Projeta os estados ocultos intermediários no espaço de vocabulário para rastrear como a probabilidade da resposta correta evolui (ou é suprimida) através das camadas.
3. Patch de Ativação (Activation Patching): Técnica de causalidade onde ativações de uma entrada "corrompida" são substituídas por ativações de uma entrada "limpa" para identificar quais componentes (camadas, cabeças de atenção, MLPs) são causalmente responsáveis pela recuperação ou supressão do comportamento correto.
4. Métricas de Avaliação: Uso de diferença de logit ( $\Delta$ ) para medir a preferência pelo token correto e de lacuna de probabilidade ( $\Delta_p$ ) para quantificar a supressão da resposta correta.

3. Principais Contribuições e Descobertas

A. Codificação vs. Utilização (O Paradoxo da Informação)

Codificação Precoce: As sondas revelam que a informação sobre a contagem de caracteres é confiavelmente codificada nos fluxos residuais (residual streams) das camadas iniciais e médias de todos os modelos testados. A precisão da sonda é frequentemente superior a 80-90%.
Falha na Utilização: Apesar de a informação estar presente, ela não é transmitida com sucesso para a camada de saída. O modelo "sabe" a resposta internamente, mas falha em produzi-la.

B. O Fenômeno de Supressão Tardia (Negative Circuits)

A análise do Logit Lens e do Patch de Ativação identifica que a informação correta é ativamente suprimida por um pequeno conjunto de componentes nas camadas finais.
Componentes Críticos: A supressão ocorre principalmente nos MLPs (Multi-Layer Perceptrons) e, em alguns casos, nas Cabeças de Atenção das camadas penúltima e última.
Circuitos Negativos: Os autores definem esses componentes como "circuitos negativos": sub-redes que atenuam sistematicamente os sinais simbólicos corretos em favor de respostas incorretas, mas com maior probabilidade a priori (heurísticas degeneradas).

C. Falhas de Escala e Ajuste por Instrução

Escalabilidade: Aumentar o tamanho do modelo (de 2B para 9B parâmetros) não resolve o problema. Os padrões de supressão permanecem consistentes.
Ajuste por Instrução: O fine-tuning para instrução não corrige a falha; na verdade, em alguns casos, reforça estratégias degeneradas (como prever sempre "1" ou distribuir respostas uniformemente), mantendo a precisão próxima à linha de base aleatória.

D. Ausência de Cabeças de Atenção Especializadas

Ao contrário de tarefas onde cabeças de atenção específicas roteiam informações (ex: identificação de objetos indiretos), não foi encontrada nenhuma cabeça de atenção dedicada ou especializada em rotear informações de contagem de caracteres do início ao fim do prompt. A informação parece fragmentada e fracamente coordenada.

4. Resultados Quantitativos e Qualitativos

Precisão Global: A maioria dos modelos opera perto da precisão aleatória (~33% para contagens 1, 2, 3).
Estratégias Degeneradas:
- Qwen e Gemma: Tendem a prever um valor fixo (geralmente "1"), ignorando a entrada.
- LLaMA: Tende a uma distribuição quase uniforme, comportando-se como um chute aleatório.
Impacto da Supressão: Em modelos como o Qwen2.5-3B, as camadas finais aumentam a probabilidade da estratégia degenerada em ~30%, enquanto em LLaMA3.2-3B, o MLP final suprime cerca de 7,5% da massa de probabilidade da resposta correta.

5. Significado e Implicações

Natureza Estrutural do Erro: As falhas de raciocínio simbólico em LLMs não são devidas à falta de capacidade representacional ou de escala, mas sim a interferências estruturadas no grafo de computação. O modelo aprende a codificar a informação, mas também aprende a suprimi-la em favor de heurísticas mais simples durante a geração.
Decodificação Competitiva: O trabalho sugere que a passagem frontal (forward pass) dos LLMs implementa uma forma de decodificação competitiva, onde hipóteses corretas e incorretas coexistem e são reponderadas dinamicamente. A saída final é determinada tanto pela supressão de sinais corretos quanto pela amplificação de sinais incorretos.
Implicações para Robustez e Arquitetura:
- Simples tarefas simbólicas expõem fraquezas sistêmicas que podem comprometer a robustez em tarefas de raciocínio mais complexas.
- Sugere a necessidade de novas estratégias de design de arquitetura ou objetivos de treinamento que garantam não apenas a codificação da informação, mas também a sua confiável utilização na etapa de saída, evitando que circuitos negativos a suprimam.
- Aponta que o scaling (aumento de tamanho) sozinho não é suficiente para corrigir essas falhas mecânicas estruturais.

Em resumo, o artigo demonstra que os LLMs modernos possuem a "capacidade" de contar letras, mas falham em fazê-lo porque seus circuitos finais priorizam heurísticas estatísticas sobre a lógica simbólica precisa, um fenômeno que persiste independentemente do tamanho do modelo ou do ajuste por instrução.