Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs

Resumo Técnico: A Contagem de Tokens Repetidos Revela uma Dissociação entre Representações e Saídas

Enunciação do Problema
Grandes modelos de linguagem (LLMs) exibem falhas sistemáticas e reproduzíveis ao contar tokens repetidos, apesar de demonstrarem desempenho robusto em benchmarks de raciocínio mais amplos. Por exemplo, quando solicitados a contar dez palavras repetidas (por exemplo, "maçã"), os modelos frequentemente produzem uma resposta errada, confiante e determinística (por exemplo, "8" ou "14") com variância zero sob decodificação gulosa. Atribuições comuns para essa falha sugerem uma falta de representações internas de contagem ou limitações no rastreamento de contagens dentro do estado do modelo. Este artigo desafia essa atribuição, propondo, em vez disso, que a falha não reside na representação, mas no roteamento da informação para a saída.

Metodologia
Os autores empregam técnicas de interpretabilidade mecânica em cinco modelos decodificadores-only ajustados por instruções: Llama-3.2 (1B, 3B) e Qwen2.5 (1.5B, 3B, 7B). A configuração experimental envolve três condições:

1. P1 (Linha de Base): Contar dez tokens idênticos.
2. P2 (Anomalia): Contar nove tokens idênticos com um intruso (por exemplo, "banana").
3. P3 (Controle): Contar dez tokens únicos.

O estudo utiliza:

• Sondas Lineares: Treinamento de sondas de regressão Ridge no fluxo residual em cada camada para decodificar a contagem de tokens, testando se a contagem correta é linearmente decodificável mesmo quando a saída está errada.
• Lente de Logit: Projetando estados ocultos através da normalização de camada final e da matriz de desincrustação em cada camada para observar quando o modelo "compromete-se" com um token de dígito específico.
• Decomposição MLP vs. Atenção: Isolando as contribuições das subcamadas de atenção e dos blocos MLP para determinar qual componente escreve ou apaga valores específicos no fluxo residual.
• Intervenções Causais: Ablação zero de blocos MLP específicos para testar o envolvimento causal.
• Variação de Formato e Token: Testando delimitadores separados por espaço versus separados por vírgula e substituindo tokens de palavras por tokens de dígitos para analisar a sensibilidade ao formato e a especificidade do tipo de token.

Principais Resultados

1. Dissociação Representação-Comportamento:
   Sondas lineares revelam que a contagem correta é linearmente decodificável com precisão quase perfeita ($R^2 > 0,99$) a partir da primeira camada do transformador, mesmo em modelos que produzem contagens incorretas. Crucialmente, a contagem é codificada mais limpa na condição em que o modelo falha (tokens repetidos) do que na condição em que ele tem sucesso (tokens únicos). Isso confirma que o modelo possui a representação interna correta, mas falha em expressá-la.

2. A Falha de Roteamento (Sobrescrita pelo MLP):
   A falha é causada por um bloco específico de Rede Neural de Perceptron Multicamada (MLP), acionado por formato, localizado em aproximadamente 88–93% da profundidade da rede (por exemplo, Camada 14 no Llama-1B, Camada 22/26 no Llama-3B, Camada 22 no Qwen-1.5B).

   • Este bloco MLP recebe um estado de fluxo residual que codifica corretamente a contagem (ou um estado próximo a ela), mas o sobrescreve com um inteiro fixo e incorreto (por exemplo, "8" ou "14").
   • A entrada do MLP é invariante à contagem; ela dispara independentemente do comprimento real da sequência (por exemplo, para $n=8$ a $n=15$), indicando que responde a uma assinatura de formato específica em vez de realizar um cálculo.
   • A ablação causal deste bloco MLP não restaura a resposta correta; em vez disso, desloca a falha para um valor errado diferente (por exemplo, de "8" para "16"), sugerindo que o prior é parcialmente distribuído entre múltiplos blocos.

3. Especificidade de Formato e Token:

   • Sensibilidade ao Formato: Em modelos maiores (Llama-3B, Qwen-3B), mudar o delimitador de espaços para vírgulas suprime o gatilho do MLP, permitindo que a contagem correta passe. Em modelos menores (Llama-1B), o prior é invariante ao formato.
   • Tipo de Token: O prior dispara para tokens alfabéticos repetidos (palavras), mas não para tokens de dígitos repetidos. Modelos que falham em contar palavras repetidas corretamente contam dígitos repetidos (por exemplo, "1", "1", "1") sem erro, provando que a falha é uma associação aprendida entre o formato "lista de palavras repetidas" e uma saída específica errada, e não uma incapacidade geral de estimar o comprimento da sequência.

4. Detecção de Anomalias vs. Contagem:
   Modelos maiores (Qwen-3B, 7B) que resolvem a tarefa de contagem P1 ainda falham na tarefa de detecção de anomalias P2 (contar 9 maçãs e 1 banana). A análise mecânica mostra que, embora os mecanismos de atenção detectem a anomalia (a banana recebe alta atenção), esse sinal não é roteado para a saída para corrigir a contagem. Isso representa um segundo tipo de falha de roteamento onde o sinal de detecção existe, mas não é convertido em uma correção comportamental.

Significância e Alegações
O artigo argumenta que a falha de contagem nesses modelos é uma falha de roteamento, não uma falha de representação. A circuitaria interna codifica corretamente a contagem, mas um circuito específico de "prior" intercepta e sobrescreve essa informação com base em pistas de formato de nível superficial (tokens de palavras repetidas).

Os autores afirmam que confundir falhas de representação com falhas de roteamento leva a intervenções incorretas (por exemplo, re-treinamento para melhores capacidades de contagem quando a capacidade já existe). Em vez disso, as intervenções devem visar os circuitos específicos responsáveis pela supressão de sinais. O estudo demonstra que falhas comportamentais em modelos capazes são frequentemente falhas de expressão, e identificar o caminho de roteamento específico é um pré-requisito necessário para qualquer intervenção bem-sucedida. Este trabalho estabelece um fenômeno geral onde a verdade interna e a saída comportamental podem divergir completamente, tornando necessária a análise mecânica para distinguir entre as duas.