Resumo Técnico: O Atalho de Leitura em Modelos de Linguagem Pequenos

Declaração do Problema

O prompting de Cadeia de Pensamento (CoT) é amplamente reconhecido como necessário para o raciocínio aritmético em modelos de linguagem pequenos (SLMs), no entanto, observações empíricas mostram que embaralhar a ordem lógica das etapas do CoT frequentemente preserva o desempenho. Isso cria uma tensão: se a sequenciação lógica das etapas não é o principal motor da precisão, qual mecanismo permite que o modelo gere a resposta correta? Trabalhos anteriores estabeleceram que o CoT pode ser infiel (por exemplo, demonstrações enviesadas alteram as respostas apesar de um raciocínio correto), mas o sinal específico que o mecanismo de leitura utiliza, sua localização dentro da rede e se ele suprime ativamente a computação disponível permanecem inexplicados.

Metodologia

Os autores investigam esse fenômeno usando três modelos de 1 a 3 bilhões de parâmetros ajustados por instrução: Qwen2.5-1.5B-Instruct, Llama-3.2-1B-Instruct e Gemma-2-2B-it. O estudo foca no conjunto de dados GSM8K (primeiras 500 questões) e se estende ao GSM-Symbolic e ao BIG-Bench-Hard (BBH).

O protocolo experimental central envolve completamento de prefixo (injeção forçada pelo professor). Um prefixo de CoT (potencialmente modificado) é injetado na rodada do assistente, seguido pelo delimitador de resposta ####. O modelo então gera o token de resposta final de forma gulosa. Isso isola a etapa de "leitura" das confusões de tempo de geração do raciocínio.

Intervenções experimentais chave incluem:

1. Decomposição de Corrupção: Corromper sistematicamente números no prefixo de CoT para isolar a contribuição da presença da resposta dourada versus a computação intermediária.
2. Escada Causal: Uma série de condições (por exemplo, substituir o número final por um distrator, truncar o CoT antes da resposta, remover o número final inteiramente) para determinar se o modelo depende de um canal de "cópia" ou de completamento de contexto retido.
3. Controles Posicionais e de Conteúdo: Injetar números errados (distratores) na posição final, variando o contexto de enquadramento (relevante para a resposta versus números nus) e embaralhando etapas em diferentes granularidades (token, palavra, etapa).
4. Ablação Mecanística: Ablação zero e ablação média de cabeças de atenção, e remendo de ativação, para identificar circuitos específicos da arquitetura responsáveis pela leitura.
5. Escalonamento e Generalização: Testar modelos maiores (7–8B) e tarefas não aritméticas para determinar os limites do fenômeno.

Principais Contribuições e Resultados

1. O Atalho Posicional de Leitura

A descoberta primária é que, em modelos de 1–3B, a leitura do CoT é dominada por um atalho posicional: o modelo copia o número que ocupa a posição final imediatamente antes do delimitador de resposta, desde que apareça em um contexto relevante para a resposta.

• Dependência da Resposta Dourada: A presença da resposta dourada na posição final accounts por 54–92 pontos percentuais (pp) de precisão (89–92% do teto de forçamento do professor do modelo).
• Mascaramento da Computação: Quando um número final está presente, o modelo ignora etapas intermediárias corretas. Substituir o número dourado final por um valor errado (distrator) colapsa a precisão para quase zero, mesmo que todo o raciocínio intermediário esteja correto.
• Mecanismo de Sobrescrita: O "canal de cópia" tem precedência sobre a completamento de contexto retido. Remover o distrator final (via truncamento) recupera 5–32 pp de precisão, demonstrando que o modelo pode computar a partir do contexto retido, mas é ativamente suprimido pelo sinal de cópia posicional.

2. Portão de Conteúdo e Diferenças de Arquitetura

Enquanto o mecanismo posicional é universal entre os modelos de 1–3B testados, o grau de seletividade de conteúdo (a capacidade de rejeitar um número errado) varia:

• Qwen & Llama: Exibem cópia permissiva a novidades. Eles copiam números errados colocados no final 87–95% das vezes, independentemente de o número ser semanticamente plausível.
• Gemma: Mostra portão de conteúdo forte. Rejeita distratores novos 81–88% das vezes (copiando-os apenas 12–19% das vezes), indicando um mecanismo de leitura mais seletivo.
• Sensibilidade ao Enquadramento: O atalho é "portãoado por contexto de resposta". Números nus no final não disparam a cópia; o número deve estar enquadrado dentro de texto relevante para a resposta (por exemplo, "a resposta é X").

3. Localização Mecanística

A ablação no nível das cabeças revela perfis específicos da arquitetura para o circuito de cópia:

• Llama: Sensibilidade localizada (cabeças específicas nas camadas 10–15).
• Qwen: Sensibilidade distribuída (requerendo a ablação de ~17 cabeças para observar uma transição de fase).
• Gemma: Concentrada mas compensável (dominada por uma única cabeça, L14H4, na ablação zero).
• Remendo de Ativação: Remendar as 20 cabeças principais no Qwen recupera 61% da lacuna de precisão causada pelo embaralhamento, confirmando um vínculo causal entre essas cabeças e a leitura.

4. Limites de Escalonamento e Generalização

• Modelos de 7–8B: À medida que os modelos escalam para 7–8B, a dependência da presença dourada permanece, mas a seletividade de conteúdo emerge. A taxa de cópia de distratores errados cai significativamente (abaixo de 32%), e uma substancial via "fora da cópia" (confiando na computação intermediária) reaparece.
• Tarefas Não Aritméticas: A tolerância ao embaralhamento colapsa em tarefas não aritméticas (por exemplo, dedução lógica no BBH) onde nenhum número de resposta copiável ocupa a posição final. A retenção cai para níveis de acaso, confirmando que o atalho é específico ao padrão de leitura aritmética/numérica.
• Modelos Base: O mecanismo existe nos pesos do modelo base, sugerindo que não é apenas um artefato do ajuste por instrução, embora o ajuste amplifique o efeito.

Significado e Alegações

O artigo afirma resolver a "tensão" entre a necessidade do CoT e a tolerância ao embaralhamento, identificando um modo de falha específico em modelos pequenos: a etapa de leitura está amplamente desacoplada da etapa de raciocínio.

• Implicações para Supervisão: As descobertas minam a premissa de monitores de CoT em nível de etapa (por exemplo, modelos de recompensa de processo) para modelos de 1–3B. Como a leitura prioriza o token final sobre a computação intermediária, um modelo pode gerar uma cadeia de pensamento logicamente correta, mas emitir uma resposta errada baseada em um distrator final, ou vice-versa. Recompensas em nível de etapa podem operar sobre um sinal fracamente acoplado à computação real que produz a resposta.
• Utilidade Diagnóstica: Os autores propõem que monitorar se a resposta corresponde ao último número do CoT serve como um diagnóstico simples para a dominância de cópia.
• Segurança e Vulnerabilidade: O artigo destaca uma vulnerabilidade onde adversários poderiam construir CoTs com etapas intermediárias corretas, mas com um distrator final, para evadir a supervisão em nível de etapa, roteando a resposta final através do atalho posicional.

Os autores permanecem modestos quanto ao escopo, observando que o fenômeno é observado principalmente em tarefas aritméticas de 1–3B e que a seletividade de conteúdo se recupera em escalas maiores (7–8B) e em modelos treinados para raciocínio (por exemplo, DeepSeek-R1-Distill), embora o mecanismo posicional persista mesmo lá.