Resumo Técnico: Lendo Entre os Pontos

Declaração do Problema

A monitorabilidade da cadeia de pensamento (CoT - Chain-of-Thought) baseia-se na premissa de que os tokens de saída de superfície de um modelo refletem fielmente seu processo de raciocínio subjacente. No entanto, a literatura recente sugere que essa premissa é frágil; os modelos podem realizar "computação oculta", onde o raciocínio ocorre de formas não visíveis no texto gerado. Um modo de falha específico da monitoração de CoT é a computação por tokens de preenchimento (filler-token computation), onde Grandes Modelos de Linguagem (LLMs) realizam raciocínios de múltiplos passos sobre tokens sem conteúdo semântico (ex: sequências de pontos, contagem de números ou sequências alfabéticas) inseridos entre uma pergunta e o espaço da resposta. Nesses cenários, os tokens de superfície não carregam informação semântica sobre o raciocínio, tornando a auditoria comportamental tradicional ineficaz. A questão central abordada por este artigo é se tal computação oculta é verdadeiramente inobservável ou se permanece decodificável a partir dos estados internos do modelo.

Metodologia

Os autores investigam este fenômeno utilizando dois modelos de escala de fronteira com pesos abertos: DeepSeek V3 (671B parâmetros, ~37B ativados) e Kimi K2 (1T parâmetros, ~32B ativados). Eles avaliam o desempenho e a mecânica interna através de quatro famílias de tarefas que exigem valores intermediários:

1. Adição de 1 fato: Recuperar um fato e adicionar um número aleatório.
2. Adição de 2 fatos: Recuperar dois fatos e somá-los.
3. Posição de letra de 2 saltos (2-hop): Recuperar uma capital/elemento e encontrar uma letra específica.
4. Sistema de equações: Resolver relações lineares definidas no contexto.

A configuração experimental envolve a anexação de tokens de preenchimento sem conteúdo (pontos, sequências de contagem, sequências alfabéticas) entre o prompt e o espaço da resposta. O estudo procede em três fases:

1. Análise Comportamental: Medir a melhoria de precisão com e sem os tokens de preenchimento.
2. Análise Mecanística: Utilizar mapas de atenção, leituras de logit-lens e transplantes de KV-cache para determinar como a informação flui e é codificada dentro da região de preenchimento.
3. Decodificação Não Supervisionada: Desenvolver um pipeline para recuperar valores intermediários puramente a partir dos estados ocultos, sem rótulos de verdade fundamental (ground-truth) ou treinamento.

Principais Contribuições e Resultados

1. Tokens de Preenchimento Habilitam Computação Oculta

O artigo estabelece que os tokens de preenchimento não são meramente preenchimentos inertes, mas facilitam um "retransmissor de processamento".

• Ganho Comportamental: Ambos os modelos mostram ganhos significativos de precisão quando os tokens de preenchimento estão presentes. Por exemplo, a precisão do DeepSeek V3 na adição de 1 fato sobe de 54% para 72%, e em sistemas de equações de 31% para 61%. Sequências de preenchimento embaralhadas apresentam desempenho inferior, indicando que o benefício provém de sequências de tokens não disruptivas, e não de um conteúdo específico.
• Roteamento de Atenção: A análise de atenção revela que, na presença de preenchimento, o modelo redireciona sua computação. O caminho direto de atenção da posição da resposta para a pergunta é substituído por um retransmissor: Pergunta → Preenchimento → Resposta. A região de preenchimento atua como um buffer onde a pergunta é lida e valores intermediários são processados antes de serem passados para a posição da resposta.

2. Evidência Mecanística de Intermediários Codificados

Os autores fornecem três linhas de evidência de que as posições de preenchimento carregam causalmente informações relevantes para a tarefa:

• Leituras de Logit-Lens: Projetar os estados do fluxo residual através da matriz de unembedding revela que valores intermediários (ex: fatos recuperados $A_1, A_2$ e sua soma) estão explicitamente codificados no fluxo residual nas posições de preenchimento. Na adição de 2 fatos, $A_1$ aparece cedo na sequência de preenchimento, $A_2$ mais tarde, e a soma se cristaliza nas camadas finais antes da resposta.
• Transplantes de KV-Cache (Verificação Causal): Ao transplantar o KV-cache da região de preenchimento de um exemplo "doador" para um exemplo "alvo", os autores demonstram a dependência causal. Trocar o cache de preenchimento faz com que o modelo alvo produza a resposta do doador, com melhorias de classificação de dezenas a centenas de posições. Isso confirma que o conteúdo dentro da região de preenchimento não está apenas correlacionado com, mas é causalmente necessário para a saída.
• Especificidade Posicional: Na adição de 2 fatos, a estrutura posicional da codificação é causal. Transplantar apenas as posições específicas onde $A_1$ é decodificado recupera a maior parte do efeito, enquanto posições complementares têm impacto negligenciável.

3. Pipeline de Decodificação Não Supervisionada

O artigo introduz um pipeline que recupera etapas de raciocínio ocultas a partir dos estados residuais sem supervisão:

• Processo:
  1. Extrair ativações do fluxo residual em todas as camadas e posições de preenchimento.
  2. Aplicar o logit lens para projetar os estados em probabilidades de tokens.
  3. Subtrair as médias entre exemplos para remover artefatos de formatação e isolar sinais específicos do exemplo.
  4. Agregar pontuações residuais através das posições e selecionar os 50 principais tokens.
  5. Passar esses tokens para um juiz LLM (ex: Claude Haiku/Sonnet) para interpretar o raciocínio.
• Desempenho: O pipeline alcança 80–95% de precisão na recuperação de valores intermediários em todas as quatro tarefas e em ambos os modelos.
  • Para adição de 1 fato, o fato alvo é recuperado nos 2 principais tokens em ~85% dos casos sem um juiz; com um juiz, isso sobe para ~94%.
  • Para tarefas complexas como adição de 2 fatos, o juiz melhora significativamente a recuperação (de ~35% para ~82% no DeepSeek V3) ao utilizar sinais contextuais da lista completa dos 50 principais.
  • O pipeline decodifica com sucesso tanto os fatos recuperados quanto os valores computados em contexto (ex: variáveis em sistemas de equações).

Significância e Alegações

O artigo argumenta que computação oculta não é sinônimo de computação não auditável. Embora o raciocínio via tokens de preenchimento vença a monitoração de CoT comportamental (porque o texto de saída é vazio de raciocínio), a computação permanece diretamente legível a partir do fluxo residual do modelo.

• Monitorabilidade como uma Propriedade do Traço: Os autores postulam que a monitorabilidade é uma propriedade do traço computacional completo do modelo, não apenas de seus tokens de superfície.
• Auditabilidade Parcial: O estudo demonstra que, para tarefas com intermediários discretos e nomeáveis, ferramentas de interpretabilidade "baratas" (logit lens + normalização + juiz LLM) podem fechar a lacuna deixada pelos tokens de superfície opacos.
• Limitações: Os autores alegam modestamente que esta abordagem funciona para tarefas com intermediários limpos. Eles reconhecem limitações em relação à computação que é otimizada para ser ortogonal à projeção do vocabulário, que envolve conceitos não tokenizáveis (como estratégias ou intenções), ou que depende de padrões de atenção invisíveis às projeções de logit-lens.

Em conclusão, o artigo sugere que, embora a monitoração de CoT seja frágil, a existência de computação oculta em tokens de preenchimento não torna os modelos inteiramente opacos. Em vez disso, destaca o potencial para estratégias de auditoria híbridas que combinam observação comportamental com interpretação do fluxo residual.