Resumo Técnico: Padrões Observáveis Não São Explicações: Uma Análise Causal-Geométrica de Modelos de Raciocínio Latente

Declaração do Problema

Modelos de Raciocínio Latente (LRMs) substituem traços explícitos de Cadeia de Pensamento (CoT) por computações de estado oculto contínuo para melhorar a eficiência. No entanto, essa mudança remove os artefatos interpretáveis por humanos necessários para monitoramento e supervisão. Esforços recentes de interpretabilidade tentaram decodificar esses estados latentes, identificando padrões observáveis como fronteiras do tipo Busca em Largura (BFS) em tarefas de grafos e "rascunhos" (scratchpads) aritméticos decodificáveis em tarefas de raciocínio.

O problema central abordado é que esses padrões observacionais podem ser epifenômenos. Trabalhos anteriores frequentemente tratam a mera presença de estrutura decodificável ou padrões geométricos estáticos como evidência de mecanismos de raciocínio internos. Este artigo argumenta que tais abordagens correm o risco de confundir decodificabilidade com mecanismo, potencialmente levando a "falsas explicações" (análogas ao efeito "salmão morto" em neuroimagem), onde padrões parecem explicativos, mas não impulsionam causalmente o comportamento do modelo. Os autores postulam que, sem testes causais rigorosos e controles pareados, padrões observáveis não podem estabelecer que um modelo está realmente raciocinando.

Metodologia

Os autores empregam uma estrutura causal-primária, mudando o foco de proxies observacionais para a influência causal dos pensamentos latentes no comportamento do modelo. O estudo envolve:

1. Configuração Experimental e Controles:

   • Tarefas: Salto em grafos (ProsQA) e Raciocínio Aritmético (GSM8k).
   • Modelos Alvo: Coconut (Hao et al., 2025) e CODI (Shen et al., 2025), representando dois paradigmas distintos de treinamento de LRM (recorrência baseada em currículo e destilação de si mesmo).
   • Controles Pareados: Para isolar mecanismos específicos, os autores introduzem:
     • Controle de Recorrência (PaT): Segue o currículo do Coconut, mas remove o feedback recorrente, substituindo-o por tokens estáticos aprendidos.
     • Controle de Currículo (Cu): Uma variante do Coconut com um currículo perturbado (amostragem de estágio randomizada), mas com recorrência preservada.
     • Controles Observacionais: GPT-2 base e GPT-2 com CoT Explícito para testar se os padrões emergem sem treinamento latente.

2. Intervenções Causais:

   • Ablação de Pensamento: Remoção de posições de pensamento latente no momento do teste para avaliar a necessidade.
   • Rastreamento Causal: Extensão do activation patching (Meng et al., 2022) para posições latentes. Os autores medem o Efeito Indireto (IE) injetando ativações limpas de um prompt alvo em um prompt parceiro corrompido para ver se o modelo recupera seu comportamento correto.
   • Intervenções de Subespaço de Gradiente: Em vez de tratar a influência do pensamento como binária, os autores identificam direções de baixo posto (low-rank) no espaço latente mais sensíveis à perda (via SVD de gradientes). Eles então ablam ou amplificam esses subespaços específicos para medir a influência causal graduada.

3. Análise Geométrica e Dinâmica:

   • Markovianidade: Testar se estados latentes futuros podem ser previstos a partir de estados anteriores usando regressores lineares e MLP.
   • Estabilidade de Subespaço: Medir o alinhamento geométrico (similaridade de cosseno de ângulos principais) dos subespaços de gradiente causal através dos passos de tempo.

Principais Resultados

1. Padrões Observáveis Não São Únicos para LRMs (RQ1)

• Salto em Grafos (BFS/Superposição): O padrão "tipo BFS" (aumento da probabilidade de nós corretos, queda da entropia) e a "superposição" (manter múltiplos candidatos) observados no Coconut também foram reproduzidos pelo controle PaT (que carece de recorrência) e, em menor grau, pelo controle de CoT Explícito. Por outro lado, o controle de currículo perturbado (Cu) inverteu esses padrões, apesar de manter a recorrência.
• Aritmética (Rascunho): A decodificação via logit-lens de etapas aritméticas intermediárias no CODI também foi observada no PaT e em outros controles. O alinhamento de etapa decaiu bruscamente com a profundidade para todos os modelos, contradizendo a hipótesidade de um rascunho ordenado.
• Conclusão: Padrões observáveis como fronteiras de BFS ou alternância de rascunho não são evidências suficientes para mecanismos de raciocínio específicos (recorrência ou destilação), pois aparecem em modelos que carecem desses mecanismos.

2. A Influência do Pensamento Latente é Graduada e Localizada (RQ2)

• Ablação vs. Causalidade: Embora alguns modelos (ex: Coconut em salto de grafos) tenham mantido o desempenho quando os pensamentos foram removidos, o rastreamento causal revelou que os pensamentos latentes ainda exercem uma influência causal graduada.
• Localização: A influência dos pensamentos latentes não é distribuída uniformemente pela representação. Em vez disso, ela se concentra em direções de baixo posto e sensíveis à perda (o subespaço de gradiente).
• Dependência de Tarefa: No raciocínio aritmético, a ablação desses subespaços de gradiente causou quedas significativas de desempenho, enquanto no salto de grafos, a influência foi mais fraca, mas ainda mensurável e capaz de direcionar previsões quando amplificada.

3. Dinâmicas de Direções Causais vs. Não Causais (RQ3)

• Estático vs. Evolutivo: As trajetórias completas do pensamento latente frequentemente parecem estáticas (altamente previsíveis por mapas de identidade ou lineares simples), especialmente em tarefas onde a influência causal é fraca (ex: salto de grafos).
• Dinâmica do Subespaço Causal: No entanto, os subespaços de gradiente específicos onde a influência causal se concentra exibem uma evolução estruturada e não trivial. No raciocínio aritmético, esses subespaços rotacionam e evoluem significativamente, enquanto no salto de grafos, eles permanecem geometricamente estáveis.
• Lição: As dinâmicas de "raciocínio" não são visíveis na trajetória latente completa, mas concentram-se em subespaços específicos que influenciam o comportamento.

Significância e Alegações

O artigo afirma realizar uma mudança de paradigma na interpretabilidade de LRMs, do observacional para o causal.

• Computação Oculta, Não Explicação Oculta: Os autores argumentam que os pensamentos latentes devem ser tratados como "computação oculta" e não como "explicações ocultas". A presença de estrutura decodificável ou padrões geométricos não constitui um mecanismo, a menos que seja demonstrado que ele impulsiona causalmente o comportamento.
• Rigor Metodológico: O trabalho demonstra que alegações sobre mecanismos de raciocínio latente exigem controles pareados (para descartar artefatos de currículo ou formatação) e testes causais (para distinguir entre correlação e causalidade).
• Influência Graduada: A visão binária de "pensamentos usados vs. ignorados" é insuficiente. A influência é uma quantidade contínua, localizada em subespaços de baixo posto que variam conforme a tarefa e o modelo.
• Implicações de Segurança: Confiar em proxies observacionais corre o risco de "falsa interpretabilidade", onde auditores monitoram as características erradas. Uma abordagem de causalidade primária fornece uma base mais sólida para auditar sistemas agentes, garantindo que o monitoramento de segurança foque nos circuitos computacionais reais que impulsionam o comportamento.

Os autores concluem que, embora os modelos de raciocínio latente ofereçam eficiência, sua interpretabilidade exige um padrão de evidência mais rigoroso que prioriza a localização causal sobre a mera decodificação de estados latentes.