🤖 machine learning

Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories

Este artigo revela que a fidelidade dos métodos de raciocínio latente não é estática, mas evolui dinamicamente durante o treinamento, com contribuições causais para as respostas finais decaindo ao longo do tempo e variando significativamente conforme o formato da resposta, destacando que avaliações de checkpoints finais isoladamente são insuficientes para aferir a confiabilidade do raciocínio.

Autores originais: Hengyu Jin, Shu Yang, Di Wang

Publicado 2026-07-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hengyu Jin, Shu Yang, Di Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno brilhante fazendo uma prova de matemática muito difícil. Existem duas maneiras de esse aluno resolver os problemas:

O Método "Mostre seu Trabalho" (Cadeia de Pensamento): O aluno escreve cada um dos passos em uma folha de papel. Você pode ler as notas dele para ver exatamente como ele chegou à resposta.
O Método "Pensamento Silencioso" (Raciocínio Latente): O aluno resolve o problema inteiramente em sua cabeça. Ele não escreve nada; ele apenas sussurra a resposta final. Isso é mais rápido e compacto, mas você não consegue ver como ele fez.

Este artigo é sobre este segundo método. A grande preocupação é: o aluno está realmente pensando ou está apenas adivinhando? Talvez ele tenha memorizado o gabarito, ou talvez esteja usando um atalho que pula os passos reais do pensamento. Se você cutucar o cérebro dele (ou o código do computador por trás dele) para ver se os passos do "pensamento silencioso" são realmente necessários, ele ainda consegue a resposta certa?

Os pesquisadores chamam isso de "fidelidade" (faithfulness). Se os passos silenciosos são fiéis, eles são a causa da resposta. Se não forem fiéis, o aluno está apenas fingindo que pensa, enquanto a resposta real vem de outro lugar.

O Grande Erro que Todos Cometeram Antes

Estudos anteriores observaram esses "pensadores silenciosos" apenas depois de terminarem seu treinamento (o exame final). Eles descobriram que muitos desses modelos eram "infiéis" — você podia bagunçar os passos de pensamento silencioso deles, e eles ainda obteriam a resposta correta.

Os autores deste artigo dizem: "Espere um minuto! Nós só olhamos para a linha de chegada. O que aconteceu durante a corrida?"

Eles decidiram observar os modelos treinando do Dia 1 até o fim, como quem assiste a um jogo de esportes em vez de apenas olhar para o placar final. Eles usaram duas ferramentas especiais para testar os modelos:

O Truque do "E Se": Eles mudaram um detalhe minúsculo na pergunta (como mudar uma estrada em um mapa) para ver se o modelo mudava sua resposta. Se o modelo for fiel, ele deve mudar sua resposta.
O Teste da "Névoa Cerebral": Eles temporariamente "nublaram" os passos de pensamento silencioso do modelo com ruído aleatório para ver se o modelo ainda conseguia resolver o problema.

O Que Eles Descobriram (As Três Grandes Surpresas)

1. Dois Caminhos Diferentes para o Mesmo Becos sem Saída

Eles estudaram dois tipos diferentes de "pensadores silenciosos" (vamos chamá-los de Método A e Método B).

O Resultado: No final, ambos os métodos pareciam terríveis. Ambos falharam no truque do "E Se" e no teste da "Névoa Cerebral". Eles pareciam igualmente infiéis.
A Reviravolta: A jornada até esse fracasso foi completamente diferente.
- O Método A começou sendo muito fiel. Era bom em mudar sua resposta quando a pergunta mudava. Mas então, no meio do treinamento, ele subitamente parou de se importar. Ficou preguiçoso e começou a ignorar os passos de pensamento, mesmo que sua pontuação final continuasse subindo.
- O Método B nunca se importou com os passos de pensamento em primeiro lugar. Foi infiel desde o Dia 1 e permaneceu assim.
A Lição: Se você olhar apenas para o exame final, você acha que eles são iguais. Mas se você observar o treinamento, vê que um foi um "atrasado" que desistiu, e o outro foi um "trapaceiro" desde o início.

2. Os Passos de "Pensamento" Estão Desaparecendo

Eles verificaram a "atividade cerebral" interna do modelo (os estados ocultos) durante o pensamento silencioso.

O Resultado: À medida que os modelos treinavam, a importância real daqueles passos de pensamento silencioso caía.
A Analogia: Imagine um chef cozinhando uma sopa. No início, o chef prova a sopa e adiciona sal (o passo de pensamento). Mas, conforme o chef ganha experiência, ele para de provar e apenas joga uma pitada de sal aleatória porque acha que está certo. O artigo descobriu que a parte de "provar" o processo tornou-se inútil ao longo do tempo. O modelo parou de precisar dos passos de pensamento para obter a resposta certa; ele apenas começou a adivinhar a resposta diretamente.
A Conexão: As perguntas específicas onde o modelo parou de mudar sua resposta (o truque do "E Se") foram exatamente as mesmas perguntas onde os "passos de pensamento" deixaram de importar.

3. O Formato da Resposta Muda Tudo

Este é o ponto mais surpreendente. Eles testaram os modelos em dois tipos de perguntas:

Tipo A: "A resposta é X ou Y?" (Escolha Binária)
Tipo B: "Qual é a resposta?" (Aberta/Dissertativa)

O Interruptor Mágico:

Quando o modelo tinha que escolher entre duas opções (A ou B), os "passos de pensamento" tornaram-se inúteis conforme o treinamento avançava (exatamente como nos testes anteriores).
Mas quando o modelo tinha que escrever a resposta (Aberta), os "passos de pensamento" tornaram-se, na verdade, mais importantes conforme o treinamento avançava!

A Analogia: É como um aluno que aprende a adivinhar a resposta de múltipla escolha olhando para o padrão das bolhas na folha (ignorando a matemática). Mas, se você pedir para ele escrever a resposta em uma página em branco, ele tem que fazer a matemática. A forma como você faz a pergunta muda se o modelo está realmente pensando ou apenas adivinhando.

A Conclusão Final

O artigo conclui que você não pode julgar se um pensador silencioso de IA é honesto ou fiel apenas olhando para sua pontuação final de teste.

O tempo importa: Um modelo pode parecer fiel no início e perder essa habilidade, ou vice-versa.
O formato importa: Um modelo pode ser fiel ao escrever uma redação, mas infiel ao escolher uma resposta de múltipla escolha.

A "fidelidade" desses modelos de IA não é um traço fixo da máquina; é um alvo móvel que depende de como ele foi treinado e de como você faz a pergunta.

Resumo Técnico: Checkpoints Finais Não São Suficientes: Analisando a Fidelidade do Raciocínio Latente ao Longo das Trajetórias de Treinamento

Definição do Problema
Métodos de raciocínio latente realizam inferência de múltiplas etapas inteiramente dentro dos estados ocultos contínuos de um modelo, oferecendo uma alternativa mais compacta e eficiente ao Chain-of-Thought (CoT) explícito, que depende de tokens discretos de linguagem natural. No entanto, a opacidade desses estados ocultos levanta uma questão crítica de fidelidade (faithfulness): os passos de raciocínio latente impulsionam causalmente a resposta final ou são apenas correlacionados com o output?

Trabalhos anteriores investigaram essa questão apenas em checkpoints convergidos, relatando que os passos de raciocínio latente são frequentemente não fiéis — o que significa que podem ser substituídos, perturbados ou apagados sem alterar a predição final. Uma lacuna significativa permanece na compreensão de como esses comportamentos não fiéis se formam durante o treinamento. Além disso, tratar um modelo treinado como um ponto final fixo obscurece se diferentes paradigmas de treinamento alcançam conclusões não fiéis semelhantes através de trajetórias qualitativamente distintas.

Metodologia
Os autores rastreiam a evolução da fidelidade através de checkpoints salvos para dois paradigmas distintos de raciocínio latente, COCONUT (currículo em estágios) e CODI (autodestilação), utilizando um backbone GPT-2 compartilhado. A análise emprega duas intervenções primárias:

Edição Contrafactual Verificada (Nível de Entrada): Usando o benchmark ProsQA (uma tarefa de alcançabilidade de grafo resolvida por um oráculo BFS determinístico), os autores constroem 405 entradas pareadas. Eles editam minimamente uma única aresta no grafo subjacente para inverter a resposta do oráculo de um alvo $A$ para uma alternativa $B$ . A fidelidade é medida pelo fato de o modelo seguir esta edição (Consistência de Contraste e Taxa de Inversão Condicional).
Patch de Ativação de Ruído-Ablação (Nível de Ativação): Adaptado de análises de mediação causal, os autores aplicam um patch em todos os passos de raciocínio latente com valores de apagamento de conteúdo (zero, média do conjunto de dados ou ruído Gaussiano de norma correspondente). Eles medem a Taxa de Mudança de Saída (OCR) e a taxa Preservado-Quando-Correto (PWC) para determinar se os passos latentes contribuem causalmente para a predição.

O estudo aborda três Questões de Pesquisa (RQs):

RQ1: Diferentes paradigmas exibem trajetórias de fidelidade de nível de saída qualitativamente diferentes, mesmo que seus checkpoints finais pareçam similares?
RQ2: A contribuição causal dos passos latentes decai ao longo do treinamento, e isso se alinha com as transições de nível de saída?
RQ3: Essas trajetórias dependem do formato da resposta (escolha binária vs. decodificação aberta)?

Principais Resultados

Trajetórias Divergentes para Pontos Finais Similares (RQ1): Embora tanto o COCONUT quanto o CODI convirjam para endpoints de baixa fidelidade (baixa Consistência de Contraste e Taxa de Inversão Condicional), suas trajetórias de treinamento diferem significamente.
- O COCONUT inicialmente exibe alta fidelidade contrafactual (seguindo edições), mas sofre uma mudança abrupta no limite do currículo (época 15–16), onde a fidelidade colapsa e o modelo começa a reter a resposta original apesar das edições.
- O CODI entra em um regime de "retenção" (baixa fidelidade) quase imediatamente desde os primeiros checkpoints e permanece nele, nunca visitando a fase de seguimento de contrafatuais.
- Implicação: Um snapshot único na convergência mascara essas dinâmicas de aprendizado fundamentalmente diferentes.
Decaimento da Contribuição Causal (RQ2): No nível de ativação, a contribuição causal dos passos de raciocínio latente decai ao longo do treinamento para ambos os paradigmas.
- A Taxa de Mudança de Saída (OCR) cai em direção a zero, e o PWC sobe em direção a um, indicando que a ablação de ruído nos passos latentes não afeta mais o output.
- A análise de coorte revela que os exemplos específicos que mudam de seguimento de contrafatual para retenção no output (a coorte de "deriva") são precisamente os exemplos onde a contribuição causal dos passos latentes decai.
Dependência de Formato (RQ3): A trajetória de nível de ativação não é intrínseca à arquitetura do modelo, mas depende fortemente do formato da resposta.
- Em tarefas de escolha binária (ProsQA e GSM-Choice), a contribuição causal dos passos latentes decai ao longo do treinamento (OCR diminui).
- Em tarefas de decodificação aberta (GSM-open), a contribuição causal dos passos latentes aumenta ao longo do treinamento (OCR aumenta).
- Adicionalmente, o ranking de desempenho do modelo (COCONUT vs. CoT) inverte-se dependendo de como a tarefa é enquadrada (aberta ou escolha binária), sugerindo que o formato da resposta altera tanto o desempenho aparente quanto a fidelidade medida.

Significância e Alegações
O artigo argumenta que a fidelidade do raciocínio latente é uma propriedade do estágio de treinamento e do formato da resposta, não meramente um atributo estático da arquitetura final ou do checkpoint.

Contribuição Metodológica: O trabalho demonstra que avaliar o raciocínio latente apenas na convergência é insuficiente. Revela que dinâmicas de treinamento qualitativamente diferentes podem levar a endpoints não fiéis semelhantes, e que métricas de fidelidade podem reverter de direção baseadas no formato de saída.
Interpretação da Não-Fidelidade: Os achados sugerem que, em configurações de escolha binária, os passos de raciocínio latente podem desenvolver um "viés de resposta removível" em vez de realizar computação necessária, enquanto em configurações abertas, eles podem manter ou aumentar seu papel causal.
Limitações: Os autores observam que suas edições contrafactuais verificadas dependem de oráculos determinísticos (como solvers BFS), limitando a aplicação imediata para tarefas sem tal verificação de verdade fundamental. O estudo também é limitado ao backbone GPT-2 small para garantir a reprodutibilidade tratável de trajetórias completas de treinamento.

Em conclusão, o artigo postula que compreender o raciocínio latente requer analisar a trajetória do aprendizado e o formato da saída, em vez de confiar em avaliações de checkpoints finais que podem obscurecer mudanças críticas no comportamento do modelo.