How Do Latent Reasoning Methods Perform Under Weak and Strong Supervision?

Título: Como os Métodos de Raciocínio Latente Desempenham Sob Supervisão Fraca e Forte?

1. Problema e Contexto

O Raciocínio de Cadeia de Pensamento (CoT) explícito tem sido fundamental para melhorar as capacidades de raciocínio dos Grandes Modelos de Linguagem (LLMs), decompondo problemas complexos em passos intermediários visíveis. No entanto, o CoT explícito é limitado pela necessidade de expressar o raciocínio em tokens discretos de linguagem natural, o que pode restringir a expressividade e enviesar o modelo para padrões linguísticos convenientes.

Para superar isso, o Raciocínio Latente (ou Implícito) foi proposto. Neste paradigma, o modelo realiza computação iterativa no espaço contínuo latente (espaço de embeddings) sem gerar passos intermediários em texto, retornando ao espaço textual apenas para a resposta final. Embora promissor, os mecanismos internos desse processo permanecem pouco compreendidos. Especificamente, não está claro se o raciocínio latente realmente executa uma busca estruturada (como uma Busca em Largura - BFS) ou se os modelos estão apenas "trapaceando" (usando atalhos) para chegar à resposta correta sem raciocínio genuíno.

2. Metodologia

Os autores realizaram uma análise abrangente de quatro métodos representativos de raciocínio latente, categorizados pelo tipo de sinal de supervisão utilizado durante o treinamento:

• Supervisão Fraca: Métodos onde o raciocínio latente é aprendido indiretamente através do resultado final.
  • Coconut: Treinamento em estágios, reduzindo gradualmente passos textuais em favor de latentes.
  • CODI: Usa um objetivo de nível de resultado e distilação de um modelo professor.
• Supervisão Forte: Métodos que impõem alinhamento explícito e detalhado entre os estados latentes e os passos de raciocínio textuais.
  • SIM-CoT: Adiciona uma perda de reconstrução para forçar o estado latente a corresponder a passos textuais específicos.
  • CoLaR: Usa compressão de tokens para alinhar representações latentes com informações agregadas de nível de token.

Configuração Experimental:

• Modelos Base: GPT-2 e Llama-3.2-1B-Instruct.
• Benchmarks: GSM8K (problemas matemáticos de nível escolar) e ProsQA (raciocínio lógico de primeira ordem).
• Técnicas de Análise:
  1. Variação da Profundidade Latente: Medir a precisão ao alterar o número de passos latentes (incluindo zero passos).
  2. Análise Intervencional: Injeção de ruído gaussiano forte nos estados latentes para ver se o modelo depende deles.
  3. Análise de Atenção: Examinar a quais tokens o modelo presta atenção ao gerar a resposta final.
  4. Verificação da Hipótese BFS: Uso de rollouts híbridos (latente + texto) para verificar se o espaço latente mantém múltiplas trajetórias de raciocínio simultaneamente.

3. Principais Contribuições e Descobertas

A. Comportamento de Atalho (Shortcut Behavior)

Os autores identificaram que muitos métodos de raciocínio latente exibem um comportamento de "atalho", alcançando alta precisão sem depender genuinamente do raciocínio multietapa.

• Evidência: Em tarefas como ProsQA, a precisão permanece alta mesmo quando a profundidade latente é zero (o modelo ignora o raciocínio latente).
• Injeção de Ruído: Quando ruído é injetado nos estados latentes, modelos com supervisão fraca (Coconut, CODI) mantêm uma precisão não trivial, enquanto o CoT explícito cai drasticamente. Isso prova que eles não estão usando o estado latente para raciocinar, mas sim mapeando diretamente a entrada para a saída.
• Atenção: Em alguns casos, a atenção do modelo para gerar a resposta final foca exclusivamente na pergunta de entrada, ignorando completamente os tokens latentes de raciocínio.

B. Falha na Hipótese de Busca em Largura (BFS)

A hipótese original sugeria que o espaço latente permitiria uma exploração paralela de múltiplos caminhos (como uma BFS).

• Descoberta: Embora uma única representação latente possa codificar múltiplas possibilidades, o processo de raciocínio não executa uma BFS fiel.
• Poda Implícita: À medida que as iterações latentes progridem, ocorre uma "poda" implícita de caminhos candidatos. A diversidade de soluções possíveis diminui à medida que mais passos latentes são adicionados, em vez de crescer continuamente como esperado em uma BFS.
• Diversidade vs. Precisão: O raciocínio latente gera uma maior diversidade de respostas finais (maior Pass@100), mas essa diversidade não se concentra na solução correta. A precisão por votação majoritária (Majority Vote) é frequentemente inferior à do CoT explícito, indicando que o modelo não consegue agregar corretamente as trajetórias diversas para encontrar a resposta certa.

C. O Trade-off da Força de Supervisão

O estudo revela um compromisso fundamental (trade-off) entre a força da supervisão e a capacidade de exploração:

• Supervisão Forte (ex: CoLaR, SIM-CoT): Reduz drasticamente o comportamento de atalho e força o modelo a codificar informações significativas nos passos intermediários. No entanto, isso limita a diversidade de trajetórias candidatas no espaço latente (poda excessiva).
• Supervisão Fraca (ex: Coconut, CODI): Permite representações latentes mais ricas e diversas (maior capacidade de manter múltiplas hipóteses), mas é altamente suscetível ao comportamento de atalho, onde o modelo ignora o raciocínio latente se conseguir adivinhar a resposta diretamente.

4. Resultados Quantitativos Chave

• GSM8K: A precisão geralmente aumenta com mais passos latentes, mas métodos com supervisão fraca ainda mantêm ~30% de precisão com 0 passos latentes.
• ProsQA: A maioria dos métodos (exceto CoLaR) não mostra mudança de desempenho ao variar a profundidade latente, indicando dependência total de atalhos.
• CoLaR: É o método mais sensível à profundidade latente (desempenho cai para quase zero sem passos latentes), devido à sua supervisão forte que impede atalhos, mas também limita a diversidade de exploração.
• Pass@100 vs. Majority Vote: Métodos latentes mostram Pass@100 significativamente maior que o CoT explícito (ex: 70% vs 45%), mas a precisão de votação majoritária é menor ou igual, sugerindo que a diversidade extra não é útil para a solução correta.

5. Significado e Conclusão

Este trabalho fornece uma compreensão crítica dos mecanismos internos do raciocínio implícito, desafiando a visão otimista de que o espaço latente funciona automaticamente como um motor de busca paralelo robusto.

• Implicações: O raciocínio latente não é uma "caixa preta" mágica; ele sofre de colapso de padrões e atalhos, especialmente sob supervisão fraca.
• Direção Futura: O campo precisa desenvolver métodos que equilibrem a supervisão (para evitar atalhos) com a flexibilidade de exploração (para manter a diversidade de hipóteses). Simplesmente aumentar a profundidade latente ou a diversidade de amostragem não garante melhores resultados se o modelo não aprender a agregar corretamente essas trajetórias para a solução final.

Em resumo, o papel da representação latente é complexo: ela pode codificar múltiplas possibilidades, mas sem mecanismos adequados de supervisão e agregação, o modelo tende a ignorar essa capacidade em favor de mapeamentos diretos e superficiais.