The Illusion of Superposition? A Principled Analysis of Latent Thinking in Language Models

Título: A Ilusão da Superposição? Uma Análise Principiada do Pensamento Latente em Modelos de Linguagem

1. Problema e Motivação

O raciocínio em cadeia de pensamento (Chain-of-Thought ou CoT) discreto tornou-se o padrão para resolver problemas complexos em Grandes Modelos de Linguagem (LLMs). Recentemente, propôs-se o CoT Latente (ou "pensamento contínuo"), onde o modelo raciocina em um espaço contínuo de embeddings em vez de selecionar tokens discretos do vocabulário.

A hipótese central que motiva essa abordagem é a superposição: a capacidade teórica de um modelo manter múltiplas soluções candidatas simultaneamente dentro de uma única representação latente, explorando vários caminhos de raciocínio antes de se comprometer com uma resposta final. Isso seria uma vantagem fundamental sobre o CoT discreto, que deve escolher um único token a cada passo.

No entanto, não há evidências empíricas claras de que os LLMs realmente utilizem essa superposição. O artigo investiga a seguinte questão de pesquisa:

A superposição realmente ocorre em modelos de CoT latente?

2. Metodologia

Os autores analisam o fenômeno da superposição através de três regimes experimentais distintos, utilizando técnicas de interpretabilidade como Logit Lens (para projetar representações internas no espaço de vocabulário) e sondagem em nível de entidade (para rastrear a evolução das crenças do modelo sobre entidades em tarefas de raciocínio).

Os três regimes analisados são:

1. Regime Livre de Treinamento (Training-free): Utiliza o método "Soft Thinking" (Zhang et al., 2025). Neste cenário, as "pensamentos latentes" são construídos artificialmente como combinações convexas (somas ponderadas) de embeddings de tokens existentes, sem treinar o modelo.
2. Regime de Ajuste Fino (Fine-tuned): Utiliza o método "Coconut" (Hao et al., 2024). Um modelo base pré-treinado é adaptado (fine-tuned) para gerar pensamentos latentes contínuos através de um currículo em etapas.
3. Regime "Do Zero" (From-Scratch): Um modelo pequeno (estilo GPT-2) é treinado exclusivamente com pensamentos latentes para resolver uma tarefa específica, sem pré-treinamento em linguagem natural.

Tarefas e Modelos:

• Soft Thinking: Testado em modelos QwQ-32B e Qwen2-1.5B em benchmarks matemáticos (MATH500, AIME2024, GSM8K).
• Coconut: Testado em GPT-2 (124M) na tarefa sintética ProsQA (traversal de grafos) e ProntoQA.

3. Principais Contribuições e Resultados

A. Modelos Pré-treinados e Ajuste Fino não Utilizam Superposição

• Soft Thinking (Livre de Treinamento): Ao comparar perfis de entropia entre tokens "soft" (superpostos) e tokens discretos, os autores encontraram que as representações internas são quase idênticas. A entropia colapsa para zero nas camadas finais da mesma forma que no CoT discreto.
  • Intervenção: Substituir um token "soft" por seu token discreto correspondente (argmax) resulta em uma divergência KL e similaridade de cosseno quase nulas. Isso indica que o modelo "colapsa" a superposição imediatamente, tratando o input como um único token discreto.
• Coconut (Ajuste Fino): O modelo ajustado alcançou 96,6% de precisão na tarefa ProsQA sem usar nenhum token latente (apenas a entrada da pergunta).
  • Análise de Crença: A sondagem revelou que o modelo não realiza raciocínio passo a passo. Em vez disso, ele aprende um "atalho": extrai a resposta final diretamente da representação da pergunta e a copia através dos tokens latentes. A entidade "alvo" domina a distribuição de probabilidade desde o primeiro passo, ignorando os vizinhos corretos intermediários.

B. A Superposição Só Emerge em Modelos Treinados "Do Zero"

• Quando um modelo pequeno é treinado do zero especificamente para raciocinar com pensamentos latentes, ele exibe sinais de superposição.
• A análise de crença mostra que o modelo mantém uma distribuição de probabilidade significativa entre a "próxima entidade correta" e outros vizinhos possíveis durante os passos intermediários, indicando que ele está realmente explorando múltiplos caminhos antes de decidir.
• Neste regime, a remoção dos passos latentes causa uma queda drástica de desempenho (ex: de 94,5% para 13,8%), provando que os tokens latentes são essenciais para o raciocínio.

C. Explicação para o Colapso da Superposição
Os autores identificam dois fenômenos complementares que explicam por que a superposição falha em modelos pré-treinados ou ajustados:

1. Viés de Pré-treinamento (Comprometimento de Token): Modelos treinados para previsão do próximo token aprendem a comprometer-se com um token específico nas camadas finais. Quando apresentados a uma entrada superposta, o modelo projeta essa entrada na interpretação discreta mais próxima, pois é isso que foi otimizado durante o pré-treinamento. A entropia das distribuições de logits cai drasticamente nas últimas camadas em modelos pré-treinados, mas permanece alta em modelos com pesos aleatórios.
2. Capacidade do Modelo: Mesmo em modelos treinados do zero, modelos com capacidade excessiva (muitas camadas) tendem a aprender atalhos e falhar em desenvolver superposição. Modelos menores e mais restritos são mais propensos a utilizar o mecanismo de superposição corretamente.

4. Significado e Conclusão

O artigo oferece uma explicação unificada para quando e por que a superposição ocorre ou colapsa no raciocínio contínuo:

• A "Ilusão": A superposição em modelos LLMs modernos (pré-treinados ou ajustados) é, em grande parte, uma ilusão. Eles não exploram múltiplos caminhos de raciocínio em paralelo; eles colapsam para uma única interpretação discreta quase imediatamente ou aprendem atalhos que ignoram o processo de raciocínio.
• Condições Necessárias: Para que a superposição seja uma estratégia de raciocínio funcional, é necessário treinar modelos do zero com objetivos específicos e, possivelmente, com capacidade limitada para evitar a descoberta de atalhos.
• Reavaliação do Potencial: Os autores sugerem que o benefício do raciocínio latente pode não ser a superposição de múltiplos caminhos, mas sim a flexibilidade de realizar computações intermediárias que não correspondem a tokens de linguagem natural, evitando o gargalo da discretização.

Em suma, o trabalho alerta para os perigos de assumir que métodos de "pensamento suave" (soft thinking) em modelos existentes ativam capacidades de raciocínio paralelo sofisticadas, e aponta para a necessidade de novos paradigmas de treinamento para realizar o potencial teórico do raciocínio em espaço latente.