Resumo Técnico: O Raciocínio Latente Geométrico Induz Gerações Mais Curtas em LLMs

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) atualmente resolvem problemas complexos gerando longas cadeias de tokens de raciocínio explícitos (ex: Cadeia de Pensamento ou CoT - Chain-of-Thought). Embora eficaz, essa abordagem incorre em um overhead computacional significativo, é sensível ao comprimento da geração e força os passos intermediários de raciocínio para o domínio de linguagem natural discreta. Essa rigidez compele os modelos a se comprometerem prematuramente com tokens de vocabulário específicos em cada etapa, potencialmente obscurecendo a verdadeira computação interna.

Embora o "raciocínio latente" ofereça uma alternativa contínua ao deslocar a computação intermediária para espaços de representação contínuos, os métodos existentes enfrentam desafios fundamentais. Abordagens que alimentam estados ocultos não restringidos de volta ao modelo sofrem com incompatibilidades no espaço de embeddings, enquanto aquelas que dependem de módulos auxiliares ou destilação de conhecimento introduzem dependências de treinamento complexas e fricções arquiteturais. Um desafio central permanece: determinar a estrutura ideal para estados latentes contínuos que se alinhe à geometria pré-treinada do modelo.

Metodologia: Raciocínio Latente Geométrico (GLR)

Os autores propõem o Raciocínio Latente Geométrico (GLR), que reformula o raciocínio latente como um problema de aproximação de trajetória geométrica dentro do espaço de embedding de tokens pré-treinado do modelo.

Conceito Central

Em vez de aprender um espaço latente sem restrições, o GLR hipotetiza que estados intermediários úteis existem nas vizinhanças locais de trajetórias induzidas por tokens discretos. O método trata o CoT textual padrão como uma trajetória discreta através do espaço de embedding e aprende a aproximar essas transições usando vetores contínuos.

Arquitetura e Treinamento

1. Cabeça de Transição Latente: Uma camada linear leve ($g_\phi$) é adicionada ao modelo de linguagem. Ela recebe o estado oculto atual ($h_{i-1}$) e prevê um vetor de deslocamento contínuo ($\Delta \hat{e}_i$) no espaço de embedding.
2. Objetivo de Treinamento: O modelo é treinado usando um procedimento de duas passagens sobre traços de CoT textuais:
   • Primeira Passagem: O modelo processa a sequência discreta original para coletar deslocamentos de embedding exatos ($\Delta e_i = e_i - e_{i-1}$) entre tokens de raciocínio consecutivos.
   • Segunda Passagem: Os tokens de raciocínio discretos são substituídos por estados latentes contínuos gerados pela aplicação da saída da cabeça de transição ao estado latente anterior.
   • Função de Perda: A perda total combina a Entropia Cruzada (CE) padrão nos tokens da resposta final com um Erro Quadrático Médio (MSE) com desconto de posição nas transições latentes. O fator de desconto ($\gamma$) reduz a penalidade para posições de raciocínio posteriores, permitindo que o modelo se desvie mais do traço de texto original conforme o raciocínio progride. Crucialmente, nenhuma CE por nível de token é aplicada às posições de substituição latente, pois esses estados não pretendem ser verbalizáveis de forma independente.
3. Inferência: Na inferência, o modelo inicia o raciocínio com um número fixo de passos latentes contínuos ($K$). Para cada passo, a cabeça de transição prevê uma atualização, e o embedding contínuo resultante é alimentado de volta no modelo. Após $K$ passos, o modelo retoma a decodificação de tokens autorregressiva padrão para gerar a resposta final.

Principais Contribuições

• Formulação Geométrica: O artigo formula o raciocínio latente como um problema de aproximação de trajetória geométrica dentro do espaço de embedding de tokens pré-treinado, oferecendo uma alternativa estruturada ao feedback de estado oculto não restringido.
• Método GLR: Introdução de um método que aprende atualizações contínuas no espaço de embedding a partir de trajetórias de CoT textuais usando um objetivo de transição simples com desconto de posição.
• Redução Emergente de Comprimento: Demonstração de que o GLR induz gerações substancialmente mais curtas em benchmarks de raciocínio matemático sem uma penalidade ou objetivo de comprimento explícito.
• Troca de Precisão-Comprimento: Identificação de um tradeoff controlável governado pelo número de passos latentes ($K$), expondo um novo mecanismo de inferência para alocar computação entre atualizações latentes contínuas e geração de texto explícito.

Resultados Experimentais

Os autores avaliaram o GLR utilizando modelos Qwen3 (0.6B e 1.7B) em seis benchmarks de raciocínio matemático (GSM8K, MATH500, MultiArith, AMC23, OlympiadBench e SVAMP), comparando-o com uma linha de base de Ajuste Fino Supervisionado de Cadeia de Pensamento (CoT-SFT) padrão.

• Desempenho sob Orçamento Restrito: Sob orçamentos de geração estritamente limitados (ex: $\le$ 256 passos), o GLR supera significativamente o CoT-SFT. Por exemplo, no MATH500 com um orçamento de 512 passos, o CoT-SFT alcançou precisão próxima de zero, enquanto o GLR-10 resolveu mais de 40% dos problemas. Isso sugere que as transições latentes substituem prefixos de raciocínio explícitos redundantes, permitindo que o modelo retome a decodificação a partir de um estado de raciocínio mais avançado.
• Redução do Comprimento de Geração: Para respostas corretas, o GLR requer substancialmente menos passos de geração totais do que o CoT-SFT. No MATH500, o comprimento mediano de geração para o CoT-SFT foi de $\sim$2.000 tokens, enquanto orçamentos latentes moderados (GLR-10, GLR-20) reduziram isso para $\sim$350 passos. Esta redução é emergente e não foi explicitamente otimizada via penalidade de comprimento.
• Generalização: A redução de traços de raciocínio redundantes foi observada em diversos benchmarks, incluindo aritmética simples (SVAMP), onde o GLR reduziu os comprimentos medianos de geração de $\sim$500–700 tokens para $\sim$100 passos.
• Dinâmica Latente: Um estudo de ablação com $K=0$ (desativando o rollout latente durante a inferência, mas mantendo o backbone treinado via GLR) mostrou que o modelo retornava a gerações explícitas longas. Isso confirma que a redução de comprimento é impulsionada pelo uso de deslocamentos contínuos aprendidos durante a inferência, e não meramente pelo processo de treinamento ou mascaramento de perda.
• Não-Monotonicidade: A relação entre passos latentes ($K$) e precisão é não-monotônica. Valores moderados de $K$ produzem o melhor tradeoff, enquanto passos latentes excessivos (ex: $K=80$ ou $100$) podem degradar a precisão devido ao acúmulo de deriva geométrica (geometric drift), onde erros na cabeça de transição afastam o estado latente da trajetória de raciocínio induzida por tokens.

Significância e Alegações

O artigo alega que os espaços de embedding de tokens pré-treinados podem suportar estados de raciocínio intermediários úteis além dos tokens discretos. Ao substituir o início do raciocínio explícito por passos latentes contínuos, o GLR permite que os modelos alcancem respostas corretas com substancialmente menos passos de geração totais.

Os autores posicionam o GLR como uma fundação geométrica principiada para o raciocínio eficiente em termos de tokens. Ele expõe um novo tradeoff entre o orçamento de computação latente, o comprimento do output e a precisão, fornecendo um mecanismo simples para controlar o custo e a forma do raciocínio em tempo de teste. O trabalho sugere que trajetórias contínuas atuam como estados de raciocínio intermediários compactos, efetivamente contornando transições discretas redundantes que são frequentemente necessárias para textos legíveis, mas que carregam pouco conteúdo de raciocínio.