Resumo Técnico: Repensamento em Tempo de Inferência com Vetores de Pensamento Latente para Raciocínio Matemático

1. Definição do Problema

O raciocínio padrão de Cadeia de Pensamento (Chain-of-Thought - CoT) em Grandes Modelos de Linguagem (LLMs) opera por meio de uma única passagem direta (forward pass), onde o modelo se compromete irrevogavelmente com cada token gerado. Esta arquitetura funde o conhecimento declarativo (o conteúdo do plano de raciocínio) com a execução procedural (a geração sintática de tokens). Consequentemente, erros precoces na geração propagam-se sem controle porque o modelo carece de um mecanismo independente para retroceder, criticar ou refinar sua estratégia de raciocínio antes de finalizar a saída.

Os autores argumentam que o raciocínio eficaz requer uma separação funcional entre "sobre o que raciocinar" (declarativo) e "como verbalizá-lo" (procedural), espelhando a distinção entre o processamento semântico (ex: área de Wernicke) e a produção sintática (ex: área de Broca) na cognição humana.

2. Metodologia

2.1 Modelo Generativo com Vetores de Pensamento Latente

O framework proposto fatoriza o raciocínio em dois componentes distintos:

1. Vetores de Pensamento Latente ($z$): Uma representação contínua e declarativa da estratégia de raciocínio ("o quê").
2. Decodificador Procedural: Um Transformer autorregressivo que gera a sequência de tokens ("como") condicionado a $z$.

O modelo conjunto é definido como:
$$p_\theta(x, z) = p_\alpha(z) p_\beta(x|z)$$
Onde $x$ é a sequência de tokens de base (pergunta + traço de raciocínio) e $\theta = (\alpha, \beta)$ representa todos os parâmetros do modelo.

• Modelo Prior ($p_\alpha(z)$): Diferente das VAEs padrão com priors fixos, este modelo utiliza um mapa de transporte aprendível. Um codificador ($U_\alpha$) transforma tokens de ruído não estruturados $z_0 \sim \mathcal{N}(0, I)$ em vetores de pensamento latente estruturados $z$. Isso cria um manifold aprendido onde a geometria reflete padrões de raciocínio válidos.
• Gerador Guiado pelo Pensamento ($p_\beta(x|z)$): Um decodificador Transformer onde o vetor latente $z$ realiza atenção cruzada (cross-attention) em todas as camadas. Crucialmente, o decodificador utiliza uma janela de contexto curta ($w=64$). Este gargalo arquitetural força o modelo a rotear dependências de longo alcance através de $z$, compelindo o vetor latente a codificar uma estrutura global de nível de sequência, em vez de um contexto local redundante.

2.2 Aprendizado: Otimização de Taxa Dupla

O treinamento emprega um esquema de taxa dupla para separar a adaptação rápida por instância do aprendizado global lento:

• Atualizações Locais Rápidas: Para cada sequência de treinamento, os parâmetros da posterior variacional $(\mu, \sigma^2)$ sobre os tokens de ruído $z_0$ são otimizados diretamente via gradiente descendente (Adam) com uma taxa de aprendizado alta. Nenhum mecanismo de inferência é treinado; cada instância mantém sua própria representação latente otimizada.
• Atualizações Globais Lentas: Os parâmetros do modelo $\theta$ (pesos do codificador e do decodificador) são atualizados com uma taxa de aprendizado padrão e mais baixa.

Esta abordagem evita o colapso da posterior (posterior collapse) e permite que o modelo acumule esquemas gerais ($\theta$) enquanto mantém a precisão por instância via variáveis latentes.

2.3 Repensamento em Tempo de Inferência

No tempo de teste, o modelo emprega um procedimento iterativo estilo Gibbs para refinar a estratégia de raciocínio. Dada uma pergunta $x_q$, o objetivo é aproximar a marginal $p_\theta(x_r|x_q)$ alternando entre geração e reflexão:

1. Gerar: Amostrar um traço de raciocínio candidato $x_r^{(t)}$ condicionado ao pensamento latente atual $z^{(t-1)}$.
   $$x_r^{(t)} \sim p_\beta(x_r | U_\alpha(z_0^{(t-1)}), x_q)$$
2. Refletir: Otimizar o vetor de ruído latente $z_0$ para maximizar a verossimilhança do traço gerado (efetivamente minimizando a divergência KL entre a posterior variacional e a posterior verdadeira).
   $$z_0^{(t)} = \arg \min_{z_0} D_{KL}(q(z_0|x_r^{(t)}, x_q) \parallel p_\theta(z_0|x_r^{(t)}, x_q))$$

Este ciclo permite que o modelo "repense": erros no traço gerado informam um vetor latente refinado, que então guia um traço corrigido na próxima iteração. O processo é teoricamente fundamentado como uma otimização de ascensão de coordenadas sobre um limite inferior variacional (ELBO), garantindo a melhoria monotônica na aproximação da posterior conjunta.

3. Principais Contribuições

1. Framework Generativo: Uma arquitetura inovadora que desacopla o conteúdo declarativo (vetores latentes) da geração procedural, permitindo o aprendizado eficiente onde um modelo pequeno pode superar arquiteturas monolíticas maiores.
2. Repensamento em Tempo de Inferência: Um procedimento estilo Gibbs que refina iterativamente os pensamentos latentes durante o teste, permitindo a autocorreção sem a necessidade de dados de treinamento adicionais ou reparametrização do modelo.
3. Validação Empírica: Demonstração de que o computação em tempo de inferência é um eixo de escalonamento altamente eficaz, ortogonal à contagem de parâmetros.

4. Resultados Experimentais

Os autores treinaram um modelo de 0,2B de parâmetros do zero no conjunto de dados GSM8K-Aug (385 mil exemplos) e o avaliaram em três benchmarks: GSM8K (dentro do domínio), SVAMP (variações de superfície fora do domínio) e MultiArith (raciocínio de múltiplos passos).

• Desempenho: O modelo de 0,2B com 30 iterações de repensamento (Rethink-30) alcançou:
  • 31,54% no GSM8K (superando um modelo CoT-SFT de 3B com 22,70% e um MARCoS de 2B com 24,11%).
  • 51,50% no SVAMP (vs. 27,77% para o MARCoS de 2B).
  • 68,00% no MultiArith (vs. 42,33% para o MARCoS de 2B).
• Eficiência: Mesmo uma única passagem (Rethink-1) superou quase todos os baselines, incluindo modelos com 10 a 15 vezes mais parâmetros.
• Generalização: O método mostrou robustez significativa em benchmarks fora do domínio, atribuída à capacidade do vetor latente de abstrair a variabilidade de superfície dos tokens.

5. Significância e Alegações

O artigo afirma que o raciocínio matemático eficaz pode emergir de uma computação sofisticada em tempo de inferência, em vez de apenas de contagens massivas de parâmetros.

• Escalonamento Ortogonal: Os resultados sugerem que "pensar por mais tempo" (investir computação em refinamento iterativo) é um eixo de escalonamento poderoso que complementa o aumento do tamanho do modelo.
• Alinhamento Cognitivo: Ao separar o planejamento declarativo da execução procedural, o modelo mimetiza mecanismos cognitivos humanos, permitindo a inspeção e revisão de pensamentos antes do comprometimento.
• Verossimilhança como Proxy: Os autores postulam que, quando treinado em demonstrações próximas do nível de especialista, o landscape de verossimilhança naturalmente favorece caminhos lógicos válidos. Portanto, otimizar o vetor latente para maximizar a verossimilhança do traço gerado efetivamente guia o modelo em direção a estratégias de raciocínio corretas.

Os autores observam limitações, especificamente que a dependência da verossimilhança como um proxy para a correção assume dados de treinamento de alta qualidade; em ambientes ruidosos, essa correlação pode enfraquecer, necessitando de sinais de verificação externos em trabalhos futuros.