Resumo Técnico: O Raciocinador Geométrico (TGR)

Declaração do Problema

A escalabilidade do cálculo no tempo de teste provou ser eficaz para aprimorar as capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs) por meio de trajetórias longas de cadeia de pensamento (CoT). No entanto, as abordagens existentes enfrentam um compromisso fundamental entre o custo computacional e a qualidade da cobertura de trajetória.

• Métodos Intensivos em Treinamento: Aprendizado por Reforço (RL) e otimização de preferência (por exemplo, GRPO, SimKO) amortizam o controle de longo horizonte nos pesos do modelo. Embora eficazes para a precisão de amostras únicas, esses métodos exigem cálculo substancial de treinamento e correm o risco de colapsar a distribuição de trajetórias, reduzindo a diversidade.
• Amostragem sem Treinamento: Estratégias de amostragem padrão (por exemplo, Power Sampling, Tree of Thoughts) trocam cálculo por cobertura sem retreinamento. No entanto, elas frequentemente sofrem de retornos decrescentes, pois amostras adicionais permanecem altamente correlacionadas, falhando em expandir o conjunto de trajetórias distintas e válidas.
• Restrições de Memória: A complexidade quadrática dos mecanismos de atenção e a pegada de memória do cache KV criam um gargalo para a implantação prática, tornando a exploração ingênua de longo horizonte intratável sob limites estritos de memória.

Há uma necessidade crítica de um procedimento de busca no tempo de inferência, sem treinamento, que aloque dinamicamente o cálculo para alcançar exploração controlável e cobertura robusta sem incorrer em custos de memória proibitivos ou despesas de treinamento.

Metodologia: O Raciocinador Geométrico (TGR)

O Raciocinador Geométrico (TGR) é um framework sem treinamento que realiza busca de previsão latente informada por variedade. Ele trata o raciocínio como uma busca de caminho em uma variedade latente, evitando restrições rígidas que se tornam frágeis em espaços de alta dimensão.

Arquitetura Central

1. Inferência em Blocos com Reinicializações de KV: O TGR segmenta o raciocínio em blocos de comprimento fixo. Em cada limite de bloco, ele realiza uma reinicialização do cache KV, reconstruindo o cache de prefixo a partir de um contexto explícito limitado (consulta + tokens recentes) enquanto descarta o histórico anterior. Isso garante que o uso de memória permaneça linear ($O(S)$) em relação ao comprimento do bloco, independentemente do horizonte total de raciocínio.
2. Âncoras de Estado Latente: Em vez de depender de transições de estado aprendidas ou verificadores externos, o TGR extrai âncoras latentes de norma unitária compactas ($z_t$) dos estados ocultos nos limites dos blocos. Essas âncoras servem como resumos de estado que transmitem informações de longo alcance através das reinicializações de blocos.
3. Busca de Previsão: Em cada limite, o TGR amostra $K$ âncoras candidatas da vizinhança local do estado atual (via perturbação no espaço tangente na esfera unitária). Ele avalia esses candidatos usando uma função de pontuação geométrica suave antes de gerar o próximo bloco.

O Objetivo de Pontuação

Os candidatos são classificados maximizando uma pontuação composta que equilibra três fatores:
$$\text{Score}(a; c, z) = V_{\text{fore}}(a; c) - \lambda_b P_{\text{bum}}(a; c) - \lambda_u P_{\text{uni}}(a; z)$$

• Valor de Previsão ($V_{\text{fore}}$): Uma estimativa de olhar para frente leve calculada via um rolagem rasa ($s \ll S$ tokens). Mede a consistência da verossimilhança logarítmica do candidato, atuando como um proxy para utilidade imediata sem modelos de recompensa externos.
• Penalidade de Irregularidade ($P_{\text{bum}}$): Um regularizador que penaliza variações de alta frequência na trajetória latente (diferenças discretas de segunda ordem). Isso incentiva transições suaves e coerentes entre blocos.
• Regularizador de Uniformidade ($P_{\text{uni}}$): Uma força repulsiva (penalidade de dobradiça) que desencoraja candidatos de se agruparem muito perto da âncora anterior. Isso promove exploração diversificada e previne o colapso de modos.

Condicionamento da Âncora

Âncoras selecionadas são injetadas no LLM base congelado via injeção residual de baixo posto em cada camada do transformador. Isso permite que o modelo condicione sua geração ao estado latente escolhido sem exigir atualizações de parâmetros ou alterações arquitetônicas.

Contribuições Principais

1. Busca de Previsão Latente Informada por Variedade: O TGR introduz um framework sem treinamento que pontua âncoras latentes em nível de bloco usando um objetivo geométrico suave. Isso permite exploração controlável e cobertura robusta de trajetórias sem atualizações de parâmetros.
2. Robustez Eficiente em Orçamento: O framework melhora significativamente a cobertura de trajetórias robustas (medida pela Área sob a Curva Pass@k, AUC) em benchmarks desafiadores de matemática e código. No Qwen3-8B, o TGR alcança ganhos de até 13 pontos na AUC com sobrecarga de inferência negligenciável (aprox. 1,1–1,3×).
3. Limites de Escalabilidade da Geometria Rígida: O artigo demonstra que a filtragem geométrica rígida (restrições estritas de viabilidade) sofre de taxas de aceitação que desaparecem em espaços latentes de alta dimensão devido à concentração de medida. O TGR estabelece regularização geométrica suave como uma alternativa escalável que preserva o viés geométrico sem o custo proibitivo da amostragem por rejeição.

Resultados Experimentais

O TGR foi avaliado no modelo Qwen3-8B em raciocínio matemático (MATH500, AIME25, OlympiadBench, OmniMath) e geração de código (HumanEval, BigCodeBench, LiveCodeBench).

• Desempenho: O TGR-Latent supera consistentemente as linhas de base, incluindo amostragem sem treinamento (Power Sampling) e abordagens intensivas em treinamento com RL (LCoT-GRPO, Delethink). Ele alcança as maiores pontuações de AUC, indicando capacidade superior de gerar trajetórias de solução distintas e válidas.
• Eficiência: O TGR iguala ou excede o desempenho das linhas de base ajustadas por RL enquanto consome menos tokens de forward totais (por exemplo, 18% menos tokens do que algumas linhas de base de RL em tarefas matemáticas).
• Diversidade: A análise da geometria latente mostra que o TGR mantém uma distribuição de âncoras dispersa, enquanto as linhas de base ajustadas por RL tendem a colapsar em cones estreitos e correlacionados. O termo de uniformidade é crítico para manter essa diversidade.
• Escalabilidade: O método generaliza através de escalas de modelo (1,7B a 14B) e permanece robusto a variações no comprimento do bloco, desde que o horizonte total seja fixo.

Significado e Alegações

O artigo postula que a cobertura robusta no raciocínio de longo horizonte não precisa necessariamente ser amortizada por meio de treinamento caro. Em vez disso, ela pode ser induzida sob demanda via busca estruturada no espaço latente.

• Desacoplamento do Controle do Treinamento: Ao externalizar a orientação geométrica como uma camada de controle no tempo de inferência, o TGR oferece knobs ajustáveis para mediar o compromisso entre valor de olhar para frente, coerência e diversidade. Isso é particularmente eficaz para modelos (por exemplo, apenas SFT) onde a distribuição de trajetórias retém flexibilidade residual.
• Restrições Suaves vs. Rígidas: O trabalho destaca que penalidades geométricas suaves são superiores à filtragem de viabilidade rígida em espaços de alta dimensão, evitando o colapso exponencial das taxas de aceitação enquanto ainda guiam a busca em direção a caminhos coerentes e diversos.
• Implantação Prática: O TGR fornece um caminho para aprimorar as capacidades de raciocínio em orçamentos de cálculo fixos ou modestamente aumentados, tornando-o adequado para aplicações como assistência de programação onde o treinamento de novos modelos é inviável.

Os autores notam limitações, incluindo aumento na latência de inferência devido a rolagens e a exigência de acesso aos estados ocultos (tornando-o menos adequado para APIs de caixa fechada sem interfaces expostas). No entanto, o framework representa um passo significativo em direção ao raciocínio de contexto longo eficiente e sem treinamento.