Resumo Técnico: Impulsionando a Inferência com Raciocínio Guiado

Declaração do Problema

Avanços recentes em raciocínio estruturado demonstraram que redes neurais minúsculas (por exemplo, 7M de parâmetros) usando arquiteturas recursivas podem igualar o desempenho de grandes modelos de linguagem em tarefas como Sudoku e resolução de labirintos. No entanto, esses modelos dependem de recursão determinística, que representa um "limite de uma partícula, sem ruído" de um sistema dinâmico latente mais amplo. Embora essas arquiteturas frequentemente contenham componentes aprendidos, como cabeças Q de parada antecipada, a maneira ótima de utilizar esses componentes no momento da inferência — especificamente como alocar computação adicional entre trajetórias de raciocínio latente alternativas sem retreinamento — permanece uma questão em aberto. O desafio central é determinar quando um modelo possui "margem no nível da trajetória" (ou seja, soluções bem-sucedidas existem próximas ao caminho determinístico) e se o guia interno do modelo pode identificá-las efetivamente.

Metodologia

Os autores propõem um framework para Exploração Estocástica Guiada, tratando a inferência como inferência aproximada sobre trajetórias de raciocínio latente. O método opera sobre uma espinha dorsal pré-treinada congelada e introduz três componentes-chave:

1. Kernel de Proposta Estocástica: A recursão interna determinística é generalizada injetando ruído Gaussiano ($\sigma$) a cada passo. Isso cria uma "nuvem" de trajetórias latentes vizinhas ao redor do caminho determinístico, efetivamente alargando o espaço de busca sem modificar os pesos da espinha dorsal.
2. Inclinação da Cabeça Q (Feynman–Kac): A cabeça Q de parada antecipada existente do modelo (originalmente treinada como um classificador binário para correção da solução) é reaproveitada como um guia aprendido. Ela repondera a nuvem de partículas online por meio de uma inclinação exponencial (fluxo Feynman–Kac). Especificamente, a probabilidade de uma trajetória é ajustada por $G_\beta(h) = \exp(\beta q_\theta(h))$, onde $q_\theta$ é a estimativa na escala de logit de sucesso e $\beta$ é um parâmetro de temperatura inversa.
3. Filtro de Partículas Bootstrap: O framework implementa uma abordagem de Monte Carlo sequencial. Partículas (trajetórias) são propagadas através do kernel estocástico, reponderadas pela cabeça Q e reamostradas quando o Tamanho de Amostra Efetivo (ESS) cai abaixo de um limiar. A saída final é a estimativa de Máxima A Posteriori (MAP) ponderada sobre as respostas decodificadas.

Contribuições Principais

O artigo introduz um framework teórico e operacional para adaptação no momento da inferência em modelos recursivos:

• Framework de Inferência Aproximada: Um mecanismo de proposta estocástica e um algoritmo de seleção guiada que recuperam o TRM determinístico original exatamente no limite de ruído zero e uma única partícula.
• Três Diagnósticos Sem Rótulos: Os autores derivam três métricas para prever se a exploração guiada melhorará o desempenho e quais saídas confiar:
  1. Estabilidade Local: Um limite (Proposição 5.1) garantindo que perturbações estocásticas permaneçam dentro de um "tubo" ao redor do caminho determinístico, prevenindo divergência.
  2. Alinhamento do Guia: Uma caracterização (Lema 5.4) e dois diagnósticos:
     • Gap condicional à classe ($\hat{\Delta}_n$): Mede a separação nos escores da cabeça Q entre trajetórias bem-sucedidas e falhas (requer rótulos).
     • Limite de Dispersão Q (Eq. 19): Uma condição necessária sem rótulos que mede a variância da cabeça Q através da nuvem de partículas. Se a dispersão for muito baixa, o guia não consegue distinguir trajetórias bem-sucedidas e nenhuma melhoria é possível.
  3. Entropia de Token: Entropia de Shannon das marginais de token (terminais e integradas ao longo do caminho) para classificar a incerteza e apoiar a abstenção seletiva em tokens de alto risco.
• Melhoria Sem Retreinamento: O método melhora a precisão de resolução exata no Sudoku-Extremo de 85,9% para 98,0% sem retreinar a espinha dorsal.

Resultados Experimentais

O framework foi avaliado em dois benchmarks usando espinhas dorsais de Modelo Recursivo Minúsculo (TRM) congeladas:

• Sudoku-Extremo:

  • Desempenho: A exploração estocástica guiada aumentou a precisão de resolução exata de 85,9% para 98,0% no conjunto de teste. Na divisão de "falha determinística" (onde a linha de base falha 100% das vezes), o método recuperou 85,9% de precisão, quase fechando a lacuna para o limite superior da partícula oráculo (86,0%).
  • Diagnósticos: Ambas as condições de estabilidade e alinhamento do guia foram atendidas. O limite de dispersão Q permitiu uma mudança de massa de >12,5%, consistente com os ganhos observados.
  • Incerteza: A entropia de token classificou com sucesso o risco de erro, permitindo abstenção seletiva para alcançar 100% de precisão no conjunto de teste retido.

• Labirinto-Difícil:

  • Desempenho: A exploração estocástica expôs 5% de margem de partícula oráculo (melhorando o desempenho não guiado de 86,6% para 90,9%), mas o MAP guiado retornou ao desempenho da linha de base (85,3%).
  • Diagnósticos: Embora as trajetórias fossem localmente estáveis, o diagnóstico de dispersão Q previu corretamente a falha. O guia da cabeça Q estava "muito plano" (baixa variância entre partículas), falhando em concentrar massa em trajetórias bem-sucedidas. O limite sem rótulos sinalizou esse desalinhamento a priori, confirmando que o guia interno não podia recuperar a margem disponível.

Significado e Alegações

O artigo argumenta que o comportamento no momento da inferência de arquiteturas recursivas é melhor compreendido como inferência aproximada sobre trajetórias latentes. Seu significado principal reside em:

1. Operacionalização da Computação no Momento da Inferência: Demonstra que computação adicional pode ser efetivamente alocada entre trajetórias estocásticas usando componentes existentes do modelo (a cabeça Q) sem retreinamento.
2. Diagnósticos Preditivos: O trabalho fornece uma base teórica para prever quando o raciocínio recursivo tem espaço para melhoria. O limite de dispersão Q serve como um verificador sem rótulos que pode identificar casos onde o guia interno é insuficiente (como visto no Labirinto-Difícil) antes que qualquer avaliação seja realizada.
3. Margem no Nível da Trajetória: Os resultados sugerem que modelos recursivos pequenos frequentemente possuem "margem" (trajetórias bem-sucedidas existem próximas ao caminho determinístico), mas recuperar esse potencial requer tanto exploração estável quanto um guia interno suficientemente alinhado com o sucesso.

Os autores concluem que, embora a cabeça Q atual seja uma instância específica, o framework sugere uma direção mais ampla onde o guia poderia ser um objeto de design de primeira classe, potencialmente permitindo que modelos recursivos pequenos atuem como dispositivos de raciocínio reutilizáveis especializados online por meio de guias externos.