Resumo Técnico: Autoconsistência via Afiamento Marginal

Declaração do Problema

Os modelos de linguagem modernos resolvem cada vez mais tarefas complexas gerando traços de raciocínio intermediários (por exemplo, derivações, esboços de código, esboços de prova) antes de emitir uma resposta final. Embora métodos de inferência padrão, como o prompt de Cadeia de Pensamento (Chain-of-Thought), elicitem esse comportamento, eles frequentemente dependem da amostragem de uma única trajetória ou do uso de votação majoritária post-hoc (autoconsistência) para selecionar a resposta final.

Os autores identificam uma limitação fundamental nos métodos existentes de afiamento no momento da inferência, especificamente na amostragem de potência (power sampling). A amostragem de potência afia a distribuição sobre sequências geradas completas (a distribuição conjunta do traço de raciocínio $z$ e da resposta $a$). O artigo argumenta que este é o nível de abstração errado para o raciocínio:

1. Emaranhamento de Variáveis Latentes: Um traço de raciocínio é um cálculo latente. Muitos traços distintos podem levar à mesma resposta correta.
2. Concorrência vs. Suporte: O afiamento ao nível da sequência trata derivações alternativas ou implementações da mesma solução como concorrentes, concentrando a probabilidade em transcrições completas específicas em vez de na própria resposta.
3. Fragilidade da Votação: A autoconsistência padrão (votação majoritária) exige correspondência exata de strings. Em domínios estruturados como código ou provas, a mesma solução subjacente pode manifestar-se em muitas formas superficiais (nomes de variáveis diferentes, fluxos de controle ou ordens de lemas diferentes), fazendo com que a votação fragmente o suporte entre variações válidas.

O problema central é como aproveitar múltiplos traços de raciocínio para amplificar a probabilidade da resposta correta sem exigir concordância exata de strings ou incorrer no custo computacional de buscar sobre trajetórias completas.

Metodologia: Afiamento Marginal

Os autores propõem o Afiamento Marginal, um objetivo no momento da inferência que desloca o alvo da distribuição conjunta $\pi(z, a | x)$ para a marginal de resposta afiada $p_{\alpha}^{marg}(a | x)$.

Estrutura Teórica

1. Decomposição: A conclusão do modelo $y$ é analisada em um traço de raciocínio $z$ e um segmento de resposta final $a$. O modelo induz uma marginal de resposta natural $m(a | x) = \sum_z \pi(z, a | x)$.
2. Distribuição Alvo: Em vez de afiar a distribuição conjunta, o método define uma distribuição de potência sobre a marginal de resposta:
   $$p_{\alpha}^{marg}(a | x) = \frac{m(a | x)^\alpha}{\sum_{a'} m(a' | x)^\alpha}$$
   onde $\alpha > 1$ é a força de afiamento. À medida que $\alpha \to \infty$, isto converge para a resposta com o suporte marginal máximo (o alvo ideal de autoconsistência).
3. Representação de Potência Inteira: Para força de afiamento inteira $K$, os autores derivam uma decomposição exata usando $K$ traços de raciocínio independentes. A distribuição alvo pode ser expressa como uma expectativa sobre $K$ traços amostrados independentemente $z_{1:K}$:
   $$p_{K}^{marg}(a | x) \propto \mathbb{E}_{z_{1:K}} \left[ \prod_{i=1}^K \pi(a | x, z_i) \right]$$
   Esta formulação conecta a autoconsistência à amostragem de uma distribuição alvo ao nível da resposta.

Algoritmo: Decodificação Autoregressiva Paralela

Amostrar diretamente da distribuição derivada é intratável porque requer a soma sobre todas as possíveis continuações futuras (o "normalizador de continuação"). Os autores propõem um algoritmo leve de decodificação autoregressiva paralela (Algoritmo 1) que aproxima este alvo:

1. Geração de Traços: Gere $M = K \times S$ traços de raciocínio, agrupados em $S$ conjuntos de $K$ traços cada.
2. Aproximação ao Nível de Token: Em vez de calcular a probabilidade da sequência completa, o algoritmo decodifica a resposta token a token. Em cada passo $t$, calcula uma distribuição ponderada sobre o vocabulário:
   $$q_t^{(S)}(v | x, a_{<t}) \propto \sum_{s=1}^S w_s(a_{<t}) \exp\left( \sum_{i=1}^K \log \pi(v | x, z_i^{(s)}, a_{<t}) \right)$$
   • Pesos de Prefixo ($w_s$): Estes pesos rastreiam a probabilidade do prefixo de resposta já gerado sob cada grupo de $K$ traços. Eles são atualizados online à medida que os tokens são amostrados.
   • Aproximação Local: O algoritmo ignora o "normalizador de continuação" intratável (a probabilidade de tokens futuros), tratando-o como um fator comum que se cancela durante a normalização local.
3. Amostragem: O algoritmo amostra o próximo token desta distribuição, atualiza os pesos do prefixo e repete até que a resposta termine.

Esta abordagem permite que o modelo gere uma única resposta que é "suportada" por múltiplos caminhos de raciocínio, efetivamente realizando autoconsistência suave durante a geração, em vez de como uma etapa de votação post-hoc.

Contribuições Principais

1. Formulação do Afiamento Marginal: O artigo define um objetivo no momento da inferência que trata traços de raciocínio como variáveis latentes e afina a distribuição de resposta induzida, em vez da distribuição conjunta de traços e respostas.
2. Decomposição Multi-Traço: Os autores demonstram que, para forças de afiamento inteiras, a marginal de resposta afiada admite uma decomposição em uma expectativa sobre $K$ traços de raciocínio independentes, conectando teoricamente a autoconsistência à amostragem ao nível da resposta.
3. Algoritmo de Decodificação Eficiente: Eles propõem um algoritmo autoregressivo paralelo que amostra aproximadamente desta distribuição afiada. É puramente autoregressivo, não requer canonicalizadores externos e evita o custo quadrático de geração de tokens da amostragem de potência ao nível da sequência.
4. Validação Empírica: O método é avaliado em benchmarks de raciocínio matemático (MATH-500) e geração de código (HumanEval+, LiveCodeBench).

Resultados

Os experimentos utilizam modelos da família Qwen (1.7B, 4B, 8B) em três benchmarks.

• Desempenho vs. Amostragem de Potência: O afiamento marginal supera significativamente a amostragem de potência padrão em benchmarks de geração de código (HumanEval+ e LiveCodeBench). No MATH-500, ele performa de forma comparável ou ligeiramente abaixo da votação majoritária (que é uma linha de base forte para matemática devido a espaços de resposta pequenos e verificação simbólica).
• Eficiência: O método é ordens de magnitude mais rápido que a amostragem de potência para gerações longas. Para $L=8192$, o afiamento marginal foi 38× mais rápido que a amostragem de potência no benchmark HumanEval+, enquanto alcançava maior precisão. A amostragem de potência requer geração de tokens $O(L^2)$ devido à reamostragem, enquanto o afiamento marginal requer $O(L)$.
• Hiperparâmetros:
  • Força de Afiamento ($K$): Aumentar $K$ geralmente melhora o desempenho ao concentrar a probabilidade em respostas suportadas por múltiplos traços, embora aumente o cálculo.
  • Contagem de Amostras ($S$): Aumentar $S$ (o número de grupos de traços) melhora a qualidade da aproximação ao nível de token, produzindo ganhos consistentes, particularmente em orçamentos de geração mais baixos.
  • Alocação de Orçamento: Sob um orçamento total de computação fixo ($K \times S = \text{const}$), diferentes alocações entre força de afiamento e contagem de amostras produzem resultados comparáveis, sugerindo uma compensação onde o afiamento agressivo e a melhor qualidade de aproximação se compensam amplamente.

Significado e Alegações

O artigo alega que a autoconsistência deve ser entendida como um princípio de inferência ao nível da resposta, em vez de uma heurística de votação post-hoc.

• Mudança de Foco: Ao mirar na marginal de resposta, o método agrega corretamente o suporte através de diversos caminhos de raciocínio (por exemplo, diferentes implementações de código ou estratégias de prova) que métodos ao nível da sequência tratam como saídas distintas e concorrentes.
• Escalabilidade: O algoritmo proposto permite os benefícios da autoconsistência em domínios com grandes espaços de saída estruturados (como código), onde a correspondência exata de strings falha, sem o custo computacional proibitivo de busca completa de trajetória ou reamostragem.
• Praticidade: O método é uma versão "suave" da autoconsistência que pode ser implementada com modelos autoregressivos padrão e decodificação paralela, tornando-o uma alternativa prática à amostragem por temperatura e à amostragem de potência para tarefas de raciocínio.

Os autores concluem que a computação no momento do teste é mais efetivamente gasta no refinamento da crença na resposta induzida pelo raciocínio latente do que na seleção do único transcrição completa mais provável.