Resumo Técnico: Consistência Conjunta (JC)

Definição do Problema

O artigo aborda a Agregação em Tempo de Teste (TTA), o problema de selecionar uma única resposta confiável a partir de um conjunto de $N$ trajetórias de raciocínio candidatas geradas para uma consulta específica. Embora os métodos existentes de Escalonamento em Tempo de Teste (TTS) gerem efetivamente múltiplas trajetórias, suas estratégias de agregação frequentemente sofrem de duas limitações:

1. Isolamento: A maioria dos métodos (por exemplo, Autoconsistência, Autoconsistência Ponderada) avalia as trajetórias independentemente, baseando-se em pontuações absolutas de qualidade ou frequências de resposta. Isso ignora informações comparativas entre os candidatos.
2. Dificuldade de Calibração: A avaliação independente exige que o avaliador produza pontuações absolutas bem calibradas, o que é frequentemente difícil de alcançar, especialmente entre geradores de modelos heterogêneos.
3. Escalabilidade das Comparações: Embora julgamentos comparativos (por exemplo, "A trajetória A é melhor que a trajetória B") sejam frequentemente mais confiáveis que pontuações absolutas, incorporar ingenuamente todas as comparações pareadas incorre em um custo computacional de $O(N^2)$, o que é proibitivo para orçamentos grandes de trajetórias.

Os autores formulam a questão: Como julgamentos comparativos pareados podem ser incorporados à agregação em tempo de teste de maneira principista e computacionalmente eficiente?

Metodologia: Consistência Conjunta (JC)

Os autores propõem a Consistência Conjunta (JC), um quadro unificado formulado como um problema de minimização de energia do tipo Ising com restrições.

1. A Função de Energia

O objetivo da agregação é encontrar um vetor indicador $x \in \{0, 1\}^N$ (onde $x_i=1$ se a trajetória $i$ for selecionada) que minimize a função de energia $H(x)$:
$$\min_{x \in \{1_{I_k} | k \in [K]\}} H(x) := -\mu \langle h, x \rangle - x^\top J x$$
Onde:

• $K$ é o número de respostas candidatas distintas.
• Restrição: O conjunto viável restringe $x$ a selecionar exatamente um grupo de respostas (todas as trajetórias que produzem a mesma resposta).
• $h$ (Campo Externo): Um vetor codificando sinais de avaliação independente (por exemplo, pontuações de LLM-como-juiz para trajetórias individuais).
• $J$ (Matriz de Interação): Uma matriz codificando sinais comparativos pareados (por exemplo, probabilidades de que a trajetória $i$ seja preferida à trajetória $j$).
• $\mu$ (Hiperparâmetro): Controla o compromisso entre avaliação independente e interações pareadas.

2. Construção da Matriz de Interação ($J$)

A matriz $J$ é construída usando comparações de LLM-como-juiz.

• Probabilidades Pareadas: Para trajetórias $y_i$ e $y_j$, o juiz estima $p_\theta(y_i \succeq y_j)$, a probabilidade de que $y_i$ seja melhor que $y_j$.
• Construção Semi-Definida Positiva: Para garantir estabilidade e interpretabilidade, $J$ é definida como $J = CC^\top$, onde a entrada $C_{ij}$ é uma versão normalizada da probabilidade de preferência:
  $$C_{ij} := \sqrt{\frac{p_\theta(y_i \succeq y_j)}{n_i^2 n_j}}$$
  Aqui, $n_i$ é o número de trajetórias que compartilham a mesma resposta que $y_i$. Esta construção implica que duas trajetórias têm uma interação forte se ambas forem preferidas sobre conjuntos semelhantes de trajetórias concorrentes.

3. Interpretação Teórica

Sob uma hipótese de homogeneidade ao nível da resposta (onde todas as trajetórias para uma dada resposta $a^{(k)}$ têm probabilidades de preferência pareada idênticas contra trajetórias de outra resposta $a^{(k')}$), o termo quadrático $x^\top J x$ simplifica-se para uma soma de preferências ao nível da resposta. Isso fornece uma justificação teórica para converter comparações ao nível da trajetória em uma regra de agregação ao nível da resposta.

4. Estratégia de Aproximação Eficiente

Para abordar o custo $O(N^2)$ de calcular $J$ para todos os pares de trajetórias, os autores propõem uma aproximação Top-$\kappa$:

• Em vez de comparar todas as $N$ trajetórias, as interações são estimadas apenas entre os $\kappa$ grupos de respostas mais frequentes.
• Isso reduz a complexidade de $O(N^2)$ para $O(\kappa^2)$, onde $\kappa$ é um pequeno orçamento de consistência (por exemplo, $\kappa=4$).
• A otimização da própria função de energia é tratável ($O(K)$ ou $O(\kappa)$) porque o conjunto viável é restrito a $K$ (ou $\kappa$) grupos de respostas candidatas, evitando a natureza NP-difícil da otimização binária quadrática não restrita (QUBO) geral.

Contribuições Principais

1. Incorporação de Sinais Comparativos: A JC introduz um modelo de minimização de energia com restrições que integra sinais comparativos pareados via uma matriz de interação $J$, juntamente com sinais independentes via um campo externo $h$.
2. Quadro Unificador: A formulação subsume métodos existentes como casos especiais:
   • Autoconsistência (SC): $J=0, \mu=0$ (ou $h$ específico).
   • Autoconsistência Ponderada (WSC): $J=0, \mu > 0$.
   • Apenas Interação: $\mu=0$.
   • Ao variar $\mu$, a JC interpola entre essas estratégias.
3. Escalabilidade: A aproximação Top-$\kappa$ proposta torna a modelagem de interações prática para agregação em grande escala, mantendo os benefícios das comparações pareadas com custos comparáveis à votação ponderada padrão.

Resultados Experimentais

Os autores avaliaram a JC em benchmarks de raciocínio matemático (MathArena: AIME, HMMT, Brumo) e raciocínio em código (CruxEval-O).

• Cenários Crowdsourced (Trajetórias Heterogêneas):
  • A JC superou consistentemente as linhas de base (SC, WSC, Best-of-N, Torneio Knockout) em diversos modelos juízes (Qwen, DeepSeek, variantes do GPT) e orçamentos de trajetórias.
  • No MathArena-C (subconjunto desafiador), a JC com um pequeno $\kappa=4$ alcançou ganhos de precisão superiores a 20% em comparação com a WSC.
  • A JC permaneceu robusta mesmo quando as trajetórias foram geradas por modelos de nível inferior, onde pontuações independentes eram pouco confiáveis, mas a coerência comparativa permaneceu eficaz.
• Cenários Homogêneos (Sinais Intrínsecos):
  • Em configurações onde log-probabilidades ao nível do token estavam disponíveis (por exemplo, DeepSeek-R1, Qwen3), a JC ainda superou linhas de base de avaliação intrínseca como Auto-Certeza e DeepConf.
  • O ganho de desempenho da JC sobre a linha de base mais forte aumentou à medida que o número de trajetórias ($N$) aumentava, indicando melhores propriedades de escalabilidade.
• Eficiência de Custo:
  • O custo da fase de avaliação da JC (consultar o juiz para $h$ e $J$) foi encontrado como sendo inferior a 1% do custo de gerar as trajetórias de raciocínio.
  • O método é robusto à escolha de $\mu$ (faixa ótima tipicamente $[0.5, 1]$) e não requer ajuste fino para modelos juízes específicos.

Significado e Alegações

O artigo alega que a Consistência Conjunta fornece uma abordagem principista e unificada para a agregação em tempo de teste que preenche a lacuna entre avaliação independente e comparação pareada.

• Insight Teórico: Enquadra a agregação como um problema de minimização de energia, oferecendo uma interpretação teórica de como as comparações pareadas se agregam ao nível da resposta.
• Impacto Prático: Demonstra que alavancar sinais comparativos via uma estratégia de aproximação eficiente produz ganhos consistentes sobre as linhas de base mais avançadas sem sobrecarga computacional proibitiva.
• Limitações: Os autores notam modestamente que o trabalho atual foca na agregação de respostas finais em tarefas de raciocínio; a generalização para raciocínio aberto ou resolução de problemas em nível de pesquisa não foi provada. Além disso, a construção específica da matriz de interação $J$ pode não ser ótima, e o método herda as limitações dos modelos de geração e juiz subjacentes.