Resumo Técnico: Avaliação de Confiabilidade ao Nível de Alegação para Raciocínio Eficiente em Tempo de Teste

Declaração do Problema

O escalonamento em tempo de teste (TTS - Test-Time Scaling) emergiu como um paradigma primário para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) sem atualizações de parâmetros. As abordagens existentes geralmente se dividem em três categorias: derivação de sinais intrínsecos de traços únicos (ex: probabilidades de tokens), agregação de resultados de múltiplos traços paralelos (ex: autoconsistência) ou intervenção durante a geração via busca estruturada (ex: ramificação).

Apesar de sua utilidade, esses métodos enfrentam um gargalo fundamental: extrair sinais de confiabilidade precisos e altamente discriminativos permanece difícil à medida que os orçamentos de inferência crescem. Especificamente:

1. Diluição de Sinal: A avaliação do traço completo obscurece erros decisivos, pois tokens de raciocínio rotineiros criam um plano de fundo fracamente discriminativo, reduzindo a relação sinal-ruído.
2. Confiança Lógica vs. Estatística: Uma alta confiança estatística (ex: probabilidades de tokens) não garante solidez lógica; um traço pode ser altamente confiante, mas conter uma falha fatal.
3. Custo Computacional: A verificação ao nível de passo é computacionalmente exaustiva e frequentemente exige supervisão de nível de processo separada ou verificadores treinados.

Existe uma necessidade crítica de uma granularidade intermediária que preencha a lacuna entre a avaliação do traço completo e a avaliação passo a passo, visando diretamente o conteúdo semântico que ancora um traço de raciocínio.

Metodologia: Avaliação de Confiabilidade ao Nível de Alegação (CLR)

Os autores propõem a Avaliação de Confiabilidade ao Nível de Alegação (CLR - Claim-Level Reliability Assessment), um framework livre de treinamento que instacia o princípio da falseabilidade ao nível de alegação. O CLR realoca o computação em tempo de teste de gerar amostras de solução adicionais para a verificação direcionada de alegações decisivas para a decisão.

Mecanismos Principais

1. Avaliação ao Nível de Alegação:
   Em vez de avaliar o traço de raciocínio completo, o CLR condensa cada traço em um conjunto compacto de $M$ alegações decisivas para a decisão ($C_k$). Estas alegações são conclusões intermediárias, restrições ou transformações cuja falha comprometeria a previsão final. Ao filtrar tokens rotineiros, o CLR direciona o computação exclusivamente para os âncoras lógicos que determinam a correção da resposta.

2. Verificação Baseada em Falseabilidade:
   O CLR explora uma assimetria entre a construção da solução e a refutação da alegação. Enquanto construir uma solução válida requer um caminho impecável, refutar uma alegação incorreta requer apenas a identificação de uma única falha decisiva.

   • Processo: Na Etapa 2, o modelo é instruído a buscar evidências de desconfirmação (contradições, contraexemplos, erros fatuais) para cada alegação em $C_k$, usando apenas o problema original e as alegações (sem o traço original).
   • Resultado: Cada alegação recebe um veredito binário: refutada (0) ou não refutada (1). O rótulo "não refutada" indica que a alegação sobreviveu à avaliação, não que ela foi formalmente provada correta.

3. Pontuação e Agregação Não Lineares:
   O CLR converte os vereditos ao nível de alegação em uma pontuação de confiabilidade ao nível de traço ($r_k$) usando uma função não linear:
   $$r_k = \left( \frac{1}{M} \sum_{m=1}^{M} v_{k,m} \right)^M$$
   onde $v_{k,m}$ é o veredito para a alegação $m$.

   • Efeito: O expoente $M$ cria uma penalidade não linear. Uma única alegação decisiva refutada reduz significamente a pontuação do traço, mais do que sob uma média linear. Isso suprime a influência de traços propensos a erros mesmo que sejam numericamente dominantes, permitindo que uma minoria menor e mais confiável de traços reverta um consenso incorreto.

Pipeline de Inferência

O CLR opera em duas etapas com um orçamento fixo de $K$ traços:

1. Etapa 1: Amostrar $K$ traços de solução. Para cada um, gerar a previsão final e $M$ alegações decisivas para a decisão.
2. Etapa 2: Reutilizar o mesmo modelo para verificar as $M$ alegações para cada um dos $K$ traços.
3. Agregação: Mapear vereditos para pontuações de confiabilidade e realizar a agregação ponderada pela confiabilidade de previsões equivalentes.

Contribuições Principais

• Princípio da Falseabilidade ao Nível de Alegação: O artigo formula a falseabilidade ao nível de alegação como um princípio distinto para TTS, mudando o foco de resolução aberta para a busca de evidência negativa direcionada.
• Framework Livre de Treinamento: O CLR não requer treinamento adicional ou verificadores externos, utilizando as capacidades do próprio modelo base para geração e verificação.
• Agregação Não Linear: A introdução de um mecanismo de pontuação não linear ($s^M$) comprime efetivamente o espaço de sobrevivência de traços incorretos de alta confiança, abordando o problema do consenso errôneo.
• Eficiência: O CLR demonstra que realocar metade do orçamento de inferência da geração para a verificação pode melhorar a precisão ou a eficiência de tokens, dependendo do regime do modelo.

Resultados Experimentais

Os autores avaliaram o CLR em quatro LLMs (Gemma-4-12B-it, GPT-OSS-20B, GPT-OSS-120B, Qwen3.5-27B) através de quatro benchmarks de raciocínio (HMMT25, HMMT26, CMIMC25, Apex-shortlist). As comparações foram feitas contra a Autoconsistência padrão (Cons) sob orçamentos de chamadas de modelo equivalentes (CLR@32 vs. Cons@64).

• Ganhos de Precisão:

  • GPT-OSS-20B no CMIMC25: O CLR melhorou a precisão de 77,50% (Cons@64) para 82,19% enquanto utilizava 37,0% menos tokens gerados. Superou o Pass@1 em 27,15 pontos percentuais.
  • Gemma-4-12B-it no HMMT25: O CLR elevou a precisão de 76,67% para 88,75% (um aumento de 12,08 pontos), embora isso tenha ocorrido com um aumento de 33,4% no uso de tokens.
  • GPT-OSS-120B: Melhorou a precisão em até 5,00 pontos enquanto reduzia o consumo de tokens em aproximadamente 22%.
  • Qwen3.5-27B: Dado seu baseline já elevado (>90%), o CLR igualou ou melhorou ligeiramente a precisão (até +2,60 pontos) com reduções de tokens de até 14,5%.

• Resgate de Consenso Incorreto:
  O CLR reverteu com sucesso votos majoritários incorretos em aproximadamente 37% dos casos onde a resposta correta estava presente no conjunto de amostra inicial, mas era suprimida pela agregação baseada em contagem.

• Comportamento de Escalonamento:
  Em vários orçamentos de tempo de teste, o CLR demonstrou um comportamento de escalonamento mais estável comparado à autoconsistência, que frequentemente saturava ou flutuava conforme mais soluções eram adicionadas.

• Ablação sobre a Contagem de Alegações ($M$):
  Aumentar o número de alegações de 1 para 3 ou 5 geralmente melhorou a precisão, sugerindo que uma cobertura mais ampla de decisões críticas e pesos não lineares graduados são benéficos.

Significância e Alegações

O artigo posiciona o CLR como uma validação da hipótesia de que o computação em tempo de teste não precisa ser gasta exclusivamente na geração de mais soluções. Ao realocar uma parte do orçamento para a falseabilidade direcionada, o framework pode:

1. Melhorar a Fronteira de Desempenho: Alcançar maior precisão com menos tokens ou melhor precisão dentro do mesmo orçamento.
2. Explorar a Assimetria: Aproveitar o fato de que refutar uma falha é computacionalmente mais barato e decisivo do que construir uma solução perfeita.
3. Mitigar a Diluição de Sinal: Focar recursos de verificação nos âncoras semânticos específicos que determinam a correção, em vez de todo o traço de raciocínio.

Os autores concluem que, embora o CLR seja uma instanciação inicial dentro de um framework baseado em consenso, o princípio da falseabilidade ao nível de alegação oferece uma direção promissora para futuros paradigmas de escalonamento de tempo de teste, particularmente em cenários onde a amostragem adicional produz retornos decrescentes.