Resumo Técnico: ReasonBench: Avaliando a (In)Estabilidade do Raciocínio de LLMs

Declaração do Problema

Os benchmarks atuais para sistemas de raciocínio de Grandes Modelos de Linguagem (LLMs) reportam o desempenho como estimativas de ponto único (ex: uma única pontuação de acurácia). No entanto, o artigo argumenta que a geração de LLMs é um processo inerentemente estocástico. Mesmo sob decodificação gulosa ($T=0$), configurações idênticas de modelo–estratégia–tarefa podem produzir respostas, caminhos de raciocínio e custos significativamente diferentes entre execuções repetidas.

Colapsar esses resultados por execução em uma única média descarta a variância que distingue um sistema reliablemente correto de um que é correto apenas em expectativa. Essa variância não é meramente um incômodo estatístico; o artigo demonstra que a estratégia de maior desempenho vence apenas 77% das execuções frente a frente contra seu competidor mais próximo, e o melhor modelo vence apenas 88%. Consequentemente, uma única pontuação observada pode classificar erroneamente sistemas de forma silenciosa, levando a decisões de seleção e implantação de modelos subótimas. Além disso, a literatura existente frequentemente trata o viés (erro sistemático) e a variância (estocasticidade) como propriedades coequais, embora a avaliação de LLMs tenha reportado majoritariamente apenas o primeiro.

Metodologia: REASONBENCH

Para abordar isso, os autores introduzem o REASONBENCH, um conjunto de benchmarks e uma biblioteca de código aberto projetada para avaliação controlada de múltiplas execuções. O framework desacopla o método de raciocínio, o ambiente da tarefa, a interface do modelo e o estado de avaliação, permitindo que estratégias sejam executadas novamente através de tarefas e modelos sem alterar o aparato experimental.

Configuração Experimental:

• Escopo: O estudo avalia 12 modelos de raciocínio contemporâneos (abrangendo provedores como OpenAI, Anthropic, Google, DeepSeek, etc.) e 10 estratégias de raciocínio representativas (incluindo IO, CoT, ReAct, Tree of Thoughts, Graph of Thoughts, etc.) através de 6 tarefas diversas (Game of 24, HumanEval, HotpotQA, Humanity's Last Exam, SciBench e Escrita de Sonetos Shakespeareanos).
• Protocolo: Cada configuração é executada 30 vezes de forma independente. Este tamanho de amostra é justificado por uma análise de poder de dois estágios para garantir a detecção de variância significativa e intervalos de confiança confiáveis.
• Métricas: O estudo trata qualidade e custo como distribuições empíricas em vez de estimativas de ponto. Ele introduz duas métricas primárias de ruído:
  1. Ruído Global: Captura a irregularidade entre benchmarks (variabilidade estrutural) após a normalização z-score.
  2. Ruído de Execução (Run Noise): Captura a estocasticidade dentro do benchmark (instabilidade de execuções repetidas).
• Decomposição de Variância: Uma decomposição hierárquica atribui a variância da pontuação ao benchmark, sistema, estrutura do item e uso, isolando a variância residual não explicada.

Principais Contribuições

1. A Instabilidade é Estruturada, Não Aleatória

O artigo estabelece que a variância é substancial, dependente do benchmark e do eixo. Através de uma taxonomia de dois componentes (Ruído Global vs. Ruído de Execução), os autores mostram que:

• A Arquitetura da Estratégia Prediz a Estabilidade: A execução determinística suprime o Ruído de Execução, enquanto a execução baseada em busca o amplifica. O quadrante que uma estratégia ocupa no espaço de ruído é previsível por sua arquitetura.
• Atribuição Hierárquica: Aproximadamente três quartos da variância da pontuação é estruturada (atribuível à interação entre benchmark, sistema e item), enquanto um resíduo persistente permanece não explicado pelos fatores de design.

2. Modelos e Estratégias são Eixos Não Substituíveis

O estudo trata modelos e estratégias como eixos ortogonais que deslocam diferentes partes da distribuição de desempenho:

• Modelos movem o teto: A escolha do modelo determina o desempenho máximo alcançável (capacidade).
• Estratégias movem o procedimento: A escolha da estratégia determina a variância de execução e a sensibilidade ao nível da tarefa.
• Desacoplamento Custo-Qualidade: Métodos baratos são estruturalmente imunes à "falha conjunta custo-qualidade" (simultaneamente alto custo e baixa qualidade), enquanto métodos caros permanecem expostos a este risco, independentemente de sua acurácia média.

3. Eliminação Controlada de Fontes

Os autores testam sistematicamente potenciais fontes de instabilidade:

• Temperatura de Decodificação: A variância persiste mesmo em $T=0$, descartando a amostragem de nível de token como a explicação dominante.
• Prompts e Parsers: Refinar prompts e parsers corrige o viés (melhora a qualidade média), mas não reduz a variância de execução para execução.
• Qualidade do Avaliador: Substituir avaliadores heurísticos por oráculos de verdade fundamental em estratégias baseadas em busca reduz tanto a qualidade média quanto a variância, identificando o avaliador como um alavancador direto de estabilidade.
• Esforço de Raciocínio: Aumentar o computação em tempo de teste (esforço) aumenta o custo monotonicamente, mas não melhora a qualidade ou reduz a variância de forma confiável.

4. Infraestrutura Aberta

O REASONBENCH fornece uma biblioteca modular com abstrações desacopladas (Método, Agente, Modelo, Estado, Ambiente) para facilitar a avaliação reprodutível e consciente da distribuição.

Principais Resultados

• Distribuições Sobrepostas: As distribuições por nível de execução para estratégias e modelos se sobrepõem substancialmente. Por exemplo, no benchmark HotpotQA, a melhor estratégia (FOA) e seu competidor mais próximo (TOT-BFS) possuem intervalos de confiança sobrepostos, e a melhor estratégia supera a segunda colocada em apenas 77% das execuções.
• Taxonomia de Ruído: Plotar os sistemas no espaço (Ruído Global, Ruído de Execução) revela quadrantes distintos. Os modelos tendem a se concentrar na anti-diagonal (irregularidade estrutural e instabilidade estocástica são anti-correlacionadas), enquanto as estratégias povoam todos os quatro quadrantes baseadas em sua arquitetência.
• Decomposição de Variância: No eixo da estratégia, 75,2% da variância é estruturada; no eixo do modelo, 7 de 73,3% é estruturada. Efeitos de repetição pura explicam apenas ~1% da variância, enquanto interações benchmark-sistema e dificuldade do item dominam.
• Assimetria Custo-Qualidade: Métos caros (ex: DeepSeek R1, que é o modelo mais caro testado) frequentemente exibem altas taxas de falha conjunta. Por outro lado, métodos baratos (ex: IO, COT) nunca excedem o limiar de custo, tornando-os imunes à falha conjunta, mesmo que sua qualidade seja menor.
• Ineficácia de Correções Comuns: O estudo descobre que correções padrão como baixar a temperatura, refinar prompts ou aumentar o esforço de raciocínio não reduzem a variância. Apenas melhorar a fidelidade do avaliador e aumentar a escala do modelo (dentro de uma família) mostram efeitos estabilizadores.

Significância e Alegações

O artigo afirma que a instabilidade é uma propriedade inerente aos sistemas de raciocínio, não um artefato de um design experimental ruim. Os autores argumentam que:

1. Estabilidade é parte da capacidade: Um sistema que resolve uma tarefa consistentemente possui um perfil de capacidade diferente de um que a resolve apenas em expectativa, mesmo que suas médias coincidam.
2. A avaliação deve evoluir: Benchmarks de número único são insuficientes. As práticas de avaliação devem mudar para reportar distribuições, intervalos de confiança e métricas de ruído (Ruído Global e de Execução).
3. Ortogonalidade dos eixos: Modelos e estratégias devem ser co-desenvolvidos em vez de serem tratados como substitutos. Um benchmark que discrimina modelos pode não discriminar estratégias, e vice-versa.
4. Implantação consciente de risco: Praticantes devem orçar o "risco de custo-qualidade conjunto". Um método nominalmente melhor, mas caro, pode dominar na qualidade média, mas ser substancialmente pior no risco de simultaneamente alto custo e baixa qualidade.

O artigo conclui chamando por "leaderboards conscientes da distribuição" como um padrão da comunidade e sugere que pesquisas futuras foquem em roteamento consciente da estabilidade e sistemas de raciocínio co-desenvolvidos que combinem problemas a pares apropriados de modelo-estratégia.