🤖 machine learning

LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning

Este artigo introduz o "LLM-jury", um método de escalonamento em tempo de teste livre de parâmetros que aproveita o consenso entre modelos para superar a autoconsistência e modelos de recompensa treinados na seleção de cadeias de raciocínio corretas ao explorar a decorrelação de erros, ao mesmo tempo em que fornece uma lei de forma fechada para prever sua precisão e identificar seu teto de falha.

Autores originais: Ning Liu

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ning Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um problema de matemática muito difícil ou um enigma científico. Você pede a resposta para uma IA superinteligente. Mas, às vezes, até a IA mais inteligente fica presa em sua própria cabeça, cometendo o mesmo erro repetidamente porque está confiante demais em sua própria lógica errada.

Este artigo apresenta uma nova maneira de verificar a resposta: o LLM-Jury (Júri de LLM).

O Problema: A Armadilha da "Câmara de Eco"

Normalmente, quando queremos ter certeza de que uma IA está certa, perguntamos a mesma pergunta várias vezes e pegamos a resposta mais comum. Isso é chamado de Auto-Consistência (Self-Consistency).

Pense nisso como pedir um conselho ao seu melhor amigo, mas você pergunta a ele 12 vezes seguidas. Se o seu amigo estiver em um dia ruim e errar a resposta, ele provavelmente errará as 12 vezes seguidas. Ele votará com confiança na resposta errada e, como ele é o único a quem você perguntou, a "maioria" estará errada. O artigo mostra que este método herda os pontos cegos desse amigo.

Outra forma que as pessoas tentam usar para corrigir isso é treinar uma "IA Juíza" especial para pontuar as respostas. Mas esse juiz precisa de muita lição de casa (dados rotulados) para aprender a avaliar e, se você fizer uma pergunta sobre um assunto que ele não estudou, ele frequentemente falha.

A Solução: O "LLM-Jury"

Os autores propõem uma ideia diferente: Consenso entre Modelos Diferentes (Cross-Model Consensus). Em vez de perguntar ao mesmo amigo 12 vezes, você pergunta a quatro amigos diferentes que foram criados em casas diferentes, frequentaram escolas diferentes e pensam de maneiras totalmente distintas.

A Configuração: Você tem um "Gerador" (IA) que cria uma lista de possíveis respostas. Em seguida, você tem um "Júri" de três outras IAs (como Qwen, DeepSeek e Claude) que cada uma resolve o problema uma única vez, de forma independente. Elas nunca veem o trabalho umas das outras.
O Veredito: Se três dos quatro jurados concordarem com uma resposta, essa é a que você escolhe.

Por que Funciona: O Efeito "Dispersão"

O artigo explica isso com uma metáfora inteligente sobre erros.

Respostas erradas do mesmo modelo são como um grupo de amigos que tropeçam na mesma pedra. Todos caem no mesmo lugar.
Respostas erradas de modelos diferentes são como um grupo de amigos que tropeçam em coisas diferentes. Um tropeça em uma casca de banana, outro em uma pedra solta, outro em uma poça d'água. Seus erros se "espalham" por toda parte.

Como as respostas erradas de diferentes modelos estão dispersas, elas se cancelam. A resposta correta, no entanto, é a única que faz sentido para todos, então ela reúne todos os votos. O artigo mediu isso e descobriu que, em competições matemáticas difíceis, este método de júri captura 100% da melhoria possível sobre o antigo método de "perguntar ao mesmo amigo muitas vezes", enquanto um único modelo tentando avaliar o próprio trabalho captura quase 0%.

A "Lei Mágica" e o "Teto"

Os pesquisadores não apenas suporam que isso funcionaria; eles escreveram uma lei matemática (uma fórmula sem configurações ocultas) que prevê exatamente quão bem o júri se sairá. Eles testaram essa lei em sete benchmarks diferentes, desde matemática de nível escolar até ciência de nível de pós-graduação, e ela previu os resultados com um erro médio de apenas 0,03 (isso é incrivelmente próximo!).

No entanto, o artigo também encontrou um teto (um limite) para o quão bom isso pode chegar.

O Piso do Erro Compartilhado: Às vezes, todos os quatro jurados podem compartilhar o mesmo equívoco. Por exemplo, se todos aprenderam um fato científico específico de forma errada durante seu treinamento, eles podem todos concordar unanimemente com a resposta errada.
O artigo mediu esse "piso". Em problemas de matemática, ele é quase 0 (eles raramente compartilham o mesmo erro matemático). Mas em questões de ciência (como o benchmark GPQA), o piso é de cerca de 0,03, o que significa que há uma pequena chance de todos concordarem confiantemente com uma resposta errada porque compartilham um ponto cego.

Os Resultados: Superando os Especialistas

O artigo comparou este Júri gratuito e sem necessidade de treinamento contra quatro tipos diferentes de "juízes treinados" (modelos de IA especiais construídos especificamente para avaliar respostas).

Dentro de sua zona de treinamento: Em problemas de matemática, o Júri empatou ou superou os melhores juízes treinados.
Fora de sua zona de treinamento: Em questões de ciência onde os juízes treinados nunca tinham visto dados antes, o Júri foi o melhor executor, enquanto os juízes treinados tiveram dificuldades.

O Júri faz isso sem precisar de nenhum treinamento extra ou dados rotulados. Ele apenas utiliza os modelos que já possuímos.

A "Cascata de Concordância": Economizando Dinheiro

O artigo também sugere uma maneira inteligente de economizar poder computacional. Você nem sempre precisa perguntar aos quatro jurados.

Pergunte primeiro a apenas dois jurados. Se eles concordarem, você terminou (barato!).
Se eles discordarem, então peça aos outros dois para se juntarem à festa (mais caro, mas apenas para os problemas difíceis).
Este método de "cascata" economiza muito poder de computação, mantendo a mesma alta precisão de perguntar aos quatro todas as vezes.

O Que NÃO É

O artigo é muito claro sobre o que este método não é:

Não é uma varinha mágica que conserta tudo. Se todos os modelos compartilharem uma ideia errada específica (como uma conversão de unidade de química específica), o Júri errará com confiança, e nenhuma votação corrigirá isso.
Não é apenas "mais modelos são melhores". O artigo provou que perguntar ao mesmo modelo 32 vezes é pior do que perguntar a quatro modelos diferentes apenas uma vez. A magia vem da diferença entre os modelos, não apenas no número de votos.
Não é um substituto para o modelo único mais inteligente se esse modelo já for perfeito. Mas, como nenhum modelo é perfeito, o Júri é a melhor ferramenta que temos para escolher a resposta certa de um monte de palpites.

Em resumo, o artigo mostra que, se você quer saber se uma IA está certa, não peça para ela avaliar a si mesma. Peça a um painel de diferentes IAs para votar. Se elas concordarem, você pode confiar nelas. Se discordarem, você sabe que precisa investigar mais a fundo. E, o melhor de tudo, você pode prever exatamente o quanto pode confiar nelas antes mesmo de começar.

Resumo Técnico: LLMs como um Júri

Declaração do Problema

Sistemas de raciocínio modernos dependem cada vez mais do escalonamento em tempo de teste (test-time scaling), onde o computo é gasto amostrando muitos candidatos a soluções e selecionando a melhor. À medida que o número de amostras cresce, uma resposta correta quase sempre aparece no conjunto, deslocando o gargalo da geração para a seleção. O artigo identifica que os verificadores de seleção existentes sofrem de limitações estruturais:

Autoconsistência (votação majoritária sobre amostras repetidas de um único modelo) herda os erros sistemáticos desse mesmo modelo. Um modelo confidentemente errado gerará repetidamente o mesmo erro, votando seu próprio equívoco para a maioria.
Modelos de recompensa treinados (Modelos de Recompensa de Resultado e Modelos de Recompensa de Processo) exigem dados de treinamento anotados e transferem-se mal para fora de sua distribuição específica de treinamento.
Verificadores de LLM de modelo único (onde um modelo pontua seus próprios candidatos) são fracos, pois um modelo não consegue adjudicar seus próprios pontos cegos.

O artigo busca um verificador livre de rótulos, geral e sem necessidade de treinamento que possa detectar erros dos quais um único modelo é cego.

Metodologia: O Júri de LLM

Os autores propõem o Consenso entre Modelos Diferentes (Cross-Model Consensus), conceituado como um júri de LLM.

Mecanismo: Um painel de $M$ modelos treinados de forma independente (os "jurados") resolve cada um um problema uma única vez. Eles nunca veem os candidatos gerados por um gerador separado, nem veem o trabalho uns dos outros.
Sinal de Seleção: A seleção baseia-se na estrutura de concordância. A resposta correspondente à classe modal (a resposta mais frequente) é selecionada. A fração de modelos que concordam ( $g$ ) serve como um sinal de confiança.
Hipótese Central: O mecanismo baseia-se na decorrelação de erros. Modelos treinados de forma independente cometem erros diferentes. Quando erram, suas respostas erradas se dispersam; quando estão corretos, eles convergem. Em contraste, a reamostragem de um único modelo (autoconsistência) repete erros correlacionados, fabricando uma maioria confiante, porém errada.

Estrutura Teórica: Uma Lei Sem Parâmetros

O artigo deriva uma lei de forma fechada e sem parâmetros para prever o comportamento do júri com base em três estatísticas mensuráveis do painel:

$a$ : Precisão média dos membros.
$\rho$ : Correlação de erro pareada média.
$s$ : A taxa de equívoco compartilhado (a probabilidade de que, quando um modelo está errado, ele caia em um "atrator" de resposta errada específico compartilhado por outros modelos que também erraram).

Insights Teóricos Principais:

Precisão do Consenso: Prevista pela lei, aumenta conforme a correlação de erro ( $\rho$ ) diminui.
Piso de Erro Compartilhado: A lei define um piso de erro irredutível: a probabilidade de todo o painel concordar unanimemente em uma única resposta errada. Isso ocorre quando os modelos compartilham um equívoco. A lei prevê que este piso é próximo de zero para matemática (onde os erros se dispersam), mas não trivial para ciências (onde os modelos compartilham equívocos específicos).
Poder Preditivo: A lei preve a precisão do consenso e a curva completa de predição seletiva (precisão vs. cobertura) com um Erro Médio Absoluto (MAE) de 0,03, sem ajustar parâmetros ao alvo da predição.

Principais Contribuições

Concordância como um Verificador: O júri de LLM seleciona respostas corretas melhor do que a autoconsistência e verificadores de LLM de modelo único em sete benchmarks. Em matemática de competição (AIME), ele captura 100% do ganho de seleção alcançável sobre a autoconsistência, enquanto um modelo que pontua seus próprios candidatos captura ~0%.
Lei Preditiva e Teto: Uma lei de forma fechada prevê o comportamento do consenso e seu modo de falha (o piso de erro compartilhado) a partir das estatísticas do painel. Ela quantifica que o teto do método é determinado pelo quão semelhantes são os erros dos modelos, não pelo método em si.
Desempenho Contra Verificadores Treinados: O júri de LLM gratuito iguala ou supera os melhores verificadores treinados (PRMs discriminativos, RMs de resultado e verificadores generativos) tanto dentro quanto fora de seus domínios de treinamento, com custo zero de treinamento.
Isolamento do Mecanismo: Através de experimentos de tamanho e precisão correspondentes, o artigo isola a decorrelação de erro como a causa operante do ganho, e não mera combinação de múltiplos modelos. Um painel de quatro modelos decorrelacionados supera um único modelo reamostrado 32 vezes.

Resultados Experimentais

O estudo avalia o júri de LLM contra autoconsistência, verificadores de modelo único e quatro verificadores treinados em sete benchmarks (AIME-2024/2025, MATH-500, OlympiadBench, GSM8K, GPQA, MMLU-Pro e HumanEval+).

Precisão de Seleção: Em um conjunto fixo de $N=12$ $N = 12$ candidatos, o júri de LLM é o selecionador não-oráculo mais forte em todos os benchmarks não saturados.
- AIME-2024: O júri atinge 56,7% de precisão, fechando todo o gap para o oráculo (56,7%). A autoconsistência atinge 36,7%. O verificador de modelo único atinge 30,0%.
- GPQA (Ciência): O júri (35,9%) supera significativamente o verificador de modelo único (26,3%) e os PRMs treinados, embora o ganho sobre a autoconsistência seja menor devido ao maior piso de erro compartilhado em ciências.
Generalização: O júi supera os verificadores treinados em cenções fora do domínio (ex: GPQA), onde os modelos de recompensa treinados degradam.
Domínio de Código: No HumanEval+, o consenso comportamental (concordância sobre saídas de execução) prevê a correção com um AUROC de 0,748, demonstrando a aplicabilidade do sinal além da correspondência de texto.
Eficiência de Custo: Um "cascateamento controlado por concordância" (executando primeiro um painel barato de 2 modelos, escalando para 4 apenas em caso de discordância) alcança a precisão do painel completo com custo próximo ao de um painel barato (ex: 2,2 chamadas/problema no MATH-500), superando significativamente a autoconsistência com o mesmo orçamento.

Significância e Alegações

O artigo afirma que o Consenso entre Modelos Diferentes é um primitivo de verificação fundamental, previsível e que não requer dados de treinamento ou rótulos.

Previsibilidade: O método é caracterizado por uma lei que diz aos praticantes quando confiar nele (com base nas estatísticas medidas do painel) e onde ele falha (o piso de erro compartilhado).
Agnóstico ao Domínio: Ao contrário dos modelos de recompensa treinados que são especializados no domínio, o júri generaliza porque o sinal (erros decorrelacionados) é inerente ao treinamento independente, não a um conjunto de dados específico.
Eficiência: Oferece um padrão forte para o escalonamento em tempo de teste usando apenas os modelos que o praticante já possui, evitando o custo de treinar modelos de recompensa separados.
Limitações: O método possui um teto rígido definido pelo piso de erro compartilhado. Se modelos treinados independentemente compartilharem um equívoco (comum em domínios científicos), o júri concordará unanimemente na resposta errada, e nenhum sinal baseado em concordância poderá detectar isso. O artigo observa que este piso é próximo de zero para matemática, mas não trivial para ciências.

Os autores concluem que, à medida que o processo de seleção (em vez da geração) limita a precisão de ponta a ponta, um painel decorrelacionado é uma solução robusta e livre de rótulos que rivaliza e, muitas vezes, supera os verificadores treinados.