🤖 AI

Agreement Before Diversity: Verification-First Complementarity for Heterogeneous Language-Model Coordination

O artigo propõe o Agreement-Before-Diversity (ABD), um método de coordenação de verificação prévia para modelos de linguagem heterogêneos que utiliza uma regra de decisão congelada e livre de rótulos para reter apenas respostas âncora quando corroboradas por amostras confiáveis, alcançando assim o estado da arte de desempenho no LiveCodeBench e GPQA-Diamond ao mesmo tempo em que fornece identidades teóricas exatas para auditar as compensações entre ganhos de precisão e custos de inferência.

Autores originais: Ruitong Li, Binjie Guo, Aisheng Mo, Guowei Su, Jie Li, Ru Zhang

Publicado 2026-08-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ruitong Li, Binjie Guo, Aisheng Mo, Guowei Su, Jie Li, Ru Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça difícil e, em vez de perguntar a apenas uma pessoa pela resposta, você pergunta a toda uma equipe de especialistas. Alguns são gênios da matemática, outros são escritores criativos e outros são mestres da lógica. Este é o mundo dos Modelos de Linguagem Grandes (LMs) trabalhando juntos. Na ciência, isso é chamado de "ensemble". A ideia principal é simples: se você tiver mais pessoas tentando, terá uma chance maior de obter a resposta correta. É como ter dez pessoas tentando adivinhar o número de balas de goma em um pote; a média de seus palpites é geralmente mais próxima da verdade do que o palpite de apenas uma pessoa.

No entanto, há um porém. Só porque você tem dez palpites, não significa que saiba qual escolher. Às vezes, o especialista que parece mais confiante é, na verdade, o que está errado, e o silencioso é o que está certo. Pior ainda, se você pedir a um "superespecialista" para combinar todas as respostas, ele pode acidentalmente atropelar a resposta correta com uma resposta sofisticada, mas errada. A grande questão que os cientistas têm feito é: Como sabemos quando confiar na nova e sofisticada resposta e quando manter a que já tínhos? Precisamos de uma regra que diga: "Pare! Esta nova resposta é boa o suficiente para substituir a antiga", sem apenas adivinhar.

É aqui que entra um novo método chamado Agreement-Before-Diversity (ABD) (Acordo Antes da Diversidade). Pense nele como um árbitro rigoroso, mas justo, para uma equipe de especialistas de IA. Em vez de deixar cegamente uma nova resposta sofisticada sobrescrever uma antiga, o ABD estabelece uma "verificação de segurança" simples. Veja como funciona:

A Âncora: Primeiro, a equipe escolhe uma resposta "âncora" (o palpite atual mais provável).
A Verificação de Segurança: Antes mesmo de olharem para as novas e sofisticadas respostas, dois outros especialistas de confiança da mesma equipe verificam a âncora. Se esses dois concordarem perfeitamente com a âncora, o árbitro diz: "Ótimo! Temos um consenso. Mantenha a âncora. Não perca tempo ou dinheiro com mais nada."
A Troca: Mas se esses dois especialistas discordarem da âncora, o árbitro diz: "Ok, a âncora está instável. Agora, vá em frente e traga toda a equipe de especialistas diversos para sintetizar uma resposta nova e sofisticada."

O artigo prova que essa regra simples é incrivelmente poderosa porque separa a diversidade (ter muitas opções) da autoridade (o direito de mudar a resposta). Os autores descobriram que este método não apenas adivinha; ele usa a matemática para mostrar exatamente por que funciona. Eles descobriram duas "fórmulas mágicas" (identidades exatas) que explicam os resultados:

O método supera um sistema que sempre cria uma nova resposta sofisticada apenas quando a âncora é realmente melhor do que a sofisticada nos casos específicos em que eles concordaram.
O método supera um sistema que nunca muda a resposta apenas quando a nova resposta sofisticada corrige um erro que a âncora cometeu, sem acidentalmente quebrar uma resposta correta.

Em testes do mundo real, esse sistema de arbitragem foi incrível. Em um desafio de programação chamado LiveCodeBench, o método ABD obteve 59,43% de acerto, superando os métodos padrão que obtiveram apenas cerca de 52%. Em um teste científico difícil chamado GPQA-Diamond, atingiu 75,00%, superando novamente os outros.

O que é muito legal é que o artigo mostra por que funcionou em cada caso. No teste de programação, a "verificação de segurança" raramente passou (apenas 1,71% das vezes) porque o código de computador é tão específico que duas tentativas aleatórias raramente coincidem perfeitamente. Assim, o sistema majoritariamente deixou a equipe sofisticada assumir o controle, o que acabou sendo a decisão certa. Mas no teste de ciências, a verificação de segurança passou com frequência (73,33% das vezes) e, como a "âncora" era geralmente a correta, o sistema economizou um enorme esforço ao manter a resposta simples em vez de complicar demais.

O artigo também descarta explicitamente algumas ideias comuns. Ele mostra que apenas ter uma equipe "diversa" de diferentes modelos de IA não é suficiente por si só; sem uma regra estrita sobre quando trocar, você pode acabar obtendo mais respostas erradas. Ele também prova que você não precisa saber a resposta "correta" de antemão para tomar essa decisão; a regra funciona apenas observando se os especialistas concordam entre si.

Em suma, o Agreement-Before-Diversity nos ensina que ter mais opções é ótimo, mas você precisa de um porteiro inteligente para decidir quando usá-las. Ele transforma o processo caótico de pedir ajuda a muitas IAs em uma estratégia precisa, auditável e altamente eficaz. Não se trata de ter a IA mais inteligente; trata-se de ter a regra mais inteligente para usá-las.

Resumo Técnico: Agreement Before Diversity (ABD)

Definição do Problema

Ensembles de modelos de linguagem heterogêneos expandem o espaço de respostas candidatas, oferecendo o potencial para uma maior precisão por meio da diversidade. No entanto, as abordagens existentes carecem de um critério principado para determinar quando uma resposta recém-gerada deve substituir uma já suportada. Os métodos atuais frequentemente confundem capacidade de candidato (candidate headroom — o potencial bruto de saídas diversas) com autoridade de substituição (replacement authority — a justificativa para alterar a resposta atual). Um erro diverso continua sendo um erro, e um sintetizador fluente pode sobrescrever uma resposta correta tão facilmente quanto pode reparar uma errada. O desafio central é distinguir entre ter mais opções e saber qual opção confiar sem depender de suposições não verificáveis, como independência de amostras ou pontuações de confiança calibradas.

Metodologia: Agreement-Before-Diversity (ABD)

Os autores propõem o Agreement-Before-Diversity (ABD), uma regra de decisão congelada e livre de rótulos que desacopla a geração de candidatos da autoridade de substituição. O método opera em um item específico $x$ da seguinte forma:

Âncora e Sondas: Um modelo âncora produz uma resposta $y_0$ (temperatura 0). Duas amostras adicionais confiáveis, $y_1$ e $y_2$ , são geradas a partir do mesmo modelo (temperatura 0.7).
Evento de Verificação ( $A$ ): Uma relação de equivalência $E$ $E$ congelada (ex: igualdade de string normalizada para código, correspondência exata de opções para múltipla escolha) compara as respostas analisadas.
- Se $y_0, y_1$ e $y_2$ forem todos não-nulos e $E(y_0, y_1)$ e $E(y_0, y_2)$ forem verdadeiros, o evento de concordância $A(x) = 1$ .
- Caso contrário, $A(x) = 0$ .
Ramificação de Decisão:
- Se $A(x) = 1$ (Protegido): A âncora $y_0$ é mantida. Custo total: 3 chamadas de inferência.
- Se $A(x) = 0$ (Escalado): O sistema sintetiza uma nova resposta $s$ usando um pool heterogêneo de quatro modelos pares e um resolvedor (resolver). Custo total: 8 chamadas de inferência (3 sondas + 4 pares + 1 resolvedor).

A relação de equivalência $E$ é deliberadamente conservadora e livre de rótulos; ela não certifica a correção, mas serve apenas como um portão para decidir se a diversidade é permitida para sobrescrever a âncora.

Principais Contribuições e Estrutura Teórica

A principal contribuição do artigo não é um coordenador ajustado, mas um princípio de decisão com contabilidade exata. Os autores derivam duas identidades exatas que decompõem o desempenho do ABD em relação a dois políticas extremas, sem exigir suposições de independência ou confiança calibrada.

Identidade 1 (vs. Síntese Incondicional):
$E[U - Q] = q(a - b)$
A lacuna de precisão entre o ABD e a síntese sempre ativa é determinada pela cobertura de concordância ( $q$ ) multiplicada pela vantagem da âncora ( $a - b$ ) no subconjunto protegido. Esta identidade mostra que o ABD só supera a síntese incondicional se a âncora for mais precisa que a síntese nos itens onde ocorre a concordância.
Identidade 2 (vs. Nunca Sintetizar):
$E[U - Z] = (1 - q)(r - d)$
A lacuna de precisão entre o ABD e manter sempre a âncora é determinada pela taxa de escalonamento ( $1-q$ ) multiplicada pelo líquido de recuperação autorizada menos destruição autorizada ( $r - d$ ) no subconjunto escalonado. Aqui, $r$ representa casos onde a síntese corrige uma âncora errada, e $d$ representa casos onde a síntese corrompe uma âncora correta.
Identidade de Custo:
$E[C] = 8 - 5q$
O custo esperado de inferência é uma função linear da cobertura. O ABD é mais barato em termos de contagem de chamadas do que a síntese sempre ativa (que custa 6 chamadas) se, e somente se, $q > 0.4$ .

Estas identidades localizam cada diferença agregada a um estrato enumerável e protegido, tornando o comportamento do sistema totalmente auditável.

Resultados Experimentais

O método foi avaliado sob condições rigorosas e cegas em dois benchmarks distintos: LiveCodeBench-v6 (175 tarefas, testes executáveis) e GPQA-Diamond (180 itens intocados, pontuação de opção exata).

LiveCodeBench-v6: O ABD alcançou 59,43% de precisão, superando Single9 (52,57%) e HAC (52,00%). Ele empatou com Heterogeneous MoA (Síntese Sempre Ativa) e excedeu o Homogeneous MoA.
- Mecanismo: A cobertura de concordância ( $q$ ) foi extremamente baixa (1,71%) porque a geração de código independente raramente coincide exatamente. Consequentemente, o portão foi quase inerte, e o sistema efetivamente reduziu-se à síntese heterogênea. O limite teórico previu uma contribuição máxima de 1,71 pontos; a contribuição observada foi exatamente zero, confirmando a teoria.
GPQA-Diamond (Intocado): O ABD alcançou 75,00% de precisão, superando Single9, HAC e Heterogeneous MoA (72,78%).
- Mecanismo: Aqui, a cobertura foi alta (73,33%). O ganho sobre a Síntese Sempre Ativa (2,78 pontos) foi inteiramente explicado pela preservação das respostas corretas da âncora no subconjunto protegido ( $q(a-b)$ ).
Estudo de Perturbação: Quando o modelo âncora foi substituído por um mais fraco (perturbação congelada), a cobertura caiu para 39,44%, mas a vantagem da âncora no conjunto protegido aumentou significativamente. O ABD ainda superou os baselines, demonstrando que o método se adapta à qualidade da âncora sem necessidade de retreinamento.

Ablações de Componentes:

Remover o portão (Síntese Sempre Ativa) mostrou que a diversidade por si só não garante melhoria; no LiveCodeBench, a remoção do portão teve impacto de 0,00, enquanto no GPQA, causou uma queda.
Remover a heterogeneidade do proponente (Homogeneous MoA) mostrou que a diversidade não é universalmente superior; ela ajudou no código, mas prejudicou no GPQA em comparação com a versão heterogênea.

Significância e Alegações

O artigo alega que o ABD fornece um arcabouço principado para gerenciar a tensão entre estabilidade e exploração em ensembles de modelos de linguagem.

Tomada de Decisão Auditável: Ao contrário de coordenadores heurísticos, o ABD oferece identidades exatas que explicam cada diferença agregada. Praticantes podem medir cobertura ( $q$ ), vantagem do conjunto protegido ( $a-b$ ) e taxas de recuperação/destruição ( $r-d$ ) para diagnosticar o comportamento do sistema sem precisar de conjuntos de validação rotulados.
Separação de Potencial e Autoridade: Os resultados demonstram que a diversidade fornece o potencial (capacidade), mas a estrutura de verificação fornece a autoridade para realizá-lo. Um pool diverso só é benéfico se o portão identificar corretamente quando confiar na âncora e quando escalar.
Escopo Modesto: Os autores afirmam explicitamente que a evidência é limitada à geração de código e questões de múltipla escolha de nível especialista. Eles não alegam que o ABD é uma solução universal para todas as tarefas, mas sim um framework que destaca a necessidade de sinais de verificação conscientes do domínio (ex: assinaturas de execução para código, proveniência para raciocínio) para definir a relação de equivalência $E$ .
Sem "Oráculo de Correção": O método não afirma conhecer a verdade fundamental (ground truth). Ele apenas concede permissão para preservar uma resposta quando suportada por concordância, ou para substituí-la quando esse suporte falha.

Em conclusão, o ABD transforma o problema de coordenação de uma tarefa de otimização de caixa-preta em um processo transparente e mensurável, onde os compromissos entre precisão, custo e diversidade são explicitamente quantificados.