Resumo Técnico: Um Teto de Co-Falha em Roteamento, Votação e Mistura de Agentes (Mixture-of-Agents)

Declaração do Problema

O campo da orquestração de Grandes Modelos de Linguagem (LLMs) mudou da seleção de um único "melhor" modelo para o gerenciamento de pools heterogêneos de modelos via roteamento, votação, cascata e Mistura de Agentes (MoA). Os praticantes atualmente dependem da correlação de erro pareada ($\rho$) como o principal diagnóstico para determinar se a diversidade gerará ganhos de precisão. A suposição prevalecente é que um $\rho$ baixo implica alta diversidade e, portanto, alto potencial de melhoria por ensemble.

Este artigo argumenta que $\rho$ é o diagnóstico errado. Ele postula que a precisão alcançável de qualquer política cuja saída seja a resposta de um modelo membro (por exemplo, um roteador, voto majoritário ou cascata) é limitada não pelas correlações pareadas, mas por $\beta$, a taxa na qual todos os modelos no pool falham na mesma consulta. O problema central é que $\rho$ não consegue identificar $\beta$; distribuições conjuntas distintas podem possuir marginais e correlações pareadas idênticas, mas apresentar taxas de co-falha vastamente diferentes. Consequentemente, confiar em $\rho$ leva a uma subestimação sistemática da "cauda de co-falha", podendo fazer com que compradores superestimem o valor da orquestração ou julguem mal o teto da precisão alcançável.

Metodologia

Estrutura Teórica

Os autores formalizam a orquestração como um problema de alocação com restrição de orçamento.

1. O Teorema do Teto (Prop. 1): Para qualquer política de seleção $\pi$ que produza a resposta de um membro, a precisão é limitada por $1 - \beta$, onde $\beta = P(\text{todos os } m \text{ modelos errados})$. O ganho máximo sobre o melhor modelo individual é $\Delta_{ceil} = (1 - \beta) - \bar{q}_{best}$.
2. Não-Identificação (Prop. 3): Para $m \ge 3$, a taxa de co-falha $\beta$ não é uma função das leis de erro pareadas. Os autores provam que existem distribuições conjuntas com marginais unidimensionais e bidimensionais idênticas (e, portanto, $\rho$ idêntico), mas com $\beta$ diferente.
3. O Mecanismo de Subprecificação (Prop. 2): Os autores modelam os erros como uma mistura de um choque comum (todos os modelos falham com probabilidade $\pi$) e erros independentes. Eles demonstram que um copula Gaussiana de fator único, calibrada para $\rho$ pareado, prevê uma taxa de co-falha $\beta_{sf}$ que converge para 0 conforme o tamanho do pool $m$ aumenta, enquanto o verdadeiro $\beta$ converge para $\pi > 0$. Assim, a razão de subprecificação $\beta / \beta_{sf}$ diverge com o tamanho do pool.
4. Certificado de Amostra Finita: Usando intervalos de Clopper–Pearson em um conjunto de consultas mantido fora do treinamento (held-out), os autores derivam um "$0 certificado" pré-implantação. Se o limite inferior de $\beta$ implica que $1 - \beta_{lo}$ está próximo da precisão atual do melhor modelo individual, nenhuma política pode pagar pelo seu overhead de orquestração.

Configuração Experimental

O estudo avalia 67 modelos de fronteira de 21 provedores (incluindo GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro, entre outros) através de três regimes distintos:

• Mix Saturado: Benchmarks padrão (GSM8K, MMLU, ARC-Challenge, MATH-500).
• Domínio Único Difícil: MMLU-Pro e MATH-Hard (Nível-5).
• Domínios Estruturalmente Disjuntos:
  • Matemática aberta (MATH-500, MATH-Hard).
  • Código com graduação por execução (problemas de programação competitiva com testes de estresse).
  • Ciência de nível de pós-graduação (GPQA-Diamond), testada tanto em formato de múltipla escolha quanto em resposta livre.

A graduação é estritamente programática (correspondência exata, extração de inteiros ou baseada em execução) para evitar o viés de juízes de LLM, exceto para um experimento específico de GPQA de resposta livre, graduado por um painel de 5 juízes. Os custos são medidos contra o uso real de API.

Principais Resultados

1. A Cauda de Co-Falha e a Armadilha do $\rho$

Em domínios abertos (matemática e código), a taxa empírica de "todos errados" $\beta$ é significativamente maior do que o previsto pelas correlações pareadas.

• MATH-500 (67 modelos): $\beta$ empírico = 0,052 (17/330 consultas). Uma copula Gaussiana de fator único, tetracorrelacionada corretamente, prevê $\beta_{sf} = 0,021$. A cauda empírica é 2,5 vezes mais espessa que a previsão da copula.
• Concursos de Código: $\beta$ empírico = 0,079. O modelo de fator único subprecifica isso em 3,1 vezes.
• Efeito do Tamanho do Pool: A reamostragem de subconjuntos aleatórios de modelos mostra que a razão de subprecificação cresce monotonicamente com o tamanho do pool (de 1,0 em $k=2$ para uma mediana de 2,5 em $k=67$).
• Múltipla Escolha vs. Resposta Livre: Na GPQA de múltipla escolha, $\beta \approx 0$. No entanto, quando as mesmas perguntas são feitas como resposta livre (removendo as opções), $\beta$ salta para 0,127. Isso confirma que o regime de co-falha é impulsionado pelo formato da tarefa (abertura) e não pelo assunto.

2. Os Dois Regimes de Orquestração

O artigo identifica dois regimes distintos onde o "teto" se comporta de forma diferente:

• Limitado pelo Teto (Matemática/Código Aberto): Aqui, $\beta > 0$ é não-negligenciável. O teto $1-\beta$ é baixo, e o "ganho de oráculo" (melhoria teórica máxima) é pequeno. A principal limitação é a cauda de co-falha, que o $\rho$ pareado falha em detectar.
• Limitado pela Realizabilidade (Ciência/Múltipla Escolha): Aqui, $\beta \approx 0$. O teto é efetivamente aberto, e o ganho de oráculo é grande (ex: $G=0,15$ em GPQA). No entanto, esse ganho representa um desacordo resolvível. Os roteadores aprendidos atuais falham em capturar esse ganho porque o sinal ao nível da consulta é insuficiente para distinguir qual modelo estará correto quando a fronteira discorda.

3. Desempenho de Estratégias de Orquestração

• Roteadores Aprendidos: No mix saturado de 15 modelos, um roteador aprendido (TF-IDF + domínio) capturou apenas 9% do ganho de oráculo (estatisticamente indistinguível de zero). Um roteador mais forte (LLM-as-router) capturou 0%.
• Diversidade Ingênua: A votação majoritária não ponderada em tripletos heterogêneos frequentemente resulta em ganhos negativos em comparação com o melhor membro individual, pois modelos diversos mais fracos vencem o mais forte.
• Ensembles de Qualidade Correspondente: Ao comparar um Self-MoA de alta correlação (múltiplas amostras do melhor modelo) contra um ensemble heterogêneo de qualidade correspondente e baixa correlação, o ensemble heterogêneo vence (ganho médio de +0,027). Isso apoia o teorema da diversificação, mas apenas quando a qualidade dos membros é controlada.
• Cascatas: O desempenho da cascata colapsa para uma mistura aleatória conforme o AUC do verificador se aproxima de 0,5, confirmando os limites teóricos.

Significância e Alegações

O artigo afirma redefinir a economia da orquestração de LLMs ao deslocar o foco da correlação pareada ($\rho$) para a taxa de co-falha ($\beta$).

1. A Mudança de Diagnóstico: $\rho$ é cego para a cauda de "todos errados". Um comprador não pode determinar se a orquestração é viável olhando apenas para $\rho$; ele deve estimar $\beta$ diretamente.
2. O Certificado de $0: Um único conjunto de consultas graduadas pode fornecer um limite inferior estatístico para $\beta$. Se $1 - \beta_{lo}$ estiver próximo da precisão do melhor modelo atual, o artigo afirma que é matematicamente impossível que qualquer política de roteamento ou votação justifique seus custos.
3. O Limite da Escala: Simplesmente adicionar mais modelos a um pool não garante melhor desempenho. Se o pool compartilha um "átomo de modo comum" (um modo de falha compartilhado), a taxa de co-falha $\beta$ permanece positiva, limitando a utilidade de todo o pool, independentemente do tamanho.
4. Dependência de Formato: O regime "limitado pelo teto" é uma função do formato da tarefa (aberto vs. múltipla escolha), não apenas da dificuldade do domínio. Tarefas abertas inerentemente carregam uma cauda de co-falha que limita a eficácia dos métodos de ensemble.

Os autores concluem que, para os modelos de fronteira atuais em tarefas verificáveis e abertas, a "alavanca" para melhoria não é adicionar mais modelos ou confiar na diversidade ingênua, mas sim identificar a heterogeneidade do modo de falha e gerenciar o churn de mercado (o valor da opção de amplitude). A dependência do campo em $\rho$ obscurece o verdadeiro teto estabelecido por $\beta$.