DiscoUQ: Structured Disagreement Analysis for Uncertainty Quantification in LLM Agent Ensembles

Título: DISCOUQ: Análise de Desacordo Estruturado para Quantificação de Incerteza em Ensembles de Agentes LLM

1. O Problema

Sistemas multi-agente de Grandes Modelos de Linguagem (LLMs), onde múltiplas instâncias de um modelo respondem independentemente à mesma pergunta, são cada vez mais utilizados para tarefas de raciocínio complexo. O método padrão para agregar essas respostas é a votação majoritária.

No entanto, a abordagem atual de quantificar a incerteza (confiança) baseada apenas em estatísticas de votação (ex: 3 a 2 votos) possui limitações críticas:

• Perda de Informação Semântica: Trata todos os desacordos de mesma proporção (ex: 3-2) como idênticos, ignorando a qualidade dos argumentos, a sobreposição de evidências e a profundidade do desacordo.
• Má Calibração: Métodos baseados apenas na margem de votos tendem a produzir estimativas de confiança mal calibradas (superconfiantes ou subconfiantes), não refletindo a probabilidade real de correção.
• Ineficiência em Cenários Ambíguos: Em casos de "desacordo fraco" (onde a maioria concorda, mas a minoria traz novas informações), a contagem de votos falha em capturar a incerteza real.

2. Metodologia: Framework DISCOUQ

O DISCOUQ (Disagreement-Structure Confidence for Uncertainty Quantification) propõe analisar a estrutura interna do desacordo entre os agentes, em vez de apenas contar votos. O framework extrai duas famílias complementares de características (features) para alimentar classificadores que estimam a probabilidade de a resposta majoritária estar correta.

A. Extração de Características:

1. Características de Estrutura Linguística (LLM-Extracted):
   • Um LLM (com temperatura 0) analisa os textos de raciocínio dos agentes para gerar 6 escores:
     • Sobreposição de Evidências: Grau em que maioria e minoria citam os mesmos fatos.
     • Nova Informação da Minoría: Extensão de argumentos genuinamente novos introduzidos pela minoria.
     • Força do Argumento da Minoría: Solidez lógica independente da correção.
     • Linguagem de Confiança da Maioria: Nível de assertividade vs. hesitação na linguagem da maioria.
     • Complexidade do Raciocínio.
     • Profundidade de Divergência: Em que etapa o raciocínio diverge (início, meio ou fim).
2. Características de Geometria de Embedding:
   • Os textos de raciocínio são convertidos em vetores (usando sentence transformers, ex: BGE-large).
   • Calculam-se 7 métricas geométricas baseadas na distância cosseno:
     • Dispersão geral, coesão da maioria, distância entre centróides (maioria vs. minoria), grau de outlier da minoria, centralidade da maioria, coesão da minoria e razão de variância do PCA.

B. Métodos de Quantificação de Incerteza:
O paper propõe três métodos de complexidade crescente:

1. DISCOUQ-LLM: Regressão logística sobre as 9 características linguísticas (incluindo a confiança de voto). Foca na interpretabilidade.
2. DISCOUQ-Embed: Regressão logística sobre as 8 características geométricas. Não requer chamadas adicionais ao LLM além das consultas iniciais.
3. DISCOUQ-Learn: Uma Rede Neural (MLP de duas camadas) que combina todas as 17 características (linguísticas + geométricas + confiança verbalizada).

3. Contribuições Principais

• Formalização da Estrutura de Desacordo: Define o desacordo em sistemas multi-agente como um conjunto de características motivadas linguisticamente e geometricamente.
• Novo Framework de Calibração: Demonstra que analisar a estrutura do desacordo produz estimativas de confiança significativamente melhor calibradas do que a contagem de votos ou agregadores simples.
• Generalização: Mostra que as características aprendidas generalizam bem entre diferentes benchmarks e domínios com degradação de desempenho quase nula.
• Eficiência de Custo: Identifica que o método DISCOUQ-LLM oferece o melhor equilíbrio entre custo computacional (chamadas extras de LLM) e desempenho.

4. Resultados Experimentais

O framework foi avaliado em quatro benchmarks diversos (StrategyQA, MMLU, TruthfulQA, ARC-Challenge) usando um sistema de 5 agentes com o modelo Qwen3.5-27B.

• Desempenho de Discriminação (AUROC):
  • O DISCOUQ-LLM alcançou o melhor AUROC médio (0.802), superando o baseline mais forte (LLM Aggregator, 0.791) e todos os outros métodos.
  • O método superou significativamente a contagem de votos simples (B1: 0.770).
• Calibração (ECE - Expected Calibration Error):
  • O DISCOUQ-LLM alcançou um ECE médio de 0.036, comparado a 0.098 do LLM Aggregator e 0.084 da contagem de votos. Isso representa uma redução de ~63% no erro de calibração.
  • Isso indica que as probabilidades geradas são muito mais próximas da precisão real do sistema.
• Desempenho por Nível de Desacordo:
  • Os ganhos foram mais expressivos na faixa de "desacordo fraco" (onde a contagem de votos é menos informativa), demonstrando a capacidade do modelo de capturar sinais sutis de incerteza.
  • Em casos de unanimidade, o modelo ainda conseguiu discriminar entre respostas corretas e incorretas usando características estruturais.
• Generalização Cruzada:
  • Treinar em três benchmarks e testar no quarto resultou em desempenho quase idêntico ao treinamento dentro do mesmo domínio, provando a robustez das características de desacordo.
• Análise de Custo:
  • O DISCOUQ-LLM exigiu apenas 1.624 chamadas extras de LLM (apenas para questões não unânimes) para atingir o melhor desempenho, sendo mais eficiente que o LLM Aggregator (que exige 2.750 chamadas, uma por questão) e com melhor AUROC.

5. Significado e Conclusão

O trabalho demonstra que a estrutura do desacordo contém informações ricas e preditivas que são descartadas pelos métodos tradicionais de votação.

• Por que funciona? Quando a minoria apresenta evidências novas e argumentos fortes, a votação majoritária é menos confiável, mesmo com margem de votos favorável. O DISCOUQ captura esses padrões através de uma regressão logística simples, que mapeia naturalmente essas características para probabilidades bem calibradas.
• Impacto Prático: O framework permite a previsão seletiva (abster-se de responder quando a incerteza é alta) com maior precisão. Sistemas podem servir mais perguntas mantendo garantias de alta precisão.
• Limitações: O estudo focou em tarefas de QA fechada (múltipla escolha/verdadeiro-falso). A extensão para geração aberta e a dependência da qualidade do modelo analista para extrair características linguísticas são desafios futuros.

Em resumo, o DISCOUQ avança o estado da arte na quantificação de incerteza para sistemas multi-agente, transformando o "ruído" do desacordo em um sinal estruturado e útil para tomada de decisão confiável.