From Debate to Decision: Conformal Social Choice for Safe Multi-Agent Deliberation

Título: Da Debate à Decisão: Escolha Social Conformal para Deliberação Segura de Multi-Agentes

1. O Problema

Os sistemas de debate multi-agente com Grandes Modelos de Linguagem (LLMs) têm demonstrado melhorar o raciocínio e a factualidade. No entanto, uma falha crítica persiste na implementação prática: o consenso não é evidência de correção.

• Risco de Consenso Errado: Devido ao reforço social (onde agentes tendem a concordar com a maioria percebida), os agentes podem convergir unanimemente para uma resposta errada com alta confiança aparente.
• Falha nos Sistemas Atuais: A maioria dos pipelines de implantação utiliza uma regra de "parada por consenso" (agir assim que todos concordam). Isso resulta em uma comprometimento não calibrado: erros são cometidos e executados automaticamente sem qualquer mecanismo de segurança ou recusa, pois a incerteza é descartada ao se reduzir a saída para uma única estimativa pontual (votação majoritária).
• Questão Central: O problema não é apenas "quem venceu o debate?", mas "quando é seguro agir?".

2. Metodologia: Escolha Social Conformal (Conformal Social Choice)

Os autores propõem uma camada de decisão post-hoc (pós-processamento) que transforma as saídas do debate em decisões calibradas de "agir vs. escalar para humano", sem necessidade de re-treinamento dos modelos.

O pipeline consiste em quatro estágios:

1. Debate Multi-Agente com Elicitação de Probabilidade Verbalizada:
   • Um conjunto heterogêneo de agentes LLM (ex: Claude Haiku, DeepSeek-R1, Qwen-3) debate por $T$ rodadas.
   • Em vez de apenas votos, cada agente é solicitado a gerar uma distribuição de probabilidade verbalizada para todas as opções possíveis.
2. Agregação de Probabilidade Social:
   • As distribuições individuais são combinadas em uma probabilidade social usando um Pool de Opinião Linear (média ponderada). Isso preserva a intensidade das preferências, ao contrário da votação majoritária simples.
3. Calibração Conformal (Split Conformal Prediction):
   • Aplica-se a teoria de Previsão Conformal sobre as probabilidades sociais agregadas.
   • Define-se uma pontuação de não-conformidade: $snc(x, y) = 1 - P_{social}(y|x)$.
   • Utilizando um conjunto de calibração separado, calcula-se um limiar $\hat{q}$ que garante uma cobertura marginal: a probabilidade de que a resposta correta esteja no conjunto de previsões é $\geq 1 - \alpha$.
   • Isso é feito sem assumir que os modelos individuais estejam bem calibrados.
4. Construção do Conjunto de Previsão e Política de Ação Hierárquica:
   • O sistema gera um conjunto de previsões $C(x)$ contendo todas as opções cuja probabilidade social supera o limiar calibrado.
   • Política de Ação:
     • $|C(x)| = 1$ (Singleton): O sistema age autonomamente (resposta única).
     • $|C(x)| > 1$: O sistema reconhece incerteza e escala a decisão para revisão humana, reduzindo o espaço de decisão para as opções plausíveis.
     • $|C(x)| = 0$: Detecção de anomalia (revisão manual completa).

3. Contribuições Principais

1. Reenquadramento da Decisão: Transforma a seleção de respostas em debate multi-agente para seleção de ação controlada por risco, introduzindo um pipeline black-box e post-hoc com garantias de cobertura marginal.
2. Quantificação de Falhas: Demonstra que 23,9% dos casos inicialmente disputados convergem para um consenso errado unânime. A calibração conformal intercepta 81,9% desses erros de consenso errado no nível $\alpha=0.05$.
3. Mitigação Operacional: Oferece um ponto de operação mais seguro. Em domínios complexos, o sistema recusa-se a agir quando o debate está "confiantemente errado", resultando em uma precisão muito superior nas ações automáticas restantes, ao custo de uma menor taxa de automação.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark MMLU-Pro (8 domínios profissionais, 10 opções cada) com três agentes heterogêneos.

• Garantia de Cobertura: A cobertura empírica manteve-se dentro de 1-2 pontos percentuais do alvo ($1-\alpha$) em todos os domínios, validando a garantia teórica.
• Interceptação de Erros:
  • O método interceptou 81,9% dos casos de consenso errado que, sob a regra de parada por consenso tradicional, teriam sido executados erroneamente.
  • A taxa de "falsos positivos" (erros introduzidos pelo método que não existiriam no consenso) foi insignificante (apenas 2 casos em 4.158 amostras, ou 0,05%).
• Precisão vs. Automação (Trade-off):
  • Efeito de Seleção: A precisão dos casos onde o sistema age autonomamente (singletons) aumentou drasticamente, chegando a 90,0%–96,8%.
  • Em domínios difíceis como Direito, a precisão do consenso tradicional era de 67,9%, enquanto a precisão conformal (apenas nos casos que o sistema decidiu agir) saltou para 90,0% (+22,1 pontos percentuais).
  • Custo: Para obter essa segurança, o sistema escalou para humanos 93,8% dos casos no domínio de Direito (devido à alta ambiguidade), enquanto no Matemática (alta precisão intrínseca) manteve a automação em 98,2%.
• Conclusão dos Resultados: O ganho de precisão não vem de um "melhor raciocínio" dos agentes, mas de uma recusa calibrada: o sistema evita agir quando a incerteza é alta, mesmo que haja consenso aparente.

5. Significado e Impacto

• Segurança em IA Generativa: O trabalho oferece um mecanismo prático para evitar que sistemas multi-agente cometam erros catastróficos com alta confiança, um problema conhecido como "alucinação de consenso".
• Controle de Risco Operacional: Permite que os usuários ajustem o nível de risco aceitável (via o hiperparâmetro $\alpha$). Um $\alpha$ baixo prioriza segurança (mais escalas para humanos), enquanto um $\alpha$ alto prioriza automação.
• Independência de Modelo: A abordagem é agnóstica ao modelo, não requer acesso aos pesos internos (logits) nem re-treinamento, funcionando apenas com as saídas verbais dos agentes.
• Mudança de Paradigma: Sugere que, em aplicações críticas, a métrica de sucesso não deve ser apenas a precisão média, mas a taxa de erro condicional à ação automática. A "Escolha Social Conformal" fornece a estrutura matemática para garantir que essa taxa permaneça controlada.

Em resumo, o artigo demonstra que a segurança em sistemas multi-agente não depende apenas de melhorar o debate, mas de implementar uma camada de decisão que saiba quando não agir, transformando a incerteza calibrada em um protocolo de segurança robusto.