The impact of multi-agent debate protocols on debate quality: a controlled case study

Título: O Impacto de Protocolos de Debate Multi-Agente na Qualidade do Debate: Um Estudo de Caso Controlado

1. Problema e Motivação

Sistemas de debate multi-agente (MAD) baseados em Grandes Modelos de Linguagem (LLMs) frequentemente relatam ganhos de desempenho. No entanto, a literatura atual sofre de uma limitação fundamental: os protocolos de debate (número de agentes, rodadas, regras de agregação e topologia de comunicação) são geralmente mantidos fixos enquanto variam os fatores relacionados ao modelo. Isso torna difícil isolar o efeito do protocolo do efeito da capacidade do modelo.

Além disso, há uma falta de diretrizes sobre quando o aumento da coordenação justifica custos adicionais de latência e tokens. O protocolo define quais evidências de pares um agente pode ver e quando pode reagir a elas, influenciando diretamente a qualidade da interação e o comportamento de convergência. O objetivo deste trabalho é isolar e comparar sistematicamente diferentes protocolos de debate sob condições controladas.

2. Metodologia

2.1. Configuração Experimental Controlada

O estudo utiliza um desenho de medidas repetidas controladas para garantir que apenas o protocolo varie, mantendo constantes:

• Prompts e Decodificação: Temperatura fixa (0.4), estrutura de prompt normalizada e nomes de papéis neutros.
• Modelos: Três modelos distintos atuam como agentes (Llama 3.2, Qwen 2.5, GPT-OSS) e um quarto modelo (Mistral) atua como Juiz.
• Dados: Um subconjunto diversificado de 20 eventos macroeconômicos (baseados na série de dados FRED sobre inflação de preços rígidos) foi selecionado de 121 observações mensais.
• Execução: 100 unidades de execução combinadas (20 eventos × 5 sementes aleásticas) para cada protocolo.

2.2. Protocolos Comparados

O estudo compara três protocolos principais contra uma linha de base de "Sem Interação" (NI):

1. Within-Round (WR): Os agentes veem apenas as contribuições da rodada atual (visibilidade intra-rodada).
2. Cross-Round (CR): Os agentes recebem o contexto completo das rodadas anteriores, mas não veem as contribuições dos pares na mesma rodada antes de responder.
3. Rank-Adaptive Cross-Round (RA-CR - Novidade): Uma extensão do CR onde um modelo juiz reordena dinamicamente a sequência dos agentes com base na qualidade das respostas e silencia o agente com menor classificação na rodada seguinte.
4. No-Interaction (NI): Respostas independentes sem visibilidade de mensagens de pares (linha de base).

2.3. Métricas de Avaliação

Três métricas sensíveis ao protocolo foram definidas:

• Taxa de Referência a Pares (PRR): Medida de quanto os agentes citam explicitamente e tomam posição sobre as afirmações de outros agentes (interação).
• Diversidade de Argumentos (AD): Medida da variedade léxica entre as respostas (baseada em dissimilaridade de Jaccard).
• Formação de Consenso (CF): Redução da variância das previsões numéricas dos agentes ao longo das rodadas (convergência).

3. Contribuições Principais

1. Comparação Controlada de Protocolos: Fornece evidências empíricas de um trade-off entre interação (engajamento de pares) e convergência (formação de consenso), demonstrando que o design do protocolo altera sistematicamente o comportamento do sistema.
2. Novo Protocolo Adaptativo (RA-CR): Introduz um mecanismo de agendamento adaptativo que utiliza um juiz para reordenar agentes e silenciar os de menor desempenho, otimizando a convergência.
3. Framework de Orquestração Reprodutível: Apresenta um framework que suporta Reinforcement Learning from AI Feedback (RLAIF), permitindo que as preferências derivadas do juiz guiem o comportamento dos agentes.
4. Diretrizes de Implantação: Sugere que protocolos ricos em interação e protocolos orientados à convergência devem ser selecionados condicionalmente, motivando políticas de invocação baseadas na complexidade da tarefa em vez de debates "sempre ativos".

4. Resultados Chave

• Convergência (CF): O protocolo RA-CR superou significativamente todos os outros (WR, CR e NI) na formação de consenso. Isso indica que a reordenação adaptativa e o silenciamento de agentes de baixa qualidade aceleram a convergência para uma visão compartilhada.
• Interação (PRR): O protocolo WR apresentou a maior taxa de referência a pares, superando o RA-CR. A visibilidade imediata dentro da mesma rodada incentiva a citação direta e o engajamento.
• Diversidade (AD): A linha de base NI (sem interação) maximizou a diversidade de argumentos. Entre os protocolos de debate, não houve diferença estatisticamente significativa na diversidade, mas todos tenderam a reduzir a diversidade em comparação com respostas independentes.
• Hipóteses:
  • H1 (WR > CR em interação): Recebeu suporte direcional, mas não conclusivo estatisticamente após correção de Bonferroni.
  • H2 (RA-CR > CR em convergência): Confirmada. O RA-CR demonstrou uma vantagem clara e significativa na redução da variância de previsões.

5. Significado e Conclusão

O estudo conclui que o design do protocolo de debate não é um detalhe de implementação de fundo, mas uma variável de design explícita que deve ser reportada e ajustada.

• Trade-off Identificado: Existe um compromisso claro entre interação rica (favorecida pelo WR) e convergência rápida (favorecida pelo RA-CR).
• Recomendação Prática: Se o objetivo do sistema é a formação de consenso e a redução de incerteza (ex: previsão econômica), o protocolo RA-CR é a escolha superior. Se o objetivo é a exploração de ideias e o debate aberto, protocolos com visibilidade intra-rodada (WR) podem ser mais adequados.
• Impacto Futuro: O trabalho sugere que a orquestração de agentes deve evoluir de designs estáticos para sistemas adaptativos que alteram a topologia de comunicação e a participação dos agentes com base na qualidade das respostas em tempo real, integrando-se potencialmente com técnicas de RLAIF.

Em suma, a qualidade do debate em sistemas multi-agente é tão dependente da arquitetura de orquestração quanto da capacidade dos modelos individuais, e o protocolo RA-CR surge como uma solução promissora para otimizar a convergência em tarefas de raciocínio colaborativo.