Resumo Técnico: A Ilusão de Consistência em QA Médica Multiagente

1. Declaração do Problema

Sistemas multiagentes de Large Language Models (LLMs) estão sendo cada vez mais implantados para resposta a perguntas médicas (QA), operando sob a premissa de que o consenso ao nível da resposta (múltiplos agentes concordando com um diagnóstico ou tratamento final) serve como um proxy confiável para o alinhamento ao nível do raciocínio. Frameworks como MedAgents e MDAgents relatam ganhos de precisão sobre baselines de agente único ao alavancar mecanismos de debate e votação.

No entanto, este artigo argumenta que essa premissa de confiança é incompleta. Os autores identificam um modo de falha denominado Ilusão de Consistência: um fenômeno onde o debate multiagente reduz as contradições detectáveis entre os agentes e, simultaneamente, diminui a similaridade semântica de suas cadeias de raciocínio subjacentes. Neste estado, os agentes parecem concordar com mais frequência, mas raciocinam de forma menos consistente. Conforme ilustrado pelo exemplo motivador do artigo, três agentes podem convergir independentemente para a resposta clínica correta (ex: atropina para bradicardia sintomática) enquanto invocam mecanismos farmacológicos mutuamente exclusivos (ex: $\beta_1$-agonismo vs. bloqueio de M2 vs. inibição da acetilcolinesterase).

Pipelines de avaliação existentes medem primariamente a precisão macroscópica da resposta ou a fidelidade do raciocínio de agente único, deixando o alinhamento do raciocínio entre agentes sem medição. Consequentemente, sistemas podem produzir consensos de aparência confiável baseados em racionalidades medicamente incompatíveis, um risco crítico em domínios de segurança crítica.

2. Metodologia

2.1 CARA: Alinhamento de Raciocínio Entre Agentes (Cross-Agent Reasoning Alignment)

Para quantificar este fenômeno, os autores introduzem o CARA, uma família de métricas automatizadas projetadas para medir se agentes que concordam com uma resposta também concordam com o raciocínio por trás dela. O CARA opera post-hoc nos rastros do sistema sem exigir chamadas adicionais de LLM.

• Definição do Conjunto de Concordância: Para uma determinada pergunta, o CARA isola o subconjunto de agentes $S(q)$ que votaram na resposta majoritária.
• Decomposição em Nível de Passo: O racional de cada agente é decomposto em passos de raciocínio usando um pipeline determinístico de segmentação de texto.
• Métrica de Alinhamento Híbrido (CARA-HYB): A métrica computa o alinhamento par a par entre os passos de diferentes agentes usando um híbrido de:
  • Detecção de Contradição baseada em NLI: Usando um modelo DeBERTa-v3 para sinalizar contradições ($P_{NLI} > \tau$).
  • Similaridade de Embedding: Usando embeddings Stella para calcular a similaridade de cosseno para passos não contraditórios.
  • Lógica: Contradições sobrepõem a similaridade (um par de passos é pontuado como -1 se contraditório, caso contrário, pela similaridade de cosseno).
• Agregação: As pontuações são simetrizadas entre pares de agentes e agregadas nos níveis de pergunta e de corpus.
• Diagnósticos: O framework também reporta a Taxa de Contradição (CR), a fração de pares de passos de melhor correspondência sinalizados como contradições.

2.2 Protocolo de Debate Fundamentado (Grounded Debate Protocol - GDP)

Para testar se a ilusão de consistência é uma falha fundamental da interação multiagente ou uma deficiência de protocolo, os autores propõem o GDP, uma intervenção ao nível de prompt. O GDP impõe um formato de comunicação estruturado exigindo que os agentes produzam três campos analisáveis por máquina para cada passo de raciocínio:

1. CLAIM (Alegação): Uma asserção clínica singular e falsificável.
2. GROUND (Fundamento): Um fato médico nomeado, mecanismo ou diretriz que sustenta a alegação (ex: alvos de drogas específicos, vias de receptores).
3. STANCE (Posicionamento): (Em rodadas de debate) Uma posição explícita (CONCORDAR, DISCORDAR, ESTENDER) em relação à alegação de outro agente, exigindo um contra-FUNDAMENTO para discordâncias.

O GDP inclui uma regra de "anti-sifofancia", instruindo os agentes a mudarem a resposta apenas se identificarem um erro factual ou receberem um fundamento mais convincente, em vez de simplesmente adotarem a visão majoritária.

2.3 Configuração Experimental

• Datasets: MedQA-USMLE (D1, N=500, MCQs de forma fechada) e MedThink-Bench (D2, N=499, raciocínio de formato aberto com anotações de especialistas).
• Backbones: Qwen 2.5 72B Instruct (primário) e Llama 3.3 70B Instruct (replicação).
• Sistemas:
  • M4: Controle de votação independente (sem debate).
  • M3: Debate simétrico padrão (Du et al., 2024).
  • M3-GDP: Arquitetura de debate padrão com restrições de prompt GDP.
• Validação: As pontuações CARA foram validadas contra o GPT-4o como juiz e três anotadores humanos treinados em medicina, mostrando forte monotonicidade e correlação.

3. Resultados Principais

3.1 A Ilusão de Consistência

A aplicação do CARA ao debate padrão (M3) revelou a ilusão:

• A Taxa de Contradição (CR) Diminuiu: O debate reduziu as contradições explícitas entre agentes (ex: o CR de D1 caiu de 0,104 para 0,035).
• A Similaridade Semântica (SIM) Diminuiu: Simultaneamente, a similaridade semântica das cadeias de raciocínio caiu (ex: o SIM de D1 caiu de 0,801 para 0,787).
• Interpretação: O debate padrão suprime o desacordo superficial (suavizando contradições), mas faz com que o raciocínio divirja ainda mais, criando uma falsa sensação de consenso. Em D2, esse efeito foi significativo ($d = -0,30$ para Qwen, $d = -1,32$ para Llama).

3.2 Eficácia do Debate Fundamentado (GDP)

O GDP reverteu essa tendência, produzindo a assinatura de "verdadeiro alinhamento":

• CR Diminuiu: As contradições foram reduzidas (ex: D1 CR: 0,117 $\to$ 0,098).
• SIM Aumentou: A similaridade semântica das cadeias de raciocínio melhorou significativamente (ex: D1 SIM: 0,835 $\to$ 0,912).
• Magnitude: O GDP produziu ganhos de alinhamento grandes e consistentes em todas as condições (efeitos de Tier A: $d = +1,43$ a $+1,99$).
• Alinhamento com Especialistas: O CARA-GT (alinhamento com Pontos de Pontuação de especialistas) mostrou que o GDP aproximou os agentes do raciocínio do especialista ($d = +0,32$), enquanto o debate padrão os afastou ($d = -0,21$).

3.3 Análise de Modos de Falha

A análise dos casos de menor CARA revelou que o GDP eliminou estruturalmente dois modos de falha graves:

1. Raciocínio Complementar (FM1): Agentes usando caminhos diferentes, porém não contraditórios, para a mesma resposta (eliminado: 23 $\to$ 0 em D1).
2. Convergência Sifofante (FM4): Agentes adotando a resposta majoritária com zero passos de raciocínio (eliminado: 11 $\to$ 0 em D1).
   O desalinhamento residual sob o GDP deslocou-se para "Sobreposição Parcial" (FM6), um baseline de baixa severidade.

3.4 Considerações de Precisão

O artigo observa explicitamente que o CARA mede o alinhamento, não a correção.

• Debate Padrão: Não alterou significativamente a precisão da resposta em comparação com a votação independente.
• GDP: Não melhorou significativamente a precisão; em alguns casos, mostrou uma diminuição leve e não significativa.
• Conclusão: O GDP melhora a confiabilidade do processo de raciocínio sem necessariamente alterar a precisão da resposta final nestes benchmarks.

4. Significância e Alegações

O artigo afirma identificar e quantificar um modo de falha anteriormente não medido em QA médica multiagente: a Ilusão de Consistência. Os autores argumentam que a premissa predominante — de que o consenso multiagente implica raciocínio clínico confiável — é falha porque o acordo superficial pode mascarar racionalidades divergentes e medicamente incompatíveis.

A significância do trabalho reside em:

1. Inovação de Métrica: Introduzir o CARA como uma ferramenta de auditoria necessária para domínios de segurança crítica, medindo o alinhamento do raciocínio juntamente com a precisão.
2. Intervenção de Protocolo: Demonstrar que a fundamentação leve, ao nível de prompt (GDP), pode melhorar substancialmente o alinhamento do raciocínio entre agentes sem modificar a arquitetura do sistema ou aumentar os orçamentos de chamadas de LLM.
3. Implicações de Segurança: Destacar que em ambientes de alto risco, o "acordo" é insuficiente; os sistemas devem ser auditados para garantir um raciocínio consistente para assegurar que o consenso não seja meramente um artefato estatístico de sifofancia ou suavização vaga.

Os autores mantêm uma postura modesta, esclarecendo que o GDP é uma intervenção de auditoria de alinhamento, não um impulsionador garantido de precisão, e que as descobertas são específicas para as topologias de debate e modelos de pesos abertos testados. Eles posicionam o GDP como uma intervenção diagnóstica e de auditoria para fechar a lacuna entre o consenso superficial e a confiabilidade do raciocínio.