Multi-Agent Reasoning with Consistency Verification Improves Uncertainty Calibration in Medical MCQA

Título: Raciocínio Multi-Agente com Verificação de Consistência Melhora a Calibração de Incerteza em Perguntas de Múltipla Escolha Médica (MARC)

1. O Problema

A implementação de Inteligência Artificial (IA) em ambientes clínicos enfrenta um obstáculo prático significativo: a má calibração das pontuações de confiança. Modelos de Linguagem de Grande Escala (LLMs) tendem a ser sistematicamente superconfiantes, gerando pontuações de confiança que não refletem com precisão a probabilidade real de uma resposta estar correta.

• Consequência: Uma resposta errada com alta confiança pode não ser questionada, enquanto um sistema com confiança uniformemente baixa torna-se clinicamente inútil.
• Limitação dos Métodos Atuais: Técnicas de recalibração existentes (como temperature scaling ou ensembles Bayesianos) frequentemente exigem dados de calibração rotulados ou múltiplas cópias do modelo, o que é inviável em cenários de implantação onde dados rotulados são escassos.

2. Metodologia: O Framework MARC

O autor propõe o MARC (Multi-Agent Reasoning with Consistency Verification), um framework que combina agentes especialistas com verificação de auto-consistência para melhorar tanto a calibração quanto a discriminação. O sistema opera em três componentes principais:

• Componente 1: Equipe de Agentes Especialistas

  • Quatro agentes especializados em domínios específicos (Pneumologia, Cardiologia, Neurologia e Gastroenterologia) são instanciados usando o modelo Qwen2.5-7B-Instruct.
  • Cada agente gera uma resposta independente, uma cadeia de raciocínio (Chain-of-Thought) e uma confiança inicial ($C^{(0)}_k$).

• Componente 2: Verificação de Consistência em Duas Fases (Two-Phase Verification)

  • Baseado no trabalho de Wu et al. (2024), este componente transforma a consistência interna do raciocínio em uma pontuação de confiança verificada (S-score).
  • Fase 1: O especialista gera a resposta e o raciocínio.
  • Fase 2:
    1. Extração de afirmações factuais do raciocínio.
    2. Resposta independente a essas afirmações (sem contexto do raciocínio original).
    3. Resposta às mesmas afirmações com o raciocínio original em contexto.
    4. Medição de Inconsistência ($I_k$): Compara-se a similaridade entre as respostas independentes e as respostas com contexto. Se houver inconsistência, a confiança inicial é penalizada.
  • Cálculo do S-score: $S_k = C^{(0)}_k \cdot (1 - I_k)$. Um especialista totalmente inconsistente recebe $S_k = 0$.

• Componente 3: Fusão Ponderada por S-score

  • As respostas dos agentes são agregadas. A pontuação final para uma candidata é calculada pelo número de votos multiplicado pela média dos S-scores dos apoiadores.
  • A confiança final calibrada ($\hat{C}$) é derivada da fração de votos e da distribuição dos S-scores, reduzindo a confiança em maiorias fracas e aumentando-a em consenso forte.

3. Contribuições Principais

1. Arquitetura MARC: Um sistema multi-agente que substitui a agregação heurística por uma fusão ponderada por incerteza derivada da consistência interna.
2. Separação de Funções: O estudo demonstra empiricamente que:
   • A Verificação em Duas Fases é o motor principal da melhoria na calibração (redução do erro de calibração).
   • O Raciocínio Multi-Agente é o motor principal da melhoria na acurácia (discriminação).
3. Validação em Cenários de Alta Dificuldade: O método foi testado em subconjuntos de "alta discordância" de benchmarks médicos (MedQA-USMLE e MedMCQA), onde a incerteza é mais crítica.

4. Resultados Experimentais

O sistema foi avaliado em quatro configurações (100 e 250 perguntas de MedQA e MedMCQA) comparando o sistema completo (Config 4) contra baselines de agente único e ablações.

• Melhoria na Calibração (ECE - Expected Calibration Error):

  • O sistema completo reduziu o ECE em 49% a 74% em todos os quatro cenários em comparação com a baseline de agente único.
  • No conjunto MedQA-250, o ECE caiu de 0.355 para 0.091 (redução de 74,4%).
  • A verificação em duas fases foi identificada como o fator dominante para essa redução, mesmo sem dados rotulados.

• Melhoria na Acurácia e Discriminação (AUROC):

  • O sistema completo alcançou 59,2% de acurácia no MedQA-250 (vs. 54,4% da baseline).
  • A fusão multi-agente foi responsável pela maior parte do ganho de acurácia.
  • O AUROC (capacidade de distinguir respostas corretas de erradas) melhorou significativamente no MedQA-250 (+0,056).

• Desafio do MedMCQA:

  • No MedMCQA (focado em recall factual de conhecimento), a acurácia absoluta foi menor (44,0% no sistema completo vs. 42,8% na baseline), mas a calibração ainda melhorou drasticamente (ECE reduzido em 63%).
  • Isso demonstra que o sistema consegue expressar incerteza apropriada mesmo quando o modelo não possui o conhecimento factual necessário para responder corretamente.

5. Significado e Impacto

• Segurança Clínica: O MARC fornece um sinal de confiança confiável para a deferência (quando o médico deve ignorar a IA e consultar um especialista humano). Um sistema bem calibrado avisa o usuário quando está "chutando", mesmo que a resposta final seja errada.
• Viabilidade em Modelos Pequenos: O método funciona eficazmente em modelos de 7B parâmetros, que geralmente sofrem com alucinações e má calibração em tarefas médicas complexas.
• Limitação e Futuro: A principal limitação é que a consistência interna não garante verdade factual (um raciocínio coerente pode ser baseado em fatos errados). O trabalho sugere que a integração com RAG (Retrieval-Augmented Generation) e bases de conhecimento médico (como PubMed) na fase de verificação é o próximo passo crucial para corrigir erros factuais consistentes.

Em resumo, o paper estabelece que a verificação de consistência baseada em raciocínio multi-agente é uma estratégia prática e eficaz para tornar a IA médica mais segura e confiável, transformando a incerteza de um problema em um recurso utilizável para a tomada de decisão clínica.