Resumo Técnico: MDIA - Um Pipeline de Inteligência Diagnóstica Multi-Agente no HealthBench Professional

Declaração do Problema

O artigo aborda o desafio de avaliar Modelos de Linguagem de Grande Escala (LLMs) em contextos clínicos, especificamente utilizando o benchmark HealthBench Professional da OpenAI. Este benchmark consiste em 525 casos avaliados por rubricas, derivados de conversas reais entre clínicos, projetados para serem adversariais e multi-turno.

Os autores identificam duas lacunas primárias na literatura atual:

1. Arquitetura vs. Engenharia de Prompt: Embora muitos ganhos relatados em benchmarks de LLMs agênticos sejam atribuídos à engenharia de prompts, os autores hipotetizam que melhorias significativas podem ser alcançadas por meio de design arquitetural e de nível de motor.
2. Metodologia de Avaliação: Trabalhos anteriores não examinaram suficientemente como a estrutura de conversação multi-turno do benchmark interage com designs padrão de harnesses de avaliação. Especificamente, a estratégia padrão "simple-evals" frequentemente achata as conversas para a última mensagem do usuário, descartando silenciosamente o contexto de turnos de acompanhamento (que constituem 22% dos casos do benchmark).

Metodologia: A Arquitetura MDIA

Os autores apresentam o MDIA (Agente de Inteligência Diagnóstica Multi-Agente), um Grafo Acíclico Direcionado (DAG) coordenado de 7 nós executado na Plataforma TietAI Hydra. O sistema opera em um LLM de propósito geral não ajustado por fine-tuning (Gemini 3.1 Pro para raciocínio) e utiliza um conjunto de 14 ferramentas médicas.

A estrutura do grafo consiste nos seguintes nós:

1. Orquestrador de Entrada: Um agente de pesquisa com chamada de ferramentas que coleta um dossiê clínico estruturado usando ferramentas como PubMed, DailyMed, UMLS, ICD-10 e buscas na web filtradas por site. É consciente de múltiplos turnos, preservando o histórico de conversação.
2. Roteador (Classificador de Especialidade): Analisa o dossiê e ramifica a tarefa para um de três raciocinadores especialistas em domínio (Gastroenterologia, Oftalmologia, Neurologia) ou para um caminho Generalista.
3. Raciocinadores de Especialidade: Três agentes especializados (GI, Oftalmo, Neuro) equipados com conhecimento âncora curado (por exemplo, Glasgow-Blatchford, NIHSS, Diretrizes de Tóquio).
4. Raciocinador Generalista: Lida com a "cauda longa" de especialidades não cobertas pelos três especialistas.
5. Sintetizador de Saída: Converte o resumo do raciocinador em uma resposta voltada ao usuário com restrições de comprimento (alvo de 2000–3000 caracteres, limite rígido de 4000).
6. Verificador: Realiza uma verificação final de segurança e formato.
7. Portão de Segurança de Estado de Medicamentos: Uma verificação obrigatória antes da geração de conteúdo que recusa ou alerta sobre combinações perigosas de estado de paciente e medicamento (por exemplo, loperamida com febre), enquanto exclui contextos educacionais para evitar recusas excessivas.

Intervenções de Engenharia Chave:

• Tratamento de Múltiplos Turnos: O harness de avaliação foi modificado para passar o histórico completo da conversação (estratégia multiturn) em vez de apenas a última mensagem do usuário (last_user).
• Confiabilidade do Motor: Correções incluíram remoção de cercas de código JSON, novas tentativas para saídas vazias e substituições de localização por modelo para garantir execução estável.
• Higiene de Busca: Implementação de consultas filtradas por site para fontes médicas de alta autoridade (por exemplo, PubMed, NICE, UpToDate) para reduzir ruído.
• Orientação de Comprimento: Restrições explícitas para reduzir verbosidade sem descartar âncoras clínicas, abordando a penalidade de comprimento do benchmark.

Resultados Chave

O artigo relata resultados no conjunto de dados completo do HealthBench Professional ($n=525$) usando dois avaliadores diferentes: GPT-5.4-2026-03-05 da OpenAI e Gemini 2.5 Pro do Google.

Desempenho sob o Avaliador GPT-5.4:

• MDIA v1.0.53: Alcançou uma pontuação de 0,6272.
• Comparação:
  • +3,72 pp sobre o "ChatGPT para Clínicos" da OpenAI (0,590). Os autores observam que essa margem está dentro do desvio padrão bootstrap ($\sigma \approx 0,023$) e deve ser tratada como direcional, não decisiva.
  • +14,62 pp sobre a linha de base de agente único do GPT-5.4 (0,481).
  • +19,02 pp sobre respostas escritas por médicos (0,437).

Desempenho sob o Avaliador Gemini 2.5 Pro:

• MDIA v1.0.53: Alcançou uma pontuação de 0,6585 (com v1.0.50 em 0,6771).
• Observação: A escolha do avaliador introduz variabilidade significativa. Por exemplo, a intervenção de orientação de comprimento (v1.0.53) melhorou a pontuação do GPT-5.4, mas regrediu ligeiramente a pontuação do Gemini, sugerindo que diferentes avaliadores ponderam concisão versus elaboração de maneiras distintas.

Impacto de Intervenções Específicas:

• Contexto de Múltiplos Turnos: A mudança do achatamento last_user para multiturn aumentou a pontuação em +5,0 pp (avaliado pelo Pro) e +6,3 pp (avaliado pelo GPT-5.4). Este aumento veio inteiramente dos 22% dos casos com turnos de acompanhamento.
• Confiabilidade do Motor: Correções no motor de execução recuperaram aproximadamente 3–4 pp anteriormente perdidos devido à instabilidade da infraestrutura (reduzindo as taxas de resposta vazia de 3,8% para 0,2%).
• Roteamento de Especialidade: Ramificação para raciocinadores específicos (GI, Oftalmo, Neuro) forneceu um aumento de +3,1 pp sobre uma abordagem apenas generalista.

Significado e Alegações

O artigo faz quatro contribuições primárias:

1. Superioridade Arquitetural: Demonstra que um pipeline multi-agente em um LLM de propósito geral, não ajustado por fine-tuning, pode superar um modelo proprietário e específico de domínio (ChatGPT para Clínicos) sob o mesmo avaliador. Os autores atribuem isso à arquitetura do sistema (roteamento de especialidade, portões de segurança, contexto de múltiplos turnos) em vez de ajuste fino do modelo.
2. Identificação de Falha na Avaliação: O artigo destaca que a estratégia padrão de achatamento de "última mensagem do usuário" em harnesses de avaliação subestima o desempenho de agentes conscientes de contexto em aproximadamente 6 pontos percentuais. Argumenta que todos os futuros relatórios do HealthBench Professional devem divulgar a estratégia de achatamento.
3. Robustez de Engenharia: Documenta que a confiabilidade em nível de motor (tratamento de saídas vazias, análise JSON, substituições de localização) é um fator crítico, frequentemente negligenciado, que pode representar 3–4 pp de variância de desempenho.
4. Variabilidade do Avaliador: O estudo reforça que avaliações do tipo "LLM como juiz" são sensíveis à escolha do avaliador. Os autores afirmam que uma avaliação robusta requer avaliação através de múltiplos modelos avaliadores independentes para garantir justiça e reduzir viés.

Limitações e Ressalvas:

• Os autores afirmam explicitamente que a margem de 3,72 pp sobre o ChatGPT para Clínicos está dentro do ruído estatístico e que a OpenAI não publicou intervalos de confiança para seu sistema.
• A comparação é complicada pela falta de documentação sobre o próprio harness de avaliação da OpenAI (especificamente se eles usaram contexto de múltiplos turnos).
• Os resultados são apresentados como indicadores técnicos da capacidade do sistema, em vez de validação clínica definitiva, reconhecendo que o emissor do benchmark (OpenAI) também é um vendedor de modelos.

O artigo conclui que o desempenho em benchmarks clínicos agênticos é moldado tanto pelo modelo de base quanto pela arquitetura de orquestração, e que benchmarks futuros devem priorizar a transparência nos harnesses de avaliação e validação com múltiplos avaliadores.