Resumo Técnico: AI Consilium – Um Benchmark de Segunda Opinião Clínica Multidisciplinar de LLM

Definição do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado proficiência na geração de diagnósticos diferenciais para casos clínicos complexos, uma segunda opinião clínica de alta qualidade exige mais do que precisão diagnóstica. Ela deve ser fundamentada em fatos, clinicamente coerente, acionável e segura. As avaliações existentes frequentemente dependem apenas do acordo diagnóstico ou tratam sistemas multiagentes como "caixas pretas" monolíticas, falhando em dissecar as contribuições específicas da identidade do modelo, da estrutura de resposta (texto livre vs. estruturado) e do próprio processo de síntese. Além disso, a suposição de que a deliberação multidisciplinar melhora inerentemente os resultados carece de validação empírica rigorosa, particularmente quando comparada contra baselines de computação equivalente e opiniões isoladas por função específica. Há uma necessidade de um benchmark que avalie toda a trajetória de uma segunda opinião clínica — desde a análise independente por função até a síntese multidisciplinar — distinguindo entre a qualidade do raciocínio, a conclusão final e o plano de manejo.

Metodologia

Os autores desenvolveram um benchmark utilizando 300 casos clinicamente resolvidos do conjunto de dados NEJM–MedQA (Case Records of the Massachusetts General Hospital). O design do estudo envolve um pipeline de geração de três estágios e um framework de avaliação multidimensional.

1. Design de Dados e do Pipeline

• Dataset: 300 casos únicos foram divididos em 110 casos para anotação de médicos e calibração do Juiz LLM, e 190 casos para avaliação retida (held-out).
• Pipeline de Geração:
  • Atribuição de Papéis: Para cada caso, são atribuídos de 1 a 5 papéis clínicos (ex: Radiologia, Endocrinologia), com um designado como primário.
  • Estágio Pré-Consilium: Cada papel gera uma segunda opinião independente sob duas condições: Texto Livre (narrativo) e Estruturado (restrito por esquema com seções específicas como síndromes, mecanismos e manejo).
  • Estágio de Consilium Interativo: Um protocolo interativo sintetiza as opiniões específicas de cada papel. Os papéis revisam um relatório compartilhado iterativamente (até 5 rodadas), votando "sim" ou "não" com críticas. Um moderador resolve dissidências e um finalizador produz um relatório consolidado ao nível do caso.
• Modelos: Oito pipelines distintos de modelo único foram avaliados no conjunto de avaliação retida (DeepSeek-V4-Pro, Gemma-4-31B, GLM-5.2, GPT-5.6-Sol, GPT-OSS-120B, Qwen3.5-27B, Qwen3-235B, Qwen3-Next-80B). No conjunto de calibração, foi utilizado um procedimento 3+1 onde três modelos trabalhadores geraram opiniões e um quarto (GLM-5.2) as sintetizou.

2. Framework de Avaliação

• Referência Médica: Seis médicos com expertise interdisciplinar avaliaram as saídas usando uma escala de 0 a 3 em oito critérios de qualidade de resposta:
  1. Correção Factual e Fundamentação de Fontes
  2. Identificação e Priorização de Problemas Clínicos
  3. Completude e Relevância do Uso de Dados
  4. Coerência do Raciocínio Clínico
  5. Qualidade do Diagnóstico Diferencial
  6. Qualidade da Conclusão Clínica Final
  7. Justificativa e Especificidade do Manejo
  8. Segurança Clínica
  • Regra Especial: Qualquer fato clinicamente significativo fabricado resulta em uma pontuação 0 para fundamentação factual e limita os critérios relacionados ao máximo de 1.
• Juiz Automatizado: Um Juiz LLM calibrado por médicos (GPT-OSS-120B) foi otimizado usando algoritmos evolutivos (GigaEvo) para minimizar o Erro Médio Absoluto (MAE) em relação às classificações médicas para cada critério de forma independente.
• Métricas: O estudo analisa a identidade do modelo, o formato de resposta, as contribuições do estágio de síntese, a dinâmica de deliberação (rodadas de consenso) e os custos de inferência (uso de tokens).

Contribuições Principais

1. Benchmark de Dupla Verificação: O primeiro benchmark a avaliar opiniões de papéis específicos isolados e a síntese multidisciplinar final como produtos clínicos distintos sobre os mesmos casos, permitindo o isolamento do valor da síntese.
2. Framework de Qualidade Multidimensional: Uma rubrica desenvolvida por médicos que separa fundamentação factual, raciocínio, manejo e segurança, indo além do simples acordo diagnóstico.
3. Comparação Controlada: Um design que varia independentemente a identidade do modelo, a estrutura de resposta e os estágios de síntese para dissecar seus efeitos, incluindo uma comparação da interação multiagente de computação intensiva contra baselines de modelo único.
4. Sistema de Juiz Calibrado: Um Juiz LLM calibrado por critério que fornece avaliação escalável de segundas opiniões clínicas abertas, validado contra classificações médicas para dimensões específicas.

Resultados

• Dominância da Identidade do Modelo: A identidade do modelo foi o preditor mais forte da qualidade do relatório. O GPT-5.6-Sol liderou todos os componentes avaliados (raciocínio de papel, opinião de papel e conclusões finais) tanto no formato de texto livre quanto no estruturado. A lacuna de desempenho entre o melhor e o pior modelo (aprox. 0,4–0,5 pontos) excedeu significativamente as diferenças causadas pelo formato de resposta dentro de um mesmo modelo.
• Valor da Síntese: A síntese estruturada completa alcançou pontuações de Juiz agrupadas superiores à opinião do papel primário pré-consilium em todos os critérios compartilhados. As maiores melhorias foram observadas na priorização de problemas, fundamentação factual e coerência do raciocínio, indicando que o estágio de síntese integra efetivamente perspectivas díspares em um relato clínico mais organizado.
• Impacto da Estrutura: Relatórios finais estruturados mostraram médias gerais mais altas do que relatórios de texto livre em sete dos oito pipelines de modelos. Essa vantagem foi impulsionada principalmente por uma melhoria significativa no manejo (2,740 vs. 2,436), sugerindo que o prompting estruturado aumenta a capacidade de ação e o planejamento, em vez de melhorar uniformemente todas as dimensões clínicas.
• Dinâmica de Deliberação: O protocolo interativo alcançou consenso em 97,8% dos casos. No entanto, trajetórias de revisão mais longas (mais rodadas) não correlacionaram com pontuações finais mais altas. O GPT-5.6-Sol alcançou as pontuações de qualidade mais altas com o menor número de rodadas de revisão (média de ~1,2 rodadas), demonstrando que um forte desempenho inicial combinado com uma convergência rápida é mais eficaz do que uma deliberação estendida.
• Custos de Inferência: Pipelines estruturados exigiram significativamente mais tokens (aprox. 26,5k tokens adicionais por caso) do que pipelines de texto livre, destacando um compromisso entre os ganhos marginais na qualidade do manejo e o custo computacional.

Significância e Alegações

O artigo afirma que o benchmark AI Consilium captura com sucesso as nuances das segundas opiniões clínicas que a precisão diagnóstica sozinha não detecta. Ele demonstra que:

1. A síntese multidisciplinar agrega valor: O processo de agregar e revisar as opiniões de papéis específicos transforma material isolado em uma segunda opinião integrada e de maior qualidade, particularmente em priorização e coerência.
2. A escolha do modelo é primordial: A identidade do LLM subjacente é um fator mais crítico para determinar a qualidade de uma segunda opinião clínica do que o formato específico de resposta ou a complexidade do protocolo de deliberação.
3. A estrutura auxilia a capacidade de ação: O prompting estruturado melhora especificamente a qualidade dos planos de manejo, tornando o output mais acionável, embora venha acompanhado de maiores custos de inferência.
4. Eficiência da convergência: Modelos de alta qualidade podem alcançar o consenso rapidamente, sugerindo que rodadas excessivas de deliberação não necessariamente produzem melhores resultados clínicos.

Os autores concluem que, embora o benchmark forneça um framework abrangente para comparar futuros modelos e estratégias de síntese, estudos prospectivos ainda são necessários para estabelecer o impacto desses sistemas na tomada de decisão real dos clínicos e nos desfechos dos pacientes. O estudo enfatiza a avaliação da qualidade clínica, convergência procedimental e custo de inferência como resultados complementares, em vez de depender apenas da precisão diagnóstica como um único proxy.