Are Multimodal LLMs Ready for Clinical Dermatology? A Real-World Evaluation in Dermatology

Resumo Técnico: Os Modelos de Linguagem Multimodal (MLLMs) Estão Prontos para a Dermatologia Clínica? Uma Avaliação do Mundo Real

Declaração do Problema
Embora os Modelos de Linguagem Multimodal (MLLMs) tenham demonstrado desempenho promissor em benchmarks públicos de dermatologia, existe uma incerteza crítica quanto à sua generalização para fluxos de trabalho clínicos do mundo real. As avaliações existentes dependem predominantemente de imagens de lesões únicas curadas (frequentemente dermoscópicas), capturadas sob condições padronizadas, acopladas a tarefas de classificação de múltipla escolha ou baseadas em categorias. Em contraste, as consultas de dermatologia do mundo real envolvem entradas heterogêneas: fotografias clínicas capturadas com iluminação e enquadramento variáveis (frequentemente sem dermoscopia), acopladas a notas de consulta breves, potencialmente incompletas ou enganosas de médicos remetentes. O estudo aborda a lacuna "do benchmark ao leito", questionando se os MLLMs atuais podem realizar com confiabilidade a geração de diagnósticos diferenciais de código aberto e o triagem baseada na gravidade sob essas condições realistas e não curadas.

Metodologia
Os autores avaliaram cinco MLLMs — quatro modelos de pesos abertos (InternVL-Chat v1.5, LLaVA-Med v1.5, SkinGPT-4, MedGemma-4B-Instruct) e um modelo comercial (GPT-4.1) — em dois ambientes de avaliação distintos:

1. Benchmarks Públicos: Três conjuntos de dados padrão (DermNet, Fitzpatrick17k, SCIN) compreendendo aproximadamente 46.500 imagens.
2. Cohorte do Mundo Real: Um conjunto de dados retrospectivo, baseado em hospital e multi-sítio de consultas de dermatologia contendo 5.811 casos e 46.405 imagens clínicas coletadas entre 2014 e 2023. Esta coorte incluía fotografias clínicas pareadas e notas de consulta de médicos remetentes. Notavelmente, esta coorte interna foi enriquecida com casos graves (44,0% versus ~19% em conjuntos de dados públicos).

Os modelos foram avaliados em duas tarefas clinicamente relevantes:

• Diagnóstico Diferencial de Código Aberto: Gerar uma lista dos três principais diagnósticos potenciais.
• Triagem Baseada na Gravidade: Identificar casos que exigem avaliação urgente.

O desempenho foi medido utilizando:

• Métricas Automatizadas: BERTScore para similaridade semântica e um pipeline "LLM como juiz" para verificar se o diagnóstico correto aparecia nas três previsões principais e para atribuir gravidade.
• Avaliação Humana: Um subconjunto de saídas foi revisado por três dermatologistas certificados ou elegíveis para certificação para avaliar o alinhamento da intenção clínica, a factualidade e a especificidade das descrições de características visuais.

O estudo variou sistematicamente as entradas para testar a robustez: apenas imagem versus imagem mais contexto clínico, e a presença de contexto "direcionador" (onde o médico remetente sugere um diagnóstico específico) versus contexto não direcionador.

Principais Resultados

1. Lacuna Significativa do Benchmark ao Leito: O desempenho diagnóstico declinou substancialmente quando os modelos migraram dos benchmarks públicos para a coorte de consultas do mundo real. Em conjuntos de dados públicos, o melhor modelo de pesos abertos (MedGemma-4B) alcançou uma precisão nos três principais de 26,55%, e o GPT-4.1 atingiu 42,25%. No cenário de imagem apenas do mundo real, esses números caíram para 13,35% e 24,65%, respectivamente.
2. Dependência de Contexto e Fragilidade: Incorporar contexto clínico (notas de referência) melhorou a precisão em todos os modelos (por exemplo, o GPT-4.1 subiu para 38,93% de precisão nos três principais). No entanto, essa integração introduziu vulnerabilidade significativa. Os modelos foram altamente sensíveis a contextos enganosos ou incompletos; em contextos não direcionadores, adicionar notas melhorou o desempenho para alguns modelos, mas o degradou para outros (taxas de degradação de até 84,2% para o SkinGPT-4). Os modelos frequentemente ancoraram-se excessivamente em sugestões errôneas de médicos em vez de corrigi-las com base em evidências visuais.
3. Ancoragem Visual como Principal Gargalo: A revisão por dermatologistas especialistas revelou que as falhas de diagnóstico não foram primariamente devidas a deficiências no raciocínio médico a jusante ou no conhecimento geral. Em vez disso, o principal discriminador entre respostas corretas e incorretas foi a especificidade visual. Respostas corretas descreveram consistentemente características morfológicas precisas e relevantes para o diagnóstico, enquanto respostas incorretas ofereceram descrições genéricas, apesar de linguagem factual em outros aspectos.
4. Desempenho de Triagem: Embora o diagnóstico exato permanecesse desafiador, os modelos mostraram sensibilidade moderada (acima de 60% para alguns modelos com contexto) na identificação de casos graves, sugerindo utilidade potencial como adjunctos de triagem, embora a confiabilidade permaneça insuficiente para implantação autônoma.

Significado e Alegações
O artigo argumenta que as avaliações atuais de benchmarks superestimam substancialmente a prontidão clínica dos MLLMs de dermatologia. Os autores afirmam que a principal barreira para a implantação segura não são as capacidades de raciocínio dos modelos, mas sim:

• Integração de Contexto Frágil: Os modelos carecem de robustez quanto à natureza ruidosa, incompleta e por vezes enganosa das notas clínicas do mundo real.
• Ancoragem Visual Insuficiente: Os modelos falham em extrair e priorizar características dermatológicas visuais específicas sob condições de imagem realistas (iluminação variável, múltiplas lesões, distrações de fundo).

O estudo conclui que o progresso futuro nos MLLMs de dermatologia deve priorizar avaliações baseadas em fluxos de trabalho realistas, robustez a contextos enganosos e aprendizado de representação visual mais forte específico para dermatologia, em vez de focar exclusivamente na melhoria das capacidades de raciocínio. Os autores enfatizam que os modelos atuais não estão prontos para uso diagnóstico autônomo em dermatologia consultiva e que, mesmo para triagem, a supervisão humana permanece essencial devido à sensibilidade ao contexto.