Evaluation of Medical Vision Language Models HuluMed and MedGemma, and general purpose chatbots Gemma 3, ChatGPT Plus, and Claude Pro on real previously unseen wound images

Resumo Técnico: Avaliação de Modelos de Visão-Linguagem Médica em Imagens Reais de Feridas

Problema
A avaliação de feridas crônicas é uma tarefa clinicamente exigente que requer a interpretação precisa da morfologia da ferida, composição tecidual, características vasculares e risco de infecção. Embora a Inteligência Artificial (IA) tenha sido explorada para a interpretação de imagens médicas, as abordagens tradicionais baseadas em redes neurais convolucionais (CNNs) têm se limitado amplamente a tarefas restritas, como segmentação e classificação de tecidos, carecendo das capacidades de raciocínio mais amplas necessárias para o manejo clínico complexo. Embora Modelos de Visão-Linguagem (VLMs) recentes tenham surgido para unir a interpretação visual ao raciocínio clínico, permanece incerto se modelos medicamente especializados (ajustados para a área da saúde) superam consistentemente sistemas multimodais de propósito geral no domínio específico do cuidado de feridas. Além disso, os benchmarks existentes frequentemente dependem de conjuntos de dados curados, em vez de imagens clínicas reais e previamente não vistas com questões de manejo estruturadas.

Metodologia
Este estudo avaliou o desempenho de seis VLMs — quatro modelos de código aberto/medicamente especializados e dois sistemas generalistas proprietários — utilizando um conjunto de dados curado de 20 imagens de feridas reais e previamente não vistas. O conjunto de dados, aprovado por um Conselho de Revisão Institucional (IRB) e desidentificado, abrangeu diversas etiologias, incluindo úlceras diabéticas/neuropáticas, insuficiência isquêmica/arterial, úlceras venosas, feridas cirúrgicas, feridas relacionadas a amputações e feridas associadas ao linfedema.

O framework de avaliação consistiu em uma matriz clínica estruturada de doze perguntas, projetada para avaliar tanto a interpretação visual direta quanto o raciocínio clínico de ordem superior. As perguntas cobriram:

1. Classificação de etiologia.
2. Avaliação vascular e indicações de intervenção.
3. Análise morfológica (tecido fibrinoso, cobertura de granulação).
4. Triagem patológica (risco de infecção).
5. Planejamento diagnóstico e procedimental (necessidade de imagem, ambiente de desbridamento).
6. Raciocínio prognóstico e manejo avançado (seleção de curativo, terapia de compressão, terapia de pressão negativa, substitutos de pele).

Um Padrão de Referência Clínica foi estabelecido por um painel de especialistas em cuidados de feridas, que anotou cada caso independentemente com critérios textuais específicos. Os modelos foram testados sob condições de zero-shot. As respostas foram pontuadas usando um framework binário estrito: uma pontuação de 1 era atribuída apenas se a saída do modelo correspondesse aos critérios médicos absolutos definidos pelos especialistas. Respostas que exibiam hesitação, ambiguidade estrutural ou linguagem não compromissória foram pontuadas como 0, penalizando modelos que falharam em fornecer decisões claras e acionáveis.

Resultos Principais
Através de 240 decisões avaliadas por clínicos (20 casos × 12 perguntas), emergiu uma hierarquia clara de desempenho:

• Sistemas Generalistas Proprietários: O ChatGPT alcançou a maior precisão geral com 174/240 respostas corretas (72,50%), seguido pelo Claude com 149/240 (62,08%).
• Modelos de Código Aberto/Medicamente Especializados: O HuluMed liderou este grupo com 96/240 (40,00%), seguido pelo Gemma 3 (81/240, 33,75%), MedGemma 4B (62/240, 25,83%) e MedGemma 27B (42/240, 17,50%).

Análise de Desempenho:

• Visual vs. Raciocínio: Todos os modelos tiveram um desempenho relativamente melhor em tarefas envolvendo reconhecimento visual direto (ex: identificar necrose, tecido de granulação ou sinais visíveis de infecção) em comparação com tarefas que exigem a síntese de achados visuais em planos de manejo (ex: selecionar modalidades de imagem, determinar urgência de desbridamento ou recomendar terapias específicas).
• Especialização vs. Generalização: Contrariando a hipótese de que o ajuste fino médico produziria resultados superiores, os modelos de fronteira de propósito geral superaram significamente as alternativas medicamente especializadas. Notavelmente, nenhuma variante do MedGemma superou a linha de base não médica Gemma 3.
• Modos de Falha: Modelos medicamente especializados, particularmente o MedGemma, exibiram frequentemente incerteza excessiva, verbosidade linguística e confusão etiológica (ex: classificar incorretamente causas arteriais versus venosas). Eles também geraram recomendações de manejo inapropriadas, como sugerir o desbridamento antes da restauração da perfusão em feridas isquêmicas. A pontuação inferior do Claude em relação ao ChatGPT foi parcialmente atribuída à sua tendência de usar linguagem protetiva e condicional, que foi penalizada sob o esquema de pontuação binário estrito.

Significância e Alegações
Os autores afirmam que este estudo fornece um benchmark que reflete o suporte à decisão no mundo real do cuidado de feridas, utilizando imagens reais e não vistas e um framework clinicamente estruturado que se estende além do diagnóstico para incluir o planejamento de manejo. O principal achado é que os atuais sistemas multimodais de fronteira de propósito geral demonstram uma capacidade de análise de feridas substancialmente mais forte do que as alternativas de código aberto medicamente especializadas. Isso sugere que as capacidades de raciocínio multimodal amplo, derivadas de escalas massivas de pré-treinamento, atualmente superam os benefícios do ajuste fino especializado em domínio estreito para tarefas complexas de manejo de feridas.

O artigo conclui que, embora os VLMs mostrem promessa como ferramentas assistivas para documentação e triagem clínica, permanecem limitações substanciais no raciocínio avançado, planejamento procedimental e confiabilidade autônoma. Consequentemente, os autores afirmam que esses sistemas devem atualmente funcionar como auxiliares de suporte à decisão interativos sob supervisão direta do clínico, em vez de plataformas diagnósticas autônomas. O estudo destaca a necessidade de melhoria no raciocínio multimodal e de metodologias de avaliação mais rigorosas antes da implantação clínica.