Evaluation of Medical Vision Language Models HuluMed and MedGemma, and general purpose chatbots Gemma 3, ChatGPT Plus, and Claude Pro on real previously unseen wound images

Resumen Técnico: Evaluación de Modelos de Visión-Lenguaje Médicos en Imágenes Reales de Heridas

Planteamiento del Problema
La evaluación de heridas crónicas es una tarea clínicamente exigente que requiere la interpretación precisa de la morfología de la herida, la composición del tejido, las características vasculares y el riesgo de infección. Si bien la Inteligencia Artificial (IA) ha sido explorada para la interpretación de imágenes médicas, los enfoques tradicionales basados en redes neuronales convolucionales (CNN) se han limitado en gran medida a tareas estrechas como la segmentación y la clasificación de tejidos, careciendo de las capacidades de razonamiento más amplias necesarias para el manejo clínico complejo. Aunque recientemente han surgido Modelos de Visión-Lenguaje (VLM) para cerrar la brecha entre la interpretación visual y el razonamiento clínico, no está claro si los modelos médicamente especializados (ajustados para el cuidado de la salud) superan consistentemente a los sistemas multimodales de propósito general en el dominio específico del cuidado de heridas. Además, los benchmarks existentes suelen depender de conjuntos de datos curados en lugar de imágenes clínicas reales y previamente no vistas con preguntas de gestión estructuradas.

Metodología
Este estudio evaluó el rendimiento de seis VLM —cuatro modelos de código abierto/especializados en medicina y dos sistemas generalistas propietarios— utilizando un conjunto de datos curado de 20 imágenes de heridas reales y previamente no vistas. El conjunto de datos, aprobado por un Comité de Revisión Institucional (IRB) y desidentificado, abarcó diversas etiologías, incluyendo úlceras diabéticas/neuropáticas, insuficiencia isquémica/arterial, úlceras venosas, heridas quirúrgicas, heridas relacionadas con amputaciones y heridas asociadas a linfedema.

El marco de evaluación consistió en una matriz clínica estructurada de doce preguntas diseñada para evaluar tanto la interpretación visual directa como el razonamiento clínico de orden superior. Las preguntas cubrieron:

1. Clasificación de la etiología.
2. Evaluación vascular e indicaciones de intervención.
3. Análisis morfológico (tejido fibrinoso, cobertura de granulación).
4. Triaje patológico (riesgo de infección).
5. Planificación diagnóstica y procedimental (necesidad de imagenología, entorno de desbridamiento).
6. Razonamiento pronóstico y manejo avanzado (selección de apósitos, terapia de compresión, terapia de presión negativa, sustitutos de piel).

Se estableció un Estándar de Referencia Clínica mediante un panel de expertos en cuidado de heridas que anotaron cada caso de forma independiente con criterios textuales específicos. Los modelos fueron probados bajo condiciones de cero disparos (zero-shot). Las respuestas fueron calificadas mediante un marco binario estricto: se otorgaba una puntuación de 1 solo si la salida del modelo coincidía con los criterios médicos absolutos definidos por los expertos. Las respuestas que exhibían vacilación, ambigüedad estructural o lenguaje no comprometido fueron calificadas con 0, penalizando a los modelos que no proporcionaron decisiones claras y accionables.

Resultados Clave
A través de 240 decisiones calificadas por clínicos (20 casos × 12 preguntas), surgió una jerarquía de rendimiento clara:

• Sistemas Generalistas Propietarios: ChatGPT logró la mayor precisión general con 174/240 respuestas correctas (72.50%), seguido de Claude con 149/240 (62.08%).
• Modelos de Código Abierto/Especializados en Medicina: HuluMed lideró este grupo con 96/240 (40.00%), seguido de Gemma 3 (81/240, 33.75%), MedGemma 4B (62/240, 25.83%) y MedGemma 27B (42/240, 17.50%).

Análisis de Rendimiento:

• Visual vs. Razonamiento: Todos los modelos desempeñaron relativamente mejor en tareas que involucran el reconocimiento visual directo (p. ej., identificar necrosis, tejido de granulación o signos visibles de infección) en comparación con tareas que requieren la síntesis de hallazgos visuales en planes de manejo (p. ej., seleccionar modalidades de imagen, determinar la urgencia del desbridamiento o recomendar terapias específicas).
• Especialización vs. Generalización: Contrario a la hipótesis de que el ajuste fino médico produciría resultados superiores, los modelos de frontera de propósito general superaron significativamente a las alternativas médicamente especializadas. Notablemente, ninguna variante de MedGemma superó al modelo base no médico Gemma 3.
• Modos de Fallo: Los modelos médicamente especializados, particularmente MedGemma, exhibieron con frecuencia una incertidumbre excesiva, verbosidad lingüística y confusión etiológica (p. ej., clasificar erróneamente causas arteriales frente a venosas). También generaron recomendaciones de manejo inapropiadas, como sugerir el desbridamiento antes de la restauración de la perfusión en heridas isquémicas. La puntuación más baja de Claude en relación con ChatGPT se atribuyó en parte a su tendencia a utilizar un lenguaje protector y condicional, el cual fue penalizado bajo el esquema de calificación binaria estricta.

Significancia y Reivindicaciones
Los autores afirman que este estudio proporciona un benchmark que refleja el soporte de decisiones en el cuidado de heridas del mundo real al utilizar imágenes reales no vistas y un marco clínicamente estructurado que se extiende más allá del diagnóstico para incluir la planificación del manejo. El hallazgo principal es que los sistemas multimodales de frontera actuales demuestran una capacidad de análisis de heridas sustancialmente más fuerte que las alternativas de código abierto médicamente especializadas. Esto sugiere que las capacidades de razonamiento multimodal amplio, derivadas de escalas masivas de preentrenamiento, actualmente pesan más que los beneficios del ajuste fino específico de dominio para tareas complejas de manejo de heridas.

El artículo concluye que, si bien los VLM muestran promesa como herramientas asistenciales para la documentación y el triaje clínico, persisten limitaciones sustanciales en el razonamiento avanzado, la planificación de procedimientos y la fiabilidad autónoma. En consecuencia, los autores sostienen que estos sistemas deben funcionar actualmente como ayudas de soporte de decisiones interactivas bajo la supervisión directa del clínico en lugar de como plataformas diagnósticas autónomas. El estudio destaca la necesidad de mejorar el razonamiento multimodal y de metodologías de evaluación más rigurosas antes de su despliegue clínico.