NeuroVLM-Bench: Evaluation of Vision-Enabled Large Language Models for Clinical Reasoning in Neurological Disorders

1. Problema y Contexto

Los trastornos neurológicos (como la esclerosis múltiple, el accidente cerebrovascular y los tumores cerebrales) representan un desafío global de salud donde la interpretación precisa de la neuroimagen (MRI y TC) es crítica para el diagnóstico y la toma de decisiones clínicas. Aunque los modelos de aprendizaje profundo tradicionales han tenido éxito en tareas aisladas (como la segmentación de lesiones), carecen de capacidades de razonamiento para integrar evidencia de imágenes con un contexto clínico más amplio.

Recientemente, los Modelos de Lenguaje Grandes Multimodales (MLLMs) han surgido como una promesa para la interpretación de imágenes médicas. Sin embargo, su fiabilidad, calibración y viabilidad operativa en el dominio específico de la neuroimagen siguen siendo insuficientemente comprendidos. Existe una falta de benchmarks estandarizados que evalúen no solo la precisión diagnóstica, sino también la salida estructurada, la gestión de la incertidumbre y la eficiencia computacional en escenarios clínicos reales.

2. Metodología: NeuroVLM-Bench

Los autores presentan NeuroVLM-Bench, un marco de evaluación exhaustivo y riguroso diseñado para evaluar 20 modelos MLLM de vanguardia (propietarios, de peso abierto y especializados en medicina).

A. Conjunto de Datos

El benchmark se construyó a partir de una colección curada de conjuntos de datos públicos de MRI (Resonancia Magnética) y TC (Tomografía Computarizada) en 2D, cubriendo:

• Tumores cerebrales (gliomas, meningiomas, etc.).
• Esclerosis múltiple (MS).
• Accidente cerebrovascular (isquémico y hemorrágico).
• Otras anomalías (abscesos, quistes, encefalopatías) que actúan como imitadores de tumores.
• Controles normales.
  El conjunto total incluye 29,538 muestras con etiquetas expertas.

B. Protocolo de Evaluación Progresiva (4 Fases)

Para controlar el sesgo de selección y garantizar la estabilidad, se implementó un protocolo de cuatro fases:

1. Fase 0 (Calibración Experimental): Fijación de hiperparámetros (temperatura=0.0, top-p=1.0) y diseño del prompt.
2. Fase 1 (Screening): Evaluación de 20 modelos en un 30% de los datos para filtrar los peores rendimientos.
3. Fase 2 (Validación de Estabilidad): Evaluación de los 11 modelos restantes en un 45% de los datos para confirmar estabilidad a escala.
4. Fase 3 (Benchmark de Generalización): Evaluación final en un 25% de datos de prueba (hold-out) utilizando dos regímenes de prompting: Zero-shot (sin ejemplos) y Few-shot (4 ejemplos por clase).

C. Diseño del Prompt y Salidas Estructuradas

Se utilizó el UNIPP (Unified Neuro-Imaging Prompting Protocol). A diferencia de las preguntas y respuestas visuales (VQA) tradicionales, el modelo debe generar una salida JSON estructurada con campos clínicamente relevantes:

• Metadatos de imagen: Modalidad (MRI/TC), secuencia especializada (FLAIR, T1, T2, T1C+), plano anatómico (axial, sagital, coronal).
• Razonamiento diagnóstico: Diagnóstico principal y subtipo detallado.
• Evaluación cuantitativa: Confianza del diagnóstico.

D. Métricas de Evaluación Multidimensional

La evaluación no se limita a la precisión, sino que abarca cuatro dimensiones:

1. Rendimiento Discriminativo: F1-score (macro y ponderado, con penalización por abstención), precisión, recall, AUC.
2. Fiabilidad de la Salida: Tasa de JSON válido y tasa de abstención.
3. Calibración Estadística: Error de Calibración Esperado (ECE) y Puntuación Brier.
4. Eficiencia Operativa: Latencia, uso de tokens y coste económico por inferencia.

3. Contribuciones Clave

1. NeuroVLM-Bench: El primer benchmark integral centrado en neuroimagen que evalúa MLLMs bajo un protocolo unificado y estructurado.
2. Campos de Salida Clínicamente Significativos: Se aleja del VQA genérico para exigir reportes radiológicos estructurados (diagnóstico, subtipo, metadatos de imagen).
3. Protocolo de Evaluación en Capas: Un enfoque de 4 fases que asegura la equidad, estabilidad y generalización, comparando Zero-shot vs. Few-shot.
4. Evaluación Multidimensional: Integra rendimiento, calibración, fiabilidad de formato y coste, proporcionando una visión holística para la implementación clínica.
5. Análisis de Modelos de Vanguardia: Evaluación comparativa de 20 modelos, incluyendo los más recientes de OpenAI, Google, Anthropic, Meta y modelos médicos especializados.

4. Resultados Principales

A. Rendimiento General

• Mejores Modelos: Gemini 2.5 Pro y GPT-5 Chat mostraron el mejor rendimiento diagnóstico global. Gemini 2.5 Flash ofreció el mejor equilibrio entre rendimiento, eficiencia y coste.
• Modelos de Peso Abierto: MedGemma 1.5 4B (especializado en medicina) demostró resultados prometedores, acercándose al rendimiento Zero-shot de modelos propietarios con un coste mucho menor y validez de salida perfecta.
• Fracasos: Modelos como LLaMA 3.2 Vision mostraron tasas de abstención extremadamente altas y rendimiento casi nulo, siendo excluidos de fases posteriores.

B. Jerarquía de Dificultad de Tareas

Existe una clara diferencia en la capacidad de los modelos según la tarea:

1. Metadatos (Resueltos): La identificación de la modalidad (MRI/TC) y el plano anatómico es casi perfecta para la mayoría de los modelos.
2. Secuencias Especializadas: Rendimiento intermedio.
3. Razonamiento Clínico (Desafiante): La predicción del diagnóstico principal es moderadamente difícil.
4. Subtipos Detallados (Muy Difícil): La predicción del subtipo específico de la enfermedad es la tarea más difícil para todos los modelos, incluso para los líderes.

C. Desempeño por Patología

• Tumores: Es la tarea más robusta. Los modelos propietarios alcanzan F1 > 0.90.
• Accidente Cerebrovascular (Stroke): Moderadamente resoluble, con mejoras significativas bajo few-shot prompting.
• Esclerosis Múltiple (MS): Sigue siendo muy difícil debido a la naturaleza difusa de las lesiones y la necesidad de contexto volumétrico (los modelos se basan en cortes 2D).
• Otras Anomalías: Rendimiento muy bajo e inestable, lo que representa un riesgo de seguridad clínico.

D. Impacto del Few-Shot Prompting

• El uso de ejemplos (4 por clase) mejoró el rendimiento en la clasificación diagnóstica general para muchos modelos (especialmente MedGemma 1.5 4B y Gemini 2.5 Flash).
• Sin embargo, esto aumentó significativamente el uso de tokens, la latencia y el coste.
• En algunos casos (como Qwen 2.5-VL o GPT-5 Chat en ciertos subtipos), el few-shot no mejoró el rendimiento o incluso lo degradó ligeramente, indicando que no es una solución universal.

E. Eficiencia y Coste

Los modelos propietarios de alto rendimiento (Gemini 2.5 Pro, GPT-5 Chat) tienen costes de inferencia significativamente más altos debido a la generación de más tokens y mayor latencia. Los modelos como Gemini 2.5 Flash o MedGemma ofrecen un equilibrio más favorable para despliegues a gran escala.

5. Significado y Conclusiones

El estudio concluye que, aunque los MLLMs han resuelto casi por completo la extracción de metadatos técnicos de la neuroimagen, el razonamiento diagnóstico clínico profundo, especialmente la predicción de subtipos finos, sigue siendo un desafío mayor.

• Limitaciones Actuales: Los modelos actuales no deben considerarse diagnósticos generales. Son más adecuados como asistentes especializados (ej. triaje de tumores) que como reemplazos de radiólogos.
• Riesgos: La falta de fiabilidad en casos raros (anomalías diversas) y la incapacidad de manejar contexto volumétrico (3D) o historial clínico completo son barreras críticas para el despliegue clínico seguro.
• Futuro: Se requiere investigación en razonamiento volumétrico (3D), integración de metadatos clínicos estructurados y estrategias de "enrutamiento" donde diferentes modelos se asignen a tareas específicas según sus fortalezas demostradas.

En resumen, NeuroVLM-Bench proporciona una base fundamental para la evaluación estandarizada de la IA multimodal en neuroimagen, destacando que la precisión diagnóstica, la calibración y la eficiencia operativa son dimensiones que a menudo entran en conflicto y deben gestionarse cuidadosamente en entornos clínicos reales.