MMRareBench: A Rare-Disease Multimodal and Multi-Image Medical Benchmark

Resumen Técnico: MMRareBench

1. El Problema
Las enfermedades raras afectan a más de 300 millones de personas, pero presentan un desafío único para la Inteligencia Artificial médica: la escasez de datos y la distribución de "cola larga". En estos casos, los clínicos no pueden depender de patrones memorizados o conocimientos previos específicos de la enfermedad, ya que son escasos. En su lugar, deben basar sus juicios estrictamente en la evidencia del caso individual, integrando narrativas textuales, señales estructuradas (como laboratorios) y múltiples imágenes médicas de diferentes modalidades y puntos temporales.

A pesar de esto, los benchmarks existentes de modelos de lenguaje multimodal (MLLMs) se centran principalmente en:

• Enfermedades comunes.
• Escenarios de una sola imagen.
• Tareas de diagnóstico basadas en texto.

Esto deja una brecha crítica: no se ha evaluado sistemáticamente la capacidad de los modelos para integrar evidencia multimodal y multi-imagen en el contexto de datos escasos de enfermedades raras.

2. Metodología

A. Recopilación y Curación de Datos

• Fuente: Se seleccionaron 14,700 informes de casos clínicos de PubMed Central (PMC) publicados entre 2005 y 2025.
• Procesamiento: Se filtraron y procesaron para crear un conjunto de datos de 1,756 pares de preguntas-respuestas cubriendo 403 enfermedades raras.
• Anclaje Ontológico: Los casos se alinearon con la nomenclatura de enfermedades raras de Orphanet (ORPHA codes) para garantizar la normalización y autenticidad médica.
• Escala: El benchmark incluye 7,958 imágenes médicas asociadas (un promedio de 4.5 imágenes por caso), abarcando múltiples modalidades (radiología, patología, etc.).

B. Control de Fugas (Leakage Control)
Para evitar que los modelos resuelvan las tareas memorizando conclusiones ocultas en el contexto, se implementó un sistema de tres capas de enmascaramiento:

1. Eliminación de metadatos y secciones de resumen (título, abstracto, conclusión).
2. Sustitución del diagnóstico principal y sus alias por [DIAGNOSIS_MASKED].
3. Enmascaramiento de las leyendas de figuras y tablas con [CAPTION_MASKED].
   Cada ítem incluye un registro de auditoría (leakage_audit) para verificar que el diagnóstico estandarizado no se filtre en la entrada.

C. Definición de Tareas (4 Pistas Clínicas)
El benchmark evalúa cuatro flujos de trabajo alineados con la práctica clínica real:

1. T1 (Diagnóstico): Predicción del diagnóstico principal en formato abierto a partir de una narrativa enmascarada y múltiples imágenes.
2. T2 (Planificación del Tratamiento): Generación de un plan de tratamiento por etapas (seguridad, seguimiento) dado un diagnóstico de trabajo y la evidencia completa.
3. T3 (Alineación de Evidencia Trans-Imagen): Identificación de hallazgos en imágenes individuales y alineación explícita de la evidencia entre diferentes imágenes/modalidades para predecir relaciones.
4. T4 (Sugerencia de Exámenes): Recomendación de las siguientes pruebas diagnósticas prioritarias para reducir la incertidumbre, sin revelar los resultados de las pruebas "estándar de oro".

D. Protocolo de Evaluación
Se utiliza un protocolo de dos niveles:

• Nivel 1 (Puntuación con rúbrica modelada): Un modelo juez (Qwen3-VL-235B) evalúa las respuestas usando rúbricas específicas por pista con un principio de "calibración estricta" (por defecto NO, solo otorga puntos si se cumple totalmente el criterio).
• Nivel 2 (Verificación Determinista): Para la tarea de diagnóstico (T1), se calcula la métrica F1 a nivel de token comparando la respuesta predicha con la respuesta de referencia.

3. Contribuciones Clave

1. Primer Benchmark Multimodal y Multi-Imagen para Enfermedades Raras: MMRareBench es, hasta donde se sabe, el primer benchmark alineado con Orphanet que evalúa simultáneamente la integración de múltiples modalidades e imágenes en enfermedades raras.
2. Evaluación Alineada al Flujo de Trabajo: Define tareas estructuradas que reflejan las etapas reales de la toma de decisiones clínicas (diagnóstico, tratamiento, alineación de evidencia, sugerencias de pruebas).
3. Análisis de Capacidad y "Dilución de Capacidad": El benchmark revela patrones sistemáticos sobre cómo el ajuste fino médico afecta las capacidades de los modelos, identificando cuellos de botella críticos.

4. Resultados Principales
Se evaluaron 23 MLLMs (modelos de lenguaje multimodal grandes), incluyendo modelos de código abierto, cerrados y especializados en medicina.

• Rendimiento General: Los modelos de código cerrado (como GPT-5) obtuvieron los mejores resultados, pero incluso estos mostraron dificultades significativas.
• Cuello de Botella en Tratamiento (T2): La planificación del tratamiento fue la tarea más difícil para todos los modelos (el mejor modelo alcanzó solo 49.2/100), debido a la necesidad de integrar evidencia y tomar decisiones de riesgo sin protocolos estandarizados.
• Brecha de Especialización (El efecto de dilución):
  • Los modelos especializados en medicina cerraron la brecha en el diagnóstico (T1) respecto a los modelos de propósito general.
  • Sin embargo, perdieron significativamente en las tareas de alineación de evidencia trans-imagen (T3). Los modelos médicos especializados obtuvieron más de 29 puntos menos que los mejores modelos de propósito general en T3.
  • Conclusión del hallazgo: Existe un efecto de "dilución de capacidad". El ajuste fino médico en modelos de parámetros limitados parece concentrar la capacidad en la recuperación de patrones de enfermedades comunes, erosionando la capacidad composicional necesaria para integrar múltiples imágenes y evidencias complejas.
• Inconsistencia: Ningún modelo logró ser el mejor en más de dos pistas simultáneamente, lo que indica que la evaluación clínica de enfermedades raras requiere una combinación de capacidades que ninguna arquitectura actual integra completamente.

5. Significado e Impacto
MMRareBench establece un nuevo estándar para la evaluación de IA médica, demostrando que los modelos actuales no están listos para el complejo entorno de las enfermedades raras donde la evidencia multimodal es la fuente primaria de verdad.

El hallazgo más crítico es que el ajuste fino médico no es una solución universal; puede mejorar el diagnóstico pero degradar la capacidad de razonamiento visual complejo y la integración de múltiples fuentes de datos. Esto sugiere que para avanzar en la IA clínica, se necesitan arquitecturas que mantengan la capacidad de integración multimodal sin sacrificarla por la especialización en patrones comunes. El benchmark está disponible públicamente para fomentar la investigación en este campo.