⚡ electrical engineering

OpenMedQ: Broad Open Pretraining for Medical Vision-Language Models

OpenMedQ es un modelo de visión y lenguaje médico de vanguardia preentrenado en un conjunto de datos amplio y totalmente abierto de 3,35 millones de muestras que supera significativamente a modelos mucho más grandes como Med-PaLM M en evaluaciones clave, al tiempo que logra un rendimiento superior en tareas de clasificación médica de uso posterior.

Autores originales: Ibrahim Gulluk, Max Van Puyvelde, Olivier Gevaert

Publicado 2026-06-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ibrahim Gulluk, Max Van Puyvelde, Olivier Gevaert

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot a comprender el complejo mundo de la medicina. Usualmente, para hacer esto, necesitas dos cosas: un "cerebro" que pueda leer informes médicos y un par de "ojos" que puedan mirar radiografías, microscopios y láminas de patología.

Durante mucho tiempo, los mejores robots (modelos de IA) en este campo han sido como genios reservados. Son increíblemente inteligentes, pero sus creadores mantienen ocultos sus libros de entrenamiento (datos) y los pesos de su cerebro. No puedes ver cómo aprendieron, no puedes reutilizar su conocimiento y no puedes corregir sus errores. Otros modelos son como aprendices especializados; son excelentes en una tarea específica (como leer radiografías), pero no han leído suficientes libros como para entender el panorama completo.

OpenMedQ es la respuesta de este artículo a ese problema. Es un nuevo robot médico de "código abierto" que los autores construyeron reuniendo la colección más grande de libros de texto médicos y conjuntos de imágenes abiertos y gratuitos jamás ensamblados para entrenar un modelo de este tamaño.

Aquí hay un desglose de lo que hicieron y lo que encontraron, usando analogías simples:

1. La "Biblioteca" (Los Datos de Entrenamiento)

La mayoría de los modelos de IA médica se entrenan con una biblioteca pequeña y estrecha de libros. OpenMedQ, sin embargo, fue entrenado en una biblioteca masiva y diversa que contiene 14 conjuntos de datos diferentes con aproximadamente 3.35 millones de ejemplos.

Piénsalo de esta manera:

Otros modelos podrían solo leer libros sobre radiografías de corazón.
OpenMedQ leyó libros sobre radiografías de corazón, escaneos cerebrales, láminas de microscopio de células e incluso simples cuestionarios médicos basados en texto.
Crucialmente, cada uno de los libros en esta biblioteca era abierto y gratuito para que cualquiera pudiera usarlo. Los autores no ocultaron sus fuentes.

2. El "Cerebro" y los "Ojos" (La Arquitectura)

El modelo está construido como una IA moderna estándar (llamada de estilo LLaVA).

Los Ojos (Codificador de Visión): Utiliza un "ojo" preentrenado que ya era bueno mirando imágenes médicas (de un modelo llamado BiomedCLIP).
El Cerebro (Modelo de Lenguaje): Conecta esos ojos a un gran cerebro de lenguaje (LLaMA-7B) que ya era bueno en texto médico.
El Entrenamiento: Enseñaron a los ojos y al cerebro a hablar entre sí utilizando una técnica llamada "predicción del siguiente token". Imagina mostrarle al robot una imagen y una pregunta, y pedirle que adivine la siguiente palabra de la respuesta, una y otra vez, hasta que aprenda el patrón.

3. La "Prueba de Manejo" (Los Resultados)

Los autores sometieron a OpenMedQ a dos pruebas principales para ver qué tan bien aprendió.

Prueba A: El Cuestionario de "Conocimientos Generales" (Preguntas y Respuestas Visuales)
Le hicieron preguntas médicas basadas en imágenes al robot (por ejemplo, "¿Qué muestra esta radiografía?").

El Resultado: OpenMedQ obtuvo una puntuación más alta que algunos de los modelos más grandes y costosos que existen.
La Analogía: Imagina que OpenMedQ es un estudiante con un cerebro de 7B de parámetros (un cerebro de tamaño mediano). Se enfrentó a un examen contra un cerebro de 562B de parámetros (un cerebro de supercomputadora masivo). A pesar de ser aproximadamente 80 veces más pequeño, OpenMedQ obtuvo una mejor puntuación en una prueba específica (PathVQA) e igualó las mejores puntuaciones en otra (VQA-MED).
La Afirmación: Esto demuestra que tener una biblioteca de entrenamiento amplia y abierta es más importante que simplemente tener un cerebro enorme y secreto.

Prueba B: El Examen de "Especialista" (Clasificación de Imágenes)
Tomaron solo los "ojos" (la parte de visión) de OpenMedQ y los probaron en 8 tareas de imágenes médicas que nunca había visto antes (como identificar cáncer de mama en una ecografía o neumonía en una radiografía de tórax).

El Resultado: Los ojos de OpenMedQ funcionaron mejor en promedio que los ojos de otros tres modelos de alto nivel (BiomedCLIP, PMC-CLIP, PubMedCLIP) y un modelo entrenado desde cero.
La Analogía: Es como tomar a un médico generalista que ha visto un poco de todo y pedirle que diagnostique enfermedades específicas. Debido a que vio una variedad tan amplia de casos durante su entrenamiento, fue mejor detectando patrones en situaciones nuevas que los médicos que solo se especializaron en un campo estrecho.

4. El "Pero" (Limitaciones)

Los autores son honestos sobre dónde el robot todavía tiene dificultades.

No es perfecto en todas partes: Aunque OpenMedQ fue el mejor en promedio, no ganó en todas las categorías. Por ejemplo, en imágenes de ecografía mamaria, otro modelo fue ligeramente mejor.
Nivel Superficial: Las puntuaciones de la prueba (BLEU-1) miden qué tan similares son las palabras del robot a las respuestas humanas, no necesariamente si el razonamiento médico es 100% correcto.
El "Gran Cerebro" aún gana algunas: Los modelos masivos y secretos (Med-PaLM M) todavía lo hicieron mejor en algunas pruebas específicas y difíciles de radiología y microscopía.

La Conclusión

El mensaje principal del artículo es que la diversidad y la apertura son herramientas poderosas. No necesitas necesariamente una supercomputadora secreta y masiva para construir una gran IA médica. Si entrenas un modelo de tamaño medio en la colección más amplia y abierta de datos médicos disponibles, puedes vencer a modelos mucho más grandes y cerrados.

Los autores han puesto su código, sus recetas de entrenamiento y una demostración interactiva a disposición del público, invitando a todos a inspeccionar, reutilizar y mejorar su trabajo.

Resumen Técnico: OpenMedQ: Preentrenamiento Abierto y Amplio para Modelos Médicos de Visión-Lenguaje

Declaración del Problema

A pesar de las crecientes capacidades de los modelos fundacionales médicos, existe una brecha significativa en la disponibilidad de líneas base de preentrenamiento amplio y totalmente abiertas. La mayoría de los modelos de Visión-Lenguaje (VLM) médicos publicados dependen de fuentes de preentrenamiento estrechas y, a menudo, retienen sus pesos, sus datos de entrenamiento o ambos. Los codificadores contrastivos existentes (por ejemplo, BiomedCLIP, PMC-CLIP) se entrenan en corpus de imagen-leyenda únicos, mientras que los VLM generativos (por ejemplo, PMC-VQA, LLaVA-Med) utilizan mezclas de preentrenamiento comparativamente estrechas. Aunque modelos más grandes como BiomedGPT y Med-PaLM M escalan datos y parámetros, no liberan sus pesos. En consecuencia, los profesionales carecen de una línea base transparente y reproducible que sea tanto de preentrenamiento amplio como totalmente abierta para inspección, reutilización y extensión.

Metodología

Los autores presentan OpenMedQ, un VLM médico diseñado para abordar estas limitaciones mediante un preentrenamiento amplio y abierto.

Arquitectura: OpenMedQ sigue la arquitectura estilo LLaVA, que consiste en un codificador de visión y un modelo de lenguaje.
- Codificador de Visión: Un ViT-base-patch16-224 inicializado desde BiomedCLIP.
- Modelo de Lenguaje: Un modelo LLaMA-7B inicializado desde PMC-LLaMA.
- Integración: Los tokens de imagen se proyectan linealmente y se concatenan con los tokens de texto, decodificándose de izquierda a derecha.
Estrategia de Preentrenamiento: El modelo se entrena utilizando la predicción del siguiente token con un rango de Adaptación de Bajo Rango (LoRA) de $r=8$ . Durante el entrenamiento, los tokens de imagen y de prefijo se enmascaran para centrarse en la entropía cruzada del siguiente token.
Configuración de Entrenamiento: Las imágenes se redimensionan a 224×224. El entrenamiento utiliza AdamW con un tamaño de lote de 64, una tasa de aprendizaje de $5\times10^{-5}$ , y se ejecuta durante hasta 15 épocas en una sola NVIDIA A100.
Transferencia de Clasificación: Para evaluar la calidad de las características visuales aprendidas, el codificador de visión ( $f_{vis}$ ) se desprende y se adjunta a una cabeza lineal ( $W \in \mathbb{R}^{2d \times m}$ ). Ambos se ajustan finamente juntos en conjuntos de datos de tareas posteriores durante 100 épocas. Esta configuración asegura que las diferencias de rendimiento sean atribuibles al preentrenamiento y no a variaciones arquitectónicas de la tarea posterior.

Contribuciones Clave

La Mezcla de Preentrenamiento Abierta más Amplia: OpenMedQ es preentrenado con la mezcla de conjuntos de datos médicos abiertos más extensa hasta la fecha, que comprende 14 conjuntos de datos y aproximadamente 3.35 millones de muestras. Esta mezcla abarca:
- Patología: PathVQA.
- Radiología: VQA-RAD, IU-XRAY, MIMIC-CXR, ROCO, OmniMedVQA.
- Microscopía: $\mu$ -Bench.
- Modalidades Mixtas: Slake, PMC-OA, PMC-VQA, VQA-MED.
- QA Clínico Solo de Texto: MedQA, MedMCQA, PubMedQA (aprox. 410K muestras) para preservar las capacidades del lenguaje.
Lanzamiento Abierto: Los autores se comprometen a liberar los pesos del modelo y las recetas de los conjuntos de datos tras la aceptación, junto con una demostración interactiva en vivo para inspección cualitativa.
Línea Base Reproducible: El artículo establece una receta estandarizada para tareas posteriores para comparar justamente el impacto de la diversidad de los datos de preentrenamiento contra líneas base sólidas.

Resultados

El artículo reporta el rendimiento en dos tareas primarias: transferencia de clasificación y VQA (Visual Question Answering) de código abierto.

1. Transferencia de Clasificación

El codificador de visión de OpenMedQ fue evaluado en 8 benchmarks de clasificación médica no vistos (CXR8, subtareas de MedFMC, Breast-Ultrasound, CHAOYANG, CBIS-DDSM, Mendeley-CXray).

Rendimiento: OpenMedQ logró la puntuación media de macro-F1 más alta de 0.757.
Comparación: Esto superó a BiomedCLIP (0.745), PMC-CLIP (0.745), PubMedCLIP (0.746) y a una línea base desde cero (0.616).
Victorias Específicas: OpenMedQ logró victorias directas en MedFMC-chest y MedFMC-endo, empató con PMC-CLIP en CXR8, y se mantuvo a no más de 0.02 del mejor codificador en otros cuatro benchmarks. La única brecha significativa se observó en Breast-Ultrasound (0.876 vs. 0.915).

2. VQA de Código Abierto

PathVQA: OpenMedQ logró una puntuación BLEU-1 de 75.9, superando a los métodos de ajuste de prefijo (70.3) y a las tres variantes de Med-PaLM M (hasta 562B de parámetros, puntuando hasta 72.27), a pesar de que OpenMedQ utiliza solo 7B de parámetros.
VQA-MED: El modelo alcanzó un BLEU-1 de 64.5, excediendo ligeramente la mejor puntuación reportada del desafío de 2019 (64.4).

Significancia y Reclamaciones

El artículo postula que la amplitud de los datos de preentrenamiento abierto es una palanca competitiva crítica para los VLM médicos. Los autores afirman que la diversidad de los datos sirve como una palanca reproducible para el rendimiento, mientras que la escala propietaria no lo es.

Eficiencia: OpenMedQ demuestra que un modelo de 7B de parámetros, cuando se entrena con una mezcla abierta y amplia, puede establecer un nuevo estado del arte en PathVQA frente a modelos de hasta 80 veces más grandes (562B de parámetros).
Generalización: El rendimiento superior del codificador de visión en la transferencia de clasificación promedio sugiere que el preentrenamiento amplio produce representaciones de características más robustas que el preentrenamiento de una sola modalidad y estrecho.
Limitaciones: Los autores reconocen modestamente que su enfoque tiene límites. Las variantes propietarias más grandes (Med-PaLM M) aún lideran en benchmarks específicos como VQA-RAD y Slake. Además, BLEU-1 captura solo la concordancia superficial, y los codificadores de modalidad estrecha aún pueden superar a OpenMedQ en tareas específicas como Breast-Ultrasound.

El trabajo concluye enfatizando el valor de la ciencia abierta, proporcionando una línea base transparente que la comunidad puede inspeccionar, reutilizar y extender.