💻 computer science

RetiBridge: Bridging Quantitative Retinal Biomarkers and Qualitative Diagnosis with a Knowledge-Guided Multimodal Large Language Model

RetiBridge es un modelo de lenguaje de gran escala multimodal guiado por conocimiento que vincula eficazmente los biomarcadores retinales cuantitativos de imágenes CFP y OCT con diagnósticos clínicos cualitativos, superando a los modelos existentes, tanto de código abierto como propietarios, en un nuevo estándar de referencia de más de 15.000 muestras emparejadas.

Autores originales: Zhuangzhi Gao, Hongyi Qin, He Zhao, Qinkai Yu, Feixiang Zhou, Fu Wang, Jinru Ding, Eduard Shantsila, Uazman Alam, Alena Shantsila, Wahbi El-Bouri, Gregory Y. H. Lip, Yalin Zheng

Publicado 2026-07-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhuangzhi Gao, Hongyi Qin, He Zhao, Qinkai Yu, Feixiang Zhou, Fu Wang, Jinru Ding, Eduard Shantsila, Uazman Alam, Alena Shantsila, Wahbi El-Bouri, Gregory Y. H. Lip, Yalin Zheng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tus ojos son como un sistema de cámaras de seguridad de alta tecnología para todo tu cuerpo. Así como una cámara de seguridad puede detectar una ventana rota o una sombra extraña, la retina en la parte posterior de tu ojo puede revelar pistas sobre enfermedades como la diabetes, la presión arterial alta e incluso problemas cardíacos. Los médicos utilizan dos "lentes" principales para observar esta transmisión de seguridad: uno que toma una foto plana y colorida de la superficie (como una instantánea estándar), y otro que toma una sección transversal profunda en 3D a través de las capas (como una rebanada de pastel). Durante mucho tiempo, las computadoras fueron excelentes midiendo los números en estas imágenes —como qué tan gruesa es una capa o qué tan ancha es una vena—, pero eran pésimas explicando qué significan realmente esos números en lenguaje sencillo. Era como tener un robot que podía decirte que la velocidad de un coche es de 60 mph, pero no podía decirte si eso significaba que el coche iba a exceso de velocidad o si simplemente circulaba por una autopista.

Aquí es donde entra la nueva investigación. Los científicos han estado tratando de construir "Modelos de Lenguaje Grandes Multimodales" (MLLM, por sus siglas en inglés)—básicamente cerebros de IA superinteligentes que pueden ver imágenes y leer texto al mismo tiempo. El objetivo es crear un asistente médico digital que no solo diga "anormal", sino que explique por qué, conectando los números difíciles con un diagnóstico real. Sin embargo, la mayoría de los modelos de IA existentes son como estudiantes que memorizaron el libro de texto pero no pueden aplicarlo a un examen de la vida real; pueden adivinar la enfermedad correcta, pero no pueden mostrar su procedimiento ni explicar cómo las mediciones llevaron a esa conclusión. Este artículo presenta una nueva IA llamada RetiBridge que intenta solucionar esto obligando a la computadora a actuar como un detective cuidadoso, vinculando cada número que encuentra con una pista médica específica antes de emitir un veredicto final.

Los investigadores construyeron RetiBridge para que fuera un detective "guiado por el conocimiento". En lugar de dejar que la IA adivine, le enseñaron una forma específica de pensar: primero, medir la evidencia (los números); segundo, traducir esos números en una historia médica (las pistas); y tercero, resolver el caso (el diagnóstico). Entrenaron esta IA utilizando 15,611 pares de imágenes oculares del UK Biobank, una base de datos masiva de datos reales de pacientes. Para cada paciente, la IA tenía acceso a 3ines 31 mediciones diferentes de los escaneos profundos en 3D y 6 mediciones de las fotos planas. Para asegurar que la IA aprendiera la forma correcta de pensar, los investigadores utilizaron una poderosa herramienta de IA (OpenAI-o3) para escribir "respuestas modelo" para estos más de 15,000 casos. Estas respuestas modelo no solo daban un diagnóstico; escribían todo el razonamiento, mostrando exactamente cómo una medición como "240 micrómetros de grosor" se traduce en "no hay hinchazón aquí", lo que luego conduce a una conclusión final.

Cuando probaron RetiClBridge, mostró algunas habilidades impresionantes. A pesar de estar construida sobre un "cerebro" relativamente pequeño (un modelo de 7 mil millones de parámetros), superó a modelos mucho más grandes, incluyendo algunos de 32 mil millones de parámetros e incluso un modelo propietario muy avanzado de OpenAI. La clave de su éxito fue un paso de entrenamiento especial donde la IA aprendió a alinear las imágenes oculares en 3D directamente con los números específicos que representan, algo así como enseñar a un estudiante a emparejar la imagen de una rebanada de pastel directamente con una regla, en lugar de solo memorizar la palabra "pastel".

Los resultados sugieren que RetiBridge es mejor en el trabajo específico de "mostrar su procedimiento". Fue significativamente más precisa al obtener los números correctos (78.23% de precisión en comparación con puntuaciones mucho más bajas de otros modelos) y mejor en demostrar que su diagnóstico estaba realmente respaldado por la evidencia que veía. Mientras que otros modelos a veces acertaban el diagnóstico final pero fallaban en los detalles o inventaban razones, RetiBridge vinculaba consistentemente sus conclusiones con las mediciones reales. Por ejemplo, en un caso de prueba relacionado con la retinopatía diabética, RetiBridge identificó correctamente puntos y grosores específicos y explicó cómo descartaban otras enfermedades, creando un camino lógico y claro desde la foto hasta la respuesta.

Sin embargo, el artículo advierte cuidadosamente que esto aún no es una cura mágica. Aunque RetiBridge es mejor conectando los puntos, todavía tiene dificultades con algunas tareas de razonamiento complejo en comparación con los mejores modelos de tipo humano, y no ha sido probada en todos los tipos de enfermedades oculares. Los autores sugieren que este enfoque —obligar a la IA a fundamentar sus respuestas en números duros— es un camino prometedor, pero se necesita más trabajo para hacerla lo suficientemente robusta para los hospitales del mundo real. También planean probarla con escaneos 3D aún más detallados y diferentes tipos de imágenes oculares en el futuro. Por ahora, RetiBridge es una sólida prueba de concepto de que, si le enseñas a una IA a respetar las matemáticas detrás de la medicina, puede convertirse en un socio mucho más confiable para comprender nuestra salud.

Resumen Técnico: RetiBridge

Planteamiento del Problema

La imagenología retiniana mediante Fotografía de Fondo de Color (CFP) y Tomografía de Coherencia Óptica (OCT) proporciona biomarcadores cuantitativos críticos para el diagnóstico de enfermedades oculares y sistémicas. Sin embargo, los modelos de lenguaje de gran escala multimodales (MLLM) existentes en oftalmología enfrentan tres limitaciones principales:

Falta de Cuantificación: A menudo fallan al cuantificar explícitamente los biomarcadores anormales de las imágenes.
Traducción Débil: Tienen dificultades para traducir estas mediciones cuantitativas en subinferencias cualitativas clínicamente significativas.
Alineación Deficiente: Con frecuencia no logran vincular de manera coherente estas subinferencias con una conclusión diagnóstica final.

Los procesos actuales dependen de herramientas específicas de cada modalidad que no integran los datos de CFP y OCT, o generan atribuciones visuales post-hoc que carecen del razonamiento estructurado y basado en evidencia requerido para la confianza clínica. Existe una brecha en los modelos que puedan interpretar conjuntamente imágenes emparejadas de CFP y OCT, fundamentar los resultados en biomarcadores cuantitativos continuos y producir una vía diagnóstica transparente de "cuantitativo-a-cualitativo".

Metodología

Los autores proponen RetiBridge, un MLLM oftálmico guiado por conocimiento diseñado para cerrar la brecha entre los biomarcadores retinianos cuantitativos y las conclusiones diagnósticas cualitativas. El sistema emplea una arquitectura de doble codificador asimétrica y un marco de entrenamiento de tres etapas.

1. Generación de Instrucciones Basada en Datos y Conocimiento

Conjunto de Datos: El modelo es entrenado con 15,611 muestras emparejadas de CFP–OCT del UK Biobank, cada una asociada con 31 biomarcadores estructurales derivados de OCT (p. ej., grosor macular, volúmenes de capas) y 6 biomarcadores derivados de CFP (p. ej., calibre vascular, tortuosidad).
Generación de Instrucciones (Etapa I): Se utiliza una plantilla de prompt revisada por clínicos, denominada Eye-Guideline, para guiar a OpenAI-o3 en la generación de informes diagnósticos estructurados y fundamentados en biomarcadores. Estos informes vinculan explícitamente las anomalías cuantitativas con interpretaciones cualitativas y diagnósticos finales. La etiqueta diagnóstica se utiliza solo como una restricción suave durante esta fase de generación, no como una entrada directa al modelo durante el entrenamiento.

2. Arquitectura del Modelo

Codificadores:
- CFP: Utiliza un codificador RetiZero preentrenado de estilo CLIP.
- OCT: Introduce un nuevo codificador de OCT alineado con biomarcadores. Dado que no existía un codificador de OCT comparable y fundamentado en biomarcadores, los autores emplean un alineamiento contrastivo de estilo CLIP para alinear las representaciones de los B-scans centrales de la fóvea con sus correspondientes vectores de biomarcadores cuantitativos de 31 dimensiones.
Fusión: Los módulos de proyección mapean las características a nivel de token de ambos codificadores en un espacio de incrustación (embedding) compartido y compatible con el lenguaje.
Backbone (Columna Vertebral): Las características se concatenan con consultas textuales y se procesan mediante un Qwen2-7B, ajustado mediante Low-Rank Adaptation (LoRA).

3. Flujo de Entrenamiento

Etapa I (Generación de Instrucciones): Genera los informes diagnósticos objetivo ( $y_n$ ) utilizando OpenAI-o3 basado en imágenes, biomarcadores y etiquetas.
Etapa II (Alineación OCT–Biomarcador): Una pérdida contrastiva de estilo CLIP alinea las representaciones de la imagen OCT con los vectores de biomarcadores cuantitativos. Esta etapa fundamenta el codificador de OCT en mediciones estructurales sin requerir los vectores de biomarcadores durante la inferencia.
Etapa III (Ajuste de Instrucciones Supervisado): Los módulos de proyección y los parámetros de LoRA del backbone Qwen2 se optimizan utilizando los pares de instrucción-respuesta generados. Los codificadores de CFP y OCT permanecen congelados.

Contribuciones Clave

MLLM Retiniano Fundamentado en Biomarcadores: RetiBridge es el primer modelo que cierra explícitamente la breancia entre biomarcadores retinianos cuantitativos, subinferencias cualitativas y conclusiones diagnósticas coherentes dentro de un único marco para entradas emparejadas de CFP y OCT.
Datos de Instrucción y Benchmark Guiados por Conocimiento: Los autores construyeron un proceso reproducible para generar datos de instrucción fundamentados en biomarcadores y establecieron el benchmark de Comprensión Oftálmica Fundamentada (Grounded Ophthalmic Understanding). Este benchmark evalúa la clasificación diagnóstica, la calidad de la generación de informes y métricas clínicas de grano fino (p. ej., fundamentación de evidencia, completitud de cobertura).
Alineación de Biomarcadores y Fusión Multimodal: El artículo introduce un objetivo de estilo CLIP para alinear contrastivamente los B-scans de OCT con vectores de biomarcadores cuantitativos continuos, abordando la falta de un codificador de OCT fundamentado en biomarcadores. Esto se combina con un diseño de codificador asimétrico específico para cada modalidad.

Resultados Experimentales

Evaluado en el benchmark de Comprensión Oftálmica Fundamentada utilizando 15,611 muestras (división 80/20), RetiBridge (7 mil millones de parámetros) fue comparado contra modelos propietarios (GPT-4o, OpenAI-o3) y bases de código abierto (Qwen2.5-VL, Lingshu).

Precisión Cuantitativa: RetiBridge alcanzó la puntuación más alta (78.23), superando significativamente a OpenAI-o3 (58.31) y a todas las demás bases de comparación.
Fundamentación de Evidencia y Cobertura: Logró las puntuaciones más altas en Fundamentación de Evidencia (68.70) y Completitud de Cobertura (65.56), superando a OpenAI-o3 (60.13 y 62.70, respectivamente).
Similitud Semántica: RetiBridge alcanzó el BERTScore más alto (0.88), superando ligeramente a OpenAI-o3 (0.87).
Clasificación Diagnóstica: Aunque todos los modelos enfrentaron desafíos debido a las distribuciones de clases de cola larga (Macro F1 $\le$ 0.25), RetiBridge logró un Macro F1 de 0.23, igualando al Lingshu-32B de 32 mil millones de parámetros y acercándose a OpenAI-o3 (0.25).
Análisis Cualitativo: Los estudios de caso demostraron que RetiBridge produce informes más concisos y trazables, vinculando explícitamente las mediciones con las subinferencias y las conclusiones, mientras que OpenAI-o3 exhibió declaraciones redundantes y un vínculo lógico más débil.

Estudios de Ablación

Codificadores: Reemplazar los codificadores asimétricos con un CLIP-ViT convencional redujo la Precisión Cuantitativa de 78.23 a 61.52.
Alineación: Eliminar la alineación de biomarcadores (usando el RETFound original) redujo la Precisión Cuantitativa a 58.79. Las tareas de regresión confirmaron que el codificador alineado predice mejor los valores de los biomarcadores (menor MAE/RMSE, mayor $R^2$ ).
Modalidades: Eliminar la rama de CFP (solo OCT) degradó drásticamente el rendimiento en todas las métricas, confirmando la necesidad de los datos complementarios de superficie/vasculares de la CFP.
Backbone: Reemplazar Qwen2 con Vicuna-7B resultó en un rendimiento inferior, resaltando la importancia del backbone de lenguaje.

Significado y Reivindicaciones

El artículo afirma que fundamentar las representaciones retinianas multimodales en biomarcadores cuantitativos continuos mejora significativamente la trazabilidad clínica y la completitud de los informes diagnósticos generados. RetiBridge demuestra que un modelo de 7 mil millones de parámetros, cuando está equipado con un ajuste de instrucción guiado por conocimiento y una alineación explícita de biomarcadores, puede superar a modelos de código abierto más grandes y rivalizar con modelos propietarios (OpenAI-o3) en dimensiones específicas y clínicamente críticas como la fundamentación de evidencia y la precisión cuantitativa.

Los autores enfatizan que su enfoque va más allá de la simple clasificación de imágenes o la generación de informes genéricos, ofreciendo una vía estructurada que imita el razonamiento clínico: Medición Cuantitativa $\to$ Subinferencia Cualitativa $\to$ Conclusión Diagnóstica. Señalan que, si bien el modelo muestra un fuerte desempeño, es necesario realizar trabajos futuros para validar la generalizabilidad en conjuntos de datos externos, extenderlo al volumen completo de OCT e incorporar una evaluación experta más amplia.