💻 computer science

LUX: A Lesion-Aware Graph-Conditioned Visual - Language Architecture for Explainable Endoscopic Captioning

LUX es una novedosa arquitectura de visión y lenguaje condicionada por grafos que mejora el subtitulado endoscópico explicable para la colitis ulcerosa mediante la construcción de grafos de escena centrados en la lesión para guiar la generación a nivel de token, mejorando así la precisión clínica, la interpretabilidad y la fundamentación, al tiempo que reduce las alucinaciones en comparación con los modelos existentes.

Autores originales: Alexis Ivan Escamilla-Lopez, Gilberto Ochoa-Ruiz, Salvador Hinojosa, Sharib Ali

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alexis Ivan Escamilla-Lopez, Gilberto Ochoa-Ruiz, Salvador Hinojosa, Sharib Ali

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Dentro del colon humano, una afección crónica conocida como colitis ulcerosa hace que el revestimiento se vuelva inflamado, rojo y frágil. Para comprender qué tan severa es esta inflamación, los médicos dependen de un procedimiento llamado endoscopia, donde se pasa una cámara flexible a través del tracto digestivo para capturar imágenes del tejido. Un especialista examina entonces estas imágenes, buscando signos específicos como sangrado, úlceras o una pérdida del patrón normal de los vasos sanguíneos. Basándose en lo que ven, asignan una puntuación de severidad y escriben una descripción detallada del estado de la enfermedad. Este proceso es vital para decidir el tratamiento, pero también es difícil y subjetivo. Dos médicos diferentes podrían mirar la misma imagen y discrepar sobre qué tan enferma está la paciente, o uno podría pasar por alto un signo sutil de problemas que otro sí detectaría.

Durante años, los científicos han intentado construir programas informáticos que puedan leer estas imágenes médicas y redactar sus propias descripciones, con la esperanza de ayudar a los médicos a ser más consistentes y precisos. Los primeros intentos utilizaron inteligencia artificial para observar la imagen completa de una sola vez, comprimiendo toda la imagen en un resumen único antes de intentar escribir una oración. Aunque estos sistemas podían producir un texto fluido, a menudo fallaban al conectar sus palabras con los puntos reales de la enfermedad en la imagen. Podían describir un sangrado que no estaba allí o pasar por alto una úlcera severa porque estaban mirando el "panorama general" en lugar de los detalles específicos. Esta falta de conexión hacía que los informes de la computadora fueran poco fiables para el uso clínico, ya que la máquina no podía explicar por qué escribió lo que escribió.

Un equipo de investigadores ha desarrollado ahora un nuevo sistema llamado LUX que cambia la forma en que las computadoras abordan esta tarea. En lugar de tratar una imagen endoscópica como un todo único y borroso, LUX descompone la imagen en partes específicas y significativas. Cuando el sistema observa una imagen de un colon inflamado, primero identifica las ubicaciones exactas de las áreas problemáticas, como un parche de enrojecimiento o una pequeña llaga. Luego trata estos puntos como caracteres individuales en una historia, trazando cómo se relacionan entre sí. Si una llaga está junto a un área con sangrado, el sistema nota esa conexión. Construye un mapa estructurado de la enfermedad, donde cada nodo representa una lesión específica y cada línea entre ellos representa una relación, como proximidad o similitud.

Este mapa de lesiones se convierte en la base para la escritura de la computadora. En lugar de adivinar qué decir basándose en una impresión general de la imagen, el sistema utiliza este mapa para guiar cada palabra que genera. A medida que construye una oración, verifica constantemente su trabajo contra los puntos específicos que ha identificado. Si escribe la palabra "sangrado", el sistema se asegura de que esta palabra esté directamente vinculada a un área específica en la imagen donde se detectó el sangrado. Este método obliga a la computadora a fundamentar su lenguaje en evidencia visual, evitando que invente síntomas que no existen. El resultado es una descripción que no solo suena profesional, sino que también apunta directamente a la evidencia física que respalda cada afirmación.

Los investigadores probaron este enfoque frente a muchos otros métodos, incluyendo sistemas basados en modelos de inteligencia artificial de propósito general masivos que han leído millones de documentos. Descubrieron que LUX era significemente mejor describiendo las imágenes con precisión. Produjo menos errores, como describir un colon sano como enfermo o pasar por alto una úlcera severa. En las pruebas que medían qué tan bien coincidían las descripciones de la computadora con las escritas por expertos humanos, LUX superó a todos los demás sistemas. Fue particularmente exitoso al reducir las "alucinaciones", un término que los investigadores usan para cuando una computadora describe con confianza algo que no está realmente ahí. Mientras que otros sistemas cometían estos errores aproximadamente el 9.4 por ciento de las veces, LUX redujo esa tasa a solo el 5.3 por ciento.

El estudio también mostró que este nuevo método ayuda a la computadora a comprender la severidad de la enfermedad con mayor exactitud. En la colitis ulcerosa, la severidad se determina a menudo por cómo aparecen juntos los diferentes signos y dónde se localizan. Debido a que LUX mapea las relaciones entre estos signos, puede distinguir entre un caso leve y uno severo con mayor precisión que los sistemas que solo ven la imagen como un todo. Cuando los médicos humanos revisaron las descripciones generadas por LUX, calificaron las descripciones como altamente precisas y clínicamente útiles, señalando que el sistema identificaba correctamente características específicas como los patrones vasculares y la textura del tejido.

Este trabajo sugiere que para las imágenes médicas, especialmente en campos complejos como la endoscopia, simplemente hacer que una computadora sea más inteligente o darle más datos no es suficiente. El sistema necesita ser enseñado a mirar la imagen de la manera en que lo hace un médico: enfocándose en problemas específicos y localizados y comprendiendo cómo encajan entre sí. Al construir un mapa estructurado de la enfermedad antes de intentar escribir una oración, LUX cierra la brecha entre ver una imagen y comprender lo que significa. Este enfoque ofrece un camino hacia una inteligencia artificial que no es solo fluida, sino también confiable y transparente, proporcionando a los médicos una herramienta que puede explicar su razonamiento con la misma claridad con la que describe la condición del paciente.

Resumen Técnico: LUX – Una arquitectura de visión-lenguaje condicionada por grafos y consciente de las lesiones para el subtitulado endoscópico explicable

1. Planteamiento del problema

La interpretación de imágenes endoscópicas para la colitis ulcerosa (CU) es un proceso complejo y subjetivo que depende en gran medida de la evaluación de patrones inflamatorios mucosos sutiles, patrones vasculares y la distribución de las lesiones. Aunque el aprendizaje profundo ha avanzado en el análisis automatizado, los modelos de visión-lenguaje (VLM) existentes para el subtitulado de imágenes médicas sufren limitaciones críticas:

Dependencia de la incrustación global (Global Embedding): La mayoría de los modelos comprimen patrones patológicos heterogéneos en una única incrustación visual global. Este enfoque ignora la naturaleza localizada y relacional de la evidencia patológica, lo que resulta en subtítulos que carecen de fundamentación a nivel de lesión.
Alucinación y falta de trazabilidad: Las descripciones generadas suelen confundir hallazgos distintos o introducir afirmaciones patológicas no sustentadas (alucinaciones) porque la generación lingüística no está explícitamente restringida por evidencia visual específica.
Brecha de interpretabilidad: Los métodos de explicabilidad actuales (p. ej., Grad-CAM) proporcionan visualizaciones post-hoc, pero no integran la interpretabilidad en el proceso de razonamiento en sí mismo. Los clínicos requieren sistemas que asocien hallazgos localizados con descripciones diagnósticas coherentes, no solo que resalten regiones de atención difusas.
Especificidad del dominio: Los modelos fundacionales de propósito general (LLMs/VLMs) dependen fuertemente de los sesgos lingüísticos a gran escala en lugar de una evidencia patológica explícita, lo cual es insuficiente para el razonamiento matizado y basado en evidencia requerido en la endoscopia gastrointestinal.

2. Metodología

Los autores proponen LUX (Lesion-aware Unified eXplainable captioning), un marco que redefine el subtitulado endoscópico como un proceso de razonamiento clínico fundamentado en la evidencia, en lugar de una traducción directa de imagen a texto. La arquitectura consta de cinco componentes interactivos:

A. Codificador Híbrido Visual (ResNet-50 + CBAM)

Backbone: Un ResNet-50 inicializado con pesos de ImageNet, adaptado para la imagen de colonoscopia.
Mecanismo de atención: Se integra un Módulo de Atención de Bloque Convolucional (CBAM) después de cada etapa residual. Esto amplifica selectivamente los patrones mucosos discriminativos (p. ej., atenuación vascular, ulceración) mientras suprime la información de fondo irrelevante.
Fusión multiescala: Las características de diferentes campos receptivos ( $conv3\_x, conv4\_x, conv5\_x$ ) se concatenan y proyectan para asegurar la compatibilidad con el decodificador T5.

B. Construcción del Grafo Escena-Lesión

Localización de lesiones: Las regiones patológicas candidatas se localizan utilizando mapas de activación Grad-CAM, regularizados durante el entrenamiento mediante una pérdida basada en Dice contra máscaras de lesión anotadas manualmente (de un subconjunto del conjunto de datos LIMUC).
Formación del grafo: Las regiones localizadas se abstraen en nodos de grafo ( $x_i$ ). Las aristas ( $w_{ij}$ ) codifican tanto la proximidad espacial (distancia euclidiana entre centroides) como la similitud semántica (similitud de coseno de las incrustaciones de los nodos).
Razonamiento relacional: Una Red Convolucional de Grafos (GCN) propaga la información contextual a través de las lesiones conectadas, capturando interacciones como la coocurrencia de ulceración y sangrado. Se obtiene un descriptor de grafo global mediante el agrupamiento por atención (attention pooling).

C. Subtitado Consciente de la Lesión (Decodificador T5 + Doble Atención Cruzada)

Doble Atención Cruzada: El decodificador T5 emplea un mecanismo de doble atención donde cada token generado atiende conjuntamente a las características visuales globales y a las incrustaciones del grafo de la lesión.
Puerta Dinámica (Dynamic Gating): Un parámetro de puerta aprendible ( $\gamma_t$ ) equilibra dinámicamente la influencia del contexto visual y el razonamiento centrado en la lesión en cada paso de decodificación.
Alineación Token-a-Lesión: Se calcula una matriz de alineación explícita ( $M_{tok-les}$ ) para cuantificar la contribución de nodos de lesión específicos a cada token generado, asegurando la trazabilidad entre el lenguaje y la evidencia patológica.

D. Formateo Lingüístico

Un módulo de post-procesamiento ligero y determinista estandariza la salida. Mapea los tokens generados a un vocabulario clínico curado (p. ej., descriptores de UCEIS), impone consistencia gramatical y reordena los hallazgos para seguir una estructura narrativa clínica de "evidencia primero" (apariencia de la mucosa $\to$ patrón vascular $\to$ lesiones $\to$ sangrado).

E. Explicabilidad

El sistema proporciona explicaciones a nivel de píxel mediante mapas de calor Grad-CAM y atribución de tokens a nivel de lesión, vinculando cada palabra generada con regiones patológicas específicas.

Estrategia de Entrenamiento
El marco utiliza un enfoque de doble conjunto de datos:

UC-Caption: Un conjunto de datos curado de 500 imágenes con subtítulos escritos por expertos y etiquetas MES, utilizado para el subtitulado supervisado.
LIMUC: Un conjunto de datos a gran escala (11,276 imágenes) con etiquetas MES pero sin subtítulos. Se utiliza para el preentrenamiento del codificador visual y la GCN, y para la aumentación de subtítulos pseudo-etiquetados semi-supervisados. Un subconjunto anotado manualmente (400 imágenes) proporciona supervisión a nivel de lesión para la rama de localización.

3. Contribuciones Clave

Arquitectura Condicionada por Grafos y Consciente de las Lesiones: Un marco novedoso que integra la evidencia patológica localizada directamente en el proceso de generación de subtítulos mediante un grafo de escena-lesión.
Grafo Escena-Lesión Estructurado: Una representación que modela las relaciones espaciales y semánticas entre los hallazgos inflamatorios, yendo más allá de la detección de lesiones aisladas hacia el razonamiento relacional.
Mecanismo de Doble Atención Cruzada: Una estrategia de decodificación que permite la fundamentación a nivel de token, permitiendo que el lenguaje generado atienda explícitamente a las representaciones de nivel de lesión.
Formulación Basada en la Evidencia: La formulación del subtitulado endoscópico como un problema de razonamiento multimodal restringido por la evidencia visual, reduciendo la dependencia de los sesgos lingüísticos.
Evaluación Exhaustiva: Un benchmark unificado que compara LUX contra modelos orientados a la clasificación, líneas de base estándar de subtitulado y modelos fundacionales de última generación (p. ej., Qwen2-VL, LLaVA-Med).

4. Resultados Experimentales

Evaluado en el conjunto de prueba UC-Caption y validado en el conjunto de datos LIMUC, LUX demostró un rendimiento superior en múltiples métricas:

Calidad del Subtitado: LUX superó a todas las líneas de base, logrando una puntuación CIDEr de 0.92 (frente a 0.79 de la línea de base más fuerte) y una puntuación SPICE de 0.25 (frente a 0.19). Las ganancias significativas en SPICE indican una mejora en la corrección semántica relacional y a nivel de escena.
Reducción de Alucinaciones: LUX redujo la tasa de alucinación al 5.3%, una reducción relativa del 44% en comparación con la línea de base más fuerte de los modelos fundacionales (Qwen2-VL con 9.4%).
Consistencia Clínica: El modelo mantuvo una alta precisión en la clasificación de la subescala endoscópica de Mayo (MES) (84.7%) mientras generaba descripciones clínicamente fieles.
Estudios de Ablación: Eliminar el grafo de lesiones o el mecanismo de doble atención cruzada resultó en la degradación más significativa del rendimiento, confirmando que el razonamiento relacional en el nivel del decodificador es el principal motor de la fidelidad clínica.
Evaluación Humana: Los revisores expertos calificaron a LUX positivamente por su corrección clínica (4.4/5), especificidad de la lesión (4.6/5) y evitación de alucinaciones (4.7/5), destacando su capacidad para describir con precisión la atenuación vascular, la friabilidad y la ulceración sin una inflación de la gravedad no sustentada.

5. Significado y Reivindicaciones

El artículo afirma que LUX ofrece un paso transparente y clínicamente significativo hacia la IA explicable para la endoscopia gastrointestinal. Su principal significancia radica en demostrar que la fundamentación explícita a nivel de lesión y el razonamiento relacional estructurado proporcionan beneficios complementarios a la escala del modelo.

Más allá de la Escala: Los autores argumentan que en dominios clínicos especializados con datos anotados limitados, los sesgos inductivos arquitectónicos (localización de lesiones, codificación de grafos) son más efectivos para asegurar la fiabilidad clínica que simplemente escalar los modelos fundacionales.
Razonamiento Trazable: A diferencia de la explicabilidad post-hoc, LUX integra la interpretabilidad en el proceso de generación, asegurando que cada declaración clínica esté directamente alineada con la evidencia patológica localizada.
Utilidad Clínica: Al reducir las alucinaciones y mejorar la correspondencia entre el texto generado y los hallazgos visuales, LUX aborda una barrera crítica para el despliegue de la IA en los flujos de trabajo clínicos, ofreciendo una herramienta de apoyo a la decisión confiable para la evaluación de la colitis ulcerosa.

Los autores concluyen que, si bien los modelos fundacionales sobresalen en la fluidez lingüística, carecen de los mecanismos explícitos para asociar los hallazgos textuales con la evidencia localizada. LUX cierra esta brecha, proporcionando un camino principista hacia una IA multimodal fundamentada en la evidencia que sea tanto precisa como interpretable.