Parameter-Efficient VLMs for Gastrointestinal Endoscopy: Medical Image Generation and Clinical Visual Question Answering

Resumen Técnico: VLMs Eficientes en Parámetros para Endoscopia Gastrointestinal

Planteamiento del Problema
El despliegue de Inteligencia Artificial (IA) avanzada en la endoscopia gastrointestinal (GI) se ve actualmente obstaculizado por tres barreras principales: la escasez de conjuntos de datos médicos anotados, las estrictas regulaciones de privacidad del paciente que limitan el intercambio de datos y los costos computacionales prohibitivos asociados al ajuste fino convencional completo de modelos grandes. Estas limitaciones resultan en sistemas de IA que a menudo sufren de sesgos, una pobre generalización a patologías raras y una incapacidad para escalar eficazmente en la práctica clínica. Además, los modelos existentes de Respuesta a Preguntas Visuales (VQA) frecuentemente producen "alucinaciones" —información clínica plausible pero incorrecta—, mientras que los métodos de generación de datos sintéticos a menudo fallan en equilibrar la alta fidelidad con la alineación semántica a los prompts médicos.

Metodología
Para abordar estos desafíos, los autores proponen un marco de trabajo de doble canal que utiliza técnicas de Ajuste Fino Eficiente en Parámetros (PEFT). El sistema está diseñado para operar en el conjunto de datos Kvasir-VQA (6,500 imágenes) y consta de dos componentes paralelos:

1. Canal de Respuesta a Preguntas Visuales (VQA) Clínica:

   • Arquitectura: El sistema adopta el modelo de lenguaje-vision Florence-2. Emplea un codificador DaViT (Data-efficient Vision Transformer) congelado para extraer características visuales jerárquicas y un decodificador estilo BART para la generación de texto.
   • Estrategia PEFT: En lugar de reentrenar todo el modelo, el codificador de visión se mantiene congelado y solo se adaptan los componentes de lenguaje. Las preguntas clínicas se prefijan con un token específico del dominio (<MedVQA>) para activar representaciones relevantes.
   • Mecanismo: Un mecanismo de atención cruzada permite que el modelo atienda dinámicamente a regiones específicas de la imagen basándose en consultas textuales, apoyando el razonamiento espacial y la localización de objetos. El modelo se entrena utilizando pérdida de entropía cruzada a nivel de token con optimización AdamW.

2. Canal de Generación de Imágenes Sintéticas Preservando la Privacidad:

   • Arquitectura: Este canal utiliza Stable Diffusion 2.1 como modelo base de texto a imagen.
   • Estrategia PEFT: Se integra Low-Rank Adaptation (LoRA) en las capas de atención del modelo de difusión. Específicamente, las matrices de pesos preentrenados ($W_0$) se congelan y se insertan matrices entrenables de bajo rango ($A$ y $B$) de tal manera que $W = W_0 + BA$.
   • Optimización: Los autores determinaron empíricamente que una configuración LoRA de rango-4 ofrece el equilibrio óptimo entre eficiencia y poder representacional, reduciendo significativamente el número de parámetros ajustables y el riesgo de sobreajuste en pequeños conjuntos de datos médicos.
   • Proceso: El modelo genera imágenes de alta fidelidad de GI a partir de prompts de texto clínico (por ejemplo, "imagen de colonoscopia clínica con un pólipo") mientras preserva la privacidad del paciente evitando el uso de datos reales de pacientes para entrenar el modelo generativo.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Implementación y Análisis de PEFT para VQA: La adaptación exitosa del modelo Florence-2 a la endoscopia gastrointestinal utilizando PEFT, acompañada de un análisis detallado del rendimiento que demuestra que el ajuste fino en conjuntos de datos privados produce resultados superiores en comparación con los conjuntos de datos públicos.
2. Marco de Generación de Imágenes Sintéticas Robusto: El diseño de un canal de Stable Diffusion mejorado con LoRA, aumentado con ingeniería de prompts avanzada para generar imágenes de GI clínicamente precisas y que preservan la privacidad, destinadas a la expansión de conjuntos de datos.
3. Evaluación Exhaustiva: Una evaluación completa de ambas metodologías en el contexto del diagnóstico de GI, respaldada por estudios de ablación sobre los rangos de LoRA y comparaciones frente a modelos de última generación.

Resultados

• Rendimiento en VQA: El modelo Florence-2 basado en PEFT logró una puntuación ROUGE-1 de 0.92 y una puntuación ROUGE-L de 0.91. Las puntuaciones BLEU mejoraron entre 0.08 y 0.24, lo que indica una mayor precisión de n-gramas para la terminología médica. El modelo demostró un rendimiento consistente en diversos tipos de preguntas (sí/no, conteo, localización) y mostró una mejor generalización en conjuntos de datos privados en comparación con los públicos.
• Rendimiento en Generación Sintética: La síntesis LoRA de rango-4 logró una puntuación de Fidelidad de 0.290, una puntuación de Acuerdo de 0.730 y una Distancia Fréchet BiomedCLIP (FBD) de 1450.
• Análisis Comparativo:
  • En VQA, el método propuesto superó a los puntos de referencia VQA-RAD y MedVQA en ROUGE-L (0.910).
  • En la generación de imágenes, aunque FLUX y Kandinsky 2.2 mostraron puntuaciones de Fidelidad o Acuerdo más altas respectivamente, el modelo propuesto demostró una alineación semántica superior con una FBD significativamente menor (1450) en comparación con Kandinsky (2060.58) y MSDM (1531.62).
• Eficiencia: El enfoque PEFT redujo los parámetros entrenables en aproximadamente un 89.9% y disminuyó el tiempo de entrenamiento a 4–5 horas en hardware GPU estándar, permitiendo el despliegue en infraestructura hospitalaria estándar sin recursos computacionales especializados.

Significado y Afirmaciones
Los autores afirman que este marco establece una solución robusta para mejorar la VQA y la generación de datos sintéticos en la IA clínica. Al combinar PEFT con datos sintéticos, el enfoque aborda los cuellos de botella críticos de la escasez de datos y la privacidad. La menor puntuación FBD indica que las imágenes generadas poseen una mejor coherencia imagen-texto que los modelos competidores, lo que las hace valiosas para expandir bases de datos de entrenamiento sin violar la privacidad del paciente.

El artículo sitúa este trabajo como un paso hacia la democratización del acceso a la IA médica de alta calidad, permitiendo la integración de herramientas diagnósticas sofisticadas en organizaciones de salud con recursos computacionales limitados. Si bien los autores reconocen limitaciones en tareas complejas de conteo numérico, afirman que el sistema está listo para pruebas piloto clínicas, particularmente en contextos educativos y como herramienta de apoyo al diagnóstico, con el objetivo final de mejorar la atención al paciente mediante una IA médica accesible y éticamente alineada.