CapCLIP: A Vision-Language Representation Alignment Approach for Wireless Capsule Endoscopy Analysis

Resumen Técnico: CapCLIP – Un Enfoque de Alineación de Representaciones Visuales-Lingüísticas para el Análisis de la Endoscopia por Cápsula Inalámbrica

Enunciado del Problema
La Endoscopia por Cápsula Inalámbrica (WCE, por sus siglas en inglés) permite la visualización no invasiva del intestino delgado, pero enfrenta importantes limitaciones clínicas debido al volumen masivo de fotogramas generados por exploración y a la dificultad de identificar anomalías sutiles en condiciones de imagen altamente variables. Los enfoques existentes de aprendizaje automático para WCE son predominantemente solo visuales, a menudo restringidos a conjuntos estrechos de patologías, y demuestran una generalización limitada entre diferentes conjuntos de datos y centros clínicos. Estos modelos suelen depender de etiquetas de clase fijas, lo que resulta en salidas que carecen de interpretabilidad semántica y luchan contra los desplazamientos de distribución (por ejemplo, prevalencia variable de patologías, dispositivos de adquisición o apariencia de la imagen). Además, existe una falta de marcos multimodales específicos del dominio para WCE, ya que los datos de imagen-texto emparejados naturalmente (informes clínicos vinculados a fotogramas específicos) no están disponibles a gran escala, y los modelos existentes de visión-lingüística médica suelen entrenarse en radiología u otras modalidades con características diferentes.

Metodología
El artículo propone CapCLIP, un marco de aprendizaje de representaciones visuales-lingüísticas específico del dominio diseñado para alinear fotogramas de WCE con descripciones textuales fundamentadas clínicamente. La metodología aborda la ausencia de pares imagen-texto naturales mediante una pipeline estructurada de generación de descripciones:

1. Generación de Descripciones: Las etiquetas a nivel de fotograma se transforman en descripciones textuales ricas utilizando plantillas de descripción predefinidas, nomenclatura específica del dominio (derivada de estudios de consenso Delphi) y Modelos de Lenguaje Grande (LLM) guiados por una base de conocimientos contextual de literatura médica. Estas descripciones codifican características visuales, semántica de patologías y relevancia clínica (por ejemplo, vincular "Eritema" a "lesión vascular" o "Anormal" a "Enfermedad de Crohn").
2. Arquitectura: El marco adopta una arquitectura estilo CLIP con dos codificadores:
   • Codificador de Imagen: Un Transformador de Visión (ViT), evaluado en dos variantes (ViT-B/16 y ViT-L/14), inicializado con pesos de OpenAI CLIP.
   • Codificador de Texto: Un Transformador de 12 capas (similar a la configuración original de CLIP) que utiliza Codificación de Pares de Bytes (BPE).
3. Objetivo de Entrenamiento: El modelo se entrena utilizando una pérdida de entropía cruzada simétrica para alinear las incrustaciones de imagen y texto dentro de un espacio hiperesférico compartido. El entrenamiento utiliza mini-lotes donde se fomenta que los pares imagen-texto coincidentes tengan una alta similitud coseno, mientras que los pares no coincidentes se separan.
4. Variantes: Se exploran tres modos de entrenamiento:
   • CapCLIP-B: Clasificación binaria (Normal vs. Anormal).
   • CapCLIP-M: Clasificación multiclase (etiquetas de patologías específicas).
   • CapCLIP-MIX: Un enfoque híbrido que combina emparejamientos binarios y multiclase.

Configuración Experimental y Evaluación
El marco se evalúa bajo condiciones estrictas de zero-shot (sin entrenamiento específico) utilizando conjuntos de datos de WCE no vistos y fuera de distribución (CrohnIPI, KID2, Galar) que no se utilizaron durante el entrenamiento. Los datos de entrenamiento consisten en los conjuntos de datos SEE-AI y Kvasir-Capsule. La evaluación compara CapCLIP con varias líneas base:

• Modelos Fundamentales Solo Visuales: EndoSSL, EndoFM, EndoFM-LV.
• Modelos Visuales-Lingüísticos Generales/Médicos: CLIP (OpenAI), MedCLIP, BioMedCLIP, MedImageInsight.

El rendimiento se evalúa en tres tareas posteriores:

1. Clasificación K-Vecinos Más Cercanos (KNN) Zero-shot: Sondear la estructura semántica de las incrustaciones visuales.
2. Clasificación Imagen-Texto Estilo CLIP Zero-shot: Evaluar la capacidad discriminativa cruzada de modalidades utilizando prompts de texto.
3. Recuperación Texto-a-Imagen Zero-shot: Evaluar la capacidad de recuperar fotogramas relevantes basándose en consultas textuales (tanto a nivel grueso de "anomalía" como a nivel fino de "patología").

Resultados Clave

• Clasificación KNN: CapCLIP superó consistentemente a las líneas base en los conjuntos de datos KID2 y CrohnIPI, con ganancias de hasta +11.2% en la puntuación F1 ponderada para configuraciones multiclase. En el conjunto de datos Galar, el rendimiento fue comparable al de las líneas base, atribuido a la alta redundancia del conjunto de datos que hace que el sondeo KNN sea menos discriminativo.
• Clasificación Imagen-Texto: CapCLIP demostró mejoras sustanciales sobre todas las líneas base. En clasificación binaria, logró mejoras de AUROC/AUPRC de hasta +54.5% sobre la mejor línea base. En clasificación multiclase, las ganancias fueron aún más pronunciadas, con mejoras de hasta +206.7% en la puntuación F1 ponderada en el conjunto de datos CrohnIPI.
• Recuperación Texto-a-Imagen: CapCLIP mejoró significativamente el rendimiento de recuperación. Para la recuperación de anomalías gruesas, mejoró el mAP en hasta +94.2% en CrohnIPI. Para la recuperación de patologías finas, logró ganancias de hasta +260.8% en Precisión Ponderada@200 en el conjunto de datos Galar.
• Visualización de Incrustaciones: Las visualizaciones t-SNE confirmaron que CapCLIP aprende incrustaciones con estructuras de agrupamiento más claras y una mejor separabilidad interclase en comparación tanto con las líneas base solo visuales como con las líneas base existentes de visión-lingüística médica.

Significado y Afirmaciones
El artículo afirma que CapCLIP representa un paso significativo hacia modelos fundamentales diseñados específicamente para la endoscopia por cápsula. El significado principal radica en demostrar que el aprendizaje de representaciones guiado por el lenguaje puede producir incrustaciones que son más transferibles e informativas semánticamente que las producidas por las líneas base existentes de dominio general o dominio médico.

Las contribuciones clave incluyen:

1. El desarrollo de un marco sistemático de evaluación comparativa zero-shot para evaluar modelos multimodales en datos de WCE.
2. La introducción de CapCLIP, que permite el aprendizaje de representaciones fundamentadas en el lenguaje para una modalidad que carece de pares imagen-texto naturales.
3. Evidencia de que alinear imágenes con descripciones estructuradas y conscientes de la patología mejora la generalización a conjuntos de datos no vistos y aumenta la interpretabilidad semántica del análisis de WCE.

Los autores concluyen que, si bien los enfoques actuales solo visuales están limitados por taxonomías fijas, el enfoque propuesto de visión-lingüística ofrece un camino más flexible para la toma de decisiones clínicas, permitiendo a los médicos consultar datos de WCE utilizando conceptos de lenguaje natural en lugar de verse restringidos a etiquetas predefinidas. El artículo reconoce limitaciones, incluida la dependencia de descripciones generadas en lugar de emparejamientos naturales y la escala relativamente pequeña de los datos de entrenamiento de WCE en comparación con los modelos fundamentales generales, sugiriendo que el trabajo futuro debe centrarse en conjuntos de datos más grandes y estrategias de entrenamiento unificadas.