Differential Attention-Augmented BiomedCLIP with Asymmetric Focal Optimization for Imbalanced Multi-Label Video Capsule Endoscopy Classification

1. El Problema

La endoscopia por cápsula de video (VCE) es una herramienta no invasiva crucial para visualizar el tracto gastrointestinal, especialmente el intestino delgado. Sin embargo, presenta dos desafíos críticos:

• Volumen de Datos: Un solo examen genera entre 50,000 y 130,000 cuadros, lo que hace que la revisión manual sea intensiva y propensa a la fatiga del observador.
• Desequilibrio Extremo de Clases: En el conjunto de datos Galar, las regiones anatómicas normales (estómago, intestino, colon) dominan la distribución, mientras que los hallazgos patológicos (sangrado activo, angiectasia, erosión, úlcera) son extremadamente escasos.
  • Ejemplo: En el conjunto de entrenamiento, clases como "sangrado activo" tienen una relación positivo/negativo superior a 1:3,000.
  • Consecuencia: Los modelos estándar optimizados con entropía cruzada tienden a predecir trivialmente la clase mayoritaria, logrando alta precisión global pero fallando catastróficamente en detectar eventos raros y clínicamente significativos (colapso de la recall de la clase minoritaria).

2. Metodología

El equipo propuso un pipeline de cuatro etapas que modifica el modelo fundacional BiomedCLIP para abordar el ruido de atención y el desequilibrio de clases.

A. Arquitectura: BiomedCLIP con Atención Diferencial

• Base: Se utiliza BiomedCLIP (ViT-B/16 + PubMedBERT), preentrenado con 15 millones de pares imagen-texto biomédicos.
• Innovación Clave (Atención Diferencial): Se reemplaza la atención multi-cabeza estándar en los 12 bloques del Transformer por un mecanismo de atención diferencial.
  • Funcionamiento: Las cabezas de atención se dividen en dos grupos. Se calcula la diferencia entre dos mapas de atención softmax: $DiffAttn = Softmax(Q_1K_1^T) - \lambda \cdot Softmax(Q_2K_2^T)$.
  • Objetivo: Al restar las distribuciones, se cancelan los patrones de ruido de modo común (mapas de atención uniformes o de bajo rango) y se amplifican las señales de regiones espaciales raras pero diagnósticamente relevantes.
  • Transferencia: Se transfieren los pesos preentrenados completos, descomponiendo las proyecciones QKV para permitir el aprendizaje del parámetro $\lambda$.

B. Arquitectura de Clasificación

El pipeline tiene dos vías paralelas:

1. Vía de Clasificación Supervisada: Los vectores de características de imagen pasan por un bloque de excitación (inspirado en Squeeze-and-Excitation) y se proyectan a 17 logits de clase.
2. Vía de Contraste: Se alinean las características de imagen con embeddings de texto congelados (generados por PubMedBERT a partir de prompts clínicos como "una imagen de endoscopia mostrando [etiqueta]").

C. Estrategia Multi-Nivel para el Desequilibrio de Clases

Para combatir la escasez de datos patológicos, se implementó una estrategia coordinada:

1. Muestreo: Un muestreador aleatorio ponderado por la raíz cuadrada de la frecuencia ($1/\sqrt{f_c}$) para sobremuestrear moderadamente las clases raras sin la inestabilidad de la ponderación inversa lineal.
2. Función de Pérdida: Uso de Focal Loss Asimétrico con $\gamma_+ = 1$ y $\gamma_- = 4$. Esto reduce agresivamente el peso de las predicciones negativas "fáciles" (que dominan el dataset) mientras preserva el flujo de gradiente para los ejemplos positivos.
3. Regularización:
   • Mixup ($\alpha=0.3$) para suavizar los límites de decisión.
   • Label Smoothing ($\epsilon=0.05$).
   • Exponential Moving Average (EMA) de los parámetros del modelo ($\beta=0.999$) para inferencia.
   • Aumentación de datos fuerte (corte aleatorio, jitter de color, rotación, borrado aleatorio).
4. Optimización: Se utiliza AdamW con un calendario OneCycleLR. La pérdida total combina la pérdida de clasificación y la pérdida contrastiva ($L = L_{cls} + 0.4 \cdot L_{con}$).

D. Post-procesamiento Temporal

Para convertir las predicciones a nivel de cuadro en eventos clínicos:

1. Umbralización por clase (optimizada en el conjunto de validación).
2. Suavizado por mediana (ventana de 7 cuadros) para eliminar falsos positivos aislados.
3. Fusión de brechas: Se unen eventos de la misma clase separados por $\le 5$ cuadros, asumiendo que las patologías persisten en secuencias contiguas.
4. Eliminación de eventos con duración $< 3$ cuadros.

3. Contribuciones Clave

• Mecanismo de Atención Diferencial: Una modificación arquitectónica novedosa en modelos fundacionales biomédicos para suprimir ruido y mejorar la discriminación de patologías sutiles.
• Estrategia de Desequilibrio Integral: Una combinación efectiva de muestreo, pérdida asimétrica, regularización y calibración de umbrales específicos por clase.
• Pipeline de Post-procesamiento Temporal: Un enfoque robusto que mejora la localización temporal de los eventos, crucial para la evaluación en competiciones de visión médica.

4. Resultados

El modelo se evaluó en el conjunto de prueba held-out de RARE-VISION (3 exámenes NaviCam, 161,025 cuadros).

• Métricas Globales:
  • mAP temporal @ 0.5: 0.2456
  • mAP temporal @ 0.95: 0.2353
  • Observación: La pequeña diferencia entre mAP@0.5 y mAP@0.95 (0.0103) indica una localización temporal de los eventos muy precisa.
• Rendimiento por Clase:
  • Alto rendimiento: Regiones anatómicas comunes (Estómago, Intestino Delgado, Colon) alcanzaron AP > 0.84.
  • Bajo rendimiento en clases raras: Etiquetas con muy pocos ejemplos de entrenamiento (sangrado activo, eritema, hematina, z-line) tuvieron AP < 0.03. Esto refleja la dificultad fundamental de aprender representaciones robustas con menos del 0.05% de los datos de entrenamiento.
• Eficiencia:
  • Tiempo de inferencia total: ~8.6 minutos (517.3 segundos) en una sola GPU NVIDIA RTX PRO 6000.
  • Entrenamiento: 3 horas en 5 épocas.

5. Significado y Limitaciones

• Significado: El trabajo demuestra que la adaptación de modelos fundacionales biomédicos (BiomedCLIP) mediante mecanismos de atención diferenciada y estrategias de optimización específicas para datos desbalanceados puede mejorar la detección de eventos raros en VCE, superando las limitaciones de los enfoques estándar.
• Limitaciones:
  • Las clases patológicas extremadamente raras (<200 cuadros) siguen siendo un desafío, ya que la ambigüedad visual (ej. angiectasia vs. vellosidades normales) combinada con la escasez de datos impide la formación de representaciones robustas.
  • Existe un desplazamiento de dominio (domain shift) entre los datos de entrenamiento (Olympus, PillCam) y los de prueba (NaviCam) en términos de resolución y características de color.
• Trabajo Futuro: Se sugiere incorporar modelado temporal explícito (recurrente o basado en atención de secuencia) para aprovechar el contexto de persistencia temporal y las transiciones morfológicas graduales que los clasificadores a nivel de cuadro no pueden capturar.

En conclusión, el equipo MINDH Lab logró un rendimiento competitivo mediante una arquitectura híbrida que prioriza la señal sobre el ruido y una gestión rigurosa del desequilibrio de datos, estableciendo un nuevo enfoque para la clasificación de endoscopias por cápsula.