Diabetic Retinopathy Grading with CLIP-based Ranking-Aware Adaptation:A Comparative Study on Fundus Image

Resumen Técnico: Graduación de Retinopatía Diabética con Adaptación Consciente de Clasificación basada en CLIP

1. Planteamiento del Problema

La retinopatía diabética (RD) es una complicación microvascular progresiva de la diabetes y una de las principales causas de ceguera prevenible a nivel mundial. La detección temprana y la graduación precisa de la severidad (desde "sin RD" hasta "RD proliferativa") son críticas para la intervención clínica. Sin embargo, la graduación manual por oftalmólogos es costosa, lenta y sujeta a variabilidad interobservador.

El desafío principal abordado en este trabajo es adaptar los modelos fundacionales visión-idioma (específicamente CLIP) para tareas de clasificación médica especializada donde:

• Las diferencias entre clases son sutiles.
• Las distribuciones de clases están altamente desbalanceadas (hay muchos más casos leves que graves).
• La estructura ordinal de la enfermedad (la severidad aumenta progresivamente) debe ser respetada por el modelo.

2. Metodología

Los autores proponen y comparan sistemáticamente tres estrategias basadas en CLIP utilizando un conjunto de datos combinado de APTOS 2019 y Messidor-2 (5,406 imágenes fundus).

• Enfoque 1: Línea Base Zero-Shot (Sin entrenamiento)

  • Utiliza el codificador de imágenes de CLIP (basado en ResNet) sin ajuste fino.
  • Se emplea ingeniería de prompts (instrucciones de texto) para describir cada grado de RD.
  • La predicción se basa en la máxima similitud coseno entre la imagen y los embeddings de texto.

• Enfoque 2: Modelo Híbrido FCN-CLIP con Atención CBAM

  • Integra el codificador visual congelado de CLIP con un decodificador de red totalmente convolucional (FCN).
  • Incorpora módulos de atención CBAM (Channel and Spatial Attention) para dirigir el foco del modelo hacia regiones clínicamente relevantes (microaneurismas, hemorragias, exudados).
  • Se entrena con pérdida de entropía cruzada ponderada y Focal Loss para manejar el desbalance.

• Enfoque 3: Modelo de Prompts Consciente de Clasificación (Ranking-aware)

  • Introduce vectores de prompt aprendibles para cada grado de RD.
  • Diseñado para explotar la estructura ordinal de la enfermedad: durante el entrenamiento, se optimizan los prompts para que las puntuaciones de similitud respeten el orden de severidad (un grado más grave debe puntuar más alto que uno menos grave).
  • Combina una pérdida de clasificación con una pérdida de clasificación (ranking loss).
  • Utiliza umbrales óptimos específicos por clase calibrados en el conjunto de validación para mejorar la sensibilidad en clases minoritarias.

Estrategias de Preprocesamiento:

• Muestreo (Resampling): Combinación de submuestreo y sobremuestreo para equilibrar las clases en el entrenamiento.
• Aumento de datos: Técnicas estándar y aumentadas (rotación, jitter de color, borrado aleatorio) aplicadas con mayor intensidad a las clases minoritarias.

3. Contribuciones Clave

1. Comparación Controlada: Evaluación directa de estrategias zero-shot, supervisadas y de aprendizaje de prompts bajo condiciones de datos y evaluación idénticas.
2. Análisis de Fortalezas Complementarias: Identificación de que los modelos ajustados tienen perfiles de precisión-recall distintos, relevantes para diferentes contextos clínicos (cribado vs. confirmación).
3. Mitigación del Desbalance: Validación práctica de que la combinación de re-muestreo y calibración de umbrales es crucial para mejorar el rendimiento en clases críticas (RD severa y proliferativa) más allá de la arquitectura del modelo.

4. Resultados Experimentales

Los modelos se evaluaron en un conjunto de prueba retenido (15% de los datos).

• Rendimiento General:

  • Modelo Consciente de Clasificación (Ranking-aware): Logró la mayor precisión global (93.42%) y un AUROC de 0.9845. Destacó en la recuperación de casos severos (Recall: 83%).
  • Modelo Híbrido FCN-CLIP: Obtuvo un 92.49% de precisión y un AUROC de 0.99. Fue superior en la detección de RD Proliferativa (Recall: 74% vs. 50% del modelo de ranking).
  • Línea Base Zero-Shot: Rindió significativamente peor (55.17% de precisión, AUROC 0.75), con un 10% de errores de clasificación graves (desviación de dos o más grados).

• Distribución de Errores:

  • El modelo de ranking redujo los errores grandes a solo un 2%, logrando un 80% de coincidencias exactas, en comparación con el 60% del modelo zero-shot.

• Análisis de Mapas de Atención:

  • El modelo híbrido con CBAM mostró una atención concentrada en lesiones microscópicas específicas, mientras que el modelo zero-shot se centraba en características anatómicas generales (disco óptico, vasos grandes), lo que explica su menor capacidad para distinguir grados adyacentes.

5. Significado e Implicaciones

El estudio demuestra que la adaptación específica del dominio es esencial para la graduación efectiva de la RD utilizando modelos fundacionales.

• Complementariedad Clínica:
  • El modelo Consciente de Clasificación es ideal para cribado poblacional donde la sensibilidad (no pasar por alto casos graves) es prioritaria.
  • El modelo Híbrido FCN-CLIP es superior para la confirmación diagnóstica debido a su mayor precisión y capacidad de localización de lesiones proliferativas.
• Recomendación Futura: Los autores sugieren que un enfoque de conjunto (ensemble) o un sistema de múltiples etapas que combine ambas estrategias podría ofrecer el rendimiento óptimo, aprovechando la sensibilidad ordinal de uno y la capacidad de localización de lesiones del otro.
• Limitaciones: El estudio reconoce la necesidad de validación externa en poblaciones independientes y el alto costo computacional del modelo híbrido, lo cual podría ser un obstáculo en entornos con recursos limitados.

En conclusión, este trabajo establece un marco robusto para la aplicación de modelos visión-idioma en oftalmología, demostrando que la integración de la estructura ordinal de la enfermedad y mecanismos de atención focalizada supera significativamente a los enfoques zero-shot tradicionales.