FunPiQ: A New Benchmark for Pixel-Level Quality Assessment in Fundus Images

Resumen Técnico: FunPiQ y EFIQA-CP

Planteamiento del Problema
La fotografía de fondo de ojo (CFP) es la modalidad principal para el cribado oftálmico a gran escala, pero es altamente susceptible a degradaciones locales (p. ej., iluminación inconsistente, bajo contraste, desenfoque) que suelen afectar a regiones específicas en lugar de a toda la imagen. Los métodos actuales de Evaluación de la Calidad de Imágenes de Fondo de Ojo (FIQA) dependen de etiquetas a nivel de imagen, las cuales varían significativamente entre conjuntos de datos y tareas clínicas. Una definición de "alta calidad" adecuada para una enfermedad (p. ej., glaucoma) puede ser insuficiente para otra. Esta dependencia de la tarea hace que la evaluación manual a nivel de imagen sea subjetiva y consume mucho tiempo. Además, las etiquetas actuales a nivel de imagen imposibilitan la evaluación cuantitativa de las degradaciones localizadas, lo que limita el desarrollo de sistemas de FIQA confiables y explicables. Aunque algunos métodos intentan localizar las degradaciones, a menudo dependen de pseudo-etiquetas ruidosas o carecen de contexto global, lo que conduce a una localización imprecisa (p. ej., clasificar erróneamente áreas de densidad vascular naturalmente baja, como la fóvea, como degradadas).

Metodología
El artículo presenta FunPiQ, un nuevo conjunto de datos de referencia (benchmark), y EFIQA-CP, un nuevo método para la evaluación de la calidad a nivel de píxel.

1. Conjunto de Datos FunPiQ:

   • Composición: El conjunto de datos consta de 300 imágenes procedentes de tres benchmarks existentes (EyeQ de EE. UU.; BRSET y mBRSET de Brasil) para asegurar la diversidad en etnia, dispositivos de adquisición (desde mesa de trabajo hasta dispositivos móviles) y tipos de degradación.
   • Estrategia de Anotación: A diferencia de los conjuntos de datos anteriores con etiquetas globales, FunPiQ proporciona anotaciones de calidad a nivel de píxel. Las imágenes fueron anotadas por lectores expertos bajo la supervisión de un oftalmólogo certificado por la junta.
   • Clases: Se definen tres categorías ordinales basadas en la visibilidad anatómica:
     • Good (Buena): Estructuras retinianas con delineación nítida y bordes bien definidos.
     • Usable (Utilizable): Estructuras identificables con una reducción leve en la nitidez/contraste.
     • Bad (Mala): Regiones no graduables debido a artefactos severos, pérdida de señal o opacidad de los medios.
   • Selección: El conjunto de datos selecciona específicamente imágenes previamente etiquetadas como "malas" en los conjuntos de datos de origen para asegurar una mezcla de regiones buenas, utilizables y malas dentro de cada imagen, probando la capacidad de un modelo para diferenciar la calidad localmente.

2. Método EFIQA-CP:

   • Arquitectura: El método se basa en el flujo de trabajo de EFIQA, utilizando un backbone DINOv3 congelado para la extracción de características. Reemplaza el adaptador lineal estándar con una red de estilo ConvNeXt, superficial y ancha, que cuenta con convoluciones depthwise de 7×7. Este diseño integra información espacial a través de un campo receptivo más amplio para incorporar el contexto global, abordando el problema de la clasificación errónea de regiones con baja densidad vascular.
   • Estrategia de Aprendizaje: Para manejar el ruido inherente en las pseudo-etiquetas (generadas por un modelo de detección de anomalías no supervisado de vasos basado únicamente en la ausencia de vasos), los autores emplean aprendizaje de Positivo-No Etiquetado no Negativo (nnPU).
     • Un umbral estricto aísla los píxeles de baja calidad fiables (clase positiva), tratando el resto como no etiquetado.
     • El marco de trabajo nnPU evita que el riesgo estimado de negativos ocultos caiga por debajo de cero, estabilizando el entrenamiento y mitigando el sobreajuste de las pseudo-etiquetas.
     • La función objetivo utiliza una pérdida de sustitución softplus con un prior de clase positiva ($\pi = 0.05$).

Contribuciones Clave

1. Benchmark FunPiQ: El primer benchmark público dedicado a la evaluación de la calidad a nivel de píxel para CFP, proporcionando anotaciones de verdad de campo (ground-truth) para la degradación localizada.
2. EFIQA-CP: Un nuevo método que mejora los enfoques existentes explicables por diseño (EBD) combinando un adaptador de campo receptivo ancho con el aprendizaje nnPU para manejar pseudo-etiquetas ruidosas y mejorar la precisión espacial.
3. Evaluación Exhaustiva: Un benchmarking exhaustivo de los métodos de FIQA existentes (incluyendo enfoques de extremo a extremo, EBD y de detección de anomalías) en el nuevo conjunto de datos, estableciendo una línea base para el rendimiento a nivel de píxel.

Resultados
Se realizaron evaluaciones extensas en el conjunto de datos FunPiQ utilizando la Kappa de Peso Cuadrático (QWK) y el coeficiente de media de Sørensen–Dice (mDice), junto con métricas de la tarea binaria de "Rechazo" (AUROC, AUPRC, S95).

• Rendimiento: EFIQA-CP alcanzó un rendimiento de vanguardia (state-of-the-art) en todas las métricas y conjuntos de datos (BRSET, EyeQ, mBRSET y el conjunto fusionado). Demostró mejoras estadísticamente significativas sobre el EFIQA original (p. ej., $p < 0.0001$ para QWK en el conjunto fusionado).
• Comparación: Los métodos EBD (EFIQA-CP, EFIQA, EyeQual) superaron consistentemente a los métodos supervisados de extremo a extremo (MCF-Net, FGR-Net) y a los métodos generales de detección de anomalías (PatchCore, UniVAD).
• Análisis Cualitativo: EFIQA-CP produjo los mapas de calidad más precisos con regiones suaves y una mejor utilización del rango de puntuación. Mientras que EyeQual mostró alta precisión para las clases "good", tuvo dificultades para distinguir entre "usable" y "bad". Los métodos generales de detección de anomalías tendieron a resaltar las regiones degradadas pero produjeron mapas ruidosos con puntuaciones altas en diversos parches, lo que sugiere que están sesgados hacia anomalías compactas en lugar de degradaciones de calidad a gran escala.
• Ablación: Reemplazar la pérdida nnPU con la entropía cruzada binaria (BCE) estándar provocó sobreajuste y degradación del rendimiento, confirmando la necesidad del marco de trabajo nnPU en esta configuración de etiquetas ruidosas.

Significancia y Reivindicaciones
Los autores argumentan que la FIQA a nivel de píxel basada en la visibilidad anatómica representa un enfoque más agnóstico a la tarea y explicable que la evaluación a nivel de imagen. Al proporcionar un benchmark con verdad de campo a nivel de píxel, FunPiQ permite la evaluación cuantitativa de la precisión de la localización, lo cual era imposible anteriormente.

El artículo afirma que los enfoques explicables por diseño (EBD) poseen una ventaja distintiva para la predicción de calidad local. Específicamente, EFIQA-CP demuestra que combinar mejoras arquitectónicas (contexto global) con estrategias de aprendizaje robustas (nnPU) puede mitigar eficazmente el ruido de las pseudo-etiquetas. Los autores postulan que los mapas a nivel de píxel ofrecen un valor clínico directo al apoyar el control de calidad para operadores no expertos (identificando dónde una imagen es insuficiente) y guiando la re-adquisición de imágenes dirigida. Además, estos mapas podrían servir como priors para modelos de mejora de imagen para distinguir la anatomía de los artefactos. El trabajo tiene como objetivo fomentar la investigación adicional en la detección de calidad de CFP a nivel de píxel y el desarrollo de métodos de FIQA más robustos, flexibles y con una mayor aplicabilidad clínica.