Label Cleaning in Multimodal Public Retinal Image Datasets

Resumen Técnico: Limpieza de Etiquetas en Conjuntos de Datos Multimodales de Imágenes Retinianas Públicas

Planteamiento del Problema
Los conjuntos de datos públicos de imágenes retinianas son recursos fundamentales para el desarrollo y la validación de modelos de inteligencia artificial (IA) en oftalmología. Sin embargo, estos conjuntos de datos sufren frecuentemente de ruido de etiquetas —definido como anotaciones de clase incorrectas, ambiguas o inconsistentes— lo que puede comprometer el rendimiento de los modelos y la fiabilidad de las evaluaciones comparativas (benchmarks). Las fuentes de ruido incluyen la variabilidad interobservador, la fatiga de anotación y los errores de curación de datos. Si bien estudios previos han identificado tasas de error de etiqueta que oscilan entre el 0,15% y el 38,5% en conjuntos de datos específicos, existe una falta de evaluación sistemática en diversos conjuntos de datos multimodales (Fotografía de Fondo de Ojo [CFP], Tomografía de Coherencia Óptica [OCT] e Imágenes de Campo Ultra Amplio [UWF]). Además, los métodos de control de calidad automatizados existentes no han sido validados exhaustivamente frente a los errores de etiqueta que ocurren naturalmente en entornos multimodales del mundo real, particularmente en su capacidad para detectar casos fuera de la distribución (OOD) y escenarios de etiquetas múltiples que no se ajustan a las taxonomías de etiqueta única.

Metodología
Este estudio empleó un flujo de trabajo semiautomático para evaluar y corregir el ruido de etiquetas en nueve conjuntos de datos públicos de imágenes retinianas, que contenían un total de 34.924 imágenes tras el preprocesamiento. La metodología consistió en las siguientes etapas:

1. Selección y Preprocesamiento de Datos: Se seleccionaron nueve conjuntos de datos para cubrir las modalidades CFP, OCT y UWF. El preprocesamiento consistió en excluir imágenes con categorías "otras" heterogéneas o etiquetas indefinidas, y en seleccionar imágenes transversales específicas para OCT para evitar la sobrerepresentación de pacientes.
2. Tamizaje Automatizado: Se entrenó un modelo Swin Transformer en cada conjunto de datos para generar probabilidades de clase predichas y embeddings de características. Estos se introdujeron en el módulo Datalab de Cleanlab, el cual realizó tres verificaciones específicas:
   • Detección de Duplicados Cercanos: Identificó pares de imágenes con distancias pequeñas en el espacio de características.
   • Detección de Problemas de Etiquetas: Estimó la distribución "conjunta de confianza" (confident joint) para señalar imágenes donde la probabilidad predicha de una clase alternativa superaba un umbral, proporcionando una etiqueta de corrección sugerida.
   • Detección de Valores Atípicos (Outliers): Señaló imágenes cuyos embeddings de características se desviaban significativamente de su distribución de clase asignada.
3. Verificación Experta Estructurada: Todas las imágenes señaladas se sometieron a una riguroosa revisión manual de cuatro etapas:
   • Etapa 1: Dos oftalmólogos evaluaron de forma independiente las imágenes señaladas (a ciegas de los puntajes de confianza y de las evaluaciones de los demás), decidiendo si mantenían la etiqueta original, aceptaban la sugerencia de Cleanlab o asignaban un diagnóstico alternativo.
   • Etapa 2: Los casos discordantes fueron revisados por un tercer oftalmólogo sénior.
   • Etapa 3: El consenso final se determinó por opinión mayoritaria; si los tres discrepaban, prevalecía la evaluación del tercer revisor.
   • Etapa 4: Un consultor sénior confirmó todas las etiquetas revisadas.
4. Clasificación de Errores: Los errores verificados se categorizaron como correcciones dentro de la distribución (reasignación a una clase predefinida), casos de etiquetas múltiples o casos fuera de la distribución (OOD) (enfermedades raras, imágenes de mala calidad/no graduables).

Resultados Clave

• Eliminación de Duplicados: La verificación de hash perceptual confirmó 638 imágenes duplicadas cercanas en seis conjuntos de datos, la mayoría provenientes de los conjuntos de datos TsukazakiUWF y OCTDL.
• Detección de Errores de Etiqueta: Cleanlab señaló 4.434 imágenes (12,70% del total) para revisión experta. De estas, 1.884 imágenes (5,39% del total del conjunto de datos) fueron confirmadas como errores reales de etiqueta.
• Desempeño de los Módulos:
  • El módulo de Problemas de Etiquetas tuvo un Valor Predictivo Positivo (VPP) del 46,11% (1.737 errores confirmados).
  • El módulo de Valores Atípicos (Outlier) tuvo un VPP del 27,29% (244 errores confirmados).
  • Crucialmente, el 60,25% de los errores detectados por el módulo de Valores Atípicos no fueron detectados por el módulo de Problemas de Etiquetas, demostrando el valor complementario del tamizaje de valores atípicos.
• Composición de Errores: Entre los 1.884 errores confirmados:
  • 1.435 fueron correcciones dentro de la distribución.
  • 103 fueron casos de etiquetas múltiples.
  • 400 fueron casos OOD (incluyendo 32 imágenes no graduables y 13 enfermedades raras).
  • Notablemente, 449 casos (23,83% de los errores confirmados) no pudieron representarse dentro del marco de clasificación de etiqueta única original.
• Acuerdo y Confianza: El acuerdo entre las etiquetas sugeridas por Cleanlab y las etiquetas verificadas por expertos osciló entre el 51,95% y el 100,00%, superando el 60% en siete de los nueve conjuntos de datos. Sin embargo, los puntajes de confianza de Cleanlab mostraron un desempeño discriminativo limitado para la toma de decisiones a nivel individual (AUC 0,54–0,67), lo que sugiere que son mejores para priorizar la revisión manual en lugar de para la corrección automática.

Significancia y Reivindicaciones
El artículo sostiene que el ruido de etiquetas es prevalente en los conjuntos de datos públicos de imágenes retinianas e incluye una proporción sustancial de casos OOD y de etiquetas múltiples que no pueden abordarse completamente dentro de los marcos convencionales de clasificación de etiqueta única. El estudio demuestra que Cleanlab reduce eficazmente la carga de revisión manual al priorizar un subconjunto de imágenes para la evaluación experta, identificando con éxito errores de etiqueta, duplicados y muestras atípicas.

Los autores afirman que este flujo de trabajo permite la creación de conjuntos de datos de imágenes retinianas multimodales más limpios, lo que puede sustentar un entrenamiento, validación y evaluación comparativa de modelos de IA oftalmológica más fiables. Al integrar la detección de duplicados, la identificación de errores de etiqueta y la detección de valores atípicos en un flujo de trabajo unificado con adjudicación experta estructurada, el estudio proporciona un enfoque escalable para el control de calidad centrado en los datos. Los hallazgos resaltan que, si bien las herramientas automatizadas como Cleanlab proporcionan sugerencias de corrección útiles dentro de la taxonomía de origen, la verificación experta humana sigue siendo esencial para establecer estándares de referencia, particularmente para casos complejos que involucran enfermedades raras o problemas de calidad de imagen.