An automated method of identifying incorrectly labelled images based on the sequences of loss functions of deep learning networks

Resumen Técnico: Identificación Automatizada de Imágenes Médicas Etiquetadas Incorrectamente mediante Secuencias de Funciones de Pérdida

Planteamiento del Problema
Los modelos de aprendizaje profundo para el análisis de imágenes médicas dependen en gran medida de la calidad de los conjuntos de datos etiquetados manualmente. Sin embargo, el etiquetado manual por parte de médicos es propenso a errores debido a factores como la fatiga del médico, el tamaño pequeño de las lesiones (por ejemplo, microaneurismas), los límites ambiguos entre categorías de enfermedades (por ejemplo, miopía alta frente a miopía patológica) y las interpretaciones subjetivas de la graduabilidad de la imagen. Se estima que hasta el 10% de las imágenes médicas etiquetadas manualmente pueden ser incorrectas. Estos errores, si están presentes en los conjuntos de entrenamiento, confunden la optimización del modelo, mientras que los errores en los conjuntos de validación o de prueba impiden una evaluación auténtica del rendimiento. Las soluciones tradicionales implican que médicos especialistas revisen todos los etiquetas iniciales, un proceso que consume mucho tiempo y energía.

Metodología
Los autores proponen un método automatizado para identificar imágenes médicas etiquetadas incorrectamente mediante el análisis de las secuencias temporales de las funciones de pérdida generadas durante el entrenamiento de redes de aprendizaje profundo. La hipótesis central es que, mientras las muestras correctamente etiquetadas exhiben una tendencia de pérdida constante y gradualmente decreciente a través de las épocas de entrenamiento, las muestras incorrectamente etiquetadas (donde la verdad de campo es errónea) causan que el modelo permanezca confundido, lo que resulta en secuencias de pérdida que mantienen niveles altos o fluctúan significativamente.

El flujo de trabajo propuesto consta de tres etapas:

1. Entrenamiento de Modelo Multi-Época: Una red de aprendizaje profundo (preentrenada en ImageNet) se entrena en el conjunto de datos etiquetado durante $N$ épocas ($N > 2$). Para cada muestra, se registra el valor de la pérdida (entropía cruzada) en cada época, formando una secuencia de longitud $N$.
2. Extracción de Características: Se extraen seis características específicas de la secuencia de pérdida de cada muestra para caracterizar su tendencia:
   • F1: La media de la secuencia completa (nivel de pérdida global).
   • F2: La media de los primeros $P$ términos (pérdida local de etapa temprana).
   • F3: La posición $Q$ donde ocurre la mayor caída en la pérdida entre los términos $Q$ y $(Q+1)$.
   • F4: La media de los primeros $Q$ términos (pérdida previa al descenso significativo).
   • F5: La media de los últimos $N-Q$ términos (pérdida posterior al descenso significativo).
   • F6: La diferencia entre F4 y F5 (magnitud del descenso significativo).
3. Agrupamiento (Clustering): Utilizando estas seis características extraídas, se aplica el algoritmo de agrupamiento $k$-means ($k=2$) para particionar el conjunto de datos en dos categorías: una que representa las muestras correctamente etiquetadas y otra que representa las muestras incorrectamente etiquetadas.

Validación Experimental y Resultados
El método fue validado utilizando un conjunto de datos de imágenes de fondo de ojo para el cribado de retinopatía diabética (RD) referible, que comprende 10,788 muestras con etiquetas de estándar de oro (gold-standard).

• Simulación de Conjunto de Datos: Para simular el ruido del mundo real, se creó un conjunto de datos sintético (A') invirtiendo intencionalmente las etiquetas del 6% (648 muestras) del conjunto de datos de estándar de oro.
• Desempeño de Identificación: En el primer experimento, el método identificó con éxito el 75.31% (488 de 648) de las muestras etiquetadas incorrectamente de forma intencionada. La especificidad fue del 95.15%, lo que significa que solo el 4.85% de las muestras correctamente etiquetadas fueron identificadas falsamente como incorrectas. Los autores señalan que las muestras no identificadas a menudo poseían una mala calidad de imagen o características ambiguas que las hacían visualmente similares a la clase opuesta, incluso para los expertos humanos.
• Mejora del Desempeño del Modelo: En el segundo experimento, las 980 muestras identificadas como potencialmente incorrectas fueron revisadas y corregidas por médicos, creando un conjunto de datos refinado (A'') con solo un 1.5% de errores restantes. Un modelo de aprendizaje profundo reentrenado en este conjunto de datos refinado alcanzó una precisión máxima de 96.50% en un conjunto de prueba independiente. Esto representa una mejora sobre el modelo entrenado con el conjunto de datos ruidoso (95.93%) y se acerca al rendimiento ideal de 96.57% logrado por un modelo entrenado con el conjunto de datos original, perfectamente limpio.

Contribuciones Clave y Significado
El artículo afirma que este enfoque automatizado ofrece una solución práctica al problema laborioso de la limpieza de datos en la IA médica. Al aprovechar el comportamiento intrínseco de las funciones de pérdida durante el entrenamiento, el método permite que los médicos especialistas se concentren sus esfuerzos de revisión en un subconjunto pequeño y de alta probabilidad (aproximadamente el 9.1% del conjunto de datos en este estudio) en lugar de en toda la colección. Este proceso mejora efectivamente la consistencia y confiabilidad de los conjuntos de datos de imágenes médicas etiquetadas, sentando una base más robusta para el entrenamiento de modelos de aprendizaje profundo y, en última instancia, mejorando su desempeño diagnóstico. Los autores concluyen que, si bien el método es efectivo para tareas de clasificación binaria como el cribado de RD, se requiere más investigación para validar su utilidad en tareas de clasificación multiclase y segmentación.