A Data-Centric Framework for Detecting and Correcting Corrupted Labels

Resumen Técnico: Relabeler – Un Marco de Trabajo Centrado en los Datos para la Detección y Corrección de Etiquetas Corruptas

Declaración del Problema
El rendimiento de los modelos de aprendizaje automático (ML) y aprendizaje profundo (DL) depende fundamentalmente de la calidad de los datos de entrenamiento. En la práctica, los conjuntos de datos a gran escala suelen contener "ruido de etiquetas", instancias asignadas con etiquetas incorrectas debido a errores en el crowdsourcing o en la anotación automatizada. Las tasas de ruido reportadas en conjuntos de datos del mundo real oscilan entre el 8% y el 38,5%. Tal ruido degrada significamente la precisión y la fiabilidad del modelo. Aunque los enfoques existentes generalmente se dividen en dos categorías —centrados en el modelo (mejora de la robustez del algoritmo) y centrados en los datos (mejora de la calidad del conjunto de datos)—, la mayoría de los métodos centrados en los datos tratan la detección de etiquetas y la corrección de etiquetas como tareas separadas. Además, muchas soluciones existentes se centran principalmente en identificar instancias ruidosas para descartarlas o reponderarlas, en lugar de inferir y reparar explícitamente las etiquetas correctas. Esta separación limita la capacidad de explotar plenamente las relaciones intrínsecas entre las características de entrada, las etiquetas ruidosas y las etiquetas limpias dentro de un marco unificado.

Metodología: El Marco de Trabajo Relabeler
Los autores proponen Relabeler, un marco de trabajo de extremo a extremo centrado en los datos, diseñado para detectar y corregir etiquetas corruptas a través de dos fases integradas:

1. Detección de Etiquetas Corruptas
Esta fase particiona un conjunto de datos ruidoso $\tilde{D}$ en un subconjunto limpio ($D_{clean}$) y un subconjunto sospechoso ($D_{suspicious}$) aprovechando tanto las relaciones locales como las globales de las instancias.

• Verificación Local: El marco emplea el algoritmo de k-Vecinos más Cercanos (k-NN) para examinar la consistencia de la etiqueta de una instancia con sus vecinos inmediatos en el espacio de características. Las instancias con etiquetas consistentes con la mayoría de sus vecinos se clasifican tentativamente como limpias.
• Verificación Global: Para abordar las limitaciones del análisis local (por ejemplo, cerca de los límites de clase), Relabeler entrena iterativamente un modelo de clasificación ($M_{clean}$) sobre las instancias identificadas actualmente como limpias. Este modelo captura patrones globales más amplios. Las instancias en el conjunto sospechoso son reevaluadas; si sus etiquetas originales se alinean con las predicciones de $M_{clean}$, se mueven a $D_{clean}$. Este proceso iterativo continúa hasta que no se puedan identificar más instancias limpias.

2. Corrección de Etiquetas Corruptas
Para las instancias que permanecen en $D_{suspicious}$, Relabeler estima la etiqueta limpia más probable ($y^*$) maximizando la probabilidad posterior $P(y | x, \tilde{y})$, donde $x$ es la característica de entrada y $\tilde{y}$ es la etiqueta ruidosa observada. Mediante la inferencia bayesiana, esto se reformula para combinar dos factores complementarios:

• Predicción de Etiqueta Limpia ($P(y|x)$): Un modelo $M_{clean}$ entrenado en $D_{clean}$ estima la verosimilitud de una etiqueta basada en las características de entrada.
• Estimación de Etiqueta Ruidosa ($P(\tilde{y}|x, y)$): Un modelo $M_{noisy}$ estima la probabilidad de observar una etiqueta ruidosa específica dado el input y una etiqueta limpia candidata.
  • Entrenamiento de $M_{noisy}$: Dado que no se dispone de datos de transición de verdad absoluta, Relabeler entrena un "simulador de ruido" ($M_{simulator}$) sobre $D_{suspicious}$ para aprender los patrones de ruido específicos del conjunto de datos. Este simulador genera etiquetas ruidosas sintéticas para las instancias en $D_{clean}$, creando un conjunto de datos de transición utilizado para entrenar $M_{noisy}$.
• Inferencia: La etiqueta reparada final se determina integrando las predicciones de tanto $M_{clean}$ como $M_{noisy}$, asegurando que la corrección tenga en cuenta tanto la alineación semántica de las características como los patrones estadísticos de la corrupción de las etiquetas.

Contribuciones Clave

• Marco Unificado: La introducción de Relabeler, un sistema de extremo a extremo que realiza conjuntamente la detección y la corrección, abordando la brecha donde la detección y la corrección se tratan típicamente por separado.
• Integración Bayesiana: Un enfoque novedoso para la corrección de etiquetas que modela tanto la distribución de etiquetas limpias como la probabilidad de transición de ruido, en lugar de depender únicamente de la predicción basada en características o de la votación heurística.
• Refinamiento Iterativo: Un mecanismo de detección que refina iterativamente el conjunto de datos limpios para entrenar un modelo de verificación global, mejorando la precisión de la identificación de instancias sospechosas.

Resultados Experimentales
Los autores evaluaron Relabeler en cinco conjuntos de datos diversos (CIFAR-10, CIFAR-100, Agnews, Clickbait, CodeXGLUE) que cubren clasificación de imágenes, texto y código fuente. El marco fue comparado contra líneas base de vanguardia, específicamente Docta (con variantes de votación y clasificación).

• Precisión de la Corrección de Etiquetas: Relabeler superó consistentemente a las líneas base, logrando hasta un 58% de mejora en la precisión de la corrección de etiquetas a través de varios conjuntos de datos y tasas de ruido (20% y 40%). Por ejemplo, en el conjunto de datos Agnews con un 40% de ruido, Relabeler alcanzó una precisión del 89,47% frente al 61,43% de Docta-R.
• Reducción de la Tasa de Error: El marco redujo significativamente la tasa de error residual en los conjuntos de datos reparados. En CIFAR-10 con un 40% de ruido, Relabeler redujo la tasa de error al 7,48%, mientras que las líneas base mantuvieron tasas superiores al 23%.
• Robustez: Relabeler demostró un rendimiento superior en diferentes tipos de ruido, incluyendo ruido simétrico, asimétrico e dependiente de la instancia. Mantuvo una alta precisión y bajas tasas de error incluso bajo escenarios de ruido mixto complejo donde las líneas base tuvieron dificultades.
• Utilidad en Tareas Posteriores (Downstream): Entrenar modelos posteriores (clasificadores MLP) en conjuntos de datos reparados por Relabeler produjo la mayor precisión y puntuaciones F1 ponderadas. En el conjunto de datos Agnews, Relabelor mejoró la precisión posterior al 75,50%, una ganancia relativa de ~6% sobre el conjunto de datos ruidoso original, superando tanto al dato original como a los conjuntos de datos reparados por Docta.
• Análisis de Componentes: Los estudios de ablación confirmaron que integrar el Estimador de Etiquetas Ruidosas ($M_{noisy}$) con el Predictor de Etiquetas Limpias ($M_{clean}$) es crítico, produciendo hasta un 50% de mejora relativa en la precisión en comparación con el uso de solo $M_{clean}$.

Significancia y Reivindicaciones
El artículo afirma que Relabeler aborda una brecha crítica en el aprendizaje centrado en los datos al ir más allá de la simple detección hacia una reparación de etiquetas explícita y fundamentada. Al formular la corrección de etiquetas como un problema de inferencia bayesiana que modela tanto las relaciones entre características y etiquetas como los patrones de transición de ruido, Relabeler proporciona un conjunto de datos reutilizable y de alta calidad que beneficia a cualquier aprendiz posterior. Los autores aseguran que este enfoque es particularmente práctico para aplicaciones del mundo real donde descartar datos no es factible y donde comprender la distribución de ruido específica es esencial para una corrección precisa. Los resultados sugieren que Relabeler no solo mejora la calidad del conjunto de datos, sino que también sirve como un complemento robusto para los métodos existentes de aprendizaje robusto al ruido centrados en el modelo.