Resumen Técnico: Benchmarking de Ruido de Etiquetas Dependiente de la Instancia con Corrupciones Controladas (CILN)

Planteamiento del Problema

Los sistemas modernos de aprendizaje automático dependen de grandes conjuntos de datos etiquetados, sin embargo, las etiquetas son frecuentemente imperfectas debido a errores de anotación, ejemplos ambiguos o supervisión débil. Mientras que la investigación temprana se centró en el ruido simétrico y condicional de clase (CCN), los entornos prácticos suelen exhibir Ruido de Etiquetas Dependiente de la Instancia (IDN), donde la probabilidad de un error de etiquetado depende tanto de la clase real como de las características específicas de la instancia de entrada.

Los benchmarks de IDN sintéticos existentes suelen generar ruido a través de dos mecanismos:

1. Transformaciones en el espacio de características: Aplicar transformaciones latentes para aumentar las probabilidades de corrupción para ejemplos específicos.
2. Pseudo-etiquetado: Utilizar clasificadores diversos como anotadores sintéticos, donde el desacuerdo induce incertidumbre.

La Limitación: En ambos enfoques, la fuente de ambigüedad permanece implícita. En los métodos de espacio de características, las transformaciones suelen ser difíciles de interpretar. En el pseudo-etiquetado, el ruido se controla modificando las propiedades del anotador (por ejemplo, procedimientos de entrenamiento), lo que dificulta aislar mecanismos de ambigüedad específicos (por ejemplo, desenfoque, oclusión, datos faltantes) o rastrear los errores de etiqueta hasta cambios específicos en la entrada. En consecuencia, los benchmarks existentes ofrecen un apoyo limitado para estudiar sistemáticamente cómo mecanismos específicos de degradación de datos afectan el desacuerdo de los clasificadores y el comportamiento de aprendizaje posterior.

Metodología: El Marco CILN

Los autores introducen CILN (Corruption-Induced Label Noise - Ruido de Etiquetas Inducido por Corrupción), un marco de generación de benchmarks que crea IDN a través de corrupciones de entrada controladas. A diferencia de los métodos anteriores que alteran el proceso de etiquetado, CILN altera los datos de entrada en sí mismos mientras preserva el contenido semántico.

Componentes Principales

1. Corrupciones Controladas: El marco aplica tipos de corrupción específicos ($c$) con niveles de severidad variables ($\ell$) a instancias limpias.
   • Datos de Imagen: Utiliza familias de corrupción de CIFAR-C y MNIST-C, incluyendo ruido (Gaussiano, de disparo, de impulso), desenfoque (desenfoque de definición, de vidrio, de movimiento), clima (niebla, escarcha, nieve), transformaciones geométricas y artefactos digitales (brillo, contraste, JPEG).
   • Datos Tabulares: Utiliza operadores de corrupción inspirados en el benchmark Jenga, incluyendo mecanismos de datos faltantes (MCAR, MAR, MNAR) y corrupciones de valores (inyección de ruido, escalado).
2. Pool de Votantes: Un pool diverso de $M$ modelos (por ejemplo, ResNets, Vision Transformers, XGBoost) evalúa las instancias corruptas.
3. Generación de Etiquetas:
   • Cada votante produce una distribución predictiva $p^{(m)}(y|x)$.
   • El benchmark libera una distribución de etiquetas agregada $\bar{p}_i$ (media aritmética de las predicciones de los votantes) y distribuciones individuales de los votantes.
   • Para experimentos de etiqueta dura (hard-label), se muestrea un único votante de forma uniforme al azar para proporcionar una etiqueta de entrenamiento, imitando el protocolo PL-IDN.
4. Configuración de Inicio Limpio (Clean-Start): Un modo opcional filtra el conjunto de datos para retener solo las instancias clasificadas correctamente de forma unánime por todos los votantes antes de la corrupción. Esto aísla la incertidumbre inducida por la corrupción de la ambigüedad preexistente en los datos originales.

Construcción del Benchmark

El marco fue instanciado en tres conjuntos de datos: CIFAR-10, MNIST y Adult.

• CIFAR-10: 45 configuraciones (15 tipos de corrupción $\times$ 3 niveles de severidad).
• MNIST: 30 configuraciones liberadas (11 tipos de severidad continua + 4 tipos estructurales).
• Adult: 15 configuraciones (5 tipos de corrupción $\times$ 3 niveles de severidad).
• Total: 90 configuraciones de benchmark que abarcan los dominios de imagen y tabular.

Contribuciones Clave

1. Generación de IDN Controlada por Mecanismos: CILN proporciona un marco donde la fuente (tipo de corrupción) y la severidad de la ambigüedad son explícitas y controlables, estableciendo un vínculo directo entre la degradación de la entrada y la incertidumbre de la etiqueta.
2. Dependencia de Instancia Genuina: Los autores demuestran que el marco genera un IDN genuino donde el grado de dependencia de la instancia puede ajustarse sistemáticamente mediante el tipo de corrupción y la severidad.
3. Incertidumbre Similar a la Humana: Bajo configuraciones apropiadas, las distribuciones de etiquetas generadas por CILN son estadísticamente más cercanas a la incertidumbre de la anotación humana (medida contra CIFAR-10-H) que los benchmarks de IDN sintéticos existentes (específicamente PL-IDN).
4. Exposición de Modos de Fallo: El benchmark revela que los métodos de aprendizaje de etiquetas ruidosas de vanguardia (Co-Teaching, DivideMix) exhiben modos de fallo bajo alta severidad de corrupción que no se observan bajo tasas de ruido comparables generadas por modelos de falibilidad del evaluador.

Resultados Experimentales

1. Fuerza de la Dependencia de la Instancia

Los autores introducen la Heterogeneidad de Transición de Ruido ($n_{th}$) para medir la dependencia de la instancia.

• Hallazgos: Todas las configuraciones de CILN producen valores positivos de $n_{th}$, confirmando un IDN genuino.
• Control: La magnitud de $n_{th}$ varía significamente a través de las familias de corrupción y los niveles de severidad. Para muchas familias, $n_{th}$ aumenta con la severidad pero eventualmente se satura o disminuye en severidades altas a medida que los patrones de predicción convergen.
• Comparación: En tasas de ruido altas, las configuraciones representativas de CILN igualan o exceden la dependencia de la instancia de PL-IDN.

2. Similitud con la Incertidumbre de la Anotación Humana

Utilizando la distancia de Variación Total (TV) contra CIFAR-10-H:

• Hallazgos: CILN es consistentemente más cercano a la incertidumbre humana que PL-IDN en todos los niveles de ruido.
• Especificidad de la Corrupción: Las corrupciones leves (particularmente las familias de Clima y Digital como escarcha, nieve, niebla, brillo, JPEG) producen distribuciones de etiquetas más similares al desacuerdo humano. Las corrupciones severas tienden a divergir más de los patrones humanos pero siguen superando a PL-IDN.
• Análisis PCA: Los diez entornos de CILN más cercanos a CIFAR-10-H en el espacio PCA fueron todos corrupciones de baja severidad de las familias de Clima o Digital; ninguno de los lanzamientos de PL-IDN apareció en los diez primeros.

3. Comportamiento de Aprendizaje Posterior

Los autores evaluaron ERM, Co-Teaching y DivideMix en CIFAR-10.

• Ruido Bajo/Medio: CILN y PL-IDN producen tendencias de rendimiento similares.
• Divergencia de Ruido Alto: En tasas de ruido altas, Co-Teaching y DivideMix sufren una degradación sustancial de rendimiento en configuraciones específicas de CILN (por ejemplo, alto contraste, pixelado, desenfoque de vidrio), mientras que se mantienen relativamente robustos en PL-IDN-H.
• Mecanismo de Fallo:
  • Clases Atractoras: Ciertas corrupciones crean "clases atractoras" (por ejemplo, rana, gato, camión) donde los ejemplos mal etiquetados de muchas clases reales son atraídos hacia una única clase incorrecta.
    la distribución de pérdida colapsa: En estos entornos, la etiqueta incorrecta se vuelve consistente con la entrada corrupta. En consecuencia, los ejemplos ruidosos no necesariamente producen pérdidas de entrenamiento más altas que los ejemplos limpios. Esto viola la suposición de pequeña pérdida (que los ejemplos limpios tienen una pérdida menor que los ruidosos) en la que Co-Teaching y DivideMix se basan para la selección de muestras.
  • Validación de Inicio Limpio: Los modos de fallo persisten incluso en la variante de Inicio Limpio (CILN-C), confirmando que la dificultad surge de la estructura de la corrupción misma, no de la ambigüedad preexistente de los datos.

Significado y Reivindicaciones

El artículo argumenta que la estructura del ruido, no solo la tasa de ruido, es un factor crítico en la dificultad del benchmark y el comportamiento de los algoritmos.

• Complementariedad: CILN complementa los benchmarks de falibilidad del evaluador existentes (como PL-IDN) al desplazar el enfoque de cómo se producen las etiquetas ruidosas (calidad del anotador) a por qué surgen (degradación de los datos).
• Interpretabilidad: Al hacer explícitos los mecanismos de ambigüedad, CILN permite a los investigadores estudiar cómo tipos específicos de degradación de datos (por ejemplo, desenfoque vs. valores faltantes) influyen en la dinámica de aprendizaje.
• Realismo: El marco demuestra que las corrupciones controladas pueden producir distribuciones de etiquetas que aproximan mejor la incertidumbre humana que los métodos sintéticos actuales, particularmente en regímenes de severidad baja a moderada.
• Perspectiva Algorítmica: Los resultados sugieren que los métodos actuales de aprendizaje robusto al ruido pueden estar sobreajustándose a las estructuras de ruido de los benchmarks tradicionales (donde el ruido es mayormente independiente de la entrada) y pueden fallar cuando el ruido está estructuralmente acoplado con la entrada mediante la corrupción.

Los autores concluyen que CILN proporciona un marco práctico, interpretable y controlado por mecanismos para evaluar el aprendizaje de etiquetas ruidosas bajo diversas fuentes de dificultad de la instancia, instando a la comunidad a considerar la estructura del ruido junto con la tasa de ruido en el diseño de benchmarks.