🤖 machine learning

Stop Replacing Noise with Noise: Two-Source Reliability Assessment for Label Correction and Sample Reweighting in Label-Noise Learning

El artículo presenta TRACE, un marco que desacopla la evaluación de las etiquetas observadas y los pseudo-objetivos utilizando métricas de fiabilidad distintas para evitar el error común en el aprendizaje con etiquetas ruidosas donde la corrección de una señal poco fiable amplifica inadvertidamente otra.

Autores originales: Wenxiao Fan, Kan Li

Publicado 2026-08-05

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Wenxiao Fan, Kan Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a reconocer animales mostrándole miles de fotos. Pero aquí está el truco: un gremlin travieso ha garabateado los nombres incorrectos en algunas de las etiquetas. Una foto de un gato podría estar etiquetada como "perro", y un perro podría estar etiquetado como "gato". Este es el mundo del "aprendizaje con etiquetas ruidosas" (noisy-label learning), un rincón complicado de la informática donde las máquinas intentan aprender la verdad incluso cuando sus maestros mienten.

Para solucionar esto, los científicos han desarrollado una estrategia ingeniosa llamada "reacondicionamiento" (refurbishment). Piensa en ello como un estudiante tomando un examen. Si el estudiante no está seguro de una respuesta, no simplemente adivina; consulta sus propios apuntes (el conocimiento actual del modelo) para ver qué cree que debería ser la respuesta. La forma antigua de hacer esto era usar un único "medidor de confianza" tanto para la etiqueta del profesor como para la suposición del estudiante. Si el medidor decía: "No confíes en el profesor", el sistema automáticamente decía: "¡Genial, confía en la suposición del estudiante en su lugar!". Asumía que si una fuente era mala, la otra debía ser buena. Pero, ¿y si los apuntes del estudiante también son erróneos? ¿Qué pasa si el robot aprendió la respuesta incorrecta del profesor y ahora está repitiendo ese mismo error con total seguridad? Ese es el peligro que este artículo explora.

Los investigadores detrás de este estudio, Wenxiao Fan y Kan Li, del Instituto de Tecnología de Beijing, descubrieron que este interruptor de confianza de "todo o nada" es peligroso. Lo llaman el problema de "reemplazar ruido con ruido". Imagina a un detective que, al darse cuenta de que un testigo está mintiendo, inmediatamente pasa a confiar en un segundo testigo que estaba parado justo al lado del mentiroso y escuchó las mismas mentiras. El segundo testigo no es necesariamente alguien que dice la verdad; podría estar simplemente haciendo eco de la primera persona.

El artículo muestra que, en el aprendizaje profundo (deep learning), cuando un modelo se confunde por etiquetas ruidosas, sus capas "más profundas" (las partes del cerebro que realizan razonamientos complejos) se desordenan y comienzan a creer cosas erróneas. Sin embargo, las capas "más superficiales" (las que ven formas básicas y bordes) permanecen relativamente tranquilas y estables. Los métodos antiguos confiaban ciegamente en las capas profundas desordenadas para corregir las etiquetas, lo que a menudo solo empeoraba los errores.

Para resolver esto, los autores proponen un nuevo marco llamado TRACE. En lugar de usar un solo medidor de confianza para todo, TRACE utiliza dos comprobaciones separadas e independientes.

Comprobar al Profesor: Observa la etiqueta original utilizando tres pistas: qué tan bien se ajusta el modelo a los datos, qué tan estables son las formas básicas (las capas superficiales) y si dos "estudiantes" diferentes están de acuerdo con la respuesta.
Comprobar la Suposición del Estudiante: Observa la propia suposición del modelo utilizando una pista completamente diferente: qué tan seguro está el modelo de esa suposición específica.

La magia de TRACE es que no asume que si el profesor está equivocado, el estudiante tiene razón. Pregunta: "¿Está el profesor equivocado?" Y TAMBIÉN "¿Es el estudiante realmente acertado?". Si el profesor está equivocado pero el estudiante también está adivinando de forma errática, TRACE dice: "Espera, no confíes en ninguno de ellos en este momento". Solo utiliza la suposición del estudiante para corregir la etiqueta si el estudiante es genuinamente seguro y confiable.

El equipo probó esta idea en una variedad de conjuntos de datos desordenados, incluyendo ruido sintético (donde alteraron las etiquetas intencionalmente) y datos desordenados del mundo real como fotos de internet. Encontraron que TRACE superó consistentemente a los métodos anteriores. Por ejemplo, en un conjunto de datos llamado CIFAR-100 donde el 50% de las etiquetas eran incorrectas, TRACE mejoró la precisión del mejor método existente en aproximadamente 1.16 puntos porcentuales. Más importante aún, redujo el número de veces que el modelo cometía "errores de alta confianza": esos momentos en los que el robot está súper seguro de que tiene razón, pero en realidad está equivocado.

En resumen, este artículo sugiere que, cuando se aprende de datos desordenados, no debemos simplemente reemplazar una fuente poco fiable por otra. Necesitamos verificar cada fuente de forma independiente. Al separar la confianza que depositamos en las etiquetas originales de la confianza que depositamos en las propias correcciones del modelo, TRACE ayuda a los robots a aprender la verdad sin ser engañados por sus propios errores. Es un recordatorio de que, en el mundo de la IA, a veces la mejor manera de arreglar una mentira es dejar de asumir que la siguiente suposición es automáticamente la verdad.

Resumen Técnico: TRACE – Evaluación de la Fiabilidad de Dos Fuentes para la Corrección de Etiquetas y el Repesaje de Muestras

Planteamiento del Problema

Los métodos actuales de aprendizaje con etiquetas ruidosas, particularmente aquellos basados en el refinamiento de etiquetas (por ejemplo, DivideMix, SELFIE, RoLR), dependen de un mecanismo de control de "talla única". Estos métodos típicamente interpolan entre una etiqueta observada ruidosa y un pseudo-objetivo derivado del modelo utilizando un único puntaje de limpieza por muestra. Esto crea un acoplamiento oculto: reducir la confianza en la etiqueta observada aumenta automáticamente el peso del pseudo-objetivo.

Los autores argumentan que este acoplamiento crea el riesgo de "reemplazar ruido con ruido". Debido a que el pseudo-objetivo es generado por un modelo entrenado sobre la misma supervisión corrupta, este puede heredar los sesgos ruidosos del modelo. En consecuencia, cuando una etiqueta observada se considera poco fiable, el sistema puede confiar ciegamente en un pseudo-objetivo que es igual o incluso más erróneo. El análisis empírico en CIFAR-100N demuestra que, incluso en los contenedores de "alta limpieza" (high-clean), los pseudo-objetivos pueden seguir la etiqueta observada ruidosa el 99.7% de las veces, permaneciendo correctos en solo el 74.7% de las muestras, a menudo con una confianza elevada.

Metodología: Marco de Trabajo TRACE

El artículo propone TRACE (Evaluación de la Fiabilidad de Dos Fuentes), un marco que desacopla la evaluación de la fiabilidad de las dos fuentes de supervisión: la etiqueta observada y el pseudo-objetivo. En lugar de un único escalar que controla ambas ramas, TRACE calcula puntajes independientes ( $s^{obs}_i$ y $s^{pseudo}_i$ ) para determinar los pesos de cada rama.

1. Análisis Preliminar y Motivación
Los autores proporcionan diagnósticos a nivel de representación para justificar la separación de las dos fuentes:

Sesgo Dependiente de la Profundidad: La supervisión ruidosa perturba las capas más profundas de la red con mayor fuerza que las capas superficiales. La sensibilidad del gradiente y el volteo de prototipos (donde las muestras mal etiquetadas se alinean con anclajes de clase incorrectos) aumentan significativamente en las capas profundas a medida que aumentan las tasas de ruido.
Estabilidad Superficial: Las relaciones superficiales permanecen comparativamente estables bajo el ruido, proporcionando información sobre la corrección de la etiqueta observada que las métricas basadas en pérdida pasan por alto.
Conclusión: Rechazar una etiqueta observada no justifica confiar en un pseudo-objetivo derivado de representaciones profundas y corrompidas por el ruido. Por el contrario, la estabilidad estructural superficial puede refinar la fiabilidad de la etiqueta observada sin certificar la del pseudo-objetivo.

2. El Algoritmo TRACE
TRACE modifica la pérdida de refinamiento estándar $y^{rec}_i = \lambda_i \hat{y}_i + (1-\lambda_i)q_i$ introduciendo pesos específicos para cada fuente:
$a_i = s^{obs}_i, \quad b_i = (1 - s^{obs}_i) s^{pseudo}_i$
El objetivo corregido final es $\tilde{y}_i = \frac{a_i \hat{y}_i + b_i q_i}{a_i + b_i + \epsilon}$ .

Fiabilidad de la Etiqueta Observada ( $s^{obs}_i$ ):
Este puntaje combina tres señales para evaluar la etiqueta observada $\hat{y}_i$ :
- Ajuste de Pérdida ( $c^{loss}_i$ ): El estándar de prioridad de baja pérdida (probabilidad de ser limpia).
- Estabilidad de la Relación Superficial ( $c^{str}_i$ ): Mide la estabilidad de las relaciones locales en las capas superficiales a través de la profundidad de la red. Una alta estabilidad indica que la representación de la muestra se alinea con los prototipos limpios, incluso si la pérdida es alta.
- Acuerdo de Predicción ( $g^{agr}_i$ ): Una compuerta de consistencia basada en el acuerdo entre dos redes.
  Estos se combinan en un puntaje ponderado que refina la posterior de la pérdida.
Fiabilidad del Pseudo-Objetivo ( $s^{pseudo}_i$ ):
Este puntaje evalúa el pseudo-objetivo $q_i$ de forma independiente. Se deriva únicamente de la confianza del modelo (la probabilidad máxima del pseudo-objetivo), elevada a una potencia $\rho$ para suprimir las predicciones de baja confianza. Crucialmente, un puntaje bajo de la etiqueta observada ( $s^{obs}_i$ ) crea la necesidad de corrección, pero la rama del pseudo-objetivo solo se activa si $s^{pseudo}_i$ también es alto.

3. Proceso de Entrenamiento
El marco ajusta la fuerza de supervisión $w_i$ para cada muestra basándose en la suma de los pesos de las ramas ( $a_i + b_i$ ). Las muestras donde ninguna fuente es fiable reciben pesos menores, mientras que las etiquetas observadas fiables siguen siendo dominantes.

Contribuciones Clave

Identificación del Riesgo de "Reemplazar Ruido con Ruido": El artículo identifica y demuestra formalmente que usar un único puntaje de limpieza para controlar tanto la etiqueta observada como el pseudo-objetivo conduce a la propagación del ruido, ya que el pseudo-objetivo no es un oráculo externo sino un producto del mismo proceso de entrenamiento corrupto.
Marco TRACE: La propuesta de un mecanismo de evaluación de fiabilidad de dos fuentes que se puede integrar (plug-in), el cual desacopla la evaluación de las etiquetas observadas y los pseudo-objetivos. Utiliza la estabilidad estructural superficial para la primera y una compuerta de confianza independiente para el segundo.
Validación Empírica: Experimentos extensos que muestran que TRACE mejora el rendimiento de las líneas base de refinamiento representativas a través de ruido sintético, ruido anotado por humanos (CIFAR-N) y ruido del mundo real a gran escala (WebVision, Food-101N, Clothing1M).

Resultados Experimentales

Ruido Sintético (CIFAR-10/100): TRACE mejora el rendimiento de múltiples métodos de vanguardia (DivideMix, RoLR, DISC, ANNE) en configuraciones de ruido simétrico, de par e dependiente de la instancia. Por ejemplo, en CIFAR-100 con ruido de par del 40%, ANNE+TRACE logra un 79.3% de precisión frente al 78.4% de ANNE solo.
Ruido del Mundo Real: En CIFAR-10N y CIFAR-100N, TRACE mejora consistentemente o iguala los mejores resultados reportados. En Clothing1M, DivideMix+TRACE alcanza un 77.6% de precisión, superando al método base DivideMix (74.8%) y a otros métodos plug-in.
Calidad del Pseudo-Objetivo: El análisis revela que TRACE mejora significativamente la precisión de los pseudo-objetivos utilizados para la corrección, particularmente en muestras de "baja limpieza + ruidosas". Reduce los errores de alta confianza (por ejemplo, de 8.93% a 6.16% en CIFAR-100) y disminuye el error de calibración, indicando que los pseudo-objetivos seleccionados no son solo más frecuentes, sino más fiables.
Estudios de Ablación: Eliminar el desacoplamiento (revertir a un solo puntaje) o eliminar la compuerta de confianza del pseudo-objetivo ( $s^{pseudo}_i$ ) resulta en caídas de rendimiento mensurables, confirmando la necesidad de la evaluación independiente.

Significancia y Reivindicaciones

El artículo afirma que TRACE proporciona una interfaz más segura para el aprendizaje con etiquetas ruidosas al abordar el desajuste fundamental en los métodos de refinamiento actuales. Al separar la evidencia utilizada para evaluar la etiqueta observada de la evidencia utilizada para evaluar el pseudo-objetivo, TRACE evita que el sistema cambie ciegamente un signo poco fiable por otro. Los autores enfatizan que su enfoque no requiere un nuevo objetivo de aprendizaje ni un nuevo generador de pseudo-objetivos; más bien, actúa como un filtro de fiabilidad modular que mejora los procesos de refinamiento existentes. Los hallazgos apoyan la visión de que la evaluación de la fiabilidad específica de la fuente es esencial para un aprendizaje robusto en presencia de ruido de etiquetas.