🤖 machine learning

XMix: Combating Extremely Noisy Labels via Local Smoothness in Self-Supervised Feature Space

MixX es un marco novedoso que aprovecha la suavidad local en los espacios de características autosupervisadas para estimar las tasas de ruido, seleccionar muestras limpias equilibradas y generar etiquetas pseudo de fiabilidad, superando así significativamente a los métodos existentes en el manejo de etiquetas extremadamente ruidosas sin requerir conocimiento previo del ruido.

Autores originales: Chengqi Li, Yangdi Lu, Zhihao Shi, Wenbo He, Chamseddine Talhi, Nadjia Kara

Publicado 2026-07-28

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chengqi Li, Yangdi Lu, Zhihao Shi, Wenbo He, Chamseddine Talhi, Nadjia Kara

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer animales. Le muestras miles de imágenes, pero aquí está el truco: las etiquetas en las imágenes han sido escritas por un humano cansado, distraído o incluso travieso. A veces, una foto de un gato está etiquetada como "perro", y una foto de un coche está etiquetada como "avión". Esta es la realidad desordenada del "Aprendizaje con Etiquetas con Ruido". En el mundo de la inteligencia artificial, los modelos suelen necesitar datos perfectos para aprender, pero en el mundo real, los datos perfectos son escasos y costosos. Los científicos han estado tratando de construir robots que puedan ignorar las etiquetas malas y aprender de las buenas, pero cuando el ruido es muy alto —como cuando el 90% de las etiquetas son erróneas— la mayoría de los robots simplemente se rinden o se confunden.

El artículo que vas a leer aborda exactamente este problema. Introduce un nuevo método llamado XMix. Piensa en él como un detective que no solo confía en las etiquetas escritas en los archivos. En su lugar, observa las imágenes mismas para ver cuáles "se parecen" entre sí. Si la foto de un gato se parece mucho a otras fotos de gatos en la memoria del robot, el detective asume que todas son gatos, incluso si las etiquetas dicen lo contrario. Este enfoque utiliza un concepto llamado "suavidad local" (local smoothness), que es una forma elegante de decir: "Las cosas que se parecen suelen pertenecer al mismo grupo". Al usar esta lógica, XMix intenta limpiar el desorden y enseñar al robot mucho mejor que los métodos anteriores, especialmente cuando los datos son un desastre total.

El Problema: Un Salón de Clases Lleno de Bromistas

Imagina un salón de clases donde un profesor intenta enseñar a los estudiantes a identificar diferentes tipos de frutas. El profesor tiene una pila de tarjetas didácticas, pero un grupo de bromistas ha intercambiado las etiquetas. Algunas manzanas están etiquetadas como "plátanos", y algunas naranjas están etiquetadas como "uvas".

En el pasado, los programas informáticos inteligentes (llamados modelos de aprendizaje profundo o deep learning) tenían un truco bajo la manga llamado el "efecto de memorización". Estudiaban las tarjetas y se daban cuenta de: "Oye, soy muy bueno adivinando la etiqueta para esta tarjeta específica, pero soy terrible adivinando para esa otra". Asumían que aquellas que adivinaban bien eran las reales (datos limpios) y aquellas con las que tenían dificultades eran las mentiras de los bromistas (datos con ruido).

Pero aquí está el problema: cuando los bromistas se vuelven locos y cambian el 90% de las etiquetas, la computadora se confunde. Ya no puede distinguir entre una manzana real y un plátano etiquetado como manzana. Además, la computadora a menudo termina eligiendo solo un tipo de fruta para estudiar, ignorando las demás, lo que la hace mala para reconocer la variedad completa. Necesita una nueva estrategia que no dependa de saber exactamente cuántos bromistas hay en la sala.

La Solución: XMix y la Regla de "Parecerse a..."

Entra XMix, el nuevo detective. En lugar de solo mirar las etiquetas escritas, XMix usa unas gafas especiales (un codificador de características auto-supervisado) para observar los detalles visuales de la fruta. Sabe que una fruta roja, redonda y con tallo se parece mucho a otras frutas rojas, redondas y con tallo.

Así es como XMix resuelve los tres grandes problemas:

1. Adivinar el Nivel de Ruido Sin una Guía de Trampas
Normalmente, estos programas informáticos necesitan saber exactamente cuántas etiquetas están mal (por ejemplo, "el 50% están mal") para establecer sus reglas. Si adivinan mal, fallan. XMix no necesita esta guía de trampas. Observa una fruta y a sus "vecinos más parecidos" en el mundo de las imágenes. Si los vecinos tienen todas etiquetas diferentes, XMix calcula: "Vaya, el ruido debe ser muy alto aquí". Utiliza un truco matemático llamado "máxima verosimilitud" para estimar el nivel de ruido automáticamente. Es como un detective mirando la escena de un crimen y diciendo: "Basándome en cuántas ventanas rotas hay, yo diría que esto fue un motín", sin necesidad de un informe policial.

2. Encontrar Más Buenos Estudiantes (Selección Equilibrada y Expandida)
Cuando el ruido es extremo, los métodos antiguos solo encuentran algunas muestras "limpias" (buenos estudiantes) para estudiar. XMix dice: "Espera, si encontramos una buena manzana, y se parece exactamente a estas otras cinco manzanas cercanas, ¡confiemos también en esas cinco!". Expande el grupo de muestras confiables incluyendo a sus vecinos.
Crucialmente, también corrige el problema del "desequilibrio de clases". Si los bromistas escondieron todas las etiquetas de "plátano", la computadora podría dejar de estudiar los plátanos por completo. XMix nota esto y dice: "¡Necesitamos más plátanos!". Busca más parecidos de plátanos más allá para asegurar que cada fruta tenga una oportunidad justa de ser estudiada. Esto asegura que el robot aprenda una dieta equilibrada de conocimiento, no solo su fruta favorita.

3. Una Mejor Adivinación para lo Desconocido
Finalmente, para las tarjetas sobre las que todavía no está seguro (las que tienen ruido), XMix no adivina al azar. Les pregunta a los vecinos: "¿Qué crees que es esto?". Toma las opiniones de los vecinos más confiables (los limpios) y las promedia para crear una "pseudo-etiqueta" (una etiqueta de la mejor conjetura). Esto es como pedirle a un grupo de expertos que voten sobre un objeto misterioso. Debido a que los expertos son elegidos basándose en cuánto se parecen al objeto, su voto es mucho más fiable que una conjetura al azar.

Lo Que Encontraron: Venciendo las Probabilidades

Los investigadores probaron XMix en conjuntos de datos de imágenes famosos como CIFAR-10 y CIFAR-100, que contienen fotos de coches, aviones, animales y más. Deliberadamente arruinaron las etiquetas para crear escenarios extremos:

90% de Ruido Simétrico: Imagina que 90 de cada 100 etiquetas son completamente aleatorias.
98% de Ruido: Casi todo es una mentira.

En estas condiciones brutales, los métodos anteriores (como DivideMix y ProMix) empezaron a desmoronarse. Por ejemplo, en CIFAR-10 con un 90% de ruido, el antiguo mejor método (DivideMix) solo obtuvo alrededor de un 76% de precisión. XMix, sin embargo, elevó esto al 91.2%. En CIFAR-100 con un 95% de ruido, el método antiguo obtuvo un 19.1%, mientras que XMix alcanzó el 31.4%.

El artículo muestra que XMix no solo funciona un poco mejor; brilla cuando la situación es más desesperada. Identificó con éxito muchas más muestras "verdaderamente limpias" que los métodos antiguos, a veces duplicando o triplicando el número de buenos ejemplos de los que el robot podía aprender.

El Veredicto

XMix demuestra que no necesitas saber el nivel exacto de caos en tus datos para limpiarlos. Al confiar en las similitudes visuales entre las imágenes —usando la "suavidad local" del espacio de características— puede ajustar su estrategia automáticamente, encontrar más datos buenos y enseñar al robot a ignorar el ruido.

Los autores sugieren que este método es un paso significativo hacia adelante, especialmente para escenarios del mundo real donde los datos son desordenados y no tenemos un manual que nos diga qué tan malos son. Aunque no es una varita mágica que lo arregla todo perfectamente (todavía comete algunos errores, especialmente cuando el ruido es bajo y la expansión no es necesaria), supera consistentemente a los métodos actuales más avanzados en los entornos más desafiantes y de mayor ruido. Convierte un salón de clases caótico lleno de bromistas en un lugar donde el aprendizaje aún puede ocurrir.

Resumen Técnico: XMix

Planteamiento del Problema

Los modelos de aprendizaje profundo supervisado dependen fuertemente de conjuntos de datos grandes y correctamente etiquetados. Sin embargo, los errores de anotación son inevitables debido a las limitaciones humanas y a los sistemas automatizados, lo que conduce al problema del "Aprendizaje con Etiquetas Ruidosas" (LNL, por sus siglas en inglés). Aunque los métodos de vanguardia recientes abordan esto mediante estrategias de selección de muestras (aprovechando el efecto de memorización para filtrar datos limpios para el aprendizaje semi-supervisado), enfrentan limitaciones significativas:

Ruido Extremo: Tienen dificultades cuando los niveles de ruido son muy altos (por ejemplo, >80%), fallando a menudo en la identificación de un subconjunto de datos limpios lo suficientemente grande.
Desequilibrio de Clases: Las muestras limpias seleccionadas suelen quedar desequilibradas entre clases, ya que algunas clases son más fáciles de aprender que otras.
Dependencia del Conocimiento Previo: Muchos métodos requieren un ajuste cuidadoso de hiperparámetros o conocimiento previo de la tasa de ruido/distribución para seguir siendo efectivos.
Negligencia de la Información: Los enfoques existentes dependen de la distribución conjunta de las imágenes y las etiquetas ruidosas, ignorando a menudo la rica información intrínseca de las imágenes que es ajena al ruido (por ejemplo, similitudes visuales).

Metodología: XMix

Los autores proponen XMix, un marco que aprovecha la suavidad local en el espacio de características auto-supervisado para mejorar todas las etapas del proceso de selección de muestras sin depender de etiquetas potencialmente corruptas. El método utiliza un codificador auto-supervisado preentrenado (DINOv2) para extraer características e identificar los $k$ -vecinos más cercanos para cada muestra.

El marco opera a través de tres mecanismos primarios integrados en una línea base estándar de selección de muestras (por ejemplo, DivideMix o ProMix):

1. Estimación de la Tasa de Ruido por Clase

En lugar de requerir conocimiento previo del ruido, XMix estima la tasa de ruido de forma adaptativa:

Mecanismo: Asume que las muestras cercanas en el espacio de características comparten la misma etiqueta real (suposición de suavidad). Calcula la probabilidad empírica de coincidencia de etiquetas entre los vecinos más cercanos de una muestra.
Corrección: Dado que las etiquetas observadas son ruidosas, la tasa de coincidencia bruta está sesgada. Los autores ajustan un modelo de corrección cuadrática (calibrado con datos sintéticos) para corregir este sesgo.
Uso: La estimación resultante no tiene la intención de ser una recuperación precisa de la tasa de ruido real, pero es lo suficientemente exacta como para categorizar el conjunto de datos en regímenes de ruido discretos (bajo, moderado, alto, extremo). Esta categorización guía automáticamente la selección de hiperparámetros (umbrales y ratios de selección) para el modelo base.

2. Selección de Muestras Equilibrada y Expandida

XMix expande el conjunto de muestras identificadas como limpias más allá del criterio estándar de baja pérdida:

Expansión: Si una muestra es identificada como limpia (baja pérdida), sus vecinos en el espacio de características ( $G^k_i$ ) que comparten la misma etiqueta observada también se añaden al conjunto de muestras limpias ( $D^+_{clean}$ ).
Equilibrio: Para abordar el desequilibrio de clases, el método aplica una regla diferente para las clases subrepresentadas. Para estas clases, considera $2k$ vecinos más cercanos en lugar de $k$ , lo que permite la recuperación de más ejemplos de un vecindario más amplio.
Efecto: Esta estrategia aumenta el volumen de muestras limpias disponibles para el aprendizaje semi-supervisado, particularmente bajo ruido extremo donde los métodos estándar fallan en encontrar suficientes datos limpios.

3. Etiquetado Pseudo de Vecinos Cercanos

Durante la fase de aprendizaje semi-supervisado, XMix genera etiquetas pseudo más fiables para los datos no etiquetados (ruidosos):

Mecanismo: En lugar de depender únicamente de la predicción del modelo, agrega las predicciones de los vecinos en el espacio de características de una muestra no etiquetada.
Ponderación: Las predicciones de los vecinos identificados como "limpios" se ponderan más (peso = 2) que las de los vecinos que aún se consideran "ruidosos" (peso = 1).
Integración: Estas etiquetas pseudo ponderadas se utilizan en un bucle de entrenamiento de tipo MixMatch, mezclando datos etiquetados y pseudo-etiquetados para mejorar la robustez.

Contribuciones Clave

El artículo describe cuatro contribuciones principales:

Estimación de la Tata de Ruido por Clase: Un método adaptativo para estimar los niveles de ruido dentro de los vecindarios de características utilizando máxima verosimilitud, permitiendo el ajuste automático de hiperparámetros sin conocimiento previo del ruido.
Selección de Muestras Equilibrada y Expandida: Una estrategia para expandir el conjunto de muestras limpias utilizando los vecinos en el espacio de características, recuperando más muestras limpias bajo ruido extremo y mitigando el desequilibrio de clases.
Etiquetado Pseudo de Vecinos Cercanos: Un mecanismo para generar etiquetas pseudo más precisas aprovechando la información local confiable en el espacio de características.
Validación Empírica: Demostraciones de que XMix mejora consistentemente el rendimiento de las líneas base de selección de muestras en múltiples evaluaciones de LNL, con mejoras particularmente grandes bajo ruido de etiqueta severo.

Resultados Experimentales

Los autores evaluaron XMix tanto en conjuntos de datos ruidosos sintéticos como reales (CIFAR-10, CIFAR-100, CIFAR-10N, CIFAR-100N, ANIMAL-10N, Mini-WebVision).

Rendimiento ante Ruido Extremo: En CIFAR-10 y CIFAR-100 con tasas de ruido simétrico de 90% y 95%, XMix supera significativamente a las líneas base como DivideMix y UNICON. Por ejemplo, en CIFAR-10 con 90% de ruido, XMix (ProMix+) logró un 92.7% de precisión frente al 51.3% de DivideMix.
Evaluaciones del Mundo Real: XMix alcanzó resultados de vanguardia en ANIMAL-10N (90.3% de precisión) y resultados competitivos en Mini-WebVision e ILSVRC12.
Estudios de Ablación:
- Eliminar la selección Equilibrada y Expandida (B&E) o el etiquetado Pseudo de Vecinos Cercanos (NN) condujo a una degradación notable del rendimiento, especialmente bajo alto ruido.
- Las ganancias de rendimiento se atribuyeron principalmente a los mecanismos de agrupamiento y filtrado en el espacio de características, más que a la fuerza específica del codificador (DINOv2 vs. SimCLR).
- El artículo señala que, en niveles de ruido más bajos, el beneficio de la expansión es marginal, y el método puede introducir ocasionalmente falsos positivos, aunque el impacto general sigue siendo positivo.

Significado y Reivindicaciones

El artículo afirma que XMix ofrece una solución simple pero robusta al problema de LNL. Su principal importancia radica en su capacidad para:

Operar eficazmente sin conocimiento previo del nivel o la distribución del ruido.
Mejorar sistemáticamente la selección de muestras explotando patrones visuales ajenos al ruido (suavidad local) en lugar de depender únicamente de los valores de pérdida.
Proporcionar un rendimiento superior en escenarios de ruido de etiqueta extremo donde los métodos existentes fallan al converger o seleccionar suficientes datos limpios.
Ser fácilmente compatible con los marcos de selección de muestras existentes, actuando como una mejora de tipo "plug-in" para mejorar su resiliencia y equilibrio.

Los autores enfatizan que, si bien la estimación de la tasa de ruido es una guía "gruesa" para la selección de hiperparámetros en lugar de una recuperación precisa de la verdad fundamental, es lo suficientemente exacta como para situar los conjuntos de datos en los regímenes operativos correctos, eliminando así un importante cuello de botella en la investigación actual de LNL.