💻 computer science

Leveraging Dissimilarity Invariance as a Robust Anchor for Learning with Noisy Labels

Este artículo presenta NegScale, un nuevo marco de trabajo que aprovecha el fenómeno estable de la Invarianza de Disimilitud para aprender de manera robusta a partir de etiquetas ruidosas mediante el desplazamiento del enfoque desde similitudes frágiles hacia disimilitudes fiables a través de la Penalización de Ortogonalidad Negativa Estructurada y el Ajuste de Similitud Calibrado por Disimilitud.

Autores originales: Wenxiao Fan, Kan Li

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Wenxiao Fan, Kan Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a reconocer animales mostrándole miles de imágenes. En el mundo de la informática, esto se llama "reconocimiento visual", y es cómo tu teléfono se desbloquea con tu cara o cómo las aplicaciones etiquetan a tus amigos en las fotos. Pero aquí está el truco: ¿qué pasa si el profesor que le da las tarjetas de memoria al robot es un poco despistado? A veces, podría pegar accidentalmente una etiqueta que dice "perro" en una foto de un gato. Esto se llama "etiquetas ruidosas" (noisy labels). Cuando un robot intenta aprender de estas instrucciones mezcladas, se confunde. Empieza a pensar que los gatos y los perros son en realidad lo mismo porque el profesor le decía constantemente que lo eran. Este artículo aborda exactamente ese problema: ¿cómo enseñamos a un robot a aprender la verdad cuando el profesor comete errores? La idea clave en la que se basa el artículo es que los robots aprenden descifrando qué cosas son similares (como dos perros diferentes) y cuáles son diferentes (como un perro y una rana). Normalmente, cuando el profesor se equivoca con las etiquetas, el robot se vuelve muy malo para distinguir entre cosas similares.

Pero los autores de este artículo, Wenxiao Fan y Kan Li, notaron algo extraño y maravilloso mientras observaban al robot aprender. Descubrieron que, mientras el robot se confundía sobre cómo se parecían las cosas, se mantenía sorprendentemente bueno en saber qué cosas no se parecían en nada. Incluso cuando el profesor gritaba "¡Esto es un perro!" mientras señalaba una rana, el robot seguía sabiendo, en el fondo, que un perro y una rana son totalmente diferentes. La capacidad del robot para detectar lo que "no es similar" no se rompió, incluso cuando lo "similar" se volvió todo un caos. Los autores llaman a esto "Invarianza de la Disimilitud" (Dissimilarity Invariance). Es como tener un superpoder donde no puedes recordar quiénes son tus amigos porque todos tienen nombres confusos, pero aún puedes distinguir instantáneamente que un gato no es una tostadora.

Usando este descubrimiento, el equipo construyó una nueva herramienta llamada NegScale. Piensa en NegScale como un entrenador inteligente para el robot. En lugar de intentar arreglar directamente las etiquetas confusas del profesor, el entrenador le dice al robot: "Oye, ignora las etiquetas confusas de 'lo mismo' por un segundo. Solo concéntrate en el hecho de que un caballo y un coche definitivamente no son lo mismo". El entrenador utiliza dos trucos principales. Primero, obliga al robot a mantener las cosas "no relacionadas" en cajas mentales completamente diferentes (como poner un zapato y un plátano en habitaciones separadas y lejanas). Segundo, actúa como un control de realidad: si el robot empieza a pensar que dos cosas son demasiado similares debido a una mala etiqueta, el entrenador dice: "Espera, esas dos cosas están demasiado lejos en el mundo de lo 'no similar' como para ser amigos. ¡Retrocede!".

El artículo muestra que este enfoque funciona muy bien. Cuando probaron NegScale en conjuntos de datos de imágenes estándar como CIFAR-10 y CIFAR-100, donde alteraron intencionadamente las etiquetas (¡a veces hasta el 80% de las etiquetas estaban mal!), el robot aprendió mucho mejor que antes. De hecho, superó a casi todos los demás métodos que los científicos habían intentado. Por ejemplo, en un conjunto de datos con un 80% de ruido, su método obtuvo aproximadamente un 95,6% de precisión, mientras que otros métodos punteros apenas lograban superar el 94%. También lo probaron con datos reales desordenados, como fotos de internet donde las etiquetas suelen estar mal, y aun así resultó ser el mejor.

Los autores no solo supusieron que esto funcionaría; hicieron las matemáticas para demostrar por qué. Demostraron que cuando un robot aprende, la "distancia" entre las cosas que son verdaderamente diferentes se mantiene estable, incluso cuando las etiquetas son erróneas. Pero la "cercanía" entre las cosas que se supone que son iguales se vuelve inestable y poco fiable. Al anclar el proceso de aprendizaje a las relaciones estables de lo "no similar", NegScale evita que el robot sea engañado por las etiquetas ruidosas. Es un poco como navegar en un mar tormentoso: cuando el mapa (las etiquetas) está roto y es confuso, no intentas adivinar dónde están las islas; en su lugar, simplemente te aseguras de mantenerte lejos de las rocas que sabes que definitivamente están ahí. Este simple cambio de enfoque —de intentar encontrar la coincidencia perfecta a evitar los desajustes imposibles— resulta ser una forma mucho más fuerte de aprender cuando el mundo es caótico.

Resumen Técnico: Aprovechamiento de la Invarianza de la Disimilitud como un Ancla Robusta para el Aprendizaje con Etiquetas Ruidosas

Planteamiento del Problema
Los modelos de aprendizaje profundo logran un alto rendimiento en el reconocimiento visual, pero sufren una degradación significativa cuando las etiquetas de entrenamiento están corrompidas por ruido. Los enfoques existentes suelen fallar porque las etiquetas ruidosas distorsionan la estructura semántica de los datos, particularmente la similitud aprendida entre muestras. Los autores observan que la similitud semántica (pares positivos) es inherentemente frágil ante el ruido de etiquetas; las etiquetas incorrectas distorsionan severamente las similitudes de pares, lo que conduce a una alineación de afinidad errónea y evita que el modelo aprenda relaciones significativas. Por el contrario, el artículo identifica un fenómeno poco explorado donde la disimilitud semántica entre muestras no relacionadas (pares negativos) permanece notablemente estable a pesar del aumento en las tasas de ruido.

Metodología: NegScale
Para abordar la fragilidad de la similitud, los autores proponen NegScale, un marco de trabajo plug-and-play que desplaza el enfoque de aprendizaje de la frágil similitud hacia la robusta disimilitud. El marco opera aprovechando la "Invarianza de la Disimilitud" como un ancla robusta. NegScale consta de dos módulos primarios:

Penalización de Ortogonalidad Negativa Estructurada (SNOP):
Este módulo impone ortogonalidad entre los pares negativos (muestras semánticamente no relacionadas) dentro de cada minibatch. Opera bajo el principio de que las muestras disímiles deben ocupar subespacios distintos. SNOP comprende dos componentes:
- Pérdida de Ortogonalidad Global ( $L_{global}$ ): Fomenta que el conjunto de vectores de diferencia normalizados entre pares negativos aproxime una matriz identidad, asegurando una repulsión global.
- Pérdida de Ortogonalidad Local ( $L_{local}$ ): Una penalización ponderada por confianza que penaliza directamente la alineación del producto interno entre pares negativos. Esta pérdida asigna penalizaciones más altas a los pares que involucran muestras de baja confianza (potencialmente ruidosas), imponiendo así restricciones de disimilitud más fuertes donde más se necesitan.
Ajuste de Similitud Calibrado por Disimilitud (DCSA):
Este módulo suprime la similitud espuria causada por pares positivos mal etiquetados. Utiliza los patrones estables de disimilitud como anclas para imponer límites superiores suaves a la similitud de los pares positivos.
- Para cada par positivo, se calcula un factor de calibración adaptativo ( $\delta_{ij}$ ) basado en la proximidad del par con respecto a las muestras negativas.
- Si un par positivo está entrelazado con muestras no relacionadas (alto $\delta_{ij}$ ), su similitud es restringida.
- La función de pérdida penaliza a los pares positivos cuya similitud excede un límite superior suave ( $1 - \delta_{ij}$ ), evitando que el modelo internalice asociaciones falsas.

La función objetivo total combina la pérdida original ( $L_{org}$ ) con las pérdidas SNOP y DCSA, equilibradas mediante coeficientes $\lambda$ y $\mu$ . El método no requiere datos externos ni pre-entrenamiento y puede integrarse sin problemas en las canalizaciones existentes.

Contribuciones Clave

Invarianza de la Disimilitud: El artículo identifica y analiza formalmente el fenómeno donde la disimilitud semántica entre muestras no relacionadas permanece estable bajo ruido de etiquetas, contrastando con la volatilidad de la similitud semántica.
Marco de Trabajo NegScale: Los autores proponen un nuevo marco que utiliza esta invarianza para modelar la disimilitud robusta y suprimir la similitud espuria.
Análisis Teórico: El artículo proporciona pruebas teóricas que demuestran que la variación esperada en la similitud para pares negativos es menor que para los pares positivos bajo ruido simétrico. Además, establece límites que muestran cómo NegScale mitiga las perturbaciones de características y la erosión del margen causadas por las etiquetas ruidosas.
Validación Empírica: Experimentos extensos muestran que NegScale supera consistentemente a los modelos base del estado del arte tanto en benchmarks de ruido sintético (CIFAR-10/100) como en conjuntos de datos ruidosos del mundo real (CIFAR-10N, CIFAR-100N, Animal-10N, WebVision).

Resultados Experimentales

Ruido Sintético: En CIFAR-10 y CIFAR-100 con ruido simétrico, de pares y dependiente de la instancia, NegScale (combinado con la base RoLR) alcanza nuevos resultados del estado del arte. Notablemente, en CIFAR-100 con un 80% de ruido, mejora la precisión en un 3.6% sobre RankMatch.
Ruido del Mundo Real: El método demuestra una robustez superior en conjuntos de datos ruidosos del mundo real, superando a enfoques competidores en CIFAR-10N, Animal-10N y WebVision. En mini-WebVision e ILSVRC12, supera al método híbrido UNICON por más de un 3% en precisión top-1.
Capacidad Plug-and-Play: La integración de NegScale con otros métodos (DivideMix, RankMatch, ANNE) potencia consistentemente su rendimiento, confirmando su amplia aplicabilidad.
Estudios de Ablación: Eliminar ya sea SNOP o DCSA provoca caídas significativas en el rendimiento, particularmente bajo altas tasas de ruido, validando la necesidad de ambos componentes. El análisis de sensibilidad confirma que los pesos de regularización balanceados y los umbrales cuidadosamente calibrados para la selección de pares negativos son críticos para un rendimiento óptimo.

Significancia
El artículo sostiene que, al desplazar el enfoque de la frágil similitud hacia la robusta disimilitud, los modelos pueden aprender y aprovechar de manera confiable patrones estables para mejorar el rendimiento bajo supervisión ruidosa. La significancia radica en proporcionar una base teórica y práctica para utilizar las relaciones "negativas" como un ancla estable, ofreciendo un mecanismo simple pero efectivo para corregir las distorsiones estructurales causadas por el ruido de etiquetas sin requerir una selección de muestras compleja o datos externos.

Más como este