🤖 AI

Architecture-agnostic Lipschitz-constant Bayesian header and its application to resolve semantically proximal classification errors with vision transformers

Este artículo presenta LipB-ViT, un encabezado bayesiano agnóstico a la arquitectura que impone restricciones bi-Lipschitz en los pesos variacionales para detectar y mitigar eficazmente el ruido de etiquetas estructurado y semánticamente próximo en los transformadores de visión, logrando una recuperación y robustez superiores en comparación con los métodos más avanzados.

Autores originales: Frederik Schäfer, Luis Mandl, Lars Kälber, Tim Ricken

Publicado 2026-05-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Frederik Schäfer, Luis Mandl, Lars Kälber, Tim Ricken

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a reconocer diferentes tipos de fruta. Le muestras miles de imágenes, pero algunas de las etiquetas son incorrectas. A veces, por accidente, etiquetas un plátano como una manzana. En el mundo del aprendizaje automático, esto se llama "ruido en las etiquetas".

La mayoría de las veces, si cometes un error aleatorio (como llamar plátano a una manzana), el robot puede darse cuenta porque ve tantas otras manzanas. Pero, ¿qué pasa si el error es engañoso? ¿Qué pasa si etiquetas un plátano como un plátano macho? Se ven casi idénticos. Esto es lo que los autores llaman Errores de Clasificación Semánticamente Proximales (SPCE). Es como confundir a dos gemelos; el robot se confunde mucho más rápido y pierde su capacidad de aprender correctamente.

Este artículo presenta una nueva herramienta llamada LipB-ViT (Transformador de Visión Bayesiano con Constante de Lipschitz), diseñada para manejar estos errores engañosos y mantener al robot confiable incluso cuando los datos están desordenados o cuando el robot es engañado por entradas defectuosas más adelante.

Aquí tienes un desglose de cómo funciona, utilizando analogías simples:

1. El Problema: El "Estudiante Confundido"

Los modelos de IA estándar son como estudiantes que memorizan respuestas. Si un profesor (el conjunto de datos) les da una hoja de respuestas incorrecta, memorizan la respuesta equivocada. Si las respuestas incorrectas son obvias (ruido aleatorio), el estudiante aún podría aprobar. Pero si las respuestas incorrectas son sutiles (como confundir un plátano macho con un plátano), el estudiante se pierde por completo y reprueba.

2. La Solución: El Encabezado de "Doble Verificación"

Los autores tomaron un modelo de IA potente y preentrenado (un Transformador de Visión, o ViT) y reemplazaron su parte final de "toma de decisiones" con una nueva capa especial llamada Encabezado Bayesiano.

La Parte Bayesiana (La Máquina de "Quizás"): En lugar de simplemente decir "Esto es un plátano", esta nueva capa dice: "Tengo un 90% de certeza de que es un plátano, pero hay un 10% de probabilidad de que esté equivocado". No solo adivina; calcula qué tan seguro está.
La Parte de Lipschitz (El "Límite de Velocidad"): Imagina que el cerebro de la IA es un coche. La "constante de Lipschitz" es un límite de velocidad. Los autores establecieron un límite de velocidad estricto sobre qué tan rápido puede cambiar la confianza de la IA cuando la entrada cambia ligeramente.
- Por qué esto importa: Si le muestras a la IA una imagen de un plátano y luego la desenfocas ligeramente, una IA normal podría cambiar bruscamente su confianza de "100% seguro" a "0% seguro" de manera descontrolada. El LipB-ViT actúa como un regulador en un motor; evita esos cambios bruscos. Obliga a la IA a cambiar de opinión gradualmente, lo que evita que amplifique pequeños errores en grandes equivocaciones.

3. El Superpoder: Encontrar las "Manzanas Podridas"

Uno de los mayores logros de este artículo es una nueva forma de encontrar las etiquetas incorrectas en los datos de entrenamiento.

La Vieja Forma (kNN): Imagina intentar encontrar una manzana podrida en una canasta mirando a sus vecinos. Si una manzana está rodeada de naranjas, probablemente esté mal etiquetada. Esto se llama el método de "k-Vecinos Más Cercanos". Funciona bastante bien, pero no es perfecto.
La Nueva Forma (Fusión Adaptativa): Los autores combinaron la "verificación de vecinos" con la propia "verificación de confianza" de la IA.
- Se preguntaron: "¿La IA piensa que esto es un plátano, pero sus vecinos parecen manzanas? ¿Y además, la IA se siente insegura sobre esta imagen específica?"
- Al mezclar estas dos señales, crearon un "Puntaje de Sospecha".
- El Resultado: Este nuevo método encontró las etiquetas incorrectas un 7% mejor que los métodos antiguos. Identificó con éxito más del 93% de las etiquetas malas incluso cuando el 15% de todo el conjunto de datos estaba desordenado.

4. El Medidor de "Calidad de Datos"

El artículo también introduce una nueva métrica (una herramienta de medición) que actúa como un "indicador de control de calidad".

En lugar de simplemente adivinar cuánto ruido hay en un conjunto de datos, esta herramienta utiliza la incertidumbre de la IA para estimar la cantidad exacta de "basura" en los datos.
Es como un detector de humo que no solo emite una alarma; te dice exactamente qué tan humeante está la habitación, incluso si el humo es sutil.

5. Pruebas Bajo Fuego

Los autores no solo probaron esto con datos limpios. Lo probaron en dos escenarios difíciles:

Entradas Ruidosas: Agregaron estática, desenfoque y cambios de brillo a las imágenes (como tomar una foto bajo la lluvia).
Ataques Adversarios: Intentaron engañar a la IA con cambios de píxeles invisibles diseñados específicamente para confundirla (como el truco de manos de un mago).

El Resultado: El LipB-ViT fue mucho más estable que los modelos estándar. Mientras que otros modelos entraron en pánico y perdieron su confianza cuando las imágenes se desordenaron, el LipB-ViT mantuvo la calma. No solo se mantuvo preciso; se mantuvo honesto sobre su incertidumbre.

Resumen

Piensa en el LipB-ViT como un experto altamente entrenado que:

Tiene un límite de velocidad en sus emociones (evitando cambios bruscos en el juicio).
Siempre admite cuando no está seguro (proporcionando incertidumbre calibrada).
Puede detectar a un mentiroso en la multitud (identificando etiquetas incorrectas en los datos de entrenamiento mejor que nadie).
Mantiene la calma cuando el entorno se vuelve caótico (robusto frente al ruido y los ataques).

El artículo afirma que esto es una solución "plug-and-play" (conectar y usar), lo que significa que puedes tomar esta "cabeza" especial y colocarla encima de muchos modelos de IA existentes para hacerlos más confiables, especialmente en situaciones de alto riesgo donde los datos podrían ser imperfectos.

Resumen Técnico: Cabecera Bayesiana con Constante de Lipschitz Agnóstica a la Arquitectura para Vision Transformers

Declaración del Problema

El ruido en las etiquetas sigue siendo un cuello de botella crítico para la generalización de los modelos de aprendizaje profundo supervisado. Si bien los métodos estándar de entrenamiento robusto (por ejemplo, corrección de pérdida, capas de adaptación al ruido, co-enseñanza) suelen tolerar eficazmente el ruido aleatorio y simétrico en las etiquetas, fallan cuando los errores son errores de clasificación semánticamente próximos (SPCE). Los SPCE ocurren cuando las etiquetas se corrompen de manera estructurada, como en el caso de ruido dependiente de la clase o errores concentrados cerca de los límites de decisión. En estos escenarios, los métodos de mitigación existentes ofrecen poca protección, lo que conduce a una degradación significativa del rendimiento del modelo e inestabilidad en la optimización. Además, los enfoques bayesianos actuales a menudo requieren un tratamiento bayesiano completo de todos los pesos, lo cual es computacionalmente prohibitivo para grandes backbones preentrenados como los Vision Transformers (ViT), o carecen de mecanismos para prevenir la amplificación del ruido a través de distribuciones de pesos ilimitadas.

Metodología

Los autores proponen el LipB-ViT (Vision Transformer Bayesiano con restricción bi-Lipschitz), que integra una cabecera bayesiana con constante de Lipschitz agnóstica a la arquitectura sobre backbones ViT preentrenados (específicamente ViT-small-16).

Arquitectura Central

Cabecera Bayesiana: La cabeza de clasificación de un ViT preentrenado se reemplaza por dos capas lineales bayesianas apiladas separadas por una activación ReLU. Los pesos se tratan como variables aleatorias que siguen posteriores variacionales gaussianas totalmente factorizadas $q_\phi(W)$ .
Normalización Espectral Rígida: A diferencia de las capas bayesianas estándar o los enfoques de regularización suave, este método impone normalización espectral (SN) sobre toda la distribución variacional. Tanto la media ( $\mu$ ) como el log-varianza ( $\rho$ ) de los pesos se reescalan mediante el mismo factor derivado de iteraciones de potencia. Esto garantiza una cota superior global para la constante de Lipschitz de la cabecera, previniendo realizaciones de pesos de alta norma durante el muestreo de Monte Carlo (MC) que podrían amplificar el ruido.
Restricción Bi-Lipschitz: Mientras que la cabecera impone estrictamente una cota superior de Lipschitz, la cota inferior se proporciona implícitamente por el backbone ViT preentrenado (asumido no colapsante) y la estructura de la capa oculta. Esto promueve mapeos que preservan la distancia, donde la varianza de MC rastrea la distancia desde la variedad de datos de entrenamiento en lugar de ser amplificada arbitrariamente.
Objetivo de Entrenamiento: El modelo se entrena minimizando la cota inferior negativa de la evidencia (ELBO), que combina un término de datos de entropía cruzada con un regularizador de divergencia Kullback-Leibler (KL).

Estrategias de Manejo y Detección de Ruido

Co-enseñanza Adaptativa: Los autores implementan una estrategia de co-enseñanza adaptativa donde dos redes intercambian muestras "limpias". A diferencia de la co-enseñanza estándar con una tasa de ruido fija, este enfoque utiliza una tasa de olvido adaptativa determinada por mini-lote basándose en el desacuerdo entre las dos redes pares.
Fusión de Puntuación de Sospecha: Para identificar etiquetas incorrectas, el método fusiona dos señales:
1. Proximidad en el espacio de características: Una puntuación de sospecha de k-Vecinos Más Cercanos (kNN) basada en un extractor de características ResNet-50 preentrenado.
2. Incertidumbre predictiva: Una puntuación de incertidumbre derivada de la varianza de 50 muestras MC del LipB-ViT.
  Estas se combinan mediante un esquema de fusión de media aritmética adaptativa, calibrado utilizando la tasa de clasificación errónea esperada y el coeficiente de bimodalidad de Sarle para determinar umbrales óptimos.

Métricas Novedosas

Métrica de Severidad de Clasificación Errónea: Una nueva métrica cuantifica la incertidumbre en el conjunto de datos de entrenamiento inducida por el ruido en las etiquetas. Ajusta un modelo de respuesta gaussiana a mediciones repetidas para estimar la "precisión suave" y la "confianza suave", proporcionando una estimación de los niveles de ruido en las etiquetas a través de diferentes conjuntos de datos.
Análisis de Calidad del Conjunto de Datos: Las estimaciones de confianza estabilizadas sirven como base para una tubería que evalúa conjuntamente la calidad del conjunto de datos y el ruido en las etiquetas.

Contribuciones Clave

Cabecera LipB: Introducción de una cabecera agnóstica a la arquitectura que aplica normalización espectral rígida tanto a la media como al log-varianza de los pesos variacionales, imponiendo una cota global de Lipschitz.
Métrica Novedosa de Calidad de Datos: Una métrica para cuantificar la incertidumbre inducida por el ruido en las etiquetas, permitiendo la estimación de las cantidades de ruido en las etiquetas a través de diferentes conjuntos de datos.
Mejora en la Identificación de Etiquetas: Un método para identificar etiquetas incorrectas que supera a los métodos de identificación basados en kNN más avanzados en más del 7%, logrando una recuperación (recall) >0.93 con un 15% de etiquetas mal clasificadas semánticamente.
Evaluación Exhaustiva: Un análisis empírico profundo del LipB-ViT en cuatro conjuntos de datos de código abierto (MRI médica, histopatología y detección de defectos industriales) bajo ruido tanto estructurado (adversarial) como no estructurado.

Resultados

Robustez ante SPCE: Bajo un 15% de errores de clasificación semánticamente próximos, los ViT estándar sufrieron una caída promedio de precisión de ~8.1%. El LipB-ViT con co-enseñanza adaptativa redujo esta caída a ~3.8%, logrando una precisión final del 91.1% en comparación con el 90.5% del ViT estándar. En contraste, el ruido aleatorio causó solo una caída de ~1.5% en todos los modelos.
Calibración de Incertidumbre: El LipB-ViT demostró una estabilidad superior en las estimaciones de incertidumbre. Si bien las caídas de precisión fueron comparables entre las variantes bayesianas, la regularización de Lipschitz redujo sustancialmente la desviación estándar inter-semilla e inter-conjunto de datos de la incertidumbre bajo corrupción.
Detección de Etiquetas: El método de fusión de media aritmética adaptativa superó consistentemente a los métodos de kNN y de incertidumbre independientes. Para SPCE, el método de fusión logró un AUC-ROC de 0.94 y un AUC-PR de 0.55, superando significativamente a los enfoques de kNN independiente (AUC-PR 0.51) e incertidumbre independiente (AUC-PR 0.28).
Robustez en Inferencia: Bajo ruido no estructurado (Gaussiano, disparo, desenfoque, etc.) y ataques adversariales (FGSM, PGD), el LipB-ViT mantuvo una precisión comparable a los ViT estándar, pero con una varianza significativamente menor en las estimaciones de confianza e incertidumbre.

Significado y Afirmaciones

El artículo afirma que el LipB-ViT ofrece una solución plug-and-play para mejorar la fiabilidad de los Vision Transformers preentrenados en aplicaciones de alto riesgo donde la fiabilidad de la anotación es variable. Al imponer cotas espectrales en los pesos variacionales, el método mitiga la amplificación del ruido y produce incertidumbre predictiva calibrada sin requerir el reentrenamiento computacionalmente costoso de todo el backbone.

Los autores enfatizan que, si bien el método incurre en costos computacionales debido al muestreo de Monte Carlo y las iteraciones de potencia, proporciona hiperparámetros consistentes a través de dominios diversos (médico e industrial). Las estimaciones de confianza estabilizadas habilitan una tubería novedosa para cuantificar la calidad del conjunto de datos y detectar datos mal etiquetados, abordando el modo de fallo "basura entra, basura sale". El trabajo sugiere que, si bien existen limitaciones actuales relacionadas con la escalabilidad a conjuntos de datos masivos (debido a la huella de memoria para vectores singulares) y la complejidad de los errores de anotación multimodal del mundo real, el enfoque representa un paso significativo hacia sistemas de visión robustos y conscientes de la incertidumbre capaces de manejar ruido estructurado en las etiquetas.