A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection

Resumen Técnico: Un Nuevo Tipo de Ejemplo Adversario (NKE)

Planteamiento del Problema
Los ejemplos adversarios clásicos se definen por pequeñas perturbaciones imperceptibles que causan que un modelo clasifique erróneamente una imagen mientras permanece visualmente inalterada para un humano. Este artículo investiga el modo de falla inverso: Nuevos Tipos de Ejemplos Adversarios (NKE, por sus siglas en inglés). En este escenario, se aplica una perturbación grande y claramente visible a una imagen de tal manera que el modelo mantiene su predicción original y correcta con alta confianza, aun cuando un observador humano ya no sería capaz de reconocer la imagen.

Aunque trabajos previos (Borji [3]; Nie et al. [5]) establecieron que tales ejemplos pueden generarse a escala, tres preguntas críticas permanecían sin probarse:

1. La Brecha Humano–Modelo: ¿Se degrada realmente el reconocimiento humano de forma significativamente más rápida que la precisión del modelo bajo estas grandes perturbaciones, o es la brecha simplemente un artefacto de la pérdida de señal?
2. Detección de OOD y Calibración: ¿Identifican los detectores de Distribución Fuera de la Distribución (OOD) estándar y las herramientas de calibración (por ejemplo, puntuaciones de confianza, métodos basados en energía) estos ejemplos como fallos, dado que están lejos del manifold de los datos pero son clasificados con confianza?
3. Robustez: ¿Mitigan las defensas existentes (entrenamiento adversario, transformaciones de entrada, suavizado aleatorio) este modo de falla, o es la resistencia a ataques de pequeño-$\epsilon$ ortogonal a la resistencia a ataques de grande-$\epsilon_l$?

Metodología
El estudio utiliza un pipeline unificado de generación de ataques para producir imágenes NKE en MNIST, CIFAR-10 e ImageNet (usando Imagenette). El ataque minimiza la pérdida de la etiqueta real (manteniendo la predicción correcta) mientras impone una restricción de límite inferior sobre la magnitud de la perturbación ($D(x, x') > \epsilon_l$). El generador principal utiliza variantes iterativas basadas en momentum (NMI-FGSM/NMI-FGM).

La evaluación se organiza en cuatro vías:

1. Medición de la Brecha Humano–Modelo:
   • Proxies Computacionales: Un reconocedor genérico independiente (una arquitectura diferente entrenada con datos limpios) y un reconocedor de formas (entrenado con mapas de bordes Canny) sirven como proxies para el rendimiento humano.
   • Piloto Humano: Un estudio de elección forzada a pequeña escala ($N=5$) utilizando un harness liberado para recolectar respuestas humanas reales.
   • Controles: Se utilizan controles de ruido Gaussiano de magnitud coincidente para distinguir entre efectos de "estructura adversaria" y "pérdida de señal" genérica.
   • Proxy CLIP: La clasificación zero-shot de CLIP se utiliza como un proxy de reconocimiento humano más fuerte y no-CNN a escala de ImageNet.
2. Análisis de OOD y Calibración: Evaluación de la Probabilidad de Softmax Máxima (MSP), puntuaciones de energía y detectores de distancia de Mahalanobis, junto con el Error de Calibración Esperado (ECE).
3. Ataque Adaptativo: Probar si los detectores en el espacio de características pueden ser evadidos por un atacante que incorpora la métrica de distancia del detector en el objetivo de optimización.
4. Evaluación de Defensas: Evaluación del entrenamiento adversario, el suavizado aleatorio y las transformaciones de entrada frente a NKE, y la correlación entre la robustez clásica y la resistencia a NKE.
5. Análisis Mecanicista: Cuantificación de la preservación de la estructura de bordes/forma frente a la textura (mediante puntuaciones F1 de GLCM y Canny edge) para explicar la invariancia del modelo.

Resultados Clave

• La Brecha Humano–Modelo es Real y Estructural:

  • En CIFAR-10, a medida que $\epsilon_l$ aumenta, el modelo de origen mantiene el 100% de precisión, mientras que un reconocedor genérico independiente cae a ~49%.
  • Crucialmente, un control de ruido Gaussiano con L2 coincidente degrada al reconocedor más rápido (a ~15%) que la perturbación estructurada de NKE. Esto indica que la brecha no se debe a la pérdida de señal, sino a la estructura adversaria específica que preserva características relevantes para el modelo mientras destruye el contenido reconocible por el humano.
  • Un pequeño piloto humano ($N=5$) corrobora la brecha, con la precisión humana cayendo a ~8% ante grandes perturbaciones mientras el modelo permanece al 100%.
  • A escala de ImageNet, un proxy zero-shot de CLIP confirma una brecha significativa (modelo 100% vs. CLIP ~33%), aunque el orden de NKE frente al ruido Gaussiano se invierte respecto a CIFAR-10, lo que sugiere que el NKE destruye activamente el contenido semántico amplio en esta escala.

• Ceguera de las Herramientas Estándar de OOD y Calibración:

  • Los detectores de OOD basados en confianza (MSP) y de energía identifican el 0% de las imágenes NKE, y el ECE permanece cerca de 0. Los modelos parecen perfectamente calibrados a pesar de que la entrada es irreconocible para los humanos.
  • Los detectores de Mahalanobis en el espacio de características identifican el 100% de las imágenes NKE, identificándolas correctamente como fuera del manifold.
  • Vulnerabilidad Adaptativa: Sin embargo, un atacante adaptativo puede reducir la detección de Mahalanobis del 100% al 0% añadiendo un término de penalización a la función de pérdida, sin costo para el éxito del ataque o la magnitud de la perturbación. Esta evasión se mantiene contra detectores no vistos y modelos entrenados adversariamente.

• Ortogonalidad a las Defensas Clásicas:

  • Ninguna defensa clásica mitiga el NKE. Los modelos entrenados adversariamente (con 45% de precisión robusta contra PGD) siguen siendo ~100% vulnerables al NKE.
  • Existe una correlación cero ($r \approx 0$) entre la resistencia a ataques de pequeño-$\epsilon$ y la resistencia a ataques NKE de grande-$\epsilon_l$.

• Perspectiva Mecanicista (Textura vs. Forma):

  • El ataque destruye las estadísticas de textura de bajo nivel (la similitud GLCM colapsa a ~0) mucho más rápido de lo que degrada la estructura de bordes/forma (la preservación de bordes se mantiene en ~0.3–0.4).
  • Aunque las CNN tienen un sesgo de textura, un Vision Transformer (ViT) con sesgo de forma no recupera la etiqueta mejor que una CNN en entradas NKE, lo que indica que la estructura superviviente es insuficiente para el reconocimiento de tipo humano.
  • El análisis de transferibilidad muestra que los ejemplos NKE son altamente específicos del modelo; a medida que la complejidad de la tarea aumenta (MNIST $\to$ ImageNet), la transferibilidad colapsa, sugiriendo que la señal superviviente es idiosincrásica para el modelo de origen.

Significancia y Reivindicaciones
El artículo afirma pasar de la discusión sobre la posibilidad de construir tales ejemplos a la comprensión de sus implicaciones para la brecha entre la percepción del modelo y la humana, así como las limitaciones de las herramientas de seguridad actuales.

1. Reencuadre del Modo de Falla: El NKE representa una vulnerabilidad distinta donde los modelos están "confidentemente equivocados" en el sentido humano (irreconocibles) pero "correctos" en el sentido del modelo (mantienen la etiqueta). Este es un modo de falla al que el monitoreo basado en la confianza estándar es estructuralmente ciego.
2. Limitaciones de las Defensas Actuales: Los hallazgos demuestran que la robustez ante pequeñas perturbaciones no implica robustez ante perturbaciones grandes que preservan la etiqueta. Las defensas existentes no abordan este régimen.
3. Matiz de la Detección de OOD: Aunque los detectores en el espacio de características pueden identificar ejemplos NKE, no son adaptativamente robustos. El artículo sugiere que la detección "fuera del manifold" es necesaria pero insuficiente una vez que el detector es conocido por el atacante.
4. Divergencia Humano–Modelo: El estudio proporciona evidencia empírica (vía proxies y un piloto) de que la divergencia entre las curvas psicométricas de humanos y modelos no es solo un concepto teórico, sino una realidad medible en regímenes de grandes perturbaciones, impulsada específicamente por la destrucción de la textura mientras se preservan estructuras similares a la forma en las que los modelos dependen.

Los autores concluyen que los sistemas que dependen de la confianza de softmax o de las puntuaciones de energía para la detección de fallos distributivos deben ser auditados contra este régimen específico, y que el trabajo futuro debe centrarse en detectores que sean adaptativamente robustos por construcción. El artículo libera el pipeline completo, los estímulos y un harness de estudio humano para facilitar esta auditoría.