Resumen Técnico: Vulnerabilidad Adversaria por la Interferencia entre Características en Superposición

Declaración del Problema

A pesar de su extenso estudio, los ejemplos adversarios siguen siendo insuficientemente comprendidos a un nivel mecánico. Si bien las explicaciones existentes atribuyen la vulnerabilidad a la geometría de alta dimensión, patrones no robustos en los datos de entrada o estructuras de los límites de decisión, ninguna proporciona un mecanismo a nivel de representación que explique por qué ciertas perturbaciones tienen éxito o por qué los ataques se transfieren entre modelos. Existe una falta de un relato predictivo que vincule las intervenciones de robustez con la estructura de la representación. Este artículo aborda esta brecha investigando si la vulnerabilidad adversaria surge de la codificación eficiente de información en las redes neuronales, específicamente a través del fenómeno de la superposición.

Metodología

Los autores proponen un marco mecánico donde las redes neuronales representan más conceptos (características) de los que tienen dimensiones ($M \gg d$) codificándolos como direcciones no ortogonales en el espacio de activación. Este empaquetamiento crea interferencia, donde la activación de una característica afecta a otras. El estudio valida esta hipótesis a través de tres entornos primarios:

1. Tarea de Argmax Sintética: Una red de cuello de botella mínima con un mapeo de entrada a clase de forma cerrada. Aquí, $k$ clases se comprimen en $m$ dimensiones latentes ($m < k$). Los autores controlan las correlaciones de entrada (no correlacionadas, emparejadas, globales) para manipular la geometría de las características. Este entorno permite el cálculo de perturbaciones de verdad fundamental y la comparación directa entre ataques empíricos (PGD) y óptimos teóricos derivados de la geometría de la interferencia.
2. Vision Transformers (ViTs) Realistas: Modelos entrenados en CIFAR-10/100, STL-10 y TinyImageNet con cuellos de botella dimensionales diseñados insertados antes de la cabeza de clasificación. Esto pone a prueba si las firmas geométricas predichas por la teoría emergen en redes profundas y no lineales.
3. Entrenamiento Regularizado sin Cuellos de Botella Explícitos: Modelos ViT entrenados con diversos niveles de decaimiento de peso (weight decay) para inducir representaciones de bajo rango (cuellos de botella efectivos) sin restricciones arquitectónicas explícitas, probando si la reducción de rango por sí sola desencadena el mecanismo de vulnerabilidad.

Herramientas Analíticas Clave:

• Hipótesis de Representación Lineal (LRH): Tratar los logits de clase como proyecciones lineales de los vectores de características.
• Métricas de Interferencia: Cuantificar la no ortogonalidad de los vectores de características de clase ($w_i^\top w_j$) y medir cómo las perturbaciones se alinean con la "geometría de interferencia" definida por la diferencia entre los vectores de la clase objetivo y la clase origen.
• Alineación de Ataques: Comparar la dirección de las perturbaciones descubiertas por PGD contra las perturbaciones teóricamente óptimas derivadas de la geometría de la interferencia ($\delta \propto W_e^\top (w_k - w_j)$).

Contribuciones Clave

1. Relato Mecánico de la Vulnerabilidad: El artículo establece un vínculo directo entre la geometría de la superposición y la vulnerabilidad adversaria. Demuestra que las correlaciones de los datos constriñen el arreglo de las características en superposición, lo que determina los patrones de interferencia. Estos patrones, a su vez, dictan qué perturbaciones tienen éxito y por qué los ataques se transfieren entre modelos.
2. La Superposición como Condición Suficiente: Los autores proporcionan evidencia teórica y empírica de que la superposición es una condición suficiente (aunque no necesaria) para la vulnerabilidad adversaria. Las representaciones no ortogonales crean una interferencia explotable, complementando las explicaciones existentes basadas en propiedades de los datos o factores arquitectónicos.
3. Validación en Entornos Realistas: El estudio valida que las firmas geométricas predichas por la teoría aparecen en entornos realistas (ViTs en conjuntos de datos estándar), demostrando que la interferencia de la cabeza de clasificación gobierna la estructura del ataque en el espacio de entrada incluso en redes profundas y complejas.

Resultados Clave

1. Explotación de la Interferencia

En entornos sintéticos, los ataques basados en gradientes (PGD) explotan sistemáticamente la interferencia entre características superpuestas.

• Alineación: Las perturbaciones descubiertas por PGD se alinean fuertemente con las perturbaciones teóricamente óptimas derivadas de la geometría de la interferencia (Similitud de Coseno $> 0.92$ en todas las configuraciones).
• Mecanismo: Las perturbaciones no son arbitrarias; su signo y magnitud están determinados por la alineación de las características de entrada con el vector de ataque latente. Las características que interfieren constructivamente con la clase objetivo se amplifican, mientras que aquellas que interfieren con la fuente se suprimen.

2. Rol de las Correlaciones de Entrada

Las correlaciones de entrada constriñen el arreglo geométrico de los vectores de características:

• Datos No Correlacionados: Resultan en geometrías altamente variables entre semillas aleatorias.
• Datos Correlacionados: Obligan a las características a adoptar arreglos específicos y estables (por ejemplo, las correlaciones globales fijan un ordenamiento cíclico).
• Impacto: Las correlaciones más fuertes reducen los grados de libertad geométricos, forzando a diferentes inicializaciones hacia arreglos similares.

3. Transferibilidad de Ataques

La transferibilidad de los ataques está gobernada por patrones de interferencia compartidos.

• Correlación: Las tasas de transferencia correlacionan fuertemente con la similitud geométrica.
  • Datos no correlacionados: ~5% de tasa de transferencia.
  • Correlaciones emparejadas: ~33% de tasa de transferencia.
  • Correlaciones globales: ~98% de tasa de transferencia.
• Explicación: Cuando los modelos comparten una geometría de superposición similar, la interferencia que fue constructiva en el modelo origen sigue siendo constructiva en el modelo objetivo, permitiendo una alta transferibilidad.

4. Validación en ViT del Mundo Real

• Predicción de Estructura: En los ViTs con cuellos de botella, el perfil de ataque en el espacio de entrada (cómo se perturban los píxeles) correlaciona fuertemente con el perfil de interferencia en el espacio latente (cómo interfieren los vectores de clase). La correlación ($\bar{\rho}$) alcanza 0.89 para cuellos de botella ajustados ($m/k=0.2$) y disminuye a medida que el cuello de botella se relaja.
• Consistencia: Los patrones de interferencia son consistentes a través de las semillas aleatorias, reflejando la semántica de los datos (por ejemplo, clases semánticamente similares como 'gato' y 'perro' desarrollan representaciones no ortogonales) en lugar de ruido de optimización.
• Efectos de la Regularización: Incluso sin cuellos de botella explícitos, aumentar el decaimiento de peso reduce la dimensión efectiva de la red, aumentando la magnitud de la interferencia y la vulnerabilidad al ataque, lo que sugiere que la regularización estándar puede crear inadvertidamente vulnerabilidades adversarias.

Significado y Reivindicaciones

El artículo afirma que la vulnerabilidad adversaria puede ser un subproducto de la compresión de la representación de la red. Al empaquetar más características de las dimensiones disponibles, las redes introducen patrones de interferencia que los adversarios pueden explotar.

• Poder Predictivo: El marco ofrece predicciones contrastables: los ataques deberían alinearse con las perturbaciones óptimas derivadas de la geometría, y la transferibilidad debería ocurrir cuando los modelos comparten patrones de interferencia similares.
• Explicación Complementaria: Este mecanismo no reemplaza las explicaciones existentes (como las características no robustas o la curvatura del límite de decisión), sino que las complementa al proporcionar un relato a nivel de representación sobre por qué ciertas direcciones son sensibles.
• Implicaciones de Seguridad: Los hallazgos sugieren que la dimensionalidad de la representación y el grado de superposición son componentes críticos de la seguridad de los modelos. Las intervenciones que alteran la geometría de las características (por ejemplo, mediante la regularización o cambios arquitectónicos) podrían impactar significativamente la robustez.

Los autores mantienen la modestia, señalando que la superposición es suficiente pero no necesaria para la vulnerabilidad, y que los mecanismos precisos pueden variar según el ataque y el modelo. El trabajo se centra en características con etiquetas conocidas, siendo necesario el trabajo futuro para extender estos hallazgos a las capas intermedias mediante métodos de descubrimiento de características.