Manifold-Constrained Adversarial Training for Long-Tailed Robustness via Geometric Alignment

Resumen Técnico: Entrenamiento Adversarial Constrained en Variedad para Robustez de Cola Larga mediante Alineación Geométrica

1. Declaración del Problema

Las redes neuronales profundas, aunque exitosas en reconocimiento visual, siguen siendo vulnerables a perturbaciones adversarias. Si bien el entrenamiento adversarial (AT) es una defensa líder, su eficacia se degrada significativamente bajo distribuciones de clases de cola larga (donde las clases principales son abundantes y las clases de cola son escasas). En tales escenarios, el AT estándar sufre dos mecanismos de fallo acoplados:

1. Desalineación Geométrica: La optimización dominada por clases principales comprime el espacio de características, reduciendo los márgenes interclase para las clases de cola y creando fronteras de decisión frágiles e inestables.
2. Deriva Adversaria Fuera de la Variedad: Debido a la escasez de muestras de cola, la optimización adversaria sin restricciones explota regiones de baja densidad y sin soporte semántico del espacio de características. Esto provoca que los ejemplos adversarios se desvíen del soporte real de los datos, generando fronteras de decisión espurias y un colapso de los márgenes robustos para las clases de cola.

Los enfoques existentes abordan esto principalmente mediante reponderación de pérdidas, reequilibrio de márgenes o destilación de conocimiento. Sin embargo, a menudo fallan en regular explícitamente la geometría de las representaciones aprendidas o en garantizar la validez semántica de los ejemplos adversarios.

2. Metodología: Entrenamiento Adversarial Constrained en Variedad (MCAT)

Los autores proponen MCAT, un marco unificado que aborda tanto el desequilibrio geométrico como la validez semántica mediante dos mecanismos complementarios:

A. Restricciones de Variedad Semántica Condicionales a la Clase
Para evitar la deriva adversaria hacia regiones de baja densidad, MCAT restringe las perturbaciones para que permanezcan cerca de las variedades semánticas condicionales a la clase ($\mathcal{M}_y$) en el espacio de características.

• Implementación: En lugar de recuperar explícitamente las variedades, el método emplea generadores ligeros condicionales a la clase $\{G_y\}$ (MLP) entrenados para mapear códigos latentes al espacio de características de cada clase. Estos generadores se preentrenan con características limpias y se congelan durante el entrenamiento adversarial.
• Penalización: Se calcula una métrica de desviación fuera de la variedad $d_{\mathcal{M}_y}(u) = \min_z \|u - G_y(z)\|_2^2$ para una incrustación $u$. Esta penalización se resta de la pérdida durante el paso de maximización interna, guiando la búsqueda adversaria hacia regiones de alta densidad y semánticamente válidas.
• Optimización: La maximización interna se resuelve utilizando PGD Soportado por Variedad (MS-PGD), que proyecta las perturbaciones de vuelta al presupuesto $\ell_\infty$ mientras sesga la dirección de búsqueda mediante el gradiente de la variedad.

B. Regularización Geométrica Inspirada en ETF
Para contrarrestar la compresión de los márgenes de las clases de cola, MCAT impone una geometría equilibrada en los pesos del clasificador.

• Implementación: La matriz de pesos del clasificador $W$ se regulariza hacia una estructura de Marco Estricto Equiangular de Simplex (ETF). Esto se logra penalizando las desviaciones de la matriz de Gram $W^\top W$ de la forma $\alpha I + \beta \mathbf{1}\mathbf{1}^\top$.
• Efecto: Esto fomenta una separación angular uniforme entre todos los vectores de clase, maximizando el ángulo interclase mínimo ($\theta_{\min}$) y evitando que las clases principales dominen la geometría del espacio de características.

C. Objetivo Unificado
El objetivo de entrenamiento combina la pérdida robusta estándar, la penalización de variedad y la regularización geométrica:
$$\mathcal{R}_{\text{MCAT}}(\Theta) = \mathbb{E}_{(x,y)\sim\mathcal{D}} \left[ \max_{\|\delta\|_\infty \le \epsilon} \left( \ell(f_\Theta(x+\delta), y) - \lambda d_{\mathcal{M}_y}(\phi_\Theta(x+\delta)) \right) \right] + \beta \mathcal{R}_{\text{geom}}(\Theta)$$
donde $\lambda$ controla la consistencia semántica y $\beta$ controla el equilibrio geométrico.

3. Análisis Teórico

El artículo presenta dos resultados teóricos clave:

1. Separación Geométrica Implica Margen Robusto: Los autores demuestran que un ángulo interclase mínimo mayor ($\theta_{\min}$) implica directamente una cota inferior para el margen robusto certificable. Dado que la estructura ETF maximiza $\theta_{\min}$, proporciona una garantía demostrable de robustez, particularmente para las clases de cola cuyos márgenes están de otro modo comprimidos.
2. La Restricción de Variedad Controla el Riesgo Robusto: Los autores muestran que el objetivo de MCAT acota superiormente el riesgo robusto verdadero en regiones semánticas de alta densidad. La penalización de variedad suprime la deriva fuera de la variedad, asegurando que la robustez se aprenda dentro de regiones semánticamente válidas en lugar de artefactos de baja densidad.

4. Resultados Experimentales

Se realizaron experimentos en benchmarks estándar de cola larga (CIFAR-10-LT, CIFAR-100-LT, Tiny-ImageNet-LT) con diversos ratios de desequilibrio (IR).

• Robustez General: MCAT supera consistentemente a las líneas base de AT estándar (TRADES, MART, AWP) y a los métodos de robustez de cola larga más avanzados (RoBal, REAT, TAET, Auto-Distillation) en todos los conjuntos de datos y tipos de ataque (PGD-20, AutoAttack).
• Rendimiento de Cola y Equilibrado: Crucialmente, MCAT logra mejoras significativas en la robustez de clases de cola y en la robustez equilibrada (precisión promedio por clase) sin sacrificar la precisión limpia. Por ejemplo, en CIFAR-100-LT (IR=100), MCAT mejoró la robustez Tail-AA de ~16% (Auto-Distill) al 20.0%.
• Estudios de Ablación:
  • Añadir solo la restricción de variedad aumenta significativamente la robustez de cola al reducir la deriva fuera de la variedad.
  • Añadir solo la alineación geométrica mejora las métricas equilibradas al corregir el sesgo geométrico.
  • La combinación produce los mejores resultados, confirmando la necesidad de abordar ambos problemas.
• Verificación del Mecanismo: Los diagnósticos empíricos confirman que MCAT preserva ángulos interclase más grandes y reduce significativamente la deriva fuera de la variedad en comparación con las líneas base, alineándose con las predicciones teóricas.

5. Significado y Afirmaciones

El artículo afirma que lograr robustez adversarial bajo distribuciones de cola larga requiere un enfoque dual: corregir la geometría del espacio de decisión y garantizar la validez semántica de los ejemplos adversarios.

• Novedad: A diferencia de trabajos anteriores centrados en el diseño de pérdidas o heurísticas de optimización, MCAT regula explícitamente la geometría de la representación y restringe los ejemplos adversarios a variedades semánticas.
• Insight: Los autores identifican la "desalineación geométrica" y la "deriva adversaria fuera de la variedad" como las causas fundamentales del fallo de robustez en escenarios de cola larga.
• Impacto: Al integrar la regularización inspirada en ETF con restricciones de variedad, MCAT estabiliza las fronteras de decisión y mejora sustancialmente la fiabilidad y equidad de los modelos robustos para las clases de cola, abordando una brecha crítica en escenarios de implementación del mundo real donde el desequilibrio de datos es prevalente.