Resumen Técnico: Arregla la Pérdida, No el Radio: Repensando la Perturbación Adversarial de la Minimización Consciente de la Agudeza

1. Declaración del Problema

Las Redes Neuronales Profundas (DNN) a menudo sufren de sobreparametrización y paisajes de pérdida no convexos, lo que conduce a numerosos óptimos locales con capacidades de generalización variables. La hipótesis predominante sugiere que los "mínimos planos" (regiones con baja curvatura) generalizan mejor que los "mínimos agudos". La Minimización Consciente de la Agudeza (SAM) se propuso para abordar esto minimizando la pérdida del peor caso dentro de un radio fijo en el espacio de parámetros $\rho$.

Sin embargo, los autores identifican una discrepancia a nivel de mecanismo fundamental en SAM y sus variantes:

• El Ideal: La planitud es inherentemente una propiedad de segundo orden, caracterizada por la curvatura local (Hessiana) del paisaje de pérdida.
• La Realidad: SAM construye su objetivo adversarial utilizando una aproximación lineal de primer orden. Dentro de un radio fijo $\rho$, la perturbación se alinea con la dirección del gradiente. En consecuencia, la señal de aprendizaje resultante está dominada por la norma del gradiente ($\rho \|\nabla L(w)\|$) en lugar de la curvatura.
• La Consecuencia: Dado que la norma del gradiente domina la señal, la efectividad de SAM se pospone en gran medida a las etapas tardías del entrenamiento, cuando los gradientes se vuelven naturalmente lo suficientemente pequeños como para que los términos de curvatura se vuelvan comparables. Esto crea una discrepancia entre el mecanismo de entrenamiento y el objetivo de encontrar mínimos planos durante todo el proceso de optimización.

2. Metodología: SAM Equivalente en Pérdida (LE-SAM)

Para resolver esta discrepancia, los autores proponen SAM Equivalente en Pérdida (LE-SAM), una reformulación a nivel de mecanismo que invierte el paradigma tradicional de SAM. En lugar de fijar el radio de perturbación en el espacio de parámetros, LE-SAM fija un presupuesto en el espacio de pérdida $\sigma$.

Mecanismo Central

Inspirado en el tamaño de paso de Polyak clásico, LE-SAM escalariza la variación de pérdida de primer orden.

1. Presupuesto Fijo: En lugar de fijar $\rho$, el algoritmo fija un aumento objetivo de pérdida $\sigma$ en el espacio de pérdida.
2. Cálculo Inverso del Radio: El radio de perturbación $\rho_t$ se calcula dinámicamente para asegurar que la variación de pérdida de primer orden coincida con el presupuesto $\sigma$:
   $$\rho_t = \frac{\sigma}{\|\nabla L(w)\|_2 + \varrho}$$
   donde $\varrho$ es una constante pequeña para la estabilidad numérica.
3. Pérdida Sustituta: Al sustituir este radio adaptativo nuevamente en la expansión de Taylor de la pérdida, el término de primer orden se convierte en un escalar constante $\sigma$:
   $$L(w + \epsilon_t) \approx L(w) + \underbrace{\sigma}_{\text{escalar constante}} + \frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$$
   Dado que $\nabla_w \sigma = 0$, la penalización por la norma del gradiente se elimina efectivamente de la señal de optimización. La señal de aprendizaje se desplaza completamente hacia el término de curvatura de segundo orden ($\frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$).

Estrategias de Estabilización

Para prevenir la inestabilidad cuando las normas de los gradientes son pequeñas (lo que podría conducir a un $\rho_t$ excesivamente grande), LE-SAM emplea dos salvaguardas:

• Recorte de Radio: Se impone un radio máximo $\rho_{max}$.
• Recocido del Presupuesto de Pérdida: El presupuesto $\sigma$ se recocina gradualmente a 0 durante las etapas finales del entrenamiento (por ejemplo, mediante decaimiento coseno) para asegurar una convergencia suave.

3. Contribuciones Clave

El artículo afirma las siguientes contribuciones:

1. Identificación de la Discrepancia de Objetivos: Los autores demuestran que la perturbación adversarial en SAM estándar se genera mediante un sustituto linealizado de primer orden bajo una restricción de radio fijo, lo que hace que la señal de aprendizaje esté dominada por la magnitud del gradiente en lugar de la curvatura de segundo orden requerida para los mínimos planos.
2. Proposición de LE-SAM: Una reformulación a nivel de mecanismo que fija el presupuesto de pérdida en lugar del radio. Esto escalariza la variación de primer orden, eliminando la dominancia de la norma del gradiente y desplazando la señal de optimización hacia términos dominados por la curvatura durante todo el proceso de entrenamiento.
3. Superioridad Empírica: Extensos experimentos muestran que LE-SAM supera consistentemente a SAM estándar y sus variantes (incluyendo ASAM, ESAM, F-SAM y Eigen-SAM) en diversos puntos de referencia, logrando un rendimiento de última generación (SOTA).

4. Resultados Experimentales

Los autores evaluaron LE-SAM en múltiples tareas y conjuntos de datos:

• Entrenamiento desde Cero:
  • CIFAR-10/100: Utilizando ResNet-18, WideResNet-28-10 y PyramidNet-110, LE-SAM logró la mayor precisión entre todas las variantes de SAM. En CIFAR-100, superó a SAM estándar por 1.34 a 1.49 puntos.
  • ImageNet: Entrenando ResNet-50 y ResNet-101 desde cero, LE-SAM superó a SAM por 0.71 y 0.77 puntos respectivamente.
• Aprendizaje por Transferencia: Ajuste fino de un ViT-B-16 preentrenado en CIFAR-10/100, LE-SAM superó consistentemente a SAM.
• Generalización de Dominio (SDG): En los conjuntos de datos PACS y VLCS, LE-SAM mejoró la precisión promedio en 2.18 y 0.84 puntos sobre SAM, respectivamente.
• Robustez: Bajo ataques adversariales PGD $L_2$ y $L_\infty$, LE-SAM demostró una mayor robustez, superando a SAM en hasta 2.47 puntos.
• Aprendizaje de Cola Larga: En CIFAR-100-LT, combinar LE-SAM con el método SOTA GLMC produjo mejoras adicionales sobre GLMC+SAM.

Análisis del Mecanismo

• Métricas de Planitud: El análisis de la traza de la Hessiana y del valor propio superior confirmó que LE-SAM converge a mínimos más planos (menor traza de Hessiana y valor propio máximo) en comparación con SAM y SGD.
• Dinámica de Entrenamiento: A diferencia de SAM, que muestra ganancias significativas solo en la etapa tardía del entrenamiento, LE-SAM demostró brechas de rendimiento sustanciales durante todo el proceso de entrenamiento, validando que la señal de curvatura está activa desde el principio.
• Costo Computacional: LE-SAM mantiene la misma complejidad asintótica que SAM (dos pasadas hacia adelante-hacia atrás por iteración) con una sobrecarga insignificante para calcular el radio dinámico.

5. Significado y Afirmaciones

El artículo argumenta que la limitación principal de los métodos existentes de Minimización Consciente de la Agudeza es su dependencia de una aproximación de primer orden con radio fijo, lo que prioriza inadvertidamente la magnitud del gradiente sobre la curvatura. Al "arreglar la pérdida, no el radio", LE-SAM repiensa fundamentalmente el mecanismo de perturbación adversarial.

Los autores afirman que este enfoque proporciona una visión unificada del aprendizaje consciente de la agudeza que es intrínsecamente consciente de la curvatura. Al desacoplar el tamaño de la perturbación de la norma del gradiente, LE-SAM ofrece un camino más directo y robusto hacia regiones planas, resultando en un rendimiento de generalización superior en diversas arquitecturas, conjuntos de datos y escenarios de entrenamiento (incluyendo aprendizaje por transferencia y generalización de dominio) sin incurrir en una sobrecarga computacional significativa.