Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization

Resumen Técnico: Explicación de la Regularización Basada en la Divergencia-$f$ mediante la Curvatura Local y la Minimización Consciente de la Agudeza (SAM)

Planteamiento del Problema
En el contexto de los agentes de aprendizaje continuo (lifelong learning) y el aprendizaje profundo general, lograr una generalización robusta requiere controlar el sobreajuste y la sensibilidad local. Dos enfoques prominentes para esto son la regularización basada en divergencias (que penaliza las discrepancias entre las distribuciones predictivas en entradas originales y perturbadas) y la Minimización Consciente de la Agudeza (SAM, por sus siglas en inglés), que busca parámetros con paisajes de pérdida planos. Aunque ambos métodos están motivados por la robustez ante perturbaciones, su relación teórica permanece ampliamente inexplorada. Específicamente, no está claro si la geometría local inducida por un regularizador de divergencia puede relacionarse formalmente con la estructura del Hessiano que SAM controla implícitamente.

Metodología
El artículo establece un marco teórico unificado mediante el análisis de la geometría local de segundo orden de la regularización de la divergencia-$f$. Los autores proceden a través de los siguientes pasos:

1. Expansión Cuadrática Local: Derivan una expansión de Taylor de segundo orden para las divergencias-$f$ cuando la distribución predictiva $P$ del modelo y una distribución perturbada $Q$ están cerca. Demuestran que, en este régimen local, cualquier divergencia-$f$ se reduce a una penalización cuadrática escalada por $\phi''(1)/2$.
2. Interpretación Geométrica:
   • Espacio de Parámetros: Cuando las perturbaciones ocurren en el espacio de parámetros ($\theta \to \theta + \delta$), el regularizador induce una penalización proporcional a $\delta^\top F_x(\theta) \delta$, donde $F_x(\theta)$ es la matriz de información de Fisher.
   • Espacio de Entrada: Cuando las perturbaciones ocurren en el espacio de entrada ($x \to T(x)$), el regularizador induce una forma cuadrática de "retroceso" (pullback) que involucra el gradiente de la densidad con respecto a la entrada.
3. Conexión con SAM: Los autores comparan esta penalización inducida por la divergencia con SAM. Se demuestra que SAM aproxima localmente una penalización de curvatura espectral proporcional al autovalor dominante del Hessiano ($\lambda_{\max}(H)$). El artículo demuestra que, para objetivos de log-verosimilitud negativa con distribuciones de familia exponencial (por ejemplo, entropía cruzada con softmax), la matriz de Fisher coincide con la matriz de Gauss-Newton Generalizada (GGN), la cual captura la componente semidefinida positiva del Hessiano. Por lo tanto, la regularización basada en la divergencia y SAM se vuelven localmente comparables a través de una geometría de curvatura compartida.
4. Banco de Pruebas Empíricas Controlado: Para validar estas afirmaciones teóricas, los autores utilizan la familia de la divergencia de Jensen-Shannon (JSD) asimétrica con sesgo $\alpha$. El coeficiente de curvatura local para esta familia escala como $\alpha(1-\alpha)$, alcanzando su máximo en el punto simétrico $\alpha = 1/2$. Esto permite un experimento controlado donde se puede variar la fuerza de la penalización de la curvatura sin alterar la estructura fundamental del regularizador.

Contribuciones Clave

• Expansión Local Unificada: El artículo deriva una expansión local de segundo orden para la regularización de la divergencia-$f$, demostrando que induce penalizaciones sensibles a la curvatura determinadas por la geometría de Fisher en el espacio de parámetros y una métrica de retroceso en el espacio de entrada.
• Vínculo Formal con SAM: Establece que, bajo supuestos probabilísticos estándar (específicamente NLL con familias exponenciales), la geometría inducida por la regularización de la divergencia es localmente comparable a las interpretaciones de segundo orden de SAM a través de la relación Fisher/GGN/Hessiano.
• Marco de Perturbación General: El análisis se extiende a las perturbaciones en el espacio de entrada, mostrando que la regularización basada en la divergencia ofrece un marco de perturbación más general que el SAM estándar (que suele definirse mediante perturbaciones de parámetros) manteniendo al mismo tiempo la misma interpretación de sensibilidad local.
• Derivación del Coeficiente de Curvatura: Para la familia JSD con sesgo $\alpha$ asimétrico, los autores derivan explícitamente que el coeficiente de curvatura local es proporcional a $\alpha(1-\alpha)$, identificando el caso simétrico ($\alpha=1/2$) como el régimen de máxima penalización de la curvatura.

Resultados
La validación empírica se realizó en cuatro conjuntos de datos de referencia (CIFAR-10, Fashion-MNIST, EMNIST y Oxford-IIIT Pet) utilizando un modelo EfficientNet-B2 con perturbaciones en el espacio de entrada (enmascaramiento aleatorio).

• Tendencias de Rendimiento: En todos los conjuntos de datos, el rendimiento del modelo (medido por precisión y log-verosimilitud negativa) fue consistentemente mejor cerca del régimen simétrico $\alpha = 1/2$. Esto concuerda con la predicción teórica de que la penalización de la curvatura local más fuerte (maximizada en $\alpha=1/2$) produce una mejor generalización.
• Visualización del Paisaje de Pérdida: Las visualizaciones del paisaje de pérdida en CIFAR-10 utilizando ResNet-18 revelaron que los modelos entrenados con la regularización de la divergencia convergen a mínimos locales más planos en comparación con el baseline. Además, el modelo entrenado con la configuración simétrica ($\alpha=0.5$) exhibió la cuenca más plana, lo que corresponde a la mayor penalización de la curvatura, mientras que la configuración asimétrica ($\alpha=0.9$) mostró una planitud intermedia.
• Métricas Estadísticas: El análisis cuantitativo de las estadísticas del paisaje de pérdida (pérdida promedio, traza del cuadrado del Hessiano y autovalor máximo) confirmó que la configuración simétrica $\alpha=0.5$ resultó en la pérdida promedio más baja y en métricas de curvatura reducidas en comparación tanto con el baseline como con las configuraciones altamente asimétricas.

Significancia y Reivindicaciones
El artículo afirma aclarar la relación entre la regularización basada en la divergencia y la minimización consciente de la agudeza desde una perspectiva geométrica local. Postula que, si bien los dos métodos no son objetivos idénticos, se alinean localmente a través de una geometría de curvatura común cuando se cumplen supuestos probabilísticos específicos.

Los autores enmarcan su contribución principalmente como analítica. Aclaran cuándo la regularización de la divergencia, la geometría de Fisher y los objetivos de agudeza se vuelven localmente comparables. El estudio empírico se centra en validar la perspectiva de la curvatura local dentro del contexto específico de la familia JSD con sesgo $\alpha$ y las perturbaciones de entrada, en lugar de reclamar una equivalencia experimental directa con SAM en todos los entornos. El trabajo sugiere que la fuerza de la curvatura local inducida es un factor significativo en la efectividad de la regularización basada en la divergencia, siendo el régimen simétrico el que ofrece un rendimiento óptimo en los escenarios probados.