Sharpness-Aware Minimization with Z-Score Gradient Filtering

Aquí presento un resumen técnico detallado del artículo "Sharpness-Aware Minimization with Z-Score Gradient Filtering" (Minimización Consciente de la Agudeza con Filtrado de Gradientes por Puntuación Z), propuesto por Vincent-Daniel Yun.

1. Planteamiento del Problema

Las redes neuronales profundas (DNN) a menudo sufren de problemas de generalización, lo que se atribuye frecuentemente a la convergencia hacia mínimos agudos (sharp minima). Estos son regiones del paisaje de pérdida con alta curvatura, donde pequeñas perturbaciones en los parámetros provocan grandes aumentos en la pérdida.

La Minimización Consciente de la Agudeza (SAM) es una técnica popular que aborda esto perturbando los parámetros en la dirección del gradiente para minimizar la pérdida en el peor caso dentro de una bola $\ell_2$. Sin embargo, el artículo identifica una deficiencia crítica en SAM estándar:

• Ruido en el Gradiente: SAM utiliza el vector de gradiente completo para calcular la dirección de ascenso. Esto incluye componentes de pequeña magnitud que a menudo reflejan ruido de los mini-lotes (minibatch noise) en lugar de información de curvatura real.
• Distorsión de la Perturbación: Dado que el gradiente se normaliza antes de la perturbación, incluso coordenadas ruidosas y pequeñas influyen tanto como las grandes e informativas. Esto distorsiona la dirección de ascenso, desalineándola de las direcciones de curvatura aguda reales y amplificando la estocasticidad en espacios de parámetros de alta dimensión.

2. Metodología: ZSharp

El autor propone ZSharp (Z-Score Filtered Sharpness-Aware Minimization), un método que mejora SAM aplicando un filtrado estadístico basado en la puntuación Z (Z-score) a los gradientes antes de la etapa de ascenso.

Proceso Técnico:

1. Normalización Z por Capa:
   Para cada capa $\ell$ de la red, se calcula la media ($\mu$) y la desviación estándar ($\sigma$) de los componentes del gradiente $g^{(\ell)}$. Se normaliza cada componente $i$ de la siguiente manera:
   $$\Omega(g^{(\ell)})_i = \frac{g^{(\ell)}_i - \mu(g^{(\ell)})}{\sigma(g^{(\ell)})}$$
   Esto estandariza los gradientes independientemente en cada capa, resaltando los componentes que se desvían más significativamente de la media de esa capa.

2. Enmascaramiento Selectivo (Filtrado):
   Se define un umbral de percentil $Q_p$ (por ejemplo, $Q_p = 0.95$). Se construye una máscara binaria $m$ que retiene solo los componentes cuyo valor absoluto de puntuación Z supera el percentil $Q_p$.

   • Si $|\Omega(\nabla L(w))_j| > q_{Q_p}$, se mantiene el componente ($m_j=1$).
   • En caso contrario, se descarta ($m_j=0$).
   • Esto significa que se conservan solo el $(1 - Q_p)\%$ de los componentes con mayor magnitud estadística (ej. el 5% superior).

3. Paso de Ascenso Modificado:
   En lugar de usar el gradiente completo $\nabla L(w)$ para calcular la perturbación $\epsilon$, ZSharp utiliza el gradiente filtrado $\nabla L(w) \odot m$.
   $$\epsilon = \rho \cdot \frac{\nabla L(w)_{\Omega}}{\|\nabla L(w)_{\Omega}\|_2 + \delta}$$
   Donde $\rho$ es el radio de perturbación. Si el gradiente filtrado es cero, se recurre al gradiente original.

4. Actualización de Pesos:
   Los pasos de minimización y actualización de pesos (usando optimizadores base como AdamW o SGD) permanecen idénticos a SAM estándar.

3. Contribuciones Clave

• Método ZSharp: Introducción de un enfoque que filtra selectivamente los gradientes basándose en su significancia estadística (Z-score) antes de la perturbación de SAM.
• Simplicidad y Compatibilidad: El método requiere un solo hiperparámetro adicional ($Q_p$, el percentil de corte) y no requiere cambios arquitectónicos. Es compatible con cualquier optimizador base y arquitectura (CNNs, Transformers).
• Análisis Teórico: Se demuestra que ZSharp mantiene las garantías de convergencia de SAM estándar bajo suposiciones de suavidad $\beta$ y varianza acotada. El filtrado no impide la convergencia a puntos estacionarios.
• Reducción de Ruido: Al eliminar los componentes de gradiente pequeños y ruidosos, el método enfoca la búsqueda de mínimos planos en direcciones de curvatura verdaderamente significativas.

4. Resultados Experimentales

El método fue evaluado en tres conjuntos de datos (CIFAR-10, CIFAR-100, Tiny-ImageNet) utilizando diversas arquitecturas: ResNet-56/110, VGG-16/BN y Vision Transformers (ViT).

• Rendimiento General: ZSharp superó consistentemente a SAM estándar, ASAM (Adaptive SAM) y Friendly-SAM en términos de precisión de prueba (Top-1 Test Accuracy).
  • Ejemplo: En ResNet-56 en CIFAR-10, ZSharp alcanzó 92.64% frente al 91.60% de SAM y 91.08% de AdamW (baseline).
  • Ejemplo: En ViT-7/8/8-384 en CIFAR-10, ZSharp obtuvo 85.43%, superando a SAM (84.32%) y Friendly-SAM (84.76%).
• Generalización vs. Pérdida de Entrenamiento: Se observó que ZSharp a menudo presenta una pérdida de entrenamiento (train loss) ligeramente más alta que otros métodos, pero una precisión de prueba superior. Esto confirma la hipótesis de que el método evita el sobreajuste al converger hacia mínimos más planos y generalizables.
• Afinamiento de Hiperparámetros: Se analizó el hiperparámetro $Q_p$. Se encontró que un valor de $Q_p = 0.95$ (retener solo el 5% superior de los gradientes) ofreció el mejor equilibrio entre filtrado de ruido y retención de información, superando a valores más bajos (como 0.75 o 0.80) que se acercaban más al comportamiento de SAM estándar.

5. Significado e Impacto

El trabajo de ZSharp es significativo porque aborda un problema fundamental en la optimización de redes profundas: la sensibilidad al ruido en gradientes de alta dimensión.

• Eficiencia en la Búsqueda: Al ignorar las direcciones de gradiente "débiles" o ruidosas, el optimizador no desperdicia pasos de ascenso en direcciones que no contribuyen significativamente a la curvatura del paisaje de pérdida.
• Robustez en Arquitecturas Modernas: El método demuestra ser particularmente efectivo en arquitecturas complejas como los Vision Transformers (ViT), donde la dinámica de los gradientes puede ser más ruidosa y difícil de gestionar que en las CNN tradicionales.
• Bajo Costo de Implementación: Dado que no requiere modificar la arquitectura de la red ni añadir capas complejas, ZSharp ofrece una solución práctica y de bajo costo computacional para mejorar la generalización en el entrenamiento de modelos de aprendizaje profundo.

En conclusión, ZSharp demuestra que una selección estadística inteligente de los componentes del gradiente puede refinar la búsqueda de mínimos planos, logrando una generalización superior sin sacrificar la convergencia teórica ni la facilidad de uso.