GRAPE: Guided Parameter-Space Evolution for Compact Adversarial Robustness

Resumen Técnico: GRAPE (Evolución Guiada del Espacio de Parámetros)

Planteamiento del Problema
El Entrenamiento Adversario (AT) es el enfoque estándar para mejorar la robustez de las redes neuronales, pero típicamente opera bajo la suposición de que el espacio de parámetros optimizable permanece fijo durante todo el proceso de entrenamiento. Aunque las capacidades de modelo más grandes suelen correlacionarse con una mejora en la precisión robusta, investigaciones previas indican que la robustez no aumenta de forma monótona con el recuento de parámetros. Además, los métodos existentes suelen asumir que el número total estático de parámetros definido antes del entrenamiento determina por sí solo la capacidad robusta del modelo. Este artículo desafía la suposición implícita de que todo el espacio de parámetros debe ser expuesto desde el inicio del entrenamiento. Postula que el orden en el que el espacio de parámetros se expone y se expande durante el entrenamiento puede influir significativamente en la solución robusta final, incluso si la arquitectura de la red final permanece inalterada.

Metodología: GRAPE
Los autores proponen GRAPE (Guided Parameter-Space Evolution), un marco de entrenamiento diseñado para lograr una robustez adversaria compacta tratando el aprendizaje robusto como un proceso dinámico de exposición, estabilización y expansión del espacio de parámetros. GRAPE consta de dos componentes primarios:

1. Estabilización del Espacio de Parámetros: Tomando prestadas técnicas de suavizado local como AWP e ISEAT, este componente estabiliza el proceso de optimización local dentro del espacio de parámetros actual. Emplea un término de suavizado adaptativo a la instancia ($L_{stab}$) en el objetivo de entrenamiento para reducir los paisajes de pérdida abruptos, asegurando trayectorias de optimización robusta estables antes y después de la expansión de la capacidad.
2. Expansión Oculta Progresiva Guiada: A diferencia del AT de estructura fija, GRAPE libera progresivamente nuevas dimensiones optimizables durante el entrenamiento.
   • Mecanismo: El marco comienza con una capacidad oculta reducida (inicialmente 0.25× el ancho estándar) y expande bloques residuales específicos a lo largo del tiempo. Los nuevos canales ocultos se inicializan para producir una salida cercana a cero (mediante proyecciones de salida inicializadas en cero) para preservar la función del modelo inmediatamente después del crecimiento, asegurando una transición suave.
   • Estrategia de Guía: Para determinar dónde expandir la capacidad, GRAPE utiliza una Puntuación de Utilización Espectral Adversaria. Esta puntuación se calcula sobre las salidas post-atajo (post-shortcut) de los bloques residuales utilizando el rango efectivo (derivado de la entropía espectral de los valores singulares) de las representaciones adversarias. La puntuación ($u_l$) representa la dimensión efectiva adversaria soportada por unidad de capacidad oculta. Los bloques con puntuaciones más altas (que indican una mayor presión de capacidad) son seleccionados para la expansión.

El objetivo de entrenamiento evoluciona de un espacio de parámetros más pequeño $\Theta_0$ a uno más grande $\Theta_T$ ($\Theta_0 \subset \Theta_1 \subset \dots \subset \Theta_T$), guiado por la puntuación de utilización espectral para asignar nueva capacidad a los módulos de alta presión.

Contribuciones Clave

• Reconceptualización de la Capacidad Robusta: El artículo argumenta que la capacidad robusta de un modelo no debe explicarse únicamente por el recuento estático de parámetros, sino que debe considerar la exposición progresiva y la ruta de expansión del espacio de parámetros durante el entrenamiento.
• El Marco GRAPE: Un nuevo método de entrenamiento que combina la estabilización local del espacio de parámetros con la expansión oculta progresiva guiada, permitiendo que el modelo absorba nuevos grados de libertad gradualmente en lugar de buscar un espacio de alta dimensión completo desde el principio.
• Validación Empírica de la Ruta de Exposición: A través de una variante de "Crecimiento Secuencial Estabilizado" (que preserva la arquitectura final ResNet-18 pero hace crecer los bloques en un orden fijo), los autores demuestran que la ganancia en robustez no se debe únicamente a diferencias arquitectónicas, sino que está intrínsecamente ligada a la ruta de exposición del espacio de parámetros.
• Compacidad y Eficiencia: El método logra una mayor precisión robusta con menos parámetros bajo un presupuesto de computación igualado (FLOPs), lo que sugiere que la evolución guiada puede formar configuraciones de parámetros más compactas y robustas.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos CIFAR-10 bajo el modelo de amenaza estándar $\ell_\infty$ ($\epsilon = 8/255$) utilizando arquitecturas ResNet-18.

• Rendimiento: Comparado con el ResNet-18 de estructura fija AT (precisión base PGD-20: 51.70%), GRAPE logró un 56.94% de precisión robusta PGD-20. Esto representa una mejora relativa de aproximadamente el 10.1%.
• Eficiencia: Esta mejora se logró con un presupuesto de computación casi igualado (ratio de FLOPs de 1.009×) mientras se reducía el recuento de parámetros en aproximadamente un 21.4% (Ratio de Parámetros: 0.786×).
• Perspectivas de Ablación:
  • Stabilized Seq-Grow: Una variante que hace crecer los bloques secuencialmente (B1 a B8) sin guía de puntuación pero que preserva la arquitectura final de ResNet-18, logró un 56.52% de precisión. Esto confirma que la ruta de exposición progresiva por sí misma contribuye a la ganancia, independientemente de la forma de la arquitectura final.
  • Guía de Puntuación: GRAPE (con guía de puntuación) superó a la variante de crecimiento secuencial, indicando que la asignación de capacidad a los módulos de alta presión basada en la utilización espectral mejora aún más la eficiencia y la robustez.
  • Estabilización: Se demostró que la combinación de estabilización y crecimiento guiado (GRAPE) es superior al crecimiento guiado por sí solo (AT-Grow).

Significancia y Reivindicaciones
El artículo afirma que la capacidad robusta de los modelos entrenados adversariamente no es simplemente una función de la arquitectura estática final o del recuento total de parámetros. En cambio, está significativamente influenciada por cómo se organiza, expone y expande el espacio de parámetros durante el proceso de entrenamiento. Al imitar el principio de alto nivel de la plasticidad del desarrollo —donde las vías representacionales se forman y estabilizan progresivamente— GRAPE demuestra que se puede formar una configuración de espacio de parámetros más compacta y robusta bajo presupuestos de computación igualados. El trabajo sugiere que la "ruta de liberación de capacidad" es un factor crítico en la optimización adversaria, ofreciendo una nueva perspectiva más allá de simplemente ampliar la capacidad del modelo o modificar el objetivo adversario.

Los autores señalan limitaciones, incluyendo el enfoque en CIFAR-10 y ResNet-18, la necesidad de estudios sistemáticos de hiperparámetros y la falta de un análisis teórico profundo sobre cómo la evolución del espacio de parámetros altera la geometría de la optimización adversaria. Enfatizan que el objetivo no es la reducción de parámetros por sí misma, sino la formación de una configuración robusta más eficiente mediante la evolución dinámica.