How Far Can Sharpness and Complexity Jointly Explain Generalization?

Resumen Técnico: ¿Hasta qué punto pueden la agudeza y la complejidad explicar conjuntamente la generalización?

Planteamiento del problema
Las redes neuronales profundas suelen lograr un fuerte rendimiento predictivo en regímenes altamente sobreparametrizados, lo que crea una brecha entre el éxito empírico y la comprensión teórica. Los límites clásicos basados en la capacidad no logran explicar por qué estas redes generalizan bien en datos estructurados mientras que se ajustan fácilmente a etiquetas aleatorias. Aunque la literatura reciente ha identificado la agudeza (sharpness, sensibilidad a las perturbaciones) y la complejidad (tamaño o contenido de información del modelo) como dos factores centrales en la generalización, su poder explicativo conjunto permanece en gran medida inexplorado. Las evaluaciones cuantitativas existentes han tratado mayoritariamente los factores de generalización como predictores escalares individuales, combinando a menudo la agudeza y la complejidad en un único escalar mediante formas funcionales prescritas. Este enfoque deja abierta la pregunta de cuánto puede explicar el par de factores $(S, C)$ sin comprometerse con una combinación específica, y si los fallos en la predicción se deben al marco de dos factores en sí mismo o a definiciones de métricas inadecuadas.

Metodología
Los autores emplean un análisis empírico y conceptual para investigar el alcance explicativo de la visión de agudeza-complejidad a través de diversas arquitecturas y conjuntos de datos.

1. Marcos de evaluación:

   • Regresión Lineal: Los autores ajustan un modelo lineal $Gap = \beta_0 + \beta_S S + \beta_C C + \epsilon$ para evaluar el poder predictivo de los pares de métricas. Informan el $R^2$ y los signos de los coeficientes.
   • Análisis de Pareto (Tasa de Contradicción de Pareto - PCR): Para evitar supuestos sobre la linealidad, los autores introducen una herramienta de evaluación no paramétrica. Comprueban si el orden inducido por las métricas $(S, C)$ concuerda con el orden de las brechas de generalización. Un "par candidato" consiste en dos modelos donde uno tiene tanto menor agudeza como menor complejidad. Un "par contradictorio" ocurre si el modelo con menor $(S, C)$ tiene una peor brecha de generalización. La PCR es la proporción de pares contradictorios respecto a los pares candidatos. Una PCR baja indica un fuerte acuerdo con la relación monotónica esperada por la visión de dos factores.

2. Definiciones de métricas:

   • Líneas base a nivel de parámetros: El estudio evalúa métricas de escala invariante existentes, específicamente SAM adaptativo (adapS) para la agudeza y Norma de Camino (Path Norm) para la complejidad. Estas se comparan contra líneas base no invariantes como la traza de la Hessiana y la norma $\ell_2$ de los pesos.
   • Métricas orientadas a la función: Para abordar la ambigüedad de la parametrización (don donde diferentes parámetros producen la misma función), los autores proponen métricas definidas más cerca del espacio de la función:
     • Agudeza Bayesiana (bayesS): Definida como el incremento normalizado del promedio posterior de la pérdida. Utiliza una posterior adaptativa $Q$ con covarianza proporcional a las magnitudes de los parámetros para asegurar la invarianza de escala, midiendo el cambio real de la pérdida inducido por los predictores muestreados en lugar de depender de aproximaciones de la Hessiana.
     • Divergencia KL Funcional (func norm): Una métrica de complejidad derivada de la teoría PAC-Bayes. Computa la divergencia KL entre las distribuciones a priori y a posteriori después de mapear las muestras de parámetros a sus salidas de función inducidas en un conjunto de datos de referencia. Esto mide la desviación en el comportamiento predictivo en lugar de los valores brutos de los parámetros.

3. Alcance experimental:
   La evaluación cubre arquitecturas equipadas con normalización (ResNet, VGG, WideResNet), variantes sin normalización (no-BN) y Vision Transformers (ViT). Crucialmente, el estudio incluye configuraciones "Mixtas" donde se agrupan modelos de diferentes arquitecturas y conjuntos de datos (CIFAR-10 y CIFAR-100) para probar la comparabilidad entre arquitecturas y conjuntos de datos.

Contribuciones clave

• Análisis del poder explicativo conjunto: El artículo proporciona la primera evaluación cuantitativa a gran escala de qué tan bien la agudeza y la complejidad conjuntamente explican la generalización, yendo más allá de las medidas de escalar único.
• Innovación metodológica: La introducción del Análisis de Pareto (PCR) como una herramienta complementaria a la regresión lineal permite la evaluación de la visión de dos factores sin asumir una forma funcional específica (lineal o de otro tipo) entre $(S, C)$ y la brecha de generalización.
• Métricas orientadas a la función: La propuesta de Agudeza Bayesiana y Divergencia KL Funcional ofrece realizaciones de agudeza y complejidad que son menos dependientes de las representaciones de parámetros brutos. Esto aborda el problema de la ambigüedad de la parametrización, particularmente en arquitecturas con conexiones de salto (skip connections) o capas de normalización.
• Perspectivas diagnósticas: El estudio distingue entre los fallos causados por definiciones de métricas inadecuadas y los posibles límites intrínsecos del marco de dos factores.

Resultados

• Limitaciones de las métricas a nivel de parámetros: Las líneas base de escala invariante existentes (por ejemplo, adapS + Path Norm) funcionan razonablemente bien en redes equipadas con normalización (ej. ResNet18, WideResNet), pero pierden significativamente su poder explicativo cuando se elimina la normalización (ej. no-BN ResNet18) o cuando se agrupan modelos de diferentes arquitecturas. En estos casos, el $R^2$ de la regresión cae, los coeficientes se vuelven negativos y la PCR aumenta (indicando contradicciones frecuentes).
• Éxito de las métricas orientadas a la función: El par orientado a la función propuesto $(bayesS, func\ norm)$ extiende significativamente el alcance explicativo.
  • Recupera un $R^2$ alto y una PCR baja en configuraciones sin normalización donde las métricas a nivel de parámetros fallan (ej. no-BN ResNet18: el $R^2$ mejora de 0.07 a 0.83; la PCR cae de 77.8% a 1.2%).
  • Mantiene el poder predictivo en configuraciones mixtas de diferentes arquitecturas y conjuntos de datos, sugiriendo que estas métricas proporcionan una base más estable para la comparación que las métricas a nivel de parámetros.
• Fallos restantes: Las métricas orientadas a la función no logran proporcionar una explicación completa para los Vision Transformers (ViT), particularmente en configuraciones estándar donde las pérdidas de prueba son extremadamente altas. En estos regímenes, la visión de dos factores produce una PCR alta y coeficientes negativos. Los autores sugieren que esto puede deberse a que las métricas no son totalmente de nivel de función (la agudeza Bayesiana aún depende de perturbaciones en el espacio de parámetros) o porque estos modelos operan fuera del régimen de generalización significativo donde los límites PAC-Bayes son laxos.
• Insuficiencia de factor único: El análisis de factor único confirma que ni la agudeza ni la complejidad por sí solas son suficientes para explicar la generalización, apoyando la necesidad de la visión de dos factores.

Significancia y afirmaciones
El artículo afirma que la perspectiva de agudeza-complejidad es un lente informativo para comprender la generalización en diversos entornos, pero no pretende ser una teoría completa.

• Refinamiento de la visión: Los resultados sugieren que muchos fallos aparentes de la visión de dos factores se deben a las limitaciones en las definiciones de las métricas (específicamente, la dependencia de las representaciones a nivel de parámetros) más que a defectos intrínsecos del marco mismo. Al avanzar hacia definiciones orientadas a la función, el alcance explicativo puede expandirse significativamente.
• Preguntas abiertas: Los fallos restantes (ej. en ViT) indican que las realizaciones actuales aún no son completas. Los autores postulan dos posibilidades: o bien se necesitan definiciones de agudeza y complejidad más completas y totalmente a nivel de función para extender el alcance, o bien el marco de dos factores es intrínsecamente incompleto y requiere factores adicionales más allá de $(S, C)$ para explicar plenamente la generalización.
• Utilidad práctica: Las métricas con fuerte poder explicativo pueden servir como herramientas diagnósticas para la comparación de modelos, la selección de hiperparámetros y el diseño de penalizaciones de regularización.

En resumen, el trabajo caracteriza cuantitativamente los límites del marco de agudeza-complejidad, demostrando que, si bien es una poderosa herramienta explicativa, su efectividad depende de cómo se realicen y midan estos factores.