Revisiting the Volume Hypothesis

Resumen Técnico: Revisitando la Hipótesis del Volumen

Planteamiento del Problema
Las redes neuronales profundas modernas suelen poseer muchos más parámetros de los necesarios para ajustar los datos de entrenamiento, pero generalizan de manera impresionante ante datos no vistos. Aunque la explicación predominante atribuye esto al sesgo implícito del Descenso de Gradiente Estocástico (SGD), una hipótesis competidora, la "hipótesis del volumen", sugiere que dentro de las regiones de bajo error de entrenamiento, las cuencas que conducen a una fuerte generalización ocupan simplemente un volumen mucho mayor en el espacio de pesos que las cuencas de mala generalización. La literatura reciente presenta hallazgos contradictorios respecto a esta hipótesis:

• Peleg & Hein (2024) encontraron que el muestreo aleatorio de pesos hasta lograr un error de entrenamiento de cero (Adivinar y Comprobar / Guess-and-Check) produce una generalización deficiente en comparación con el SGD, lo que sugiere que el sesgo de optimización es dominante.
• Yang et al. (2026) utilizaron la dinámica molecular para estimar las densidades de parámetros, encontrando que, para un bajo error de entrenamiento, la densidad alcanza sus picos en valores de generalización similares o incluso mejores que los de la optimización por SGD, apoyando así la hipótesis del volumen.

Los autores observan que estos estudios operaron en diferentes regímenes de datos: Peleg & Hein utilizaron conjuntos de datos pequeños (hasta 32 muestras), mientras que Yang et al. utilizaron conjuntos de datos grandes. El problema central abordado es si la validez de la hipótesis del volumen depende del tamaño del conjunto de datos de entrenamiento, lo que permitiría reconciliar estos resultados divergentes.

Metodología
Para investigar la densidad conjunta de estados sobre la precisión de entrenamiento ($A$) y la precisión de prueba ($Q$), los autores emplean el algoritmo Replica Exchange Wang–Landau (REWL). Esta técnica, adaptada de la física estadística, permite un muestreo eficiente del espacio de parámetros para estimar la densidad de estados $g(A, Q)$, que representa el volumen de configuraciones de red que producen pares de precisión específicos.

• Configuración: Los experimentos se realizaron en redes neuronales binarias (pesos $\in \{\pm 1\}$) a través de tres arquitecturas (Base, Más Profunda, Más Ancha) y dos conjuntos de datos (MNIST, Fashion-MNIST).
• Regímenes de Datos: El tamaño de los conjuntos de datos ($D$) se varió sistemáticamente a 30, 300 y 600 muestras para explorar la transición del régimen de pocos datos al régimen intermedio/alto.
• Algoritmo: El algoritmo Wang-Landau realiza un paseo aleatorio en el espacio de pesos, reponderado por $1/g(A, Q)$ para asegurar un histograma plano de los estados $(A, Q)$ visitados. El factor de modificación $f$ se reduce iterativamente hasta la convergencia.
• Comparación: El pico de la curva de densidad para error de entrenamiento cero ($A=D$), denotado como $Q^* = \arg\max_Q g(A=D, Q)$, representa la generalización esperada del muestreo aleatorio. Esto se compara con el rendimiento de generalización del descenso de gradiente estándar (estocástico).

Contribuciones Clave

1. Reconciliación de Resultados Contradictorios: El artículo cierra la brecha entre estudios previos al demostrar que la relación entre el muestreo aleatorio y el entrenamiento basado en gradiente depende fuertemente del tamaño de los datos.
2. Transición Dependiente de los Datos: Los autores identifican un régimen de transición donde la ventaja de generalización del SGD sobre el muestreo aleatorio disminuye a medida que aumenta el tamaño de los datos de entrenamiento.
3. Hipótesis del Volumen Refinada: El estudio aclara que la "hipótesis del volumen" no es un primitivo universal independiente de la optimización. En cambio, los efectos de volumen (sesgo arquitectónico) emergen y se concentran a medida que aumentan las restricciones de los datos, mientras que el sesgo inducido por la optimización domina en regímenes de pocos datos.

Resultados

• Disminución de la Ventaja del SGD: A medida que el tamaño del conjunto de datos crece de 30 a 600, la brecha en la precisión de generalización entre el muestreo aleatorio (encontrar aleatoriamente una solución de error de entrenamiento cero) y el SGD se estrecha significativamente. En regímenes de pocos datos (por ejemplo, $D=30$), el SGD supera significamente al muestreo aleatorio. En regímenes mayores (por ejemplo, $D=600$), la solución de interpolación típica se aproxima al rendimiento del SGD.
• Agudización de las Curvas de Densidad: En todas las arquitecturas y conjuntos de datos, la curvatura de la densidad de la precisión de generalización se agudiza con el aumento del tamaño del conjunto de datos. Esto indica que el volumen de probabilidad de las soluciones que generalizan bien se concentra cada vez más alrededor de un rango estrecho de precisiones de prueba a medida que se observan más datos.
• Efectos de la Arquitectura: Las redes más anchas mostraron consistentemente una mayor precisión de generalización en el muestreo aleatorio. Los efectos de la profundidad fueron mixtos, sugiriendo que estos detalles arquitectónicos son secundarios a la dependencia principal de los datos para la hipótesis del volumen.

Significancia y Afirmaciones
El artículo afirma proporcionar una explicación unificada para el papel de la optimización frente a la arquitectura en la generalización de modelos sobreparametrizados. Postula que:

• En regímenes de pocos datos, las soluciones de interpolación son abundantes pero heterogéneas; el sesgo implícito del SGD es esencial para navegar hacia las regiones de alto rendimiento, que son escasas en el espacio de pesos.
• En regímenes de muchos datos, las restricciones impuestas por los datos concentran el volumen de las soluciones de interpolación válidas en una banda estrecha de alta generalización. En consecuencia, la solución "típica" encontrada por el muestreo aleatorio es competitiva con el SGD, y los efectos de volumen arquitectónico se convierten en el factor dominante.

Los autores concluyen que los sesgos arquitectónico y de optimización son mecanismos complementarios cuya importancia relativa cambia con el tamaño de los datos. Enfatizan que sus hallazgos son específicos para redes de pesos binarios y arquitecturas de escala moderada, sirviendo para aislar efectos geométricos fundamentales en lugar de modelar directamente el entrenamiento moderno de gran escala con pesos continuos.