Revisiting the Volume Hypothesis

Résumé Technique : Reconsidérer l'Hypothèse du Volume

Énoncé du Problème
Les réseaux de neurones profonds modernes possèdent souvent bien plus de paramètres que nécessaire pour ajuster les données d'entraînement, pourtant ils généralisent de manière impressionnante à des données inédites. Bien que l'explication prédominante attribue cela au biais implicite de la descente de gradient stochastique (SGD), une hypothèse concurrente, dite du « volume », suggère que, dans les régions de faible perte d'entraînement, les bassins menant à une forte généralisation occupent simplement un volume bien plus important de l'espace des poids que les bassins à faible capacité de généralisation. La littérature récente présente des conclusions contradictoires concernant cette hypothèse :

• Peleg & Hein (2024) ont constaté que l'échantillonnage aléatoire de poids jusqu'à l'obtention d'une erreur d'entraînement nulle (Guess-and-Check) produit une faible généralisation par rapport à la SGD, suggérant que le biais d'optimisation est dominant.
• Yang et al. (2026) ont utilisé la dynamique moléculaire pour estimer les densités de paramètres, trouvant que pour une faible perte d'entraînement, la densité culmine à des valeurs de généralisation similaires ou supérieures à celles de la SGD optimisée, soutenant ainsi l'hypothèse du volume.

Les auteurs observent que ces études opéraient dans des régimes de données différents : Peleg & Hein utilisaient de petits ensembles de données (jusqu'à 32 échantillons), tandis que Yang et al. utilisaient de grands ensembles de données. Le problème central abordé est de savoir si la validité de l'hypothèse du volume dépend de la taille de l'ensemble de données d'entraînement, ce qui permettrait de réconcilier ces résultats divergents.

Méthodologie
Pour étudier la densité jointe des états sur la précision d'entraînement ($A$) et la précision de test ($Q$), les auteurs emploient l'algorithme Replica Exchange Wang–Landau (REWL). Cette technique, adaptée de la physique statistique, permet un échantillonnage efficace de l'espace des paramètres pour estimer la densité des états $g(A, Q)$, qui représente le volume des configurations de réseau produisant des paires de précision spécifiques.

• Configuration : Les expériences ont été menées sur des réseaux de neurones binaires (poids $\in \{\pm 1\}$) à travers trois architectures (Base, Deeper, Wider) et deux jeux de données (MNIST, Fashion-MNIST).
• Régimes de données : La taille des ensembles de données d'entraînement ($D$) a été variée systématiquement à 30, 300 et 600 échantillons pour explorer la transition du régime de faibles données vers le régime intermédiaire/élevé.
• Algorithme : L'algorithme Wang-Landau effectue une marche aléatoire dans l'espace des poids, repondérée par $1/g(A, Q)$ pour assurer un histogramme plat des états $(A, Q)$ visités. Le facteur de modification $f$ est réduit de manière itérative jusqu'à convergence.
• Comparaison : Le sommet de la courbe de densité pour une erreur d'entraînement nulle ($A=D$), noté $Q^* = \arg\max_Q g(A=D, Q)$, représente la généralisation attendue de l'échantillonnage aléatoire. Celle-ci est comparée aux performances de généralisation de la descente de gradient stochastique standard.

Contributions Clés

1. Réconciliation de Résultats Contradictoires : Le papier comble l'écart entre les études précédentes en démontrant que la relation entre l'échantillonnage aléatoire et l'entraînement basé sur le gradient est fortement dépendante de la taille des données.
2. Transition Dépendante des Données : Les auteurs identifient un régime de transition où l'avantage de généralisation de la SGD sur l'échantillonnage aléatoire diminue à mesure que la taille des données d'entraînement augmente.
3. Hypothèse du Volume Affinée : L'étude clarifie que l'« hypothèse du volume » n'est pas un primitif universel indépendant de l'optimisation. Au lieu de cela, les effets de volume (biais architectural) émergent et se concentrent à mesure que les contraintes de données augmentent, tandis que le biais induit par l'optimisation domine dans les régimes de faibles données.

Résultats

• Diminution de l'Avantage de la SGD : À mesure que la taille du jeu de données croît de 30 à 600, l'écart de précision de généralisation entre l'échantillonnage aléatoire (trouver aléatoirement une solution à erreur d'entraînement nulle) et la SGD se réduit considérablement. Dans les régimes de petites données (ex. $D=30$), la SGD surpasse nettement l'échantillonnage aléatoire. Dans les régimes plus larges (ex. $D=600$), la solution d'interpolation typique approche la performance de la SGD.
• Affinement des Courbes de Densité : À travers toutes les architectures et tous les jeux de données, la courbure de la densité de la précision de généralisation s'accentue avec l'augmentation de la taille du jeu de données. Cela indique que le volume de probabilité des solutions de bonne généralisation devient de plus en plus concentré autour d'une plage étroite de précisions de test à mesure que davantage de données sont observées.
• Effets d'Architecture : Les réseaux plus larges (Wider) ont montré systématiquement une précision de généralisation plus élevée lors de l'échantillonnage aléatoire. Les effets de la profondeur ont été mitigés, suggérant que ces détails architecturaux sont secondaires par rapport à la dépendance primaire de la taille des données vis-à-vis de l'hypothèse du volume.

Signification et Revendications
Le papier prétend fournir une explication unifiée du rôle de l'optimisation versus l'architecture dans la généralisation des modèles surparamétrés. Il postule que :

• Dans les régimes de petites données, les solutions d'interpolation sont abondantes mais hétérogènes ; le biais implicite de la SGD est essentiel pour naviguer vers les régions rares et performantes de l'espace des poids.
• Dans les régimes de grandes données, les contraintes imposées par les données concentrent le volume des solutions d'interpolation valides dans une bande étroite de haute généralisation. Par conséquent, la solution « typique » trouvée par l'échantillonnage aléatoire devient compétitive avec la SGD, et les effets de volume architecturaux deviennent le facteur dominant.

Les auteurs concluent que les biais architecturaux et d'optimisation sont des mécanismes complémentaires dont l'importance relative change selon la taille des données. Ils soulignent que leurs conclusions sont spécifiques aux réseaux à poids binaires et aux architectures de taille modérée, servant à isoler des effets géométriques fondamentaux plutôt qu'à modéliser directement l'entraînement moderne à grande échelle avec des poids continus.