Revisiting the Volume Hypothesis

Technische Samenvatting: Het heroverwegen van de Volumehypothese

Probleemstelling
Moderne diepe neurale netwerken bezitten vaak veel meer parameters dan nodig om de trainingsdata te fitten, maar generaliseren toch indrukwekkend goed naar ongeziene data. Terwijl de heersende verklaring dit toeschrijft aan de impliciete bias van Stochastic Gradient Descent (SGD), suggereert een concurrerende "volumehypothese" dat binnen regio's met een lage trainingsverlies, bassins die leiden tot sterke generalisatie simpelweg een veel groter volume in de gewichtsruimte innemen dan bassins met een slechte generalisatie. Recente literatuur presenteert tegenstrijdige bevindingen met betrekking tot deze hypothese:

• Peleg & Hein (2024) stelden vast dat het willekeurig bemonsteren van gewichten totdat een nul-trainingsfout wordt bereikt (Guess-and-Check) leidt tot slechte generalisatie vergeleken met SGD, wat suggereert dat optimalisatiebias dominant is.
• Yang et al. (2026) gebruikten moleculaire dynamica om parameterdichtheden te schatten, waarbij zij vonden dat de dichtheid voor een lage trainingsverlies piekt bij generalisatiewaarden die vergelijkbaar met of zelfs beter zijn dan die van geoptimaliseerde SGD, wat de volumehypothese ondersteunt.

De auteurs observeren dat deze studies in verschillende dataregimes opereerden: Peleg & Hein gebruikten kleine datasets (tot 32 monsters), terwijl Yang et al. grote datasets gebruikten. Het centrale probleem dat wordt aangepakt, is of de geldigheid van de volumehypothese afhankelijk is van de omvang van de trainingsdataset, wat potentieel de uiteenlopende resultaten kan verzoenen.

Methodologie
Om de gezamenlijke dichtheid van toestanden over trainingsnauwkeurigheid ($A$) en testnauwkeurigheid ($Q$) te onderzoeken, gebruiken de auteurs het Replica Exchange Wang–Landau (REWL) algoritme. Deze techniek, aangepast uit de statistische fysica, maakt efficiënte bemonstering van de parameterruimte mogelijk om de dichtheid van toestanden $g(A, Q)$ te schatten, die het volume van netwerkconfiguraties vertegenwoordigt die specifieke nauwkeurigheidsparen opleveren.

• Opzet: Experimenten werden uitgevoerd op binaire neurale netwerken (gewichten $\in \{\pm 1\}$) over drie architecturen (Base, Deeper, Wider) en twee datasets (MNIST, Fashion-MNIST).
• Dataregimes: De omvang van de trainingsset ($D$) werd systematisch gevarieerd bij 30, 300 en 600 monsters om de transitie van een lage-data naar een intermediair/hoog-data regime te verkennen.
• Algoritme: Het Wang-Landau algoritme voert een willekeurige wandeling uit in de gewichtsruimte, hergewogen door $1/g(A, Q)$ om een vlak histogram van bezochte $(A, Q)$-toestanden te garanderen. De modificatiefactor $f$ wordt iteratief verminderd tot convergentie.
• Vergelijking: Het piekpunt van de dichtheidscurve voor nul trainingsfout ($A=D$), aangeduid als $Q^* = \arg\max_Q g(A=D, Q)$, vertegenwoordigt de verwachte generalisatie van willekeurige bemonstering. Dit wordt vergeleken met de generalisatieprestaties van standaard (stochastische) gradiëntafdaling.

Belangrijkste Bijdragen

1. Verzoening van Tegenstrijdige Resultaten: Het artikel overbrugt de kloof tussen eerdere studies door aan te tonen dat de relatie tussen willekeurige bemonstering en gradiëntgebaseerde training sterk datagrootte-afhankelijk is.
2. Datagrootte-afhankelijke Transitie: De auteurs identificeren een transitie-regime waar het generalisatievoordeel van SGD ten opzichte van willekeurige bemonstering afneemt naarmate de omvang van de trainingsdata toeneemt.
3. Verfijnde Volumehypothese: De studie verduidelijkt dat de "volumehypothese" niet een universeel primitief is dat onafhankelijk is van optimalisatie. In plaats daarvan komen volume-effecten (architecturale bias) tevoorschijn en concentreren zij zich naarmate de dataconstricties toenemen, terwijl optimalisatie-geïnduceerde bias domineert in kleine-data regimes.

Resultaten

• Afnemend SGD-voordeel: Naarmate de datasetgrootte groeit van 30 naar 600, wordt de kloof in generalisatienauwkeurigheid tussen willekeurige bemonstering (het willekeurig vinden van een oplossing met nul trainingsfout) en SGD aanzienlijk kleiner. In kleine-data regimes (bijv. $D=30$) presteert SGD aanzienlijk beter dan willekeurige bemonstering. In grotere regimes (bijv. $D=600$) nadert de typische willekeurige interpolerende oplossing de prestaties van SGD.
• Verscherping van Dichtheidscurven: Over alle architecturen en datasets heen verscherpt de kromming van de generalisatienauwkeurigheidsdichtheid met toenemende datasetgrootte. Dit geeft aan dat het volumeprobleem van goed generaliserende oplossingen steeds meer geconcentreerd raakt rond een smalle band van testnauwkeurigheden naarmate er meer data wordt waargenomen.
• Architecturale Effecten: Bredere netwerken vertoonden consequent een hogere generalisatienauwkeurigheid bij willekeurige bemonstering. De effecten van diepte waren gemengd, wat suggereert dat deze architecturale details secundair zijn aan de primaire datagrootte-afhankelijkheid van de volumehypothese.

Betekenis en Claims
Het artikel claimt een verenigde verklaring te bieden voor de rol van optimalisatie versus architectuur in overgeparameteriseerde generalisatie. Het stelt dat:

• In kleine-data regimes, zijn interpolerende oplossingen overvloedig maar heterogeen; de impliciete bias van SGD is essentieel om naar de zeldzame, hoogpresterende regio's van de gewichtsruimte te navigeren.
• In grote-data regimes, concentreren de restricties opgelegd door de data het volume van geldige interpolerende oplossingen in een smalle band van hoge generalisatie. Bijgevolg wordt de "typische" oplossing gevonden door willekeurige bemonstering competitief met SGD, en worden architecturale volume-effecten de dominante factor.

De auteurs concluderen dat architecturale en optimalisatie-biases complementaire mechanismen zijn waarvan de relatieve belangrijkheid verschuift met de omvang van de dataset. Zij benadrukken dat hun bevindingen specifiek zijn voor netwerken met binaire gewichten en matenschalige architecturen, en dienen om fundamentele geometrische effecten te isoleren in plaats van moderne grootschalige continue-gewicht training direct te modelleren.