🤖 machine learning

Revisiting the Volume Hypothesis

Diese Arbeit löst den scheinbaren Widerspruch in der Volumenhypothese auf, indem sie zeigt, dass sich der Generalisierungsvorteil von gradientenbasiertem Lernen gegenüber dem Zufallssampling verringert, wenn die Größe des Trainingsdatensatzes zunimmt, was darauf hindeutet, dass die Hypothese primär in kleineren Datenregimen gilt.

Ursprüngliche Autoren: Ari Pakman, Lior Kreimer, Yakir Berchenko

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ari Pakman, Lior Kreimer, Yakir Berchenko

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Warum funktionieren superkomplexe KI-Modelle?

Stellen Sie sich vor, Sie versuchen, einen ganz bestimmten Schlüssel in einem riesigen, dunklen Lagerhaus zu finden, das mit Millionen von Schlüsseln gefüllt ist. Die meisten dieser Schlüssel passen überhaupt nicht in das Schloss. Aber moderne KI-Modelle sind wie ein magischer Schlüsselfinder, der – obwohl das Lagerhaus riesig und voller nutzloser Schlüssel ist – fast immer einen Schlüssel findet, der perfekt passt.

Das ist seltsam, denn diese KI-Modelle haben viel mehr „Knöpfe“ (Parameter), als sie eigentlich für die Lösung des Problems benötigen. Tatsächlich könnten sie die Trainingsdaten auch einfach auswendig lernen (wie das Auswendiglernen der Antworten auf eine spezifische Prüfung) und bei neuen Fragen völlig scheitern. Doch das tun sie normalerweise nicht. Sie generalisieren gut.

Lange Zeit glaubten Wissenschaftler, dass die Magie darin liegt, wie die KI lernt (ein Prozess namens „Stochastischer Gradientenabstieg“ oder SGD). Sie glaubten, der Lernalgorithmus sei ein intelligenter Wegweiser, der die KI von schlechten Schlüsseln weg und hin zu guten Schlüsseln steuert.

Die neue Theorie: Die „Volumen-Hypothese“

Eine neuere Idee, die „Volumen-Hypothese“ genannt wird, legt einen anderen Grund nahe. Sie besagt: „Vielleicht ist der Lernalgorithmus gar nicht so besonders. Vielleicht nehmen die ‚guten‘ Schlüssel einfach eine viel größere Fläche im Lagerhaus ein als die ‚schlechten‘ Schlüssel.“

Wenn der „gute“ Bereich riesig ist und der „schlechte“ Bereich winzig klein, dann würdest du selbst dann sehr wahrscheinlich einen guten Schlüssel treffen, wenn du einfach nur Dartpfeile gegen die Lagerhauswand wirfst (also zufällig Schlüssel auswählst), einfach weil es so viel Platz gibt, den man treffen kann.

Die Verwirrung: Zwei Experimente, zwei verschiedene Antworten

Kürzlich haben zwei verschiedene Gruppen von Wissenschaftlern diese Idee getestet und gegensätzliche Ergebnisse erhalten:

Die „Small Data“-Gruppe: Sie versuchten, gute Schlüssel durch bloßes Raten in einem Lagerhaus mit sehr wenigen Gegenständen (kleine Datensätze) zu finden. Sie fanden heraus, dass das zufällige Raten schrecklich war. Der „intelligente“ Lernalgorithmus war immer noch viel besser.
- Schlussfolgerung: Der Lernalgorithmus ist der Held; die „Volumen-Hypothese“ ist falsch.
Die „Big Data“-Gruppe: Sie betrachteten Lagerhäuser mit Millionen von Gegenständen (große Datensätze). Sie fanden heraus, dass der „gute“ Bereich tatsächlich massiv war. Zufälliges Raten landete tatsächlich recht oft auf guten Schlüsseln, fast so gut wie der intelligente Algorithmus.
- Schlussfolgerung: Die „Volumen-Hypothese“ ist richtig; der Lernalgorithmus leistet nicht viel Schwerstarbeit.

Die Lösung des Papers: Es kommt auf die Größe des Lagerhauses an

Die Autoren dieses Papers erkannten, dass die beiden Gruppen unterschiedliche Größen von Lagerhäusern untersuchten. Sie beschlossen, das „mittlere Feld“ zu testen – Lagerhäuser mittlerer Größe –, um zu sehen, was passiert, wenn man mehr Artikel hinzufügt.

Sie verwendeten ein spezielles statistisches Werkzeug (den sogenannten Wang-Landau-Algorithmus), um das „Volumen“ des Lagerhauses abzubilden. Anstatt nur Dartpfeile zu werfen, berechneten sie exakt, wie viel Platz die „guten“ Schlüssel und die „schlechten“ Schlüssel bei verschiedenen Datensatzgrößen einnahmen.

Das ist ihr Ergebnis:

In kleinen Lagerhäusern (kleine Datensätze): Die „guten“ Schlüssel sind in einer winzigen, schwer zu findenden Ecke versteckt. Die „schlechten“ Schlüssel sind überall.
- Ergebnis: Wenn Sie zufällig raten, werden Sie mit an Sicherheit grenzender Wahrscheinlichkeit einen schlechten Schlüssel wählen. Sie benötigen den intelligenten Lernalgorithmus (SGD), um Sie zu dem winzigen guten Punkt zu führen.
In großen Lagerhäusern (große Datensätze): Wenn Sie mehr Daten hinzufügen, dehnen sich die „guten“ Schlüssel aus. Die „schlechten“ Schlüssel schrumpfen. Der „gute“ Bereich wird zu einer riesigen, offensichtlichen Insel.
- Ergebnis: Jetzt, wenn Sie zufällig raten, ist die Wahrscheinlichkeit sehr hoch, dass Sie auf einen guten Schlüssel landen. Der Vorteil des intelligenten Lernalgorithmus schrumpft und verschwindet fast vollständig.

Das abschließende Fazit

Das Paper löst das Rätsel, indem es sagt: Beide Seiten hatten recht, aber sie haben unterschiedliche Stadien des Prozesses betrachtet.

Wenn Sie wenig Daten haben, ist das „intelligente Lernen“ das Wichtigste. Es wirkt wie eine Taschenlampe in der Dunkelheit, die die wenigen guten Lösungen findet, die existieren.
Wenn Sie viele Daten haben, erledigt die „Architektur“ (das Design der KI) die Schwerstarbeit. Die „guten“ Lösungen nehmen von Natur aus so viel Platz ein, dass selbst ein Zufallsrater sie finden kann.

Die Analogie der Nadel im Heuhaufen:

Kleine Daten: Eine Nadel in einem Heuhaufen durch reinen Zufall zu finden, ist unmöglich. Man braucht einen Magneten (den Lernalgorithmus).
Große Daten: Stellen Sie sich vor, der Heuhaufen wächst so sehr an, dass die Nadel zu einem riesigen Stahlträger wird. Jetzt brauchen Sie keinen Magneten mehr; Sie müssen nur in den Heuhaufen gehen, und Sie werden mit an Sicherheit grenzender Wahrscheinlichkeit auf den Träger stoßen.

Das Paper kommt zu dem Schluss, dass die „Volumen-Hypothese“ wahr ist, aber nur, wenn man genug Daten hat, damit die „guten“ Lösungen groß genug werden, um durch Zufall gefunden zu werden. Am Anfang ist der Lernalgorithmus der Held; am Ende macht die schiere Größe der Daten die Architektur zum Helden.

Technische Zusammenfassung: Überprüfung der Volumenhypothese

Problemstellung
Moderne tiefe neuronale Netze besitzen oft weit mehr Parameter, als zur Anpassung an Trainingsdaten notwendig wären, dennoch generalisieren sie beeindruckend auf ungesehene Daten. Während die vorherrschende Erklärung dies auf den impliziten Bias von Stochastic Gradient Descent (SGD) zurückführt, legt eine konkurrierende „Volumenhypothese“ nahe, dass innerhalb der Regionen mit geringem Trainingsverlust Becken, die zu starker Generalisierung führen, schlicht ein wesentlich größeres Volumen im Parameterraum einnehmen als Becken mit schlechter Generalisierung. Die jüngere Literatur präsentiert widersprüchliche Befunde hinsichtlich dieser Hypothese:

Peleg & Hein (2024) stellten fest, dass das zufällige Proben von Gewichten bis zum Erreichen eines Trainingsfehlers von Null (Guess-and-Check) im Vergleich zu SGD eine schlechte Generalisierung liefert, was darauf hindeutet, dass der Optimierungsbias dominant ist.
Yang et al. (2026) verwendeten Molekulardynamik, um Parameterdichten zu schätzen, und fanden, dass die Dichte bei niedrigem Trainingsverlust bei Generalisierungswerten gipfelt, die denen optimierter SGD-Verfahren ähnlich sind oder diese sogar übertreffen, was die Volumenhypothese stützt.

Die Autoren beobachten, dass diese Studien in unterschiedlichen Datenregimen operierten: Peleg & Hein verwendeten kleine Datensätze (bis zu 32 Stichproben), während Yang et al. große Datensätze verwendeten. Das zentrale Problem, das hier adressiert wird, ist, ob die Gültigkeit der Volumenhypothese von der Größe des Trainingsdatensatzes abhängt, was eine mögliche Versöhnung dieser divergierenden Ergebnisse ermöglichen könnte.

Methodik
Um die gemeinsame Zustandsdichte über die Trainingsgenauigkeit ( $A$ ) und die Testgenauigkeit ( $Q$ ) zu untersuchen, verwenden die Autoren den Replica Exchange Wang–Landau (REWL)-Algorithmus. Diese aus der statistischen Physik adaptierte Technik ermöglicht eine effiziente Abtastung des Parameterraums, um die Zustandsdichte $g(A, Q)$ zu schätzen, welche das Volumen der Netzwerkkonfigurationen darstellt, die spezifische Genauigkeitspaare aufweisen.

Setup: Die Experimente wurden an binären neuronalen Netzen (Gewichte $\in \{\pm 1\}$ ) über drei Architekturen (Base, Deeper, Wider) und zwei Datensätze (MNIST, Fashion-MNIST) durchgeführt.
Datenregime: Die Größen der Trainingsdatensätze ( $D$ ) wurden systematisch bei 30, 300 und 600 Stichproben variiert, um den Übergang von Low-Data- zu Intermediate/High-Data-Regimen zu untersuchen.
Algorithmus: Der Wang-Landau-Algorithmus führt einen Random Walk im Gewichtsraum durch, der durch $1/g(A, Q)$ umgewichtet wird, um ein flaches Histogramm der besuchten $(A, Q)$ -Zustände sicherzustellen. Der Modifikationsfaktor $f$ wird iterativ reduziert, bis die Konvergenz erreicht ist.
Vergleich: Der Peak der Dichtekurve für den Trainingsfehler von Null ( $A=D$ ), bezeichnet als $Q^* = \arg\max_Q g(A=D, Q)$ , repräsentiert die erwartete Generalisierung des Zufallssampelns. Dieser wird mit der Generalisierungsleistung des Standard-(stochastischen) Gradientenabstiegs verglichen.

Zentrale Beiträge

Versöhnung widersprüchlicher Ergebnisse: Die Arbeit schließt die Lücke zwischen vorangegangenen Studien, indem sie zeigt, dass die Beziehung zwischen Zufallssampeln und gradientenbasiertem Training stark datenabhängig ist.
Datenabhängiger Übergang: Die Autoren identifizieren ein Übergangsregime, in dem sich der Generalisierungsvorteil von SGD gegenüber dem Zufallssampeln verringert, wenn die Größe des Trainingsdatensatzes zunimmt.
Verfeinerte Volumenhypothese: Die Studie klärt, dass die „Volumenhypothese“ kein universelles, von der Optimierung unabhängiges Primitiv ist. Stattdessen treten Volumeneffekte (architektonischer Bias) hervor und konzentrieren sich, wenn die Datenbeschränkungen zunehmen, während der optimierungsbedingte Bias in Small-Data-Regimen dominiert.

Ergebnisse

Abnehmender SGD-Vorteil: Mit zunehmender Datensatzgröße von 30 auf 600 verringert sich die Lücke in der Generalisierungsgenauigkeit zwischen dem Zufallssampeln (zufälliges Finden einer Lösung mit Null-Trainingsfehler) und SGD signifikant. In kleinen Datenregimen (z. B. $D=30$ ) übertrifft SGD das Zufallssampeln deutlich. In größeren Regimen (z. B. $D=600$ ) nähert sich die typische zufällige interpolierende Lösung der Performance von SGD an.
Verschärfung der Dichtekurven: Über alle Architekturen und Datensätze hinweg verschärft sich die Krümmung der Generalisierungsgenauigkeitsdichte mit zunehmender Datensatzgröße. Dies deutet darauf hin, dass das Probendolumen gut generalisierender Lösungen mit zunehmender Beobachtung der Daten in einem engen Bereich der Testgenauigkeiten konzentriert wird.
Architektureffekte: Breitere Netze zeigten konsistent eine höhere Generalisierungsgenauigkeit beim Zufallssampeln. Die Effekte der Tiefe waren gemischt, was darauf hindeutet, dass diese architektonischen Details sekundär zur primären Abhängigkeit der Datengröße der Volumenhypothese sind.

Bedeutung und Behauptungen
Die Arbeit behauptet, eine vereinheitlichte Erklärung für die Rolle von Optimierung versus Architektur bei der Generalisierung in überparametrisierten Modellen zu liefern. Sie postuliert:

In Small-Data-Regimen sind interpolierende Lösungen abundant und heterogen; der implizite Bias von SGD ist essenziell, um zu den seltenen, hochperformanten Regionen des Parameterraums zu navigieren.
In Large-Data-Regimen konzentrieren die durch die Daten auferlegten Beschränkungen das Volumen der gültigen interpolierenden Lösungen in einem engen Band hoher Generalisierung. Infolgedessen wird eine „typische“ durch Zufallssampeln gefundene Lösung mit SGD konkurrenzfähig, und architektonische Volumeneffekte werden zum dominierenden Faktor.

Die Autoren kommen zu dem Schluss, dass architektonische und Optimierungsbiase komplementäre Mechanismen sind, deren relative Wichtigkeit sich mit der Datensatzgröße verschiebt. Sie betonen, dass ihre Ergebnisse spezifisch für binäre Gewichtungsnetzwerke und Architekturen moderater Skalierung sind, um fundamentale geometrische Effekte zu isolieren, statt moderne großskalige Trainings mit kontinuierlichen Gewichten direkt zu modellieren.