🤖 machine learning

Why Larger Models Learn More: Effects of Capacity, Interference, and Rare-Task Retention

Dieser Artikel argumentiert, dass größere Modelle bei seltenen und komplexen Aufgaben kleinere übertreffen, nicht weil ihnen die Kapazität fehlt, sie zu erlernen, sondern weil ihre erhöhte Größe die Gradienteninterferenz verringert und es ihnen ermöglicht, Merkmale für seltene Aufgaben zu bewahren, ohne sie beim Erlernen häufiger Aufgaben zu überschreiben.

Ursprüngliche Autoren: Jing Huang, Daniel Wurgaft, Rachit Bansal, Laura Ruis, Naomi Saphra, David Alvarez-Melis, Andrew Kyle Lampinen, Christopher Potts, Ekdeep Singh Lubana

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jing Huang, Daniel Wurgaft, Rachit Bansal, Laura Ruis, Naomi Saphra, David Alvarez-Melis, Andrew Kyle Lampinen, Christopher Potts, Ekdeep Singh Lubana

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage

Stellen Sie sich zwei Schüler vor: Kleiner (ein kleines KI-Modell) und Riese (ein riesiges KI-Modell). Sie geben beiden dasselbe Schulbuch (die Trainingsdaten) und sagen ihnen, sie sollen lernen, bis sie alles darin beherrschen.

Überraschenderweise scheitert Kleiner selbst nach ewigem Lernen immer noch daran, die seltenen, schwierigen Kapitel zu lernen, während Riese sie meistert. Warum? Ist es, weil Riese einfach intelligenter ist? Oder gibt es einen anderen Grund?

Dieses Paper argumentiert, dass es nicht um „Intelligenz" oder „Speicherkapazität" im herkömmlichen Sinne geht. Stattdessen geht es um Konkurrenz und Vergessen.

Die Kernanalogie: Der laute Klassenraum

Stellen Sie sich die Trainingsdaten als einen Klassenraum vor, in dem verschiedene Schüler (Aufgaben) mathematische Probleme herausschreien.

Häufige Aufgaben: Das sind Schüler, die sehr laut und sehr oft einfache, leichte Probleme (wie „1 + 1") herausschreien.
Seltene Aufgaben: Das sind Schüler, die komplexe, schwierige Probleme (wie fortgeschrittene Analysis) sehr leise und sehr selten flüstern.

1. Der Kampf des „Kleinen" Schülers (Die Engpass-Situation)

Kleiner hat einen sehr kleinen Schreibtisch und nur wenige Neuronen (mentale Fächer), mit denen er arbeiten kann.

Das Problem: Da die „Häufigen" Schüler so oft schreien, wird Kleiners Gehirn ständig von ihnen aktualisiert. Jedes Mal, wenn ein seltener Schüler ein komplexes Problem flüstert, versucht Kleiner, es aufzuschreiben.
Der Konflikt: Aber bevor Kleiner fertig ist, das seltene Problem aufzuschreiben, schreit ein „Häufiger" Schüler wieder. Dieser neue Schrei drückt die seltene Information vom Tisch.
Das Ergebnis: Kleiner steckt in einer Schleife aus „Lernen, Vergessen, Lernen, Vergessen" fest. Es bleibt ihm nie genug Zeit, das seltene, komplexe Wissen zu festigen, weil das häufige, einfache Rauschen es ständig überschreibt. Selbst wenn Kleiner eine Million Jahre lernt, kann er die seltenen Dinge nicht lernen, weil er ständig unterbrochen wird.

2. Der Vorteil des „Riesigen" Schülers (Reduzierte Interferenz)

Riese hat eine riesige Bibliothek und tausende mentale Fächer.

Die Strategie: Riese lernt die „Häufigen" Probleme so schnell und gründlich, dass sie automatisch werden. Sobald Riese „1 + 1" perfekt beherrscht, wird das Schreien der häufigen Schüler sehr schwach. Es ist wie Hintergrundrauschen, das Riese nicht mehr stört.
Der Nutzen: Da das häufige Rauschen so schwach ist, bleibt Riese viel ruhiger mentaler Platz übrig. Wenn ein seltener Schüler ein komplexes Problem flüstert, kann Riese es aufschreiben, sicher verwahren und auf das nächste Flüstern warten.
Die Anhäufung: Riese lernt das seltene Problem nicht nur einmal; er baut im Laufe der Zeit ein Gedächtnis dafür auf. Jedes Mal, wenn der seltene Schüler flüstert, fügt Riese ein wenig mehr zu seinem Verständnis hinzu, bis das komplexe Problem endlich gemeistert ist.

Die wichtigsten Erkenntnisse einfach erklärt

1. Es geht nicht nur um „mehr Daten"
Normalerweise denken wir, wenn ein kleines Modell nur länger lernt (mehr Daten), wird es schließlich aufholen. Dieses Paper sagt nein. Für die seltenen, komplexen Aufgaben gibt es eine harte Grenze. Egal wie viele Daten Kleiner sieht, er wird scheitern, weil sein „Schreibtisch" zu klein ist, um die seltenen Informationen zu halten, ohne dass sie vom häufigen Rauschen ausgelöscht werden. Riese erfolgreich, nicht weil er die Daten öfter sieht, sondern weil er die seltenen Daten festhalten kann, ohne sie zu verlieren.

2. Der „Interferenz"-Mechanismus
Das Paper nennt dies Gradienten-Interferenz. Stellen Sie sich das wie eine überfüllte Tanzfläche vor.

In einem kleinen Raum (Kleiner) sind die Tänzer für das populäre Lied (häufige Aufgaben) so zahlreich, dass sie gegen die Tänzer für das obskure Lied (seltene Aufgaben) stoßen und sie wegdrängen.
In einer riesigen Halle (Riese) gibt es viel Platz. Die populären Tänzer haben ihren eigenen Bereich, und die obskuren Tänzer haben ihren eigenen Bereich. Sie stoßen nicht gegeneinander. Die seltene Aufgabe kann stark werden, weil sie nicht physisch zur Seite gedrängt wird.

3. Auswendiglernen hilft beim Lernen
Das Paper schlägt eine überraschende Wendung vor: Auswendiglernen ist eigentlich gut.
Um ein seltenes, komplexes Muster zu lernen, muss das Modell zunächst die wenigen Beispiele, die es sieht, „auswendig lernen". Riese ist besser darin, diese spezifischen Erinnerungen lange genug festzuhalten, damit das Modell schließlich das Muster erkennt und es verallgemeinern kann. Kleiner vergisst die spezifischen Beispiele so schnell, dass er nie die Chance bekommt, das Muster zu erkennen.

Beweis aus der Praxis

Die Forscher haben nicht nur mathematische Theorien verwendet; sie testeten dies mit echten KI-Modellen (genannt OLMo), die von winzig (4 Millionen Parameter) bis riesig (4 Milliarden Parameter) reichten.

Sie fügten „falsche" seltene Aufgaben (wie bestimmte mathematische Rätsel) in die Trainingsdaten ein.
Ergebnis: Nur die riesigen Modelle lernten diese Rätsel. Die winzigen Modelle scheiterten, obwohl die Rätsel theoretisch erlernbar waren.
Warum? Die riesigen Modelle zeigten, dass sie die „Erinnerung" an die seltenen Rätsel intakt hielten, während die winzigen Modelle dieses Gedächtnis ständig durch häufigere Sprachdaten überschrieben.

Zusammenfassung

Größere Modelle lernen mehr, nicht weil sie magisch intelligenter sind, sondern weil sie genug Platz haben, damit seltene, schwierige Aufgaben das Rauschen der häufigen, leichten Aufgaben überleben. Kleine Modelle sind zu überfüllt; sie vergessen die harten Dinge ständig, weil die leichten Dinge sie ständig herausdrängen. Große Modelle haben Platz, um die harten Dinge sicher zu verwahren, bis sie sie wirklich lernen können.

Technische Zusammenfassung: Warum größere Modelle mehr lernen: Auswirkungen von Kapazität, Interferenz und Behaltensleistung bei seltenen Aufgaben

Problemstellung

Während empirische Belege nahelegen, dass größere Modelle Aufgaben, bei denen kleinere Modelle nur zufällige Treffer erzielen, besser bewältigen, bleibt der genaue Mechanismus, der dieses Phänomen antreibt, umstritten. Frühere Arbeiten schreiben dies oft „emergenten Fähigkeiten" oder einer überlegenen Stichprobeneffizienz zu. Dieser Artikel postuliert jedoch eine grundlegendere Einschränkung: Selbst unter asymptotischen Trainingsregimen (unendliche Daten) können kleinere Modelle bestimmte Teile einer Datenverteilung, die größere Modelle lernen können, nicht erlernen. Die Kernfrage ist, ob diese Lücke auf einen Mangel an repräsentativer Kapazität (Ausdrucksstärke) oder auf eine datenzentrierte Engpasssituation zurückzuführen ist, die aus Lernprozessen resultiert, insbesondere aus dem Wettbewerb um Ressourcen und Gradienteninterferenz.

Methodik

Die Autoren verfolgen einen vielschichtigen Ansatz, der phänomenologische Theorie, synthetische Toy-Experimente und eine Validierung durch groß angelegtes Pretraining kombiniert.

1. Phänomenologisches Argument

Der Artikel beginnt mit einer Analyse von Power-Law-Skalierungsgesetzen ( $L(N, D) = L_0 + A N^{-\alpha} + B D^{-\beta}$ ). Durch den Vergleich des rechenoptimalen Verlusts ( $L_C$ ) mit dem asymptotischen Verlust ( $L_\infty$ ) definieren die Autoren zwei Regime:

Lernbar durch Datenskalierung: Ein kleineres Modell kann den Verlust eines größeren Modells bei unendlichen Daten langfristig erreichen.
Lernbar durch Modellskalierung: Ein kleineres Modell erreicht den Verlust des größeren Modells selbst bei unendlichen Daten nicht. Die Autoren argumentieren, dass das letztere Regime in der Praxis existiert, was eine fundamentale Einschränkung kleinerer Modelle bezüglich spezifischer Datenverteilungen impliziert.

2. Synthetisches Toy-Setup (Multi-Task Lineare Regression)

Um Mechanismen zu isolieren, konstruieren die Autoren eine synthetische Multi-Task-Lernumgebung:

Daten: Eine Mischung aus $K$ linearen Regressionsaufgaben mit power-law-verteilten Häufigkeiten ( $\pi_k \propto k^{-\beta}$ ) und power-law-Aufgabenspektren (Komplexität).
Modell: Ein gemeinsamer Encoder mit Breite $N$ und aufgabenspezifische Decoder.
Analyse: Die Autoren leiten theoretische Schranken dafür ab, welche Merkmale basierend auf „Nützlichkeit" (Häufigkeit $\times$ spektrale Magnitude) gelernt werden. Sie beweisen, dass ein optimaler Encoder der Breite $N$ den top- $N$ -Eigenraum der gewichteten Kovarianzmatrix aufspannt.
Schlüsselmechanismus: Sie analysieren die Gradientendynamik, um zu zeigen, dass häufige Aufgaben die Gradienten-Updates dominieren. In kleineren Modellen überschreiben Updates für häufige Aufgaben die Merkmale seltener Aufgaben, bevor die nächste seltene Beobachtung eintrifft („Update-and-Forget"-Schleife). Größere Modelle verfügen aufgrund ihrer größeren Parameterzahl über weniger Interferenz, was es ihnen ermöglicht, Signale seltener Aufgaben zu behalten und zu akkumulieren.

3. Groß angelegte Validierung (OLMo Pretraining)

Um diese Behauptungen in einer realistischen Umgebung zu verifizieren, trainieren die Autoren OLMo-Modelle (von 4M bis 4B Parametern) auf dem Dolma v1.7-Korpus vor.

Aufgaben-Injektion: Sie injizieren neue, nicht-natürliche Aufgaben (Vergleich und Modulare Addition) mit kontrollierten, niedrigen Frequenzen.
Metriken: Sie bewerten das Verhaltensverhalten (Verlust/Genauigkeit), repräsentative Evidenz (Lokalisierung von Aufgabenmerkmalen mittels Distributed Alignment Search und Fourier-Analyse) und Gradientenevidenz (Messung der Interferenz zwischen Aufgaben- und Nicht-Aufgaben-Gradienten).

Hauptbeiträge und Ergebnisse

1. Skalierung ermöglicht das Lernen seltener und komplexer Aufgaben

Theoretische Analysen und synthetische Experimente zeigen, dass größere Modelle Aufgaben mit niedriger Frequenz oder hoher Komplexität (langsame spektrale Abnahme) lernen, die kleinere Modelle selbst asymptotisch nicht lernen können.

Ergebnis: In synthetischen Settings verbessert eine Erhöhung der Modellbreite die Leistung bei Aufgaben mit niedriger Frequenz bevorzugt, da sie es dem Modell ermöglicht, Merkmale mit geringerer Nützlichkeit zu behalten, die kleinere Modelle verwerfen müssen, um Merkmale mit hoher Nützlichkeit (häufige Aufgaben) unterzubringen.

2. Reduzierte Gradienteninterferenz und Behaltensleistung

Der Artikel identifiziert Gradienteninterferenz als den primären Engpass für kleinere Modelle.

Mechanismus: In kleinen Modellen sind die Gradienten-Updates von häufigen Aufgaben stark genug, um die schwachen Updates seltener Aufgaben zu überschreiben. Dies erzeugt eine „Update-and-Forget"-Dynamik, bei der Merkmale seltener Aufgaben niemals konsolidiert werden.
Ergebnis: Größere Modelle verfügen über ausreichende Kapazität, sodass die Gradienten-Updates für häufige Aufgaben schwach werden (niedrige Norm), sobald diese Merkmale gelernt sind. Dies lässt „Reservekapazität" übrig, um Merkmale seltener Aufgaben zu behalten.
Evidenz: Experimente mit abgestimmter Frequenz-Injektion (Variation des Abstands zwischen Beobachtungen seltener Aufgaben) zeigen, dass kleine Modelle Signale seltener Aufgaben zwischen den Injektionen schnell verlieren, während größere Modelle diese Signale behalten und akkumulieren, was schließlich zu erfolgreichem Lernen führt.

3. Empirische Validierung in realen LLMs

Die Erkenntnisse aus dem Toy-Setting gelten auch beim OLMo-Pretraining:

Verhalten: Nur größere OLMo-Modelle (1B und 4B) lernen die injizierten seltenen Aufgaben (Vergleich und Modulare Addition) bei niedrigen Frequenzen erfolgreich; kleinere Modelle (4M, 20M, 300M) scheitern an der Generalisierung.
Repräsentation: Größere Modelle kodieren mehr aufgabenrelevante Merkmale (z. B. globale Token-Reihenfolge für Vergleiche, Fourier-Moden für Addition) in ihren Repräsentationen.
Gradienten: Die Analyse der Gradienten-Kosinus-Ähnlichkeit zeigt, dass bei größeren Modellen die Gradientenrichtung für die injizierte Aufgabe weniger durch Nicht-Aufgaben-Gradienten (Sprachmodellierung) gestört wird. Bei kleineren Modellen kollidieren Nicht-Aufgaben-Gradienten häufig mit der Aufgaberichtung und verursachen Interferenz.

Bedeutung und Behauptungen

Der Artikel bietet eine datenzentrierte Erklärung dafür, warum größere Modelle mehr lernen, und verlagert den Fokus von statischer Modell-Ausdrucksstärke auf dynamische Lernprozesse.

Jenseits der Ausdrucksstärke: Die Autoren argumentieren, dass der Vorteil größerer Modelle nicht darin besteht, dass sie eine Aufgabe lediglich repräsentieren können (wie kleinere Modelle es theoretisch könnten), sondern dass sie sie aus einer gegebenen Datenmischung unter gradientenbasierter Optimierung lernen können.
Rolle des Auswendiglernens: Die Arbeit stellt „Auswendiglernen" nicht als Fehlermodus dar, sondern als notwendigen Mechanismus zum Lernen seltener Aufgaben. Durch das längere Behalten spezifischer Aufgabeninstanzen (aufgrund reduzierter Interferenz) können größere Modelle Signale über Batches hinweg akkumulieren, um schließlich abstrakte, generalisierbare Aufgabenstrukturen zu bilden. Dies stimmt mit Beobachtungen von „Grokking"-Phänomenen überein.
Praktische Implikationen: Die Ergebnisse deuten darauf hin, dass die bloße Vergrößerung der Modellgröße nicht der einzige Weg zu Fähigkeiten ist; das Verständnis des Zusammenspiels zwischen Datenfrequenz, Aufgabekomplexität und Modellkapazität ist entscheidend. Dies impliziert, dass Datenmischungen gezielt gestaltet werden könnten (z. B. durch Anpassung der Aufgabenhäufigkeit), um bestimmte Fähigkeiten effizienter zu erzielen als durch reine Skalierung der Parameter.

Die Autoren bleiben bescheiden und räumen ein, dass ihre Erklärung andere Theorien (wie Stichprobeneffizienz oder reine Ausdrucksstärke) ergänzt, nicht ersetzt, und dass ihre empirische Validierung, obwohl stark, einige analytische Lücken bezüglich extremer Skalierungsregime offen lässt.