🤖 machine learning

Slower Generalization, Faster Memorization: A Sweet Spot in Algorithmic Learning

Diese Arbeit zeigt, dass es bei strukturierten Ausgabetasks wie der Generierung von Needleman-Wunsch-Matrizen eine mittlere Datensatzgröße gibt, die die Validierungskonvergenzgeschwindigkeit optimiert, und eine Divergenz aufdeckt, bei der größere Datensätze das Training der Memorierung beschleunigen, aber paradoxerweise die Generalisierung im Vergleich zu einer „Sweet-Spot"-Größe verlangsamen.

Ursprüngliche Autoren: Shin So, Kyelim Lee, Albert No

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shin So, Kyelim Lee, Albert No

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Mehr Daten sind nicht immer schneller

Normalerweise betrachten wir Daten wie Kraftstoff für ein Auto. Je mehr Kraftstoff (Daten) Sie haben, desto schneller und weiter kann das Auto (das KI-Modell) fahren. In der Welt der KI lautet die Standardregel: größere Datensätze = besseres und schnelleres Lernen.

Dieses Papier entdeckte jedoch eine überraschende Ausnahme. Beim Unterrichten einer KI in einer bestimmten Art komplexes Rätsel namens „Needleman-Wunsch-Matrix-Generierung" stellten die Forscher fest, dass mittlere Datensätze die KI tatsächlich schneller lernen ließen als riesige Datensätze.

Sie nennen dies den „Sweet Spot" (optimalen Bereich). Es ist wie das Finden der perfekten Menge an Zutaten für einen Kuchen: Zu wenig, und er geht nicht auf; zu viel, und es wird ein Chaos. Nur die richtige Menge macht ihn perfekt.

Die zwei Aufgaben: Multiplikation versus das Matrix-Rätsel

Um zu beweisen, dass dies kein Zufallsfehler war, verglichen die Forscher zwei Aufgaben:

Dreistellige Multiplikation: Dies ist wie das Unterrichten eines Schülers, Zahlen zu multiplizieren (z. B. $123 \times 456$ $123 \times 456$ ).
- Ergebnis: Wie erwartet half es dem Schüler, mehr Übungsaufgaben (mehr Daten) zu erhalten, um schneller zu lernen oder blieb gleich. Es verlangsamte ihn nie.
Needleman-Wunsch (NW) Matrix-Generierung: Dies ist eine komplexere Aufgabe. Stellen Sie sich vor, Sie geben der KI zwei kurze Sätze und bitten sie, ein riesiges, detailliertes Gitter (eine Matrix) auszufüllen, das zeigt, wie die Sätze Schritt für Schritt übereinstimmen. Jede Zelle im Gitter hängt von den benachbarten Zellen ab.
- Ergebnis: Hier trat die Überraschung auf.
  - Kleine Daten: Die KI konnte das Muster überhaupt nicht erkennen. Sie riet einfach.
  - Mittlere Daten (Der Sweet Spot): Die KI erkannte die „Regel" schnell und füllte das Gitter in der geringsten Anzahl von Versuchen perfekt aus.
  - Riesige Daten: Die KI konnte die Regel zwar noch lernen, aber es dauerte viel länger, um perfekte Ergebnisse zu erzielen. Sie steckte fest und versuchte, winzige, unnötige Details auswendig zu lernen.

Die „Zwei-Druck"-Erklärung

Warum verlangsamte der riesige Datensatz die KI? Die Autoren schlagen vor, dass die KI zwei verschiedenen Drücken ausgesetzt ist, wie ein Schüler, der eine Prüfung bestehen muss:

Druck A: Die Regel lernen (Der „Aha!"-Moment)
Die KI muss die zugrunde liegende Logik (den Algorithmus) verstehen, um das Rätsel zu lösen. Mehr Daten helfen hier, da sie der KI mehr Beispiele geben, um das Muster zu erkennen.
Druck B: Die Details perfektionieren (Der „Auswendiglernen"-Schleif)
Sobald die KI die Regel kennt, muss sie trotzdem jede einzelne Zahl im Gitter genau richtig haben. Wenn der Datensatz riesig ist, gibt es Millionen winziger, einzigartiger Details, die auswendig gelernt werden müssen und die die Regel nicht automatisch abdeckt.

Die Analogie:
Stellen Sie sich vor, Sie lernen, eine bestimmte Art von Kuchen zu backen.

Kleiner Kurs: Sie sehen nur einen Kuchen. Sie kennen das Rezept nicht, also können Sie ihn nicht backen.
Mittlerer Kurs: Sie sehen 50 Kuchen. Sie erkennen schnell das Rezept (die Regel). Sie können nun sehr schnell einen perfekten Kuchen backen.
Riesiger Kurs: Sie sehen 100.000 Kuchen. Sie erkennen das Rezept schnell, aber jetzt sind Sie gezwungen, die genaue Krümeltextur jedes einzelnen dieser 100.000 Kuchen auswendig zu lernen. Der Lehrer verlangt, dass Sie die Textur jedes einzelnen Kuchens perfekt hinbekommen. Obwohl Sie das Rezept kennen, verlangsamt Sie das schiere Volumen an „perfekten Textur"-Details. Sie verbringen Ihre ganze Zeit damit, Details auswendig zu lernen, anstatt einfach nur zu backen.

Das „zufällige Suffix"-Experiment

Um diese Theorie zu beweisen, fügten die Forscher ein „zufälliges Suffix" (eine zufällige Zeichenkette aus Buchstaben) an das Ende jedes Rätsels hinzu.

Der Matrix-Teil folgte einer strengen Regel.
Der zufällige Suffix-Teil hatte keine Regel; es war reines Auswendiglernen.

Sie stellten fest, dass die KI bei großen Datensätzen die Matrix (den regelbasierten Teil) vor dem zufälligen Suffix lernte. Dies bewies, dass die KI nicht einfach alles auf einmal auswendig lernte. Sie lernte zuerst die Regel und kämpfte dann mit der zusätzlichen „Auswendiglern-Belastung", die mit dem riesigen Datensatz einherging.

Was dies bedeutet (und was nicht)

Was es bedeutet:

Es gibt einen Unterschied zwischen „wann Generalisierung möglich wird" (der kritische Datengröße) und „wann das Lernen am schnellsten ist".
Bei komplexen Aufgaben mit langen, strukturierten Ausgaben (wie dem Ausfüllen großer Gitter) kann mehr Daten tatsächlich eine Belastung sein, da es die KI zwingt, zu viele spezifische Details auswendig zu lernen, nachdem sie bereits die Hauptregel gelernt hat.
Der „Sweet Spot" ist der Punkt, an dem Sie genug Daten haben, um die Regel zu lernen, aber nicht so viele, dass die Auswendiglern-Belastung Sie verlangsamt.

Was es NICHT bedeutet:

Dies bedeutet nicht, dass große Daten für alle KI-Aufgaben schlecht sind. Das Papier testete nur spezifische algorithmische Rätsel.
Es bedeutet nicht, dass wir große Datensätze für Sprachmodelle oder andere reale Anwendungen nicht mehr verwenden sollten.
Es bedeutet nicht, dass die KI mit großen Daten „schlechter" lernt; es dauert nur mehr „Schritte" (Computer-Updates), um dorthin zu gelangen.

Zusammenfassung

In der Welt des algorithmischen Lernens kann weniger manchmal mehr sein. Wenn Sie einer KI einen mittelgroßen Datensatz geben, lernt sie die Regeln schnell und effizient. Wenn Sie ihr einen massiven Datensatz geben, gerät sie ins Schleudern, während sie versucht, jedes winzige Detail auswendig zu lernen, was ihren Fortschritt zur Perfektion verlangsamt. Der Schlüssel liegt darin, diesen „Sweet Spot" zu finden, an dem die Regel klar ist, die Auswendiglern-Belastung aber nicht überwältigend ist.

Technisches Fazit: Langsamere Generalisierung, schnellere Memorierung: Ein optimaler Bereich im algorithmischen Lernen

Problemdefinition
Während empirische Skalierungsgesetze und „Grokking"-Studien nahelegen, dass größere Datensätze die Modellleistung allgemein verbessern und dass zusätzliche Daten die Validierungskonvergenz beschleunigen, sobald eine Generalisierungsschwelle überschritten ist, untersucht diese Arbeit, ob diese Intuition universell für Aufgaben mit strukturierten Ausgaben gilt. Konkret stellen die Autoren die Frage: Nachdem Generalisierung möglich geworden ist, führt der größte Datensatz unter einem festen Optimierungsprotokoll immer zur schnellsten Validierungskonvergenz? Die Studie konzentriert sich auf die Erzeugung von Needleman–Wunsch (NW)-Matrizen, eine Aufgabe, bei der ein Modell eine vollständige Matrix mit dynamischen Programmierungswerten aus zwei Eingabezeichenketten vorhersagen muss. Im Gegensatz zu skalaren arithmetischen Aufgaben erfordert NW die koordinierte Vorhersage vieler abhängiger Zellen und erzeugt somit eine hochkomplexe strukturierte Ausgabe.

Methodik
Die Autoren verwenden ein kontrolliertes Experimentprotokoll mit Decoder-only-Transformern, die auf der Erzeugung von NW-Matrizen und einer Baseline für die Multiplikation von dreistelligen Zahlen trainiert wurden.

Aufgabe: Das Modell bildet Eingabezeichenkettenpaare $(x, y)$ auf eine Zielmatrix $M(x, y)$ ab, die durch die dynamische Programmier-Rekursion von NW generiert wird. Die Korrektheit wird über die Exakt-Übereinstimmungsgenauigkeit gemessen (alle Matrixeinträge müssen korrekt sein).
Variablen: Die Hauptvariable ist die Datensatzgröße ( $N$ ), die über einen weiten Bereich variiert wird (von 200 bis 300.000 Beispielen). Die Modelltiefe, die Optimierer-Einstellungen (AdamW) und die Lernratenpläne bleiben fest.
Metriken: Die Studie misst die Anzahl der Optimierer-Updates, die erforderlich sind, um bestimmte Exakt-Übereinstimmungsgenauigkeitsschwellenwerte ( $\tau$ ) sowohl für das Training ($IT$) als auch für die Validierung ($IV$) zu erreichen. Diese „update-basierte" Metrik unterscheidet die Konvergenzgeschwindigkeit von der epochen-normalisierten Effizienz.
Proben: Um das Erlernen von Regeln von der Memorierung zu trennen, führen die Autoren eine Zufalls-Suffix-Probe ein, bei der ein vier-Bit-langer zufälliger Suffix an die Zielmatrix angehängt wird. Dies isoliert examplespezifische Informationen (den Suffix) von der regelgenerierten Struktur (der Matrix).
Benchmarks: Die Multiplikation von dreistelligen Zahlen dient als Kontrastaufgabe, um zu überprüfen, ob die beobachteten Phänomene spezifisch für strukturierte dynamische Programmierung sind oder Artefakte der Exakt-Übereinstimmungsbewertung darstellen.

Hauptbeiträge
Die Arbeit leistet drei primäre empirische Beiträge:

Identifizierung eines optimalen Bereichs der Datensatzgröße: Bei der Erzeugung von NW-Matrizen ist die Validierungskonvergenz bei einer mittleren Datensatzgröße am schnellsten, nicht bei der größten. Dies widerspricht der gängigen Intuition nach der Schwelle, dass „mehr Daten immer schneller" sind, sobald Generalisierbarkeit erreichbar ist.
Beschleunigung der Anpassung durch teilweises Regellernen: Im Regime, in dem zunächst eine schwache Validierungskompetenz auftritt, kann eine Vergrößerung des Datensatzes die Anzahl der Updates, die zur Erreichung einer hohen Trainingsgenauigkeit erforderlich sind, tatsächlich verringern. Dies deutet darauf hin, dass teilweises Regellernen den Anpassungsprozess beschleunigen kann, anstatt lediglich die Last der Memorierung zu erhöhen.
Mechanistische Trennung von Drücken: Die Autoren schlagen eine „Zwei-Druck-Rechnung" vor, bei der zusätzliche Daten zunächst die Regelentdeckung unterstützen (Verbesserung der strukturellen Abdeckung), aber schließlich die Kosten für das restliche exakte Anpassen (Memorierung von Details, die nicht vollständig durch die Regel bestimmt sind) erhöhen.

Ergebnisse

Nicht-monotone Validierungskonvergenz: Für NW folgt die Anzahl der Updates, um strenge Validierungsschwellenwerte (z. B. $\tau=0,98$ ) zu erreichen, einer U-förmigen Kurve. Kleine Datensätze generalisieren nicht oder erfordern lange Verzögerungen. Mittlere Datensätze konvergieren am schnellsten. Große Datensätze generalisieren zwar immer noch, benötigen jedoch deutlich mehr Updates, um denselben Schwellenwert zu erreichen, was auf eine „Verlangsamung nach der Schwelle" hindeutet.
Kontrast zur Multiplikation: Die Multiplikations-Baseline zeigt diese Verlangsamung nicht; die Validierungskonvergenz bleibt flach oder verbessert sich mit größeren Datensätzen. Dies bestätigt, dass das Phänomen an die spezifische Struktur der NW-Aufgabe (lange, abhängige Ausgaben) gebunden ist und nicht an die Exakt-Übereinstimmungsmetrik selbst.
Timing von Training vs. Validierung: Nahe dem Beginn der Generalisierung können größere Datensätze die für eine hohe Trainingsgenauigkeit benötigten Updates reduzieren. Dies zeigt, dass Memorierung und Generalisierung nicht strikt sequentiell sind; der Erwerb einer Teilregel kann die verbleibende Anpassungsaufgabe erleichtern.
Diagnostik mit Zufalls-Suffix: Bei größeren Datensatzgrößen passt das Modell die regelgenerierte Matrix bevor es den zufälligen Suffix anpasst. Dies stützt die Hypothese, dass die strukturierte Komponente von der gelernten Regel profitiert, während der unstrukturierte Suffix die verbleibende „exakte Anpassungs"-Last darstellt, die mit der Datensatzgröße wächst.
Training-Validierung-Lücke: Die Lücke zwischen Trainings- und Validierungsgenauigkeit ( $G = A_T - A_R$ ) wird genau dann positiv, wenn die Validierungsgenauigkeit zu steigen beginnt, was darauf hindeutet, dass derselbe regelvermittelte Fortschritt beides antreibt.

Bedeutung und Behauptungen
Die Arbeit behauptet, die klassische Literatur zu Grokking und kritischer Datensatzgröße eher zu verfeinern als zu widersprechen.

Verfeinerung der kritischen Datensatzgröße: Während die kritische Datensatzgröße ( $N_c$ ) den Beginn der Generalisierung markiert (wenn eine Lösung identifizierbar wird), zeigen die Autoren, dass die Datensatzgröße, die die update-basierte Konvergenzgeschwindigkeit optimiert ( $N^*$ ), sich von $N_c$ und von der maximal verfügbaren Datensatzgröße unterscheiden kann.
Divergenz der Lernstadien: Die Ergebnisse zeigen, dass bei Aufgaben mit strukturierten Ausgaben das „Lernen der Regel" und das „Abschließen der exakten Anpassung" divergieren können. Sobald eine nützliche Regel entdeckt wurde, kann weiteres Datenmaterial primär die Last der Anpassung verbleibender Details erhöhen und so die Konvergenz in Bezug auf Optimierer-Updates verlangsamen.
Umfang: Die Autoren behaupten bescheiden, dass dieses Phänomen spezifisch für Aufgaben ist, die eine wiederverwendbare algorithmische Struktur mit einer hohen pro-Beispiel-Ausgabekomplexität kombinieren (z. B. dynamische Programmierungstabellen wie Editierdistanz oder Viterbi-Decodierung). Sie behaupten nicht, dass dies für alle algorithmischen Aufgaben gilt oder dass größere Datensätze intrinsisch schädlich für die asymptotische Genauigkeit sind, sondern vielmehr, dass der Pfad zur Konvergenz in Bezug auf Optimierer-Updates in spezifischen strukturierten Settings nicht-monoton ist.

Die Studie kommt zu dem Schluss, dass für das Lernen mit strukturierten Ausgaben der schnellste Weg zur Validierungsgeneralisierung bei einer mittleren Datensatzgröße liegen kann, bei der die Vorteile der Regelentdeckung gesättigt sind, die Kosten der restlichen exakten Anpassung jedoch noch nicht dominant geworden sind.