Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning
Diese Arbeit zeigt auf, dass entgegen der üblichen Intuition das Supervised Fine-Tuning auf Chain-of-Thought-Daten eine überlegene Denkleistung erzielt, indem wiederholt auf kleineren Datensätzen trainiert wird, bis eine vollständige Auswendiglernung erreicht ist, anstatt die Datensatzgröße für eine einzige Epoche zu skalieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem brillanten, aber ablenkbaren Schüler beizubringen, wie man unglaublich schwierige Rätsel löst, wie etwa komplexe mathematische Probleme oder tiefgründige wissenschaftliche Fragen. In der Welt der künstlichen Intelligenz ist dieser Schüler ein „Sprachmodell“, ein Computerprogramm, das durch das Lesen von Texten lernt. Um diese Modelle zu gutem Denken zu befähigen, nutzen Wissenschaftler einen Prozess namens „Supervised Fine-Tuning“ (SFT). Betrachten Sie dies als das Geben eines Stapels von Beispiel-Lösungen, die von einem Meisterlehrer geschrieben wurden. Der Schüler liest diese Beispiele und versucht, den Denkprozess Schritt für Schritt zu kopieren, bis er in der Lage ist, ähnliche Probleme aus eigener Kraft zu lösen.
Lange Zeit galt in der Welt des maschinellen Lernens die goldene Regel: „Mehr ist besser“. Die Intuition dahinter ist einfach: Wenn man möchte, dass ein Schüler gut lernt, sollte man ihm eine riesige Bibliothek aus einzigartigen Büchern zur Verfügung stellen. Je mehr verschiedene Beispiele er sieht, desto besser wird er darin werden, auf neue Situationen zu generalisieren. Es ist so, als würde man glauben, dass das Lesen von 10.000 verschiedenen Geschichten immer besser ist als das Lesen derselben 100 Geschichten immer und immer wieder. Aber was, wenn diese Regel falsch ist? Was, wenn das Geheimnis für diese spezielle Art des „Denk-Trainings“ nicht eine größere Bibliothek ist, sondern ein tieferes Verständnis einer kleineren? Dies ist die Frage, die ein neues Paper der COLM 2026 Konferenz aufwirft und dabei unsere grundlegenden Annahmen darüber, wie KI zu denken lernt, infrage stellt.
Die Forscher hinter dieser Studie beschlossen, die „Mehr ist besser“-Regel zu testen, indem sie eine Reihe kontrollierter Experimente durchführten. Sie nahmen ein Standard-KI-Modell und trainierten es mit „Chain-of-Thought“-Daten – langen, detaillierten Denkpfaden, bei denen das Modell lernt, ein Problem zu durchdenken, bevor es antwortet. Sie legten ein striktes Budget fest: eine feste Menge an „Rechenaufwand“ (wie etwa eine festgelegte Anzahl von Stunden, die der Schüler zum Lernen zur Verfügung hat). Sie verglichen daraufhin zwei Strategien. Strategie A bestand darin, dem Schüler einen riesigen Stapel einzigartiger Beispiele (51.200 Samples) zu geben, ihn aber den gesamten Stapel nur ein einziges Mal lesen zu lassen. Strategie B bestand darin, dem Schüler einen winzigen Stapel von Beispielen (so wenig wie 200 oder 400 Samples) zu geben, ihn aber denselben kleinen Stapel viele, viele Male lesen zu lassen – bis zu 128 Mal.
Die Ergebnisse waren überraschend und kontraintuitiv. Das Paper fand heraus, dass der Schüler, der den kleinen Stapel immer und immer wieder las (Strategie B), signifikant besser darin wurde, neue, schwierige Probleme zu lösen, als der Schüler, der die massive Bibliothek nur einmal überflog (Strategie A). Bei anspruchsvollen Benchmarks wie den AIME-Mathematikwettbewerben und dem GPQA-Wissenschaftsquiz übertraf das Modell, das auf nur 400 Samples für 128 Epochen trainiert wurde, das Modell, das auf 51.200 Samples für nur 1 Epoche trainiert wurde, um eine massive Marge – eine Verbesserung der Genauigkeit um 12 bis 26 Prozentpunkte. Es ist, als ob der Schüler, der einige wenige Schlüsselgeschichten perfekt auswendig gelernt hat, neue Rätsel besser lösen konnte als derjenige, der tausend verschiedene Bücher nur oberflächlich gelesen hat.
Das Paper untersuchte auch, warum dies geschieht und wo die Grenzen liegen. Die Forscher entdeckten, dass die Verbesserung nicht durch das Erlernen neuer Fakten zustande kam, sondern dadurch, dass das Modell die Struktur des Denkens „auswendig lernte“. Während das Modell den kleinen Datensatz wiederholte, erreichte es schließlich einen Punkt, an dem es das nächste Wort in den Trainingsbeispielen mit nahezu perfekter Genauigkeit (100 %) vorhersagen konnte. Sobald das Modell diese „vollständige Auswendiglernung“ der Trainingsdaten erreichte, hörte die Verbesserung seiner Leistung bei neuen Tests auf und stagnierte. Dies deutet darauf hin, dass es bei dieser speziellen Art des Trainings nicht darum geht, so viele verschiedene Beispiele wie möglich zu sehen, sondern vielmehr darum, das Muster des Denkens zu verinnerlichen, bis es zur Selbstverständlichkeit wird.
Interessanterweise überprüften die Forscher auch, ob diese „Wiederholung“ dazu führte, dass das Modell alles andere, was es bereits wusste, vergaß (ein Problem, das als „katastrophales Vergessen“ bezeichnet wird). Sie fanden heraus, dass die Wiederholung des kleinen Datensatzes tatsächlich weniger Vergessen verursachte als das einmalige Lesen des riesigen Datensatzes. Es scheint, dass das Modell durch das tiefe Üben der Denkstruktur selbstbewusster in seiner eigenen Logik wurde, was ihm half, bei der Aufgabe zu bleiben, ohne sein allgemeines Wissen zu verlieren.
Die Autoren sind jedoch vorsichtig damit, dies als ein „Allheilmittel“ zu bezeichnen, das alles löst. Sie schließen explizit aus, dass dies für alle Daten funktioniert; wenn beispielsweise der Lehrer, der die Beispiele bereitstellt, schwach ist oder die Beispiele fehlerhaft sind, ändern sich die Vorteile. Sie merken auch an, dass während der „Wiederholungsvorteil“ robust ist, der genaue Grund, warum das Auswendiglernen der Trainingsdaten die Generalisierung verbessert, immer noch ein Mysterium ist. Sie legen nahe, dass das Modell möglicherweise verborgene Fähigkeiten freischaltet, die es bereits besaß, anstatt etwas völlig Neues zu lernen.
Zusammenfassend lässt dieses Paper darauf schließen, dass wir bei der Lehre der KI zu denken, vielleicht unsere Zeit damit verschwenden, immer größere Datensätze zu finden. Stattdessen könnten wir bessere Ergebnisse erzielen, indem wir ein kleineres, qualitativ hochwertiges Set an Denkbeispielen nehmen und das Modell daran arbeiten lassen, bis es diese in- und auswendig kennt. Die Autoren schlagen eine neue praktische Regel vor: Trainiere so lange auf dem kleinen Datensatz weiter, bis das Modell den Trainings-Text perfekt vorhersagen kann, und höre dann auf. Obwohl sie noch nicht vollständig erklärt haben, warum dieses Phänomen stattfindet, haben sie gezeigt, dass es manchmal in der Welt der KI weitaus mächtiger ist, dieselbe Seite 100 Mal zu lesen, als 100 verschiedene Seiten nur zu überfliegen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.