The Limits of Training Data Size in Foundation Models: An Empirical Analysis of Quality Filtering under a Fixed Token Pool

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, die menschliche Sprache zu sprechen. Um dies zu tun, müssen Sie ihn mit einer riesigen Bibliothek von Texten füttern – Büchern, Websites, Artikeln und mehr. Lange Zeit dachten Wissenschaftler, dass der einzige entscheidende Faktor darin bestand, wie viel Text man dem Roboter füttern konnte. Je größer die Bibliothek, desto klüger würde der Roboter werden. Diese Idee nennt man „Skalierung“, und sie ist der Grund dafür, dass unsere KI-Assistenten heute so gut sind.

Aber es gibt einen Haken. Nicht jeder Text ist gleich viel wert. Einige Seiten sind voller Unsinn, Spam oder Kauderwelsch, während andere von Experten geschrieben wurden und voller nützlicher Informationen stecken. Deshalb begannen Forscher zu fragen: „Sollten wir das schlechte Zeug wegwerfen und dem Roboter nur die besten Bücher füttern?“ Dies wird „Qualitätsfilterung“ genannt. Es gibt jedoch eine zweite Regel im Spiel: Der Roboter lernt am besten, wenn er frische Informationen sieht. Wenn man ihn dieselben paar Seiten immer und immer wieder lesen lässt, hört er auf zu lernen und beginnt stattdessen nur noch auswendig zu lernen. Diese Arbeit untersucht ein schwieriges Gleichgewicht: Wenn man den schlechten Text wegwirft, hat man weniger Seiten zum Lesen, was bedeutet, dass der Roboter die guten Seiten öfter lesen muss. Hilft es, weniger, aber bessere Seiten zu haben, oder wird der Roboter gelangweilt und verwirrt, weil er dieselbe Sache zu oft liest?

---

Das Große Bibliotheks-Experiment

In dieser Studie stellte ein Forscher namens Alexander Memming ein kluges Experiment auf, um dieses Rätsel zu lösen. Er nutzte nicht das gesamte Internet (das ist zu groß, um es einfach zu testen). Stattdessen baute er einen „festen Pool“ von etwa 24 Millionen Wörtern – ein winziges, handhabbares Stück des Webs. Dann gab er diesem gleichen Pool von Wörtern mehrere kleine KI-Modelle, aber er änderte die Regeln für jedes einzelne.

Für einige Modelle behielt er alle Wörter. Für andere agierte er wie ein strenger Bibliothekar und warf die untere Hälfte, das Viertel, das Achtel oder sogar nur das oberste Sechzehntel der Wörter weg, wobei er nur die behielt, die der Computer als „hochwertig“ einstufte. Er probierte auch einen dritten Ansatz aus: Anstatt etwas wegzuwerfen, behielt er die ganze Bibliothek, sagte dem Roboter aber, er solle die „besten“ Seiten viel öfter lesen als die „okayen“ Seiten.

Er testete diese Roboter dann bei drei verschiedenen Dingen:

1. Das rohe Web: Eine Mischung aus allem, genau wie die Bibliothek, mit der sie trainiert wurden.
2. Der „Edu“-Text: Hochwertige, pädagogische Seiten (die Art von Text, die der Roboter zu lieben gelernt hatte).
3. WikiText: Ein völlig anderer Satz von Enzyklopädie-Artikeln, den der Roboter noch nie gesehen hatte.

Die überraschenden Ergebnisse

Die Ergebnisse waren ein wenig wie eine Achterbahnfahrt und änderten die Regeln des Spiels in drei großen Punkten.

1. Es kommt darauf an, mit wem Sie sprechen
Die größte Überraschung war, dass „Qualitätsfilterung“ den Roboter nicht immer klüger macht. Es hängt ganz davon ab, was Sie vom Roboter wollen.

• Wenn Sie wollen, dass der Robbot das chaotische, echte Internet versteht: Das Wegwerfen des „schlechten“ Textes hat den Roboter tatsächlich geschwächt. Je mehr der Forscher filterte, desto schlechter performte der Roboter. Es ist, als würde man versuchen, Autofahren in einer Stadt zu lernen, indem man nur auf einer perfekten, leeren Rennstrecke übt. Wenn man dann endlich auf die echten Straßen mit Schlaglöchern und Verkehr trifft, kracht man zusammen. Der Roboter, der mit gefilterten Daten trainiert wurde, konnte mit der chaotischen Realität des Webs nicht umgehen.
• Wenn Sie wollen, dass der Roboter ein Experte für hochwertige Themen ist: Das Filtern half ein wenig. Wenn das Ziel war, wie ein Gelehrter oder eine Enzyklopädie zu klingen, machte das Behalten der besten Seiten den Roboter etwas besser.

2. Je mehr Sie trainieren, desto weniger sollten Sie filtern
Hier ist die wichtigste Lektion: Die Größe Ihres Budgets verändert die beste Strategie.
Stellen Sie sich vor, Sie haben ein kleines Taschengeld (ein kleines Trainingsbudget). Sie könnten versucht sein, nur die teuersten, hochwertigsten Spielzeuge zu kaufen. Aber wenn Sie ein riesiges Taschengeld haben (ein massives Budget), bedeutet der Kauf nur der teuren Spielzeuge, dass Ihnen die neuen Spielzeuge sehr schnell ausgehen. Sie spielen am Ende immer und immer wieder mit demselben teuren Spielzeug, bis Sie gelangweilt sind.
Die Studie fand heraus, dass sich mit wachsendem Trainingsbudget die „beste“ Strategie verschob. Zuerst sah es gut aus, nur das oberste 1/16 der Daten zu behalten. Aber als der Roboter länger trainiert wurde (indem er die Daten 8,2 Mal statt 4,1 Mal las), wurde diese winzige, gefilterte Bibliothek zu einem Desaster. Der Roboter wurde gelangweilt und begann Fehler zu machen. Die beste Strategie für ein großes Budget war es, mehr der Daten zu behalten, selbst die chaotischen Teile, damit der Roboter immer wieder neue Dinge sehen konnte.

3. Werfen Sie es nicht weg, lassen Sie es nur öfter lesen
Der Forscher verglich auch das „Wegwerfen“ des schlechten Textes mit dem „öfter Lesen des guten Textes“.

• Die „Wegwerfen“-Methode: Sie löschen die minderwertigen Seiten.
• Die „Mehr Lesen“-Methode: Sie behalten alle Seiten, sagen dem Roboter aber: „Hey, lies diese Top-Seiten 16 Mal, aber lies die unteren Seiten nur einmal.“

Als der Forscher sehr aggressiv vorging (indem er nur das oberste 1/16 behielt), gewann die „Mehr Lesen“-Methode mit einem riesigen Vorsprung. Sie war um bis zu 0,39 Nats (eine Maßeinheit dafür, wie gut der Roboter das nächste Wort vorhersagt) besser als die „Wegwerfen“-Methode.
Denken Sie so darüber nach: Wenn Sie ein Lieblingslied haben, können Sie entweder alle anderen Lieder in Ihrer Playlist löschen und dieses eine Lied 16 Mal hören (Wegwerfen), oder Sie behalten Ihre ganze Playlist, stellen aber sicher, dass Ihr Lieblingslied 16 Mal häufiger spielt als der Rest (Mehr Lesen). Der zweite Weg ist besser, weil Sie die anderen Lieder im Hintergrund haben, um es interessant zu halten, und Sie die einzigartige Vielfalt der vollen Bibliothek nicht verlieren.

Das Fazit

Dieses Paper sagt nicht, dass wir aufhören sollten, die KI intelligenter zu machen. Stattdessen warnt es uns davor, dass wir nicht einfach blind „schlechte“ Daten wegwerfen dürfen.

• Filtern Sie nicht, wenn Sie die reale Welt verstehen wollen: Wenn Sie eine KI wollen, die das chaotische Internet versteht, behalten Sie die chaotischen Daten.
• Filtern Sie nicht zu stark, wenn Sie ein großes Budget haben: Wenn Sie viel Rechenleistung haben, brauchen Sie eine riesige Vielfalt an Daten. Wenn Sie zu streng filtern, zwingen Sie die KI zur Wiederholung, und das stoppt ihr Lernen.
• Wiederholung ist besser als Löschung: Wenn Sie sich wirklich auf die besten Daten konzentrieren wollen, löschen Sie den Rest nicht. Stellen Sie einfach sicher, dass die KI die guten Sachen öfter sieht als die schlechten.

Die Studie wurde an kleinen Modellen und einem kleinen Datensatz durchgeführt, daher können wir nicht mit Sicherheit sagen, was genau bei den riesigen KI-Modellen der Zukunft passieren wird. Aber die Lektion ist klar: Datenqualität und Datenquantität als getrennte Dinge zu behandeln, ist ein Fehler. Sie sind miteinander verknüpft, und der beste Weg, eine KI zu trainieren, ändert sich je nachdem, wie viel Zeit und Geld man ausgeben kann.