A Bitter Lesson for Data Filtering
Dieser Beitrag stellt die gängige Auffassung in Frage, dass Datenfilterung für das Vor-Training großer Modelle unverzichtbar sei, und zeigt durch Skalierungsstudien in Regimen mit hoher Rechenleistung und knappen Daten, dass ausreichend trainierte große Modelle tatsächlich davon profitieren, Daten niedriger Qualität und Ablenkungsdaten einzubeziehen, anstatt sie herauszufiltern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Die „Kein Filter"-Regel
Stellen Sie sich vor, Sie versuchen, einem superschlauen Schüler (ein Large Language Model) alles über die Welt beizubringen. Der traditionelle Weg, dies zu tun, besteht darin, wie ein strenger Bibliothekar zu handeln. Sie gehen durch eine riesige Bibliothek (das Internet/Common Crawl), werfen die unordentlichen, schlecht geschriebenen oder wiederholenden Bücher weg und geben dem Schüler nur die „besten" 1 % der Sammlung.
Dieses Paper argumentiert, dass Sie, wenn Sie genug Zeit und Energie (Rechenleistung) haben, den Schüler für sehr lange Zeit zu unterrichten, eigentlich aufhören sollten, Bibliothekar zu sein.
Die Autoren fanden heraus, dass wenn Sie dem Schüler erlauben, alles zu lesen – die guten Bücher, die schlechten Bücher, die wiederholenden Listen und den zufälligen Rauschen – er schließlich besser lernt, als wenn Sie die Bücher für ihn gefiltert hätten. Tatsächlich erweist sich die „Junk"-Daten als hilfreich, nicht als schädlich, für ein hinreichend großes und gut trainiertes Modell.
Die Experimente: Die „Fitnessstudio"-Analogie
Um dies zu testen, stellten die Forscher eine Reihe von Experimenten auf, die wie ein Fitnessstudio für KI-Modelle funktionieren.
1. Die „Sauber vs. Unordentlich"-Diät
Sie nahmen einen riesigen Haufen Internettext (den „Pool") und erstellten verschiedene Versionen davon:
- Der Pool: Der rohe, ungefilterte Internettext.
- Die Filter: Versionen, bei denen sie bestimmte Dinge entfernten, wie nicht-englischen Text, wiederholende Absätze oder Wörter, die keine gebräuchlichen englischen Wörter sind. Einige Filter waren sehr streng (nur 2 % des Textes behalten), während andere locker waren.
Sie trainierten Modelle unterschiedlicher Größe (von winzig bis riesig) mit diesen verschiedenen Diäten.
- Das Ergebnis: Für kleine Modelle oder kurze Trainingsphasen funktionierte die „Saubere Diät" (gefilterte Daten) besser. Es ist wie ein kleines Kind, das besser aus einem Bilderbuch lernt als aus einem Wörterbuch.
- Die Wendung: Als sie die Modelle größer machten und sie länger trainierten (mehr „Rechenleistung"), begann die „Unordentliche Diät" (der volle, ungefilterte Pool) zu gewinnen. Die Modelle, die auf dem vollen Pool trainiert wurden, übertrafen schließlich diejenigen, die auf den gefilterten Daten trainiert wurden, obwohl die gefilterten Daten von „höherer Qualität" waren.
2. Die „Junk-Food"-Injektion
Um zu sehen, wie robust diese Modelle sind, fügten die Forscher absichtlich „Müll" zur Diät hinzu:
- Zufällige Strings: Erfundene Wörter wie „htb hqovl bwdws".
- Durchgemischte Sätze: Echte Sätze nehmen und die Wortreihenfolge durcheinanderbringen (z. B. „Paris France of capital is The").
Die Überraschung: Selbst mit diesem Müll gemischt brachen die großen Modelle nicht. Sie lernten, das Rauschen zu ignorieren. In einer seltsamen Wendung lernten die Modelle in einigen Fällen sogar besser von den durchgemischten Sätzen als von den sauberen Daten. Warum? Denn selbst wenn die Wörter durcheinander sind, kann das Modell immer noch erkennen, dass „Paris" und „Frankreich" oft zusammen auftreten, was ihm hilft, die Verbindung zwischen ihnen zu lernen. Der „Müll" wirkte wie ein hartes Training, das das Modell stärker machte.
Die „Bittere Lektion"**
Das Paper bezieht sich auf ein berühmtes Konzept namens „The Bitter Lesson" von Richard Sutton. Die Lektion lautet: Die menschliche Intuition versagt oft, wenn wir Dinge hochskalieren.
Wir Menschen denken: „Wir müssen die Daten kuratieren, weil sie zu unordentlich sind." Aber das Paper legt nahe, dass wir mit leistungsfähigeren Computern der einfache Ansatz „füttere es einfach mit allem" unsere komplizierten, vom Menschen entworfenen Regeln zur Bereinigung der Daten schlägt. Das Modell ist schlau genug, um selbst herauszufinden, was nützlich ist und was Rauschen, vorausgesetzt, es hat genug Zeit zum Lernen.
Der Haken: Es kostet viel Energie
Es gibt eine wichtige Bedingung dafür, dass dies funktioniert: Rechenleistung.
Das Paper berechnet, dass für den Ansatz „alles lesen", um den Ansatz „alles filtern" zu schlagen, eine massive Menge an Rechenleistung erforderlich ist. Sie schätzen, dass für den vollständigen Common-Crawl-Datensatz (240 Billionen Wörter) etwa 1e+30 FLOPs (eine Einheit der Berechnung) benötigt werden, um die ungefilterten Daten zum klaren Gewinner zu machen.
- Stellen Sie es sich so vor: Wenn Sie ein kleines Budget haben, ist die Einstellung eines professionellen Lektors zur Bereinigung Ihrer Daten der kluge Schritt. Aber wenn Sie ein Milliarden-Budget haben, können Sie es sich leisten, eine Million Praktikanten einzustellen, um jede einzelne Seite des Internets zu lesen, und das schiere Volumen des Lesens wird die KI mehr lehren als jeder Lektor je könnte.
Das Fazit
Das Paper kommt zu dem Schluss, dass wir für die Zukunft riesiger KI-Modelle aufhören müssen, zu versuchen, perfekte Kuratoren zu sein. Anstatt enorme Ressourcen darauf zu verwenden, „schlechte" Daten herauszufiltern, sollten wir uns darauf konzentrieren, größere Modelle zu bauen und sie länger auf dem rohen, unordentlichen, ungefilterten Internet zu trainieren. Die Modelle sind überraschend widerstandsfähig; sie können mit dem Rauschen umgehen und es sogar nutzen, um besser zu lernen.
Kurz gesagt: Wenn Sie genug Leistung haben, ist der beste Filter kein Filter überhaupt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.