Scaling Domain Data Repetition in LLM Pretraining
Diese Arbeit untersucht den Kompromiss zwischen Datenrepetition und Overfitting beim Pretraining von Large Language Models und zeigt auf, dass die optimalen Repetitionsraten für hochwertige Domänendaten bei einem festen Tokens-pro-Parameter-Verhältnis mit der Modellgröße leicht ansteigen und stark negativ mit dem Validierungsverlust einer Domäne korrelieren, was darauf hindeutet, dass das Tuning auf kleineren Proxy-Modellen effektiv die Skalierungsstrategien für größere Modelle leiten kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter das Sprechen, Schreiben und Denken beizubringen. Dazu füttern Sie ihn mit einer riesigen Bibliothek von Texten, einem Prozess, der „Pretraining“ genannt wird. Aber hier ist der Haken: Der Roboter wird größer und klüger, wenn Sie mehr „Gehirnzellen“ (Parameter) hinzufügen, und um zu verhindern, dass er verwirrt wird oder unter seine Leistung fällt, müssen Sie ihn auch mit noch mehr Wörtern füttern. Das ist die Welt der Large Language Models (LLMs). Das Problem ist, dass man zwar leicht endlose Mengen an generischem Internet-Text finden kann (wie zufällige Forenbeiträge oder Zeitungsartikel), es aber wie die Suche nach der Nadel im Heuhaufen ist, wirklich hochwertiges, spezialisiertes Wissen (wie fortgeschrittene Mathematik, Programmierung oder medizinische Fakten) zu finden. Es gibt einfach nicht genug davon, um einen riesigen Roboter zu füttern.
Was also tun Sie, wenn Ihnen das „gute Zeug“ ausgeht? Sie fangen an, es zu wiederholen. Sie nehmen dieses kostbare Mathematik-Lehrbuch und füttern den Roboter immer und immer wieder damit. Aber das ist ein empfindlicher Balanceakt. Wenn Sie das gute Zeug zu oft wiederholen, könnte der Roboter das Buch einfach Wort für Wort auswendig lernen und scheitert daran, die eigentlichen Konzepte zu verstehen – ein Problem, das man „Overfitting“ nennt. Wenn Sie es nicht oft genug wiederholen, wird der Roboter vom Meer aus generischem Internet-Rauschen überflutet und lernt das schwierige Zeug nie. Die große Frage ist: Wie oft sollten Sie die guten Daten wiederholen, bevor der Roboter anfängt, verwirrt zu werden?
Dieses Paper mit dem Titel „Scaling Domain Data Repetition in LLM Pretraining“ taucht tief in genau diese Frage ein. Die Forscher der Tsinghua Universität und von ByteDance Seed wollten das perfekte Rezept finden, um hochwertige Daten mit allgemeinen Daten zu mischen, während die Roboter größer werden. Sie testeten dies auf vier speziellen „Sorten“ von Daten: Code, Mathematik, Wikipedia und medizinische Aufzeichnungen.
Hier ist, was sie herausgefunden haben, und es ist eine Wendung in der Handlung. Lange Zeit dachten die Leute, dass Roboter, wenn sie größer werden, fragiler werden und Daten schneller auswendig lernen (overfitten) würden. Der alte Rat lautete: „Wiederhole das gute Zeug nicht zu oft, sonst geht der große Roboter kaputt.“ Doch die Autoren fanden etwas Überraschendes heraus, als sie das Trainingsbudget proportional zur Größe des Roboters hielten (eine Regel namens fester „Tokens-per-Parameter“-Quotient). Sie fanden heraus, dass größere Roboter tatsächlich mehr Wiederholung vertragen können als kleinere. Es ist wie ein riesiger Athlet, der mehr Runden laufen kann, ohne müde zu werden, im Vergleich zu einem kleineren, vorausgesetzt, beide trainieren mit der gleichen Intensität.
Die wichtigste Regel, die sie fanden, betrifft jedoch nicht die Größe des Roboters, sondern die Qualität der Daten selbst. Sie entdeckten eine starke Verbindung zwischen der Art und Weise, wie gut ein Roboter ein bestimmtes Thema lernt, und wie oft er dieses Thema wiederholen kann. Wenn der Roboter ein Fachgebiet (wie Mathematik) sehr gut lernt und einen niedrigen „Fehlerwert“ (Validation Loss) aufweist, kann er diese Daten viele Male wiederholen, ohne dass es schiefgeht. Aber wenn der Robocher Schwierigkeiten mit einem Thema hat und einen hohen Fehlerwert aufweist, wird er sehr schnell überfiten, also sollte man diese Daten nur sehr wenige Male wiederholen.
Interessanterweise scheint die Menge der einzigartigen Daten, mit der man beginnt, für die Entscheidung, wie oft man sie wiederholt, kaum eine Rolle zu spielen. Egal, ob man einen winzigen Stapel mathematischer Probleme oder einen riesigen hat, der „Sweet Spot“ für die Wiederholung bleibt in etwa gleich. Die Forscher schlagen vor, dass man keinen riesigen Roboter trainieren muss, indem man rät. Man kann zuerst einen kleineren „Proxy-Roboter“ trainieren, sehen, wie gut er Mathematik oder Code lerte, und dieses Ergebnis nutzen, um sicher zu schätzen, wie oft man die Daten für den riesigen Roboter wiederholen muss.
Sie testeten auch, was passiert, wenn man einzigartige Daten gegen wiederholte Daten austauscht, während man die Gesamtmenge des „guten Zeugs“ gleich hält. Sie fanden heraus, dass für einige Themen, wie Mathematik, das Wiederholen der Daten fast so gut ist, als hätte man mehr einzigartige Daten. Aber für andere, wie Wikipedia, ist das Wiederholen eine schlechte Idee; der Roboter lernt viel schlechter, wenn er immer nur dieselben Wikipedia-Sätze hört, anstatt neue zu lesen.
Schließlich untersuchten sie, wie sich die „Lerngeschwindigkeit“ (Learning Rate) des Roboters während des Trainings verändert. Sie fanden heraus, dass, wenn man den Roboter früh im Training verlangsamt, er empfindlicher gegenüber Wiederholungen wird und schneller overfittet. Aber wenn man die Lerngeschwindigkeit länger hoch hält, kann der Roboter mehr Wiederholung tolerieren, bevor er anfängt, auswendig zu lernen, anstatt zu verstehen.
Kurz gesagt: Dieses Paper legt nahe, dass es keine einzelne magische Zahl dafür gibt, wie oft man Daten wiederholen sollte. Stattdessen hängt die beste Strategie davon ab, wie gut der Roboter dieses spezifische Thema bereits lernt. Wenn er ein schneller Lerner ist, wiederhole die Daten öfter. Wenn er ein langsamer Lerner ist, höre früher mit der Wiederholung auf. Und überraschenderweise sind größere Roboter robuster gegenüber Wiederholungen, als wir dachten, solange wir ihnen die richtige Menge an Daten für ihre Größe füttern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.