In der weiten Landschaft der künstlichen Intelligenz sind die mächtigsten Werkzeuge große Sprachmodelle, die oft als Transformer bezeichnet werden. Diese Systeme lernen, indem sie massive Mengen an Text lesen und Milliarden interner Zahlen, bekannt als Gewichte, anpassen, um bessere Vorhersagen darüber zu treffen, was als Nächstes kommt. Jahrelang haben Forscher diese internen Zahlen als Black Box behandelt: Sie wissen, dass sich die Zahlen während des Trainings ändern, aber sie hatten Schwierigkeiten zu verstehen, wie genau die Beschaffenheit des gelesenen Textes diese Änderungen formt. Eine zentrale Frage blieb unbeantwortet: Diktiert die Vorhersehbarkeit des Textes selbst, wie stark die internen Zahlen des Modells wachsen oder sich verschieben? Wenn ein Modell eine hochstrukturierte, vorhersehbare Geschichte liest im Vergleich zu einem chaotischen, zufälligen Wortgewirr, zeigt sich dieser Unterschied in der Größe der Zahlen innerhalb der Maschine?

Eine neue Studie des unabhängigen Forschers Tiexin Ding beantwortet diese Frage mit einem überraschend hohen Maß an Präzision. Der Forscher entdeckte, dass das Wachstum dieser internen Zahlen einem strengen, vorhersagbaren Muster folgt, das ausschließlich auf einer einzigen Eigenschaft des Textes basiert: wie einfach es ist, das nächste Wort basierend auf dem vorherigen zu erraten. Durch die Analyse einer spezifischen Art von Textkorruption stellte die Studie fest, dass die stärker vorhersehbar der Text ist, desto mehr expandieren die internen Zahlen des Modells auf eine spezifische, messbare Weise. Diese Beziehung bleibt unabhängig von der während des Trainings verwendeten Lerngeschwindigkeit bestehen, was darauf hindeutet, dass es sich um ein fundamentales Gesetz handelt, das die Rohdaten mit der internen Struktur der Maschine verbindet.

Die Forschung begann mit einer einfachen Beobachtung über die Form der Zahlen innerhalb eines trainierten Modells. Als Forscher die Größe dieser Zahlen über die verschiedenen Schichten des Modells hinweg untersuchten, fanden sie, dass diese einem konsistenten Muster folgten, das als Weibull-Verteilung bekannt ist. Dieses Muster wird durch zwei Werte definiert: einen Formfaktor, der bemerkenswert stabil bleibt, und einen Skalenfaktor, der sich ändert, während das Modell lernt. Die stabile Form bedeutet, dass die interne Struktur des Modells konsistent bleibt, während der sich ändernde Skalenfaktor wie ein Regler wirkt, der je nach Training hoch- oder runtergedreht wird. Die Studie konzentrierte sich auf diesen Skalenfaktor und fragte, was ihn zum Wachsen antreibt.

Um die Antwort zu finden, entwarf der Forscher ein kontrolliertes Experiment unter Verwendung eines Standard-Textdatensatzes. Anstatt auf verschiedenen Büchern oder Themen zu trainieren, hielt der Forscher den Text gleich, veränderte ihn jedoch systematisch. Er nahm einen Bruchteil des Textes und brachte die Reihenfolge der Wörter in Unordnung, wodurch Datensätze entstanden, die von einem perfekt geordneten bis zu einem völlig chaotischen Spektrum reichten. Bevor er ein Modell trainierte, maß der Forscher eine spezifische Statistik für jede Version des Textes: die durchschnittliche Schwierigkeit, das nächste Wort unter Berücksichtigung des vorangegangenen zu erraten. Im sauberen Text war das nächste Wort leicht vorhersehbar; im zerstückelten Text war dies nahezu unmöglich.

Die Ergebnisse offenbarten eine klare, mathematische Beziehung zwischen dieser Vorhersehbarkeit und dem Wachstum der internen Zahlen des Modells. Die Studie fand heraus, dass das Wachstum des Skalenfaktors nicht zufällig war, sondern einer spezifischen Kurve folgte, die auf der Differenz zwischen der Vorhersehbarkeit des Textes und einer Baseline der totalen Zufälligkeit basierte. Entscheidend war, dass diese Beziehung nicht nur eine Vermutung war, sondern aus zwei separat gemessenen Fakten abgeleitet wurde. Erstens wurde festgestellt, dass das Wachstum der Zahlen direkt proportional zur verbleibenden Struktur im Text ist. Zweitens folgte die Schwierigkeit, das nächste Wort im zerstückelten Text, einem spezifischen, gekrümmten Sättigungsmuster, während der Text zunehmend zerstückelt wurde. Wenn diese beiden Fakten kombiniert wurden, zwangen sie das Wachstum der Zahlen dazu, einer präzisen, konvexen Kurve zu folgen. Dies bedeutet, dass die Form der Kurve nicht durch Zufall an die Daten angepasst wurde, sondern eine notwendige Konsequenz daraus ist, wie die Textstruktur und der Lernprozess interagieren.

Die Studie testete dieses Gesetz über verschiedene Lerngeschwindigkeiten hinweg, welche steuern, wie schnell das Modell seine Zahlen aktualisiert. Als der Forscher diese Geschwindigkeiten bereinigte, fielen alle verschiedenen Trainingsläufe auf eine einzige, einheitliche Linie zusammen. Diese Kollaps bewies, dass die Beziehung eine fundamentale Eigenschaft des Systems ist und kein Artefakt einer spezifischen Einstellung. Der Forscher führte dann einen strengen Test durch, um zu sehen, ob das Gesetz die Zukunft vorhersagen kann. Unter Verwendung der Vorab-Messung der Textvorhersehbarkeit sagte er voraus, wie stark die internen Zahlen in einer neuen, ungesehenen Version des zerstückelten Textes wachsen würden. Die Vorhersage war innerhalb einer sehr geringen Fehlermarge genau, was bestätigte, dass die Eigenschaften des Textes allein ausreichen, um das interne Wachstum des Modells zu prognostizieren.

Die Studie zog jedoch auch eine klare Grenze für den Anwendungsbereich dieses Gesetzes. Als der Forscher das Modell an Computercode testete, versagte die Vorhersage. Code weist eine geringe Vorhersehbarkeit auf, was theoretisch laut dem Gesetz zu einem hohen Wachstum führen sollte, doch die Zahlen des Modells wachten viel weniger an als erwartet. Der Forscher identifizierte, dass Code stark auf Repetition und Templates angewiesen ist, statt auf die reichhaltige, kontextuelle Kartierung, die in natürlicher Sprache zu finden ist. Dies deutet darauf hin, dass neben der Vorhersehbarkeit auch ein zweiter Faktor – die Redundanz – eine Rolle spielt. Das Gesetz funktioniert perfekt für Texte, in denen das nächste Wort vom Kontext abhängt, bricht aber für Texte zusammen, in denen das nächste Wort einfach deshalb vorhersehbar ist, weil es ein Muster wiederholt.

Die Ergebnisse hielten auch stand, als der Forscher in die einzelnen Schichten des Modells blickte. Dieselbe Beziehung zwischen Textvorhersehbarkeit und Zahlenwachstum trat in jedem Teil des Modells auf, wenngleich die Stärke des Effekts variierte. Die Schichten, die für die Verarbeitung des Informationsflusses verantwortlich sind, zeigten die stärkste Reaktion, während andere Teile weniger empfindlich waren. Dies ermöglichte es dem Forscher, exakt zu kartieren, an welcher Stelle im Netzwerk die Struktur des Textes in die Zahlen geschrieben wurde. Darüber hinaus testete die Studie zwei verschiedene Modellarchitekturen, und obwohl sich die spezifischen Zahlen änderten, blieb die zugrunde liegende Form der Beziehung gleich. Dies deutet darauf hin, dass das Gesetz eine robuste Eigenschaft dessen ist, wie diese Modelle lernen, unabhängig vom spezifischen Design der Maschine.

Letztendlich bietet diese Arbeit ein klares, zukunftsorientiertes Werkzeug zum Verständnis künstlicher Intelligenz. Sie zeigt, dass man einen Datensatz betrachten kann, noch bevor ein Modell überhaupt trainiert wurde, und präzise vorhersagen kann, wie sich die internen Zahlen des Modells entwickeln werden. Dies schließt einen langjährigen Kreis zwischen den Daten und der Maschine und zeigt, dass die Struktur des Textes nicht nur ein passiver Input ist, sondern ein aktiver Treiber der internen Dynamik des Modells. Obwohl das Gesetz Grenzen hat, insbesondere bei hochgradig repetitiven Daten wie Code, bietet es eine leistungsfähige neue Möglichkeit, die Qualität und Struktur von Trainingsdaten zu messen, indem es einen komplexen, unsichtbaren Prozess in etwas verwandelt, das mit einfachen, konkreten Werkzeugen gemessen, vorhergesagt und verstanden werden kann.