How Response Parsing Manufactures Scaling Laws: A Replication and Measurement-Validity Audit of Constraint-Tracking Capacity in LLMs

Stellen Sie sich ein Computerprogramm vor, das eine Liste von Regeln lesen und ihnen perfekt folgen kann, egal wie lang die Liste wird. Dies ist das Versprechen moderner künstlicher Intelligenz, insbesondere eines Typs von System namens Large Language Model. Diese Programme werden mit riesigen Mengen an Text trainiert und können Fragen beantworten, Geschichten schreiben oder Probleme lösen. Wenn diese Systeme größer werden, mit mehr internen Komponenten und mehr Daten, werden sie im Allgemeinen besser darin, komplexe Aufgaben zu bewältigen. Wissenschaftler fragen sich schon lange, ob es eine harte Grenze dafür gibt, wie viele unabhängige Anweisungen ein einzelnes Modell gleichzeitig in seinem „Verstand“ halten kann. Wenn man einem Modell zehn Regeln vorgibt, kann es das? Was ist mit zwanzig? Wächst die Fähigkeit, Regeln zu folgen, stetig mit der Größe des Modells, oder bricht sie plötzlich zusammen?

Eine aktuelle Studie behauptete, eine präzise Antwort auf diese Frage gefunden zu haben. Sie deutete an, dass die Fähigkeit von Modellen, mehrere Regeln zu verfolgen, mit zunehmender Größe nach einem spezifischen mathematischen Muster wächst, wie einer vorhersehbaren Kurve. Die Forscher schlugen vor, dass ein kleines Modell nach nur wenigen Regeln scheitern könnte, während ein größeres Modell viel mehr bewältigen könnte, und dass dieser Zusammenhang einem strengen Gesetz folgte. Diese Idee war aufregend, weil sie eine Möglichkeit bot, genau vorherzusagen, wie fähig eine zukünftige Maschine basierend auf ihrer Größe sein würde. Eine neue Untersuchung hat jedoch die ursprünglichen Zahlen und die Methoden, mit denen diese Ergebnisse erzielt wurden, genau unter die Lupe genommen, und sie erzählt eine andere Geschichte. Die neue Arbeit stellt fest, dass zwar die grundlegende Idee einer Grenze real ist, das spezifische Gesetz, das beschreibt, wie diese Grenze wächst, jedoch nicht durch die Beweise gestützt wird.

Die Untersuchung begann mit einer erneuten Prüfung der ursprünglichen Datenprotokolle, also der Aufzeichnungen dessen, was die Modelle als Reaktion auf die Tests tatsächlich geschrieben hatten. Die Forscher entwickelten eine neue, strengere Methode, um diese Antworten zu lesen. In der ursprünglichen Studie verfügte das Computerprogramm, das die Antworten bewertete, über ein Sicherheitsnetz: Wenn es nicht genügend klare Antworten in einer Antwort finden konnte, suchte es den gesamten Text erneut ab, um nach den Wörtern „ja“ oder „nein“ zu suchen, wo auch immer sie auftauchten. Wenn es sie fand, zählte es sie als korrekte Antworten, selbst wenn das Modell sie nie als direkte Antworten auf die spezifischen Fragen beabsichtigt hatte. Dieses Sicherheitsnetz griff in fast einem Viertel der Tests. Es füllte im Wesentlichen die Lücken für die Modelle aus, indem es Wörter als korrekt wertete, die die Modelle versehentlich oder als Teil eines Satzes geschrieben hatten, statt als direkte Antworten.

Als die neuen Forscher dieses Sicherheitsnetz entfernten und den Computer dazu zwangen, nur Antworten zu zählen, die klar und korrekt formatiert waren, änderten sich die Ergebnisse. Das Phänomen eines Limits existierte weiterhin. Ein kleineres Modell hatte tatsächlich Schwierigkeiten und scheiterte schließlich daran, viele Regeln zu befolgen, während ein größeres Modell aus derselben Familie viel besser abschnitt. Dies bestätigte, dass die Kernbeobachtung real war: Modelle haben ein Kapazitätslimit, und die Größe spielt eine Rolle. Jedoch verschwand die spezifische Kurve, die beschrieb, wie diese Kapazität mit der Größe wuchs. Die ursprüngliche Behauptung, dass die Fähigkeit, Regeln zu folgen, sich mit der Größe des Modells auf vorhersehbare Weise verdoppelte oder verdreifachte, war eine Illusion, die durch die Art und Weise der Antwortzählung entstanden war.

Die Forscher testeten diese korrigierte Methode dann an einer viel breiteren Palette von Modellen, einschließlich acht verschiedenen Familien von Systemen, die über Online-Dienste verfügbar sind. Sie fanden heraus, dass das ursprüngliche mathematische Gesetz nicht standhielt. Bei einer Art von Aufgabe zeigten die Modelle überhaupt kein vorhergesagtes Wachstum; stattdessen stießen sie an eine Decke, bei der sie nicht mehr als eine bestimmte Anzahl von Regeln bewältigen konnten, unabhängig davon, wie groß sie waren. Bei einer anderen Aufgabe schienen die Modelle alle Regeln perfekt zu befolgen, aber das lag nur daran, dass sie die Anweisungen einfach in einem langen Absatz wiederholten, anstatt jede Regel einzeln zu verfolgen. In mehreren Fällen scheiterten die Modelle nicht, weil es ihnen an der Intelligenz fehlte, den Regeln zu folgen, sondern weil sie das strikte Format nicht einhielten, das für eine Bestehensnote erforderlich war. Sie schrieben lange, tiefgründige Essays, obwohl der Test eine einfache Liste verlangte, und das Bewertungssystem zählte dies als totalen Fehlschlag.

Die Untersuchung untersuchte auch die Theorie, die erklärte, warum die Modelle sich so verhielten, wie sie es taten. Die ursprüngliche Studie deutete an, dass das Limit durch ein spezifisches architektonisches Merkmal der Modelle bestimmt wurde, einen Wert, der aus ihrer internen Struktur berechnet wird. Das neue Audit stellte fest, dass die beiden Modelle, die diese Theorie beweisen sollten, exakt denselben Wert für dieses Merkmal aufwiesen, sich aber dennoch sehr unterschiedlich verhielten. Dies bedeutete, dass die Theorie den Unterschied zwischen ihnen nicht erklären konnte. Die vorgeschlagene Erklärung war zu breit gefasst, um nützlich zu sein; sie erlaubte jedes beliebige Ergebnis, sodass sie das spezifische beobachtete Ergebnis nicht vorhersagen konnte.

Die endgültige Schlussfolgerung la ist, dass die Fähigkeit dieser Maschinen, mehrere Bedingungen zu verfolgen, eine reale und messbare Sache ist, aber das präzise mathematische Gesetz, das behauptet wurde, dies zu beschreiben, noch nicht gestützt wird. Das ursprüngliche Ergebnis war eine Mischung aus einer echten Entdeckung und einem Messfehler. Der Fehler rührte von einer verbreiteten, unsichtbaren Entscheidung in der Art und Weise her, wie der Computer die Antworten las – einer Entscheidung, die versehentlich fehlende Daten ergänzte und ein falsches Muster erzeugte. Die Forscher betonen, dass dies nicht bedeutet, dass die Modelle perfekt sind oder dass wir ihre Grenzen vollumfänglich verstehen. Es bedeutet lediglich, dass die spezifische Behauptung über ein vorhersehbares Skalierungsgesetz auf wackeligen Fundamenten errichtet wurde. Um voranzukommen, müssen zukünftige Studien strengere Regeln für das Lesen von Antworten verwenden, jede fehlende Antwort als Fehlschlag zählen und viel mehr Modelle testen, bevor sie ein universelles Gesetz verkünden. Der Weg zum Verständnis dieser Maschinen ist klar, aber er erfordert, die Daten ohne die Sicherheitsnetze zu betrachten, die die Wahrheit verbergen können.