💬 NLP

Neural Neural Scaling Laws

Dieser Beitrag stellt Neural Neural Scaling Laws (NeuNeu) vor, einen auf neuronalen Netzen basierenden Ansatz, der traditionelle parametrische Modelle übertrifft, indem er die Vorhersage der Leistung bei nachgelagerten Aufgaben als Problem der Zeitreihenextrapolation formuliert und dabei deutlich niedrigere Fehlerraten sowie Zero-Shot-Verallgemeinerung über diverse Modellfamilien und Aufgaben hinweg erzielt.

Ursprüngliche Autoren: Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen vorherzusagen, wie gut ein Schüler in seiner Abschlussprüfung abschneiden wird, basierend auf seiner Leistung bei den täglichen Hausaufgaben.

Lange Zeit haben Forscher eine einfache Faustregel (genannt „Scaling Laws") verwendet, um diese Vorhersagen zu treffen. Sie gingen davon aus, dass man, wenn man nur den durchschnittlichen Hausaufgaben-Score des Schülers betrachtet, eine glatte, vorhersehbare Kurve zeichnen kann, um seine Endnote zu schätzen. Sie dachten: „Wenn der Durchschnittsscore steigt, wird die Endnote in einer schönen, geraden Linie steigen."

Aber die Autoren dieses Papers, Michael Y. Hu und sein Team, sagen, dass diese einfache Regel kaputt ist. Hier ist der Grund und was sie getan haben, um sie zu reparieren.

Das Problem: Der „Durchschnitt" lügt

Das Paper argumentiert, dass ein Blick auf einen durchschnittlichen Score die Wahrheit verschleiert.

Die Analogie: Stellen Sie sich zwei Schüler vor, die beide einen Durchschnittsscore von 80 % haben.
- Schüler A hat jede einzelne Frage richtig beantwortet, außer einer. Seine Leistung ist beständig und zuverlässig.
- Schüler B hat die Hälfte der Fragen zu 100 % und die andere Hälfte zu 60 % richtig. Seine Leistung ist chaotisch und unvorhersehbar.
- Wenn Sie nur auf den „80 %-Durchschnitt" schauen, können Sie den Unterschied nicht erkennen. Aber wenn Sie sich die einzelnen Fragen (die „Token-Level"-Daten) ansehen, sehen Sie, dass Schüler A wahrscheinlich besser in der Abschlussprüfung abschneiden wird als Schüler B.

Die alten Methoden (genannt „Logistic Scaling Laws") warfen all diese detaillierten Informationen weg. Sie nahmen einfach den Durchschnitt, glätteten ihn und versuchten, eine einfache mathematische Kurve daran anzupassen. Die Autoren fanden heraus, dass dies versagt, wenn der Schüler (oder das KI-Modell) seltsam zu handeln beginnt – manchmal besser wird, manchmal schlechter, oder eine Plateauphase erreicht.

Die Lösung: NEUNEU (Der „Neuronale" Prädiktor)

Das Team baute ein neues Werkzeug namens NEUNEU (Neural Neural Scaling Laws). Denken Sie an NEUNEU nicht als einfachen Rechner, sondern als einen superbeobachtenden Tutor.

Anstatt nur auf den Durchschnittsscore zu schauen, betrachtet NEUNEU:

Die Geschichte: Wie sich die Noten des Schülers im Laufe der Zeit verändert haben.
Die Details: Die spezifische Leistung bei jeder einzelnen Frage, nicht nur der Durchschnitt.

Wie es funktioniert (Die Metapher):
Stellen Sie sich vor, Sie versuchen vorherzusagen, wie ein Auto auf einer langen Roadtrip-Leistung erbringen wird.

Der alte Weg: Sie überprüfen die Durchschnittsgeschwindigkeit des Autos bisher und gehen davon aus, dass es für immer mit dieser Geschwindigkeit weiterfahren wird.
Der NEUNEU-Weg: Sie schauen sich die Vibrationen des Motors, das Kraftstoffgemisch, die Reaktionszeit des Fahrers und die spezifischen Unebenheiten der Straße an, die das Auto gerade passiert hat. Sie verwenden einen intelligenten Computer (ein neuronales Netz), der aus Tausenden anderer Autos lernt, um genau vorherzusagen, wie dieses spezifische Auto den Rest der Reise bewältigen wird.

Was sie herausfanden

Das Team trainierte NEUNEU mit Daten von vielen Open-Source-KI-Modellen (wie Schülern aus verschiedenen Schulen). Sie testeten es an 66 verschiedenen Aufgaben (wie das Beantworten von Wissenschaftsfragen, das Schreiben von Geschichten oder das Lösen von Logikrätseln).

Hier sind ihre wichtigsten Entdeckungen:

Es ist viel genauer: NEUNEU war 44 % genauer als die alten „durchschnittsbasierten" Methoden. Es machte weniger Fehler beim Schätzen, wie gut die KI in der Zukunft abschneiden würde.
Es bewältigt das Seltsame: Manchmal macht es ein KI-Modell größer oder trainiert es länger, und es wird bei bestimmten Aufgaben schlechter (ein Phänomen, das „inverse Scaling" genannt wird). Die alten Methoden konnten dies nicht vorhersagen; sie gingen einfach davon aus, dass sich die Dinge immer verbessern würden. NEUNEU lernte, diese Muster zu erkennen und korrekt vorherzusagen.
Es ist ein „Zero-Shot"-Genie: NEUNEU wurde auf einem bestimmten Satz von Modellen und Aufgaben trainiert. Aber als sie ihm einen brandneuen Modelltyp oder eine brandneue Aufgabe zeigten, die es noch nie gesehen hatte, funktionierte es immer noch besser als die alten Methoden. Es ist wie ein Tutor, der ein neues Fach unterrichten kann, das er selbst nie studiert hat, indem er einfach die Lerngewohnheiten des Schülers betrachtet.
Es weiß, wann es rät: NEUNEU gibt nicht nur eine Antwort; es gibt einen Bereich von Möglichkeiten an (wie zum Beispiel: „Es besteht eine 90-prozentige Chance, dass der Score zwischen 75 und 85 liegt"). Dies hilft Forschern zu wissen, wann sie der Vorhersage vertrauen können und wann sie vorsichtig sein sollten.

Das Fazit

Das Paper behauptet, dass der Versuch, die zukünftige Leistung von KI-Modellen mit einfachen, vorab geschriebenen Formeln (wie der alten „Durchschnittsscore"-Methode) vorherzusagen, eine Sackgasse ist. Stattdessen sollten wir ein intelligentes, flexibles Computersystem (NEUNEU) verwenden, das direkt aus den chaotischen, detaillierten Daten lernt, wie Modelle sich tatsächlich verhalten.

Indem sie dies tun, können sie die zukünftige KI-Leistung mit viel höherer Genauigkeit vorhersagen und Forschern helfen zu entscheiden, welche KI-Modelle die Zeit und das Geld wert sind, um sie zu bauen.

Technische Zusammenfassung: Neuronale Neuronale Skalierungsgesetze (NEUNEU)

Problemstellung

Neuronale Skalierungsgesetze sagen traditionell voraus, wie sich die Leistung von Sprachmodellen (LM) mit steigender Rechenleistung, Datenmenge und Parameterzahl verbessert, indem sie typischerweise die Beziehung zwischen Trainingsverlust und nachgelagerter Leistung mit einfachen parametrischen Formen (z. B. Potenzgesetze oder logistische Funktionen) modellieren. Die Autoren identifizieren jedoch zwei kritische Einschränkungen in aktuellen Ansätzen:

Verschleierung des Signals: Aggregierte Metriken wie der durchschnittliche Validierungsverlust mitteln reichhaltige token-level-Verlustverteilungen heraus und verschleiern dabei Signale, die möglicherweise für nachgelagerte Fähigkeiten aussagekräftig sind.
Funktionale Starrheit: Einzelne nachgelagerte Aufgaben zeigen unterschiedliche Skalierungsverhalten (monotone Verbesserung, Plateaubildung oder inverse Skalierung), die von einer einzigen parametrischen Familie nicht erfasst werden können.

Folglich leidet die Vorhersage der nachgelagerten Leistung aus dem Validierungsverlust unter Verwendung fester funktionaler Formen unter einer hohen Verzerrung (Bias) und einer schlechten Generalisierung auf nicht gesehene Modellarchitekturen, Parameterzahlen oder Aufgaben.

Methodik: NEUNEU

Die Autoren schlagen Neuronale Neuronale Skalierungsgesetze (NEUNEU) vor, einen neuronalen Netzwerkansatz, der die Vorhersage von Skalierungsgesetzen als Zeitreihen-Extrapolationsproblem formuliert. Im Gegensatz zu parametrischen Methoden lernt NEUNEU, zukünftige Leistungen vorherzusagen, ohne eine spezifische funktionale Form anzunehmen.

Architektur und Eingabedarstellung

NEUNEU kombiniert zeitlichen Kontext aus beobachteten Genauigkeitsverläufen mit token-level-Validierungsinformationen.

Verlustdarstellung: Um Verteilungsinformationen zu bewahren und unbeschränkte Kreuzentropieverluste zu handhaben, wandelt das Modell tokenweise Verluste ( $\ell$ ) in tokenweise Wahrscheinlichkeiten ( $p = e^{-\ell}$ ) um.
Eingabesequenz: Das Modell verarbeitet eine Sequenz historischer nachgelagerter Genauigkeiten ( $y_{1:t}$ $y_{1 : t}$ ) und Rechenlücken ( $g_{1:t}$ $g_{1 : t}$ ) sowie einen Vektor von tokenweisen Wahrscheinlichkeiten ( $p_t$ $p_{t}$ ) aus dem Validierungsdatensatz.
- Lücken: Rechenintervalle zwischen Evaluierungsschritten werden abstrahiert, um Invarianz über verschiedene Modellskalen hinweg zu gewährleisten.
- Token-Wahrscheinlichkeiten: Das Modell verarbeitet einen Vektor von $N=256.000$ tokenweisen Wahrscheinlichkeiten (ungefähr die Größe eines Minibatches), anstatt eines einzigen gemittelten Verlustwerts.
Modellkomponenten:
1. Verlust-Encoder: Eine hierarchische 1D-CNN (4 Schichten) verarbeitet den Vektor der tokenweisen Wahrscheinlichkeiten, um eine Einbettung $e$ zu erzeugen.
2. Transformer-Rückgrat: Ein standardmäßiger BERT-artiger Transformer (6 Schichten, bidirektionale Aufmerksamkeit, RoPE) verarbeitet eine Sequenz, die ein [CLS]-Token, die Verlusteinbettung $e$ und Kontext-Token enthält, die durch Verkettung projizierter Genauigkeiten und Lücken gebildet werden.
3. Vorhersagekopf: Die Ausgabe des [CLS]-Tokens wird projiziert, um eine Verteilung über zukünftige Genauigkeiten unter Verwendung von Quantilregression vorherzusagen. Das Modell gibt 5 Quantile aus ( $\hat{q}_{0.1}, \hat{q}_{0.25}, \hat{q}_{0.5}, \hat{q}_{0.75}, \hat{q}_{0.9}$ ).

Trainingsstrategie

Daten: Das Modell wird ausschließlich auf Open-Source-Trainingsverläufen von Sprachmodellen von HuggingFace trainiert, speziell der DataDecide-Modellsuite. Dies umfasst 144 einzigartige Vortrainingsverläufe über 6 Modellgrößen (90M bis 1B Parameter) und 24 Datensätze.
Zielfunktion: Das Modell wird unter Verwendung von Pinball-Verlust trainiert, der über die 5 Quantile summiert wird, um kalibrierte Unsicherheitsschätzungen zu erzeugen.
Augmentierung: Um Robustheit gegenüber fehlenden Daten zu gewährleisten, werden im Trainingsprozess zufällig Tupel aus der Genauigkeitssequenz entfernt, wobei die Lücke in das vorhergehende Tupel integriert wird.

Hauptbeiträge

Parametrische Vorhersage: NEUNEU ist das erste Modell, das nachgelagerte Skalierungsleistung ohne parametrische Annahmen oder Vorwissen über spezifische funktionale Formen vorhersagt.
Überlegene Genauigkeit: Auf 66 nachgelagerten Aufgaben erreicht NEUNEU einen mittleren absoluten Fehler (MAE) von 1,99 %, was einer 44%igen Reduktion des Fehlers im Vergleich zu weit verbreiteten logistischen Skalierungsgesetzen (3,56 % MAE) entspricht.
Unsicherheitskalibrierung: Durch die Nutzung von Quantilregression liefert NEUNEU kalibrierte Unsicherheitsschätzungen. Sein vorhergesagtes 10%-90%-Interquantilintervall erfasst 77,6 % der Ground-Truth-Daten und entspricht damit eng den erwarteten 80 %.
Zero-Shot-Generalisierung: Das Modell generalisiert zero-shot auf:
- Nicht gesehene Zufallsseed.
- Nicht gesehene Vortrainingsdatensätze (z. B. C4).
- Nicht gesehene Modellfamilien und Architekturen, einschließlich nicht-Transformer-Modellen (z. B. OLMo-Hybrid-7B) und größeren Parameterzahlen (bis zu 12B), die während des Trainings nicht gesehen wurden.
- Nicht gesehene nachgelagerte Aufgaben (zurückgehaltene Aufgaben während des Meta-Trainings).

Ergebnisse und Evaluation

Die Autoren evaluierten NEUNEU gegen mehrere Baselines:

Logistische Skalierungsgesetze: Parametrische Anpassungen pro Aufgabe.
BNSL (Broken Neural Scaling Laws): Parametrische Modelle, die Regimewechsel zulassen.
LC-PFN: Ein meta-gelernter Transformer für die Extrapolation von Lernkurven im Kontext.
Ablationen: Varianten von NEUNEU, die nur den durchschnittlichen Verlust (AVERAGE) oder keine Verlustinformationen (NOLOSS) verwenden.

Wichtige Erkenntnisse:

Generalisierung: NEUNEU übertrifft alle Baselines bei Out-of-Distribution (OOD)-Evaluierungen signifikant, insbesondere bei neuen Architekturen (Pythia, OLMo-Hybrid), bei denen parametrische Gesetze katastrophal versagen (mit einem etwa 4-fach höheren Fehler).
Aufgabenunabhängigkeit: Im Gegensatz zu logistischen Skalierungsgesetzen, die eine separate Anpassung pro Aufgabe erfordern, sagt ein einzelnes NEUNEU-Modell die Genauigkeit für jede Aufgabe voraus, einschließlich solcher, die während des Trainings nie gesehen wurden, und übertrifft dabei oft logistische Gesetze, die direkt an diese spezifischen Aufgaben angepasst wurden.
Entscheidungsnutzen: NEUNEU rangiert die Endleistung konkurrierender Modellkonfigurationen mit 76,6 % Genauigkeit korrekt, was einer Verbesserung von 12,9 % gegenüber logistischen Skalierungsgesetzen entspricht. Dies legt nahe, dass NEUNEU die Ressourcenallokation und Hyperparameterauswahl effektiv steuern kann.
Informationswert: Die Ablationen AVERAGE und NOLOSS schneiden schlechter ab als das vollständige NEUNEU, was bestätigt, dass token-level-Verlustverteilungen prädiktive Signale enthalten, die durch Mittelung verworfen werden.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass die Einschränkungen bestehender Skalierungsgesetze nicht fundamental für das Vorhersageproblem sind, sondern Artefakte eingeschränkter Hypothesenklassen (d. h. die Annahme spezifischer funktionaler Formen). Durch den Ersatz parametrischer Verzerrung durch die Flexibilität eines neuronalen Netzwerks, das auf diversen Open-Source-Verläufen trainiert wurde, zeigt NEUNEU, dass die direkte Vorhersage nachgelagerter Skalierung aus Daten parametrische Alternativen übertrifft.

Die Autoren positionieren NEUNEU als Schritt hin zu „Foundation Models der Trainingsdynamik". Anstatt Sprachmodelle als Blackboxen zu behandeln, fungiert NEUNEU als ein aufkeimendes Modell der Trainingsdynamik, das in der Lage ist, zukünftige Zustände basierend auf aktueller Leistung und Rechenaktionen zu simulieren. Diese Fähigkeit könnte Praktikern ermöglichen, Hyperparameterräume und Architekturentscheidungen zu erkunden, ohne die prohibitiven Kosten realer Trainingsläufe in Kauf nehmen zu müssen. Die Arbeit stimmt mit dem Prinzip überein, dass Methoden, die mit Rechenleistung und Daten skalieren, tendenziell besser abschneiden als solche, die auf vom Menschen entworfenen Strukturen beruhen.