🤖 AI

On the Smallness of the Large Language Models Scaling Exponents

Dieses Paper argumentiert, dass die aktuellen Skalierungsexponenten großer Sprachmodelle auf ein unhaltbares Energie-Regime hindeuten, eine Schlussfolgerung, die selbst nach Berücksichtigung des „Pedestal-Effekts“ von Nicht-Null-Verlustlimits bestehen bleibt, während es gleichzeitig Analogien zur Fluiden Turbulenz zieht, um den Einfluss der Datenglätte auf diese Exponenten zu diskutieren.

Ursprüngliche Autoren: Sauro Succi, Peter V. Coveney, Alex Hansen

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sauro Succi, Peter V. Coveney, Alex Hansen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Größer ist besser“-Problem

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, perfekt zu sprechen. Die aktuelle Regel in der KI-Welt lautet: „Je größer der Roboter, desto besser spricht er.“ Diese Idee, auch bekannt als die „No-Wall“-Entdeckung (keine Wand-Erkenntnis), legt nahe, dass der Roboter immer klüger wird, wenn man einfach immer mehr Daten und mehr Rechenleistung hinzufügt.

Die Autoren dieses Papers argumentieren jedoch, dass diese Strategie nicht nachhaltig ist. Sie sagen, dass wir auf eine Wand des Energieverbrauchs stoßen, selbst wenn wir die Wand der Intelligenz noch nicht erreicht haben.

Das Kernproblem: Abnehmende Erträge

Das Paper nutzt ein einfaches mathematisches Konzept, um zu erklären, warum dies ein Problem ist. Stellen Sie sich vor, Sie versuchen, ein sehr schmutziges Fenster zu reinigen.

Das Ziel: Das Fenster perfekt sauber zu bekommen (null Fehler).
Die aktuelle Realität: Um das Fenster nur halb so schmutzig zu machen, benötigen Sie nicht doppelt so viel Aufwand. Sie benötigen 1.000-mal mehr Aufwand.

Die Autoren weisen darauf darauf hin, dass aktuelle Large Language Models (LLMs) einen „Skalierungsexponenten“ haben (eine Zahl, die misst, wie schnell sie besser werden), der sehr klein ist (etwa 0,05 bis 0,1).

Die Analogie: Wenn Sie die Leistung der KI nur ein winziges Stück verbessern wollen, müssen Sie sie mit einem Berg neuer Daten füttern und eine gewaltige Menge Elektrizität verbrennen. Es ist, als würde man versuchen, einen Felsbrocken einen Hügel hinaufzuschieben, der immer steiler wird, je höher man kommt. Das Paper argumentt, dass dies eine Sackgasse für die Energieressourcen ist.

Die „Podest“-Verteidigung: Warum wir nicht einfach warten können

Einige Kritiker sagen: „Keine Sorge! Wir brauchen die KI gar nicht perfekt zu machen (null Fehler). Wir brauchen sie nur so weit als „gut genug“, damit sie keinen Unsinn mehr redet. Wir stoppen das Training, bevor sie den Boden erreicht.“

Die Autoren nennen dies den „Podest-Effekt“ (Pedestal Effect). Sie stellen sich einen Boden (das Podest) vor, den die Fehler der KI niemals unterschreiten können, egal wie viele Daten man ihr gibt.

Die Gegenrede des Papers: Selbst wenn wir akzeptieren, dass wir keine Perfektion benötigen, funktioniert die Mathematik trotzdem nicht. Die Autoren zeigen, dass, da der „Boden“ im Verhältnis zum Ausgangspunkt so hoch liegt, die „gut genug“-Zone so schnell erreicht wird, dass der winzige Skalierungsexponent dennoch Anwendung findet.
Die Metapher: Stellen Sie sich vor, Sie versuchen, eine Badewanne zu füllen. Sie argumentieren: „Ich muss sie nicht bis zum Rand füllen; ich brauche nur ein paar Zentimeter Wasser.“ Die Autoren sagen: „Selbst mit diesem niedrigen Ziel fließt der Wasserhahn so langsam, dass es eine Million Jahre dauern wird, um diese paar Zentimeter zu erreichen, und Sie werden lange vor Erreichen des Ziels ohne Wasser (Energie) dastehen.“

Warum sind die Zahlen so klein? (Die „Rauheit“ der Daten)

Das Paper stellt die Frage: Warum wird die KI so langsam besser?

Sie vergleichen das KI-Training mit fluider Turbulenz (wie Wasser, das in einem Fluss wirbelt, oder Rauch, der aufsteigt).

Glatt vs. Rau: Wenn Sie versuchen, ein glattes, vorhersehbares Muster zu lernen (wie eine gerade Linie), lernen Sie schnell. Aber reale Daten (Sprache, Bilder, komplexe Systeme) sind „rau“ und chaotisch, wie ein stürmischer Ozean.
Die fraktale Verbindung: Die Autoren nutzen eine Analogie aus der Physik. In einem Sturm ist die Energie nicht gleichmäßig verteilt; sie konzentriert sich in winzigen, chaotischen Wirbeln. Um den Sturm zu verstehen, muss man diese winzigen Wirbel betrachten.
Das Ergebnis: Da die Daten „rau“ und chaotisch sind, muss die KI viel härter arbeiten, um die Muster zu finden. Das Paper legt nahe, dass die „Rauheit“ der Daten dazu führt, dass der Skalierungsexponent sehr niedrig bleibt.

Die „Verborgene Landkarten“-Theorie

Das Paper bezieht sich auf eine Theorie von Sharma und Kaplan (SK), die besagt, dass die Lerngeschwindigkeit von der intrinsischen Dimension der Daten abhängt.

Die Analogie: Stellen Sie sich eine Bibliothek vor.
- Der Embedding-Raum (die Größe der Bibliothek) ist riesig – vielleicht Millionen von Regalen.
- Die intrinsische Dimension (die tatsächliche Anzahl der Bücher, die die wahre Geschichte enthalten) ist viel kleiner, aber dennoch sehr groß.
Das Problem: Auch wenn LLMs fantastisch darin sind, die „wahre Geschichte“ zu finden, die in der massiven Bibliothek verborgen ist (die Kompression der Daten), ist die „wahre Geschichte“ selbst noch zu komplex (zu viele Dimensionen), als dass die KI sie effizient lernen könnte, ohne die Energievorräte der Welt zu verbrennen.

Das Fazit: Hören Sie auf, nach „Größer“ zu jagen

Die Autoren kommen zu dem Schluss, dass der „Größer ist besser“-Ansatz ein Rezept für einen energetischen Burnout ist.

Das Urteil: Egal wie intelligent die KI wird, wenn die Daten komplex und „rau“ sind, wird der Energieaufwand, um sie ein kleines Stück klüger zu machen, immer zu hoch sein.
Der vorgeschlagene Weg: Anstatt nur größere, „dummere“ Modelle zu bauen, die mehr Elektrizität verschlingen, müssen wir zurück zu fundamentalen, physikbasierten Modellen (genannt „World Models“ oder Weltmodelle). Dies sind Systeme, die verstehen, wie die Welt funktioniert (wie Schwerkraft oder Ursache-Wirkung), anstatt nur Muster in einer riesigen Datenbank auswendig zu lernen.

Kurz gesagt: Wir versuchen, ein komplexes Rätsel zu lösen, indem wir immer mehr Menschen darauf ansetzen, aber das Rätsel ist so schwer, dass uns der Kaffee (die Energie) ausgeht, bevor wir es gelöst haben. Wir müssen die Strategie ändern, nicht nur mehr Arbeiter hinzufügen.

Problemstellung
Die Arbeit befasst sich mit der Nachhaltigkeit des aktuellen Pfades in der Entwicklung von Large Language Models (LLMs), der durch das „No-Wall“-Phänomen getrieben wird: der Beobachtung, dass sich die Leistung von LLMs kontinuierlich verbessert, wenn die Modellgröße und das Datenvolumen steigen. Während dies zum Mantra „Größer ist besser“ geführt hat, argumentieren die Autoren, dass die die Verbesserung steuernden Skalierungsexponenten gefährlich klein sind (typischerweise $\alpha \approx 0,05 \div 0,10$ ). In praktischer Hinsicht bedeutet ein Exponent von 0,1, dass eine Reduzierung der Verlustfunktion um den Faktor zwei eine $2^{10} = 1024$ -fache Steigerung der Rechenressourcen erfordert. Die Autoren behaupten, dass dieses Regime der „sinkenden Grenzerträge“ die aktuelle Skalierungsstrategie im Hinblick auf den Energieverbrauch unhaltbar macht, unabhängig davon, ob die Verlustfunktion als strikter numerischer Fehler oder als empirische Metrik betrachtet wird.

Methodik und theoretischer Rahmen
Die Autoren verwenden eine theoretische Analyse, die Skalierungsgesetze, numerische Analyseanalogien und phänomenologische Modelle aus der Fluiddynamik kombiniert, um das Verständnis der LLM-Skalierungsexponenten zu kritisieren und zu verfeinern.

Widerlegung der „Pedestal Effect“-Kritik: Die Arbeit adressiert zunächst ein Gegenargument, das suggeriert, dass die kleinen Skalierungsexponenten ein numerischer Bias seien, der durch das Ignorieren eines nicht-null werdenden „Pedestals“ (eines ungleich Null werdenden Limits der Verlustfunktion für $N \to \infty$ ) verursacht wird. Durch die Modellierung der Verlustfunktion als $L(x) = L_0 + (L_1 - L_0)x^\alpha$ (wobei $x=1/N$ ) leiten die Autoren einen „laufenden Skalierungsexponenten“ ab. Sie zeigen auf, dass selbst mit einem kleinen Pedestal der Übergang von „hohen“ Skalierungsregimen (wie dem Chinchilla-Scaling mit $\alpha \approx 1/3$ ) zu den beobachteten „niedrigen“ Regimen ( $\alpha \approx 0,05 \div 0,10$ ) bei Datensatzgrößen stattfindet, die weit unter denen moderner LLMs liegen. Somit erklärt der Pedestal-Effekt die beobachteten niedrigen Exponenten, löst jedoch nicht das zugrunde liegende Problem der Unhaltbarkeit.
Theoretische Untergrenze (Sharma-Kaplan-Modell): Die Autoren übernehmen den theoretischen Rahmen von Sharma und Kaplan (SK), der postuliert, dass Skalierungsexponenten durch die intrinsische Dimension ( $d$ ) der Daten-Mannigfaltigkeit begrenzt sind: $\alpha \sim 4/d$ . Diese Relation legt nahe, dass LLMs ähnlich wie adaptive Gitterverfeinerungsmethoden in einem $d$ -dimensionalen Merkmalsraum funktionieren, wobei $d$ signifikant kleiner ist als die Einbettungsdimension $D$ .
Analogie zur Fluid-Turbulenz: Um die Größenordnung dieser Exponenten zu erklären, zieht die Arbeit eine Analogie zur Phänomenologie der Fluid-Turbulenz.
- Glätte vs. Rauheit: Die Autoren setzen den Skalierungsexponenten mit der Glätte (Hurst-Exponent $h$ ) des Zielsignals in Verbindung. Für glatte Signale gilt $h=1$ , aber für nicht-glatte Prozesse wie Turbulenz gilt $h < 1$ .
- Fraktale Dimension: Unter Verwendung der Kolmogorov-1941 (K41)-Theorie und Multifraktal-Modellen zeigen sie auf, dass der effektive Skalierungsexponent für turbulente Strömungen aufgrund der Rauheit des Signals und der fraktalen Natur der Energiedissipation weiter reduziert wird.
- Implikation für LLMs: Die Arbeit argumentiert, dass viele komplexe Systeme (und wahrscheinlich die von LLMs verarbeiteten Daten) nicht-glatt sind. Diese „Rauheit“ vergrößert effektiv die intrinsische Dimension um den Faktor $1/h$ , was zu noch kleineren Skalierungsexponenten führt ( $\alpha \sim 4h/d$ ).

Zentrale Beiträge und Ergebnisse

Validierung der Unhaltbarkeit: Die Autoren bestätigen, dass die kleinen Skalierungsexponenten ( $\alpha < 0,1$ ) nicht bloß Artefakte eines vorzeitigen Abbruchs oder eines numerischen Bias (des Pedestal-Effekts) sind, sondern eine fundamentale Limitierung der Effizienz der Skalierung aktueller LLM-Architekturen widerspiegeln.
Quantifizierung des Pedestal-Effekts: Durch analytische Ableitung und grafische Darstellung (Abbildungen 1 und 2) zeigt die Arbeit, dass das „Pedestal“ (das ungleich Null werdende Verlustlimit) das Skalierungsverhalten bei realistischen Datensatzgrößen dominiert und somit das Potenzial für höhere Skalierungsexponenten (wie das Chinchilla- $\alpha \approx 1/3$ ) in groß angelegten Anwendungen effektiv maskiert.
Grenzen der dimensionalen Kompression: Während sie die beeindruckende Fähigkeit von LLMs anerkennen, hochdimensionale Einbettungsräume ( $D \sim$ Tausende) auf intrinsische Mannigfaltigkeiten ( $d \sim 100$ ) zu komprimieren, berechnen die Autoren, dass für jeden Datensatz mit einer intrinsischen Dimension $d > 40$ der Skalierungsexponent zwangsläufig unter 0,1 fallen wird.
Einfluss der Datenauswahl-Rauheit: Die Arbeit stellt fest, dass nicht-glatte Daten (charakterisiert durch $h < 1$ ) das Problem verschärfen, was zu noch niedrigeren Skalierungsexponenten und größerer Ressourcenineffizienz im Vergleich zu glatten Daten führt.

Bedeutung und Fazit
Die Arbeit kommt zu dem Schluss, dass die „Größer ist besser“-Strategie, getrieben von der Begeisterung über das „No-Wall“-Phänomen, ein „sicheres Rezept für den energetischen Burnout“ ist. Die Autoren behaupten, dass das aktuelle Skalierungsregime für Datensätze mit intrinsischen Dimensionen von über 40 mathematisch unhaltbar ist – eine Bedingung, die höchstwahrscheinlich auf die meisten komplexen realen Anwendungen zutrifft.

Die Bedeutung dieser Arbeit liegt in der Verschiebung des Fokus weg von der bloßen Erhöhung der Modellgröße hin zur Suche nach „physikalischem Verständnis und Konformität mit Weltmodellen“. Die Autoren schlagen vor, dass der Weg nach vorne darin besteht, sich von der rein muskulösen Nutzung von Parametern und Datenvolumen wegzubewegen hin zu fundierten, physikbasierten KI-Modellen (sogenannten Weltmodellen), die in der Lage sind, die intrinsische Dimensionalität und Rauheit komplexer Daten besser zu handhaben, ohne auf unhaltbare Skalierungsgesetze angewiesen zu sein.