💻 computer science

What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training

Diese Arbeit zeigt, dass, obwohl variierende Buchhaltungskonventionen für die Zählung von Parametern und Rechenleistung die angenäherten Exponenten der compute-optimalen Trainingsfront signifikant verändern, die resultierende praktische Auswirkung auf die Trainingseffizienz aufgrund der Flachheit der Verlustlandschaft moderat ist, wobei die spezifischen Buchhaltungswahlen aus einfachen Architekturverhältnissen vorhersagbar sind.

Ursprüngliche Autoren: Alexander Memming

Veröffentlicht 2026-07-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alexander Memming

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den perfekten Kuchen zu backen, aber Sie haben kein Rezept. Sie wissen, dass der Geschmack von zwei Dingen abhängt: wie viel Mehl Sie verwenden (die Größe des Kuchens) und wie lange Sie ihn backen (die Zeitdauer). In der Welt der künstlichen Intelligenz versuchen Wissenschaftler, das perfekte „Rezept“ für das Training riesiger, gehirnähnlicher Computer namens Transformer zu finden. Sie wollen wissen: Wenn ich ein festes Budget für Strom und Computerzeit zur Verfügung habe, sollte ich ein winziges Gehirn bauen und es mit einem Berg von Daten füttern oder ein riesiges Gehirn und es nur ein wenig füttern?

Um das herauszufinden, müssen Forscher Mathematik betreiben. Sie zählen die „Zutaten“ (die Größe des Gehirns) und den „Aufwand“ (die Computerarbeit, die erforderlich ist). Aber hier liegt der knifflige Teil: Genau wie ein Bäcker die „Tassen Mehl“ unterschiedlich zählen könnte, je nachdem, ob er das Gewicht der Schüssel oder nur das Mehl selbst mit einbezieht, zählen KI-Wissenschaftler „Zutaten“ und „Aufwand“ auf verschiedene Arten. Einige zählen jedes einzelne Teil des Gehirns, während andere nur die wesentlichen Denkpartien zählen. Einige zählen die rohen mathematischen Operationen, während andere die tatsächlichen Sekunden zählen, die der Computer zum Arbeiten benötigt. Jahrelang gingen alle davon aus, dass diese unterschiedlichen Arten des Zählens nicht viel ausmachen würden, da die Gehirne, die sie untersuchten, so riesig waren, dass die zusätzlichen Teile unbedeutend klein waren. Aber was, wenn Sie einen kleinen Cupcake statt einer riesigen Hochzeitstorte backen? Ändert die Art, wie Sie die Zutaten zählen, plötzlich das Rezept?

Dieses Papier, geschrieben vom unabhängigen Forscher Alexander Memming, stellt genau diese Frage. Der Autor beschloss, nicht länger zu raten, sondern zu messen. Anstatt massive, teure KI-Modelle zu untersuchen, die sich nur Großunternehmen leisten können, baute Memming ein Raster aus 35 kleineren, handhabbaren KI-Modellen. Er trainierte sie alle auf demselben Bildungstext unter Anwendung derselben Regeln, aber er analysierte die Ergebnisse auf vier verschiedene Arten, wobei er nur die Art und Weise änderte, wie er die „Größe“ und die „Kosten“ zählte.

Die Ergebnisse sind ein wenig so, als würde man entdecken, dass die Küchenwaage lügt, aber nur, wenn man kleine Mengen wiegt. Das Papier fand heraus, dass, wenn man die alte, einfache Zählweise verwendet (die den „Output-Head“ des Gehirns ignoriert), die Mathematik nahelegt, man ein Modell bauen sollte, das etwa 19-mal kleiner ist, als eine präzisere Zählung vermuten ließe. Mit anderen Worten: Je nachdem, welches „Lineal“ man benutzt, ändert sich das empfohlene Rezept drastisch. Der Exponent – eine Zahl, die angibt, wie schnell das Modell wachsen sollte – verschob sich von 0,25 auf 0,42, nur durch die Änderung der Buchungsmethode. Dies ist ein gewaltiger Unterschied und deutet darauf hin, dass zwei Wissenschaftler, die dieselben Trainingsläufe beobachten, völlig unterschiedliche „optimale“ Rezepte veröffentlichen könnten, nur weil sie unterschiedliche Definitionen für ihre Zahlen verwendet haben.

Es gibt jedoch eine Wendung, die dies für jeden, der diese Modelle tatsächlich baut, weniger beängstigend macht. Obwohl die Rezepte auf dem Papier sehr unterschiedlich aussah, schmeckten die Kuchen fast gleich. Der Autor fand heraus, dass das „Tal“ der besten Leistung sehr flach ist. Das bedeutet, dass man, wenn man dem falschen Rezept folgt (dem, das auf der alten, einfachen Zählweise basiert), nicht sein ganzes Budget verschwendet. Man verschwendet vielleicht etwa 18 % seiner Rechenleistung, aber das Endergebnis ist dennoch sehr nah am bestmöglichen Ergebnis. Das Papier kommt zu dem Schluss, dass wir zwar sehr vorsichtig damit sein müssen, wie wir unsere Zahlen angeben, damit Wissenschaftler Äpfel mit Äpfeln vergleichen können, aber die praktischen Kosten, wenn man die Buchhaltung leicht falsch macht, überraschend gering sind. Das „perfekte“ Rezept ist ein sich bewegendes Ziel, aber der Bereich der „gut genug“ Rezepte ist viel breiter, als wir dachten.

Technische Zusammenfassung: Was zählt als Rechenleistung? Eine empirische Analyse von Buchhaltungskonventionen beim Training von compute-optimalen Transformern

Problemstellung
Die Ableitung eines compute-optimalen Trainingsrezepts für Transformer erfordert zwei kritische, wenn auch oft implizite Entscheidungen: die Definition der „Modellgröße“ (was als Parameter zählt) und die Definition der „Rechenleistung“ (was als Kosten des Trainings zählt). Die beiden meist zitierten Studien in diesem Bereich, Kaplan et al. [2020] und Hoffmann et al. [2022], trafen divergente Entscheidungen: Ersterer zähltete nur Nicht-Embedding-Parameter, während Letzterer die Gesamtzahl der Parameter zählte. Beide stützten sich auf die Approximation $C \approx 6ND$ (wobei $N$ die Parameter und $D$ die Token sind) und ignorierten dabei die Rechenkosten der Output-Softmax-Projektion und der Attention-Mechanismen.

Während diese Approximationen für Modelle im Frontier-Maßstab (z. B. GPT-3, Chinchilla), bei denen die Overhead-Kosten für Embeddings und Output-Heads vernachlässigbar sind, Bestand haben, versagen sie bei den kleineren Skalen, die für die akademische und kleinere Forschung zugänglich sind. In diesen Skalen kann die Output-Projektion den Großteil der Trainings-FLOPs beanspruchen, und Embedding-Parameter können die Parameterzahl dominieren. Diese Arbeit fragt: Wie stark verschiebt sich die berichtete compute-optimale Front (speziell der Exponent $a$ in $N^* \propto C^a$ und das Verhältnis von Tokens pro Parameter), wenn sich die Buchhaltungskonvention ändert, unter der Annahme, dass die zugrunde liegenden Trainingsläufe fixiert bleiben? Und welcher praktische Verlust entsteht durch das Befolgen einer suboptimalen Konvention?

Methodik
Die Autoren führten einen kontrollierten empirischen Sweep durch, um den Effekt der Buchhaltungskonventionen zu isolenieren.

Modellfamilie: 35 Decoder-only Transformer wurden auf FineWeb-Edu trainiert. Die Modelle reichten von 0,056M bis 5,98M Nicht-Embedding-Parametern ( $N_{ne}$ ), mit Breiten $d \in \{48, \dots, 288\}$ und Tiefen, die an die Breite gekoppelt waren ( $L = \max(2, d/48)$ ).
Vokabular und Rechenleistung: Die Experimente wurden bei zwei BPE-Vokabulargrößen ( $V=2048$ und $V=8192$ ) durchgeführt, um das Verhältnis der Embedding-/Output-Head-Overheads um den Faktor 16 zu variieren. Die Trainings-Rechenleistung variierte über einen 5,8-fachen Bereich.
Kontrollen: Um die von Vorstudien (z. B. Porian et al. [2024]) identifizierten Störfaktoren zu eliminieren, kalibrierten die Autoren die Lernraten über ihren eigenen Sweep, passten Cosinus-Schedules an die Laufzeiten an, stellten sicher, dass keine Datenrepetition stattfand, und verwendeten konsistente Optimierer und Tokenizer.
Vier Buchhaltungskonventionen: Dieselben 35 Läufe wurden unter vier verschiedenen Definitionen von Größe ( $N$ $N$ ) und Kosten ( $C$ $C$ ) analysiert:
1. K (Kaplan): $N = N_{ne}$ , $C = 6N_{ne}D$ .
2. H (Hoffmann): $N = N_{tot}$ (Gesamtparameter), $C = 6N_{tot}D$ .
3. F (Exakte FLOPs): $N = N_{ne}$ , $C = C_{exact}$ (einschließlich Attention-Matmuls und Output-Softmax).
4. W (Wall-clock): $N = N_{ne}$ , $C = C_{sec}$ (gemessene Gerätezeit).
Analyse: Die Autoren passten eine Standard-additive Verlustoberfläche ( $L = E + A/N^\alpha + B/D^\beta$ ) an die Daten an und leiteten die compute-optimale Front für jede Konvention ab. Sie leiteten zudem eine geschlossene Formelrelation ab, die den Shift der Exponenten basierend auf zwei aus der Architektur allein berechenbaren Elastizitäten vorhersagt.

Kernergebnisse

Ausmaß der Verschiebung: Die Änderung der Buchhaltungskonvention auf demselben Datensatz führte dazu, dass der gefittete Exponent $a$ signifikant variierte, von 0,25 bis 0,42. Das implizierte Verhältnis von Tokens pro Parameter verschob sich um den Faktor 19 über die Konventionen hinweg.
Dominanz des „Heads“: Der primäre Treiber der Diskrepanz bei kleinen Skalen ist nicht die Attention, sondern die Output-Softmax-Projektion. Bei den kleinsten Modellen ( $d=48, V=8192$ ) verbraucht der Output-Head 83 % der Trainings-FLOPs, wodurch die $6ND$-Approximation die wahren Kosten um bis zu das 8,5-Fache unterschätzt.
Vorhersagegenauigkeit: Eine aus zwei Elastizitäten ( $\kappa_c$ und $\gamma_c$ ) abgeleitete geschlossene Formelrelation sagte die gefitteten Exponenten für drei der vier Konventionen innerhalb von 0,105 der numerischen Anpassung erfolgreich voraus. Dies bestätigt, dass der Shift eine deterministische arithmetische Folge der Buchhaltungswahl ist und kein Rauschen.
Rangfolge: Die Konventionen ordneten sich konsistent als $a_H < a_K < a_F$ (wobei $H$ Gesamtparameter, $K$ Nicht-Embedding mit $6ND$ und $F$ exakte FLOPs ist), was den theoretischen Vorhersagen entspricht.
Praktische Kosten (Die Asymmetrie): Trotz der großen Uneinigkeit in den berichteten Exponenten und optimalen Verhältnissen ist der praktische Kostenaufwand, der „falschen“ Konvention zu folgen, moderat. Da das IsoFLOP-Verlust-Tal flach ist, verschwendet das Befolgen einer suboptimalen Empfehlung höchstens 18 % des Rechenbudgets (0,031 nats pro Token). Die drei FLOP-basierten Konventionen lagen in Bezug auf die rechenäquivalenten Werte innerhalb von 5 % voneinander.

Bedeutung und Ansprüche
Das Paper behauptet, dass berichtete compute-optimale Exponenten nicht zwischen Studien vergleichbar sind, sofern die spezifische Buchhaltungskonvention (Parameterdefinition und Kostenmetrik) nicht explizit angegeben wird. Die Divergenz ist am größten genau in dem Regime, in dem akademische Skalierungsexperimente typischerweise durchgeführt werden, wo die Overhead-Verhältnisse nicht vernachlässigbar sind.

Das Paper ist jedoch bescheiden hinsichtlich der absoluten Werte der Exponenten und stellt fest, dass diese Eigenschaften der spezifischen Daten, der Architektur und des Optimierungsprotokolls sind und keine universellen Konstanten. Der primäre Beitrag ist struktureller Natur:

Es bietet eine Konversionsregel (Gl. 12), die es Forschern ermöglicht, Exponenten zwischen Konventionen zu übersetzen.
Es bietet ein Diagnosewerkzeug (Prüfung, ob $a+b=1$ ), um zu identifizieren, ob eine Studie die $6ND$-Approximation vorausgesetzt hat.
Es zeigt auf, dass während Buchhaltungswahlen große numerische Diskrepanzen in den berichteten Metriken erzeugen, die Verlustlandschaft ausreichend flach ist, sodass der praktische Nachteil dieser Diskrepanzen gering ist.

Die Autoren kommen zu dem Schluss, dass das Feld Buchhaltungskonventionen explizit melden sollte, um Reproduzierbarkeit und Vergleichbarkeit zu gewährleisten, aber dass Praktiker nicht wegen geringfügiger Abweichungen in den empfohlenen Rezepten in Panik geraten müssen, da das „compute-optimale Tal“ nachgiebig ist.

Mehr davon