💻 computer science

What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training

Dit artikel으로oont aan dat hoewel variërende boekhoudkundige conventies voor het tellen van parameters en rekenkracht de gefitste exponenten van de rekenoptimaal getrainde grens aanzienlijk veranderen, de resulterende praktische impact op de trainingsefficiëntie bescheiden is vanwege de vlakheid van het verlieslandschap, waarbij de specifieke boekhoudkundige keuzes voorspelbaar zijn vanuit eenvoudige architecturale ratio's.

Oorspronkelijke auteurs: Alexander Memming

Gepubliceerd 2026-07-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alexander Memming

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het perfecte gebak te bakken, maar je hebt geen recept. Je weet dat de smaak afhangt van twee dingen: hoeveel bloem je gebruikt (de grootte van de taart) en hoe lang je het bakt (de tijd). In de wereld van kunstmatige intelligentie proberen wetenschappers het perfecte "recept" te vinden voor het trainen van gigantische brein-achtige computers genaamd Transformers. Ze willen weten: als ik een vast bedrag heb om uit te geven aan elektriciteit en computertijd, moet ik dan een klein brein bouwen en het een berg data voeren, of een enorm brein en het slechts een klein beetje?

Om dit uit te zoeken, moeten onderzoekers wiskunde bedrijven. Ze tellen de "ingrediënten" (de grootte van het brein) en de "inspanning" (het computerwerk dat nodig is). Maar hier komt het lastige gedeelte bij: net zoals een bakker "kopjes bloem" anders kan tellen afhankelijk van of hij het gewicht van de kom meerekent of alleen de bloem zelf, tellen AI-wetenschappers "ingrediënten" en "inspanning" op verschillende manieren. Sommigen tellen elk afzonderlijk onderdeel van het brein, terwijl anderen alleen de belangrijkste denkende delen tellen. Sommigen tellen de ruwe wiskundige operaties, terwijl anderen de werkelijke seconden tellen die de computer nodig heeft om te werken. Jarenlang namen iedereen aan dat deze verschillende manieren van tellen niet veel uitmaakten, omdat de breinen die ze bestudeerden zo enorm groot waren dat de extra stukjes verwaarloosbaar waren. Maar wat als je een klein cupcake aan het bakken bent in plaats van een gigantische bruidstaart? Verandert de manier waarop je de ingrediënten telt plotseling het recept?

Dit artikel, geschreven door onafhankelijk onderzoeker Alexander Memming, stelt precies die vraag. De auteur besloot te stoppen met gissen en te beginnen met meten. In plaats van naar enorme, dure AI-modellen te kijken die alleen grote bedrijven kunnen betalen, bouwde Memming een raster van 35 kleinere, beheersbare AI-modellen. Hij trainde ze allemaal op dezelfde educatieve tekst, met dezelfde regels, maar hij analyseerde de resultaten vier verschillende keren, waarbij hij alleen de manier waarop hij de "grootte" en de "kosten" telde, veranderde.

De bevindingen zijn een beetje alsof je ontdekt dat je keukenweegschaal liegt, maar alleen wanneer je kleine hoeveelheden weegt. Het artikel vond dat wanneer je de oude, eenvoudige manier van tellen gebruikt (die de "output head" van het brein negeert), de wiskunde suggereert dat je een model zou moeten bouwen dat ongeveer 19 keer kleiner is dan wat een preciezere telling suggereert. Met andere woorden, afhankelijk van welke "liniaal" je gebruikt, verandert het aanbevolen recept enorm. De exponent — een getal dat vertelt hoe snel het model moet groeien — verschoof van 0,25 naar 0,42, enkel door de methode van boekhouden te veranderen. Dit is een enorm verschil, wat suggereert dat twee wetenschappers die naar exact dezelfde trainingsruns kijken, compleet verschillende "optimale" recepten zouden kunnen publiceren, simpelweg omdat ze verschillende definities voor hun getallen gebruikten.

Er is echter een wending die dit minder eng maakt voor iedereen die deze modellen daadwerkelijk bouwt. Hoar de recepten er op papier heel verschillend uitzagen, smaakten de gebakjes bijna hetzelfde. De auteur vond dat de "vallei" van de beste prestaties erg vlak is. Dit betekent dat als je het verkeerde recept volgt (het recept gebaseerd op de oude, eenvoudige telmethode), je niet je hele budget verspilt. Je verspilt misschien ongeveer 18% van je rekenkracht, maar het eindresultaat is nog steeds heel dicht bij de best mogende uitkomst. Het artikel concludeert dat hoewel we heel voorzichtig moeten zijn met hoe we onze cijfers rapporteren zodat wetenschappers appels met appels kunnen vergelijken, de praktische kosten van het iets verkeerdoel tellen verrassend klein zijn. Het "perfecte" recept is een bewegend doelwit, maar de reeks van "goed genoeg" recepten is veel breder dan we dachten.

Technische Samenvatting: Wat telt als Compute? Een Empirische Analyse van Boekhoudkundige Conventies bij de Training van Compute-Optimale Transformers

Probleemstelling
Het afleiden van een compute-optimaal trainingsrecept voor transformers vereilt twee kritische, maar vaak impliciete keuzes: het definiëren van "modelgrootte" (wat telt als een parameter) en het definiëren van "compute" (wat telt als de kosten van training). De twee meest geciteerde studies op dit gebied, Kaplan et al. [2020] en Hoffmann et al. [2022], maakten uiteenlopende keuzes: de eerste telde alleen niet-embedding parameters, terwijl de tweede de totale parameters telde. Beiden vertrouwden op de benadering $C \approx 6ND$ (waarbij $N$ parameters is en $D$ tokens), waarbij de computationele kosten van de output softmax-projectie en attention-mechanismen werden genegeerd.

Hoewel deze benaderingen standhouden voor frontier-schaal modellen (bijv. GPT-3, Chinchilla) waar de overhead van embeddings en output-heads verwaarloosbaar is, falen ze op de kleinere schaal die toegankelijk is voor academisch en kleinschaliger onderzoek. Op deze schaal kan de output-projectie het grootste deel van de trainings-FLOPs consumeren, en kunnen embedding-parameters domineren in het parametertotaal. Deze paper vraagt zich af: Hoeveel verschuift de gerapporteerde compute-optimale grens (specifiek de exponent $a$ in $N^* \propto C^a$ en de ratio van tokens-per-parameter) wanneer de boekhoudkundige conventie verandert, terwijl de onderliggende trainingsruns constant blijven? En wat is het praktische verlies dat wordt geleden door het volgen van een suboptimale conventie?

Methodologie
De auteurs voerden een gecontroleerde empirische sweep uit om het effect van boekhoudkundige conventies te isoleren.

Model Familie: 35 decoder-only transformers werden getraind op FineWeb-Edu. Modellen varieerden van 0,056M tot 5,98M niet-embedding parameters ( $N_{ne}$ ), met breedtes $d \in \{48, \dots, 288\}$ en dieptes gekoppeld aan de breedte ( $L = \max(2, d/48)$ ).
Vocabulaire en Compute: Experimenten werden uitgevoerd bij twee BPE vocabulaire groottes ( $V=2048$ en $V=8192$ ) om de ratio van embedding/output-head overheads met een factor 16 te variëren. De trainings-compute varieerde over een bereik van 5,8-voudig.
Controles: Om confounders geïdentificeerd in eerdere schalingstudies (bijv. Porian et al. [2024]) te elimineren, kalibreerden de auteurs de learning rates via hun eigen sweep, pasten ze cosine schedules aan op de looptijden, zorgden ze voor geen datarepetitie en gebruikten ze consistente optimizers en tokenizers.
Vier Boekhoudkundige Conventies: Dezelfde 35 runs werden geanalyseerd onder vier verschillende definities van grootte ( $N$ $N$ ) en kosten ( $C$ $C$ ):
1. K (Kaplan): $N = N_{ne}$ , $C = 6N_{ne}D$ .
2. H (Hoffmann): $N = N_{tot}$ (totale parameters), $C = 6N_{tot}D$ .
3. F (Exact FLOP): $N = N_{ne}$ , $C = C_{exact}$ (inclusief attention matmuls en output softmax).
4. W (Wall-clock): $N = N_{ne}$ , $C = C_{sec}$ (gemeten device tijd).
Analyse: De auteurs pasten een standaard additieve verliesoppervlakte ( $L = E + A/N^\alpha + B/D^\beta$ ) toe op de data en leidden de compute-optimale grens voor elke conventie af. Bovendien leidden ze een gesloten vorm relatie af die de verschuiving in exponenten voorspelt op basis van twee elasticiteiten die enkel uit de architectuur te berekenen zijn.

Belangrijkste Resultaten

Grootte van de Verschuiving: Het veranderen van de boekhoudkundige conventie op dezelfde dataset veroorzaakte een significante variatie in de gefitte exponent $a$ , variërend van 0,25 tot 0,42. De geïmpliceerde ratio van tokens-per-parameter verschoof met een factor 19 over de verschillende conventies heen.
De "Head" Dominantie: De primaire drijfveer van de discrepantie op kleine schaal is niet attention, maar de output softmax-projectie. Bij de kleinste modellen ( $d=48, V=8192$ ) consumeert de output head 83% van de trainings-FLOPs, waardoor de $6ND$ benadering de werkelijke kosten met wel 8,5× onderschat.
Voorspellende Nauwkeurigheid: Een uit een gesloten vorm relatie afgeleide methode (gebaseerd op twee elasticiteiten $\kappa_c$ en $\gamma_c$ ) slaagde erin de gefitte exponenten voor drie van de vier conventies te voorspellen binnen 0,105 van de numerieke fit. Dit bevestigt dat de verschuiving een deterministisch rekenkundig gevolg is van de boekhoudkundige keuze, en geen ruis.
Ordening: De conventies volgden consequent de ordening $a_H < a_K < a_F$ (waarbij $H$ totale parameters is, $K$ niet-embedding met $6ND$, en $F$ exacte FLOPs), wat overeenkomt met de theoretische voorspellingen.
Praktische Kosten (De Asymmetrie): Ondanks de grote onenigheid in gerapporteerde exponenten en optimale ratio's, is de praktische kosten van het volgen van de "verkeerde" conventie bescheiden. Omdat het IsoFLOP verliesdal vlak is, verspilt het volgen van een suboptimale aanbeveling maximaal 18% van het compute budget (0,031 nats per token). De drie FLOP-gebaseerde conventies lagen binnen 5% van elkaar in termen van compute-equivalentie.

Significantie en Claims
De paper claimt dat gerapporteerde compute-optimale exponenten niet vergelijkbaar zijn tussen studies, tenzij de specifieke boekhoudkundige conventie (parameterdefinitie en kostenmetriek) expliciet wordt vermeld. De divergentie is het grootst precies in het regime waar academische schalingsexperimenten doorgaans worden uitgevoerd, waar de ratio's van overheads niet verwaarloosbaar zijn.

De paper is echter bescheiden over de absolute waarden van de exponenten, en merkt op dat dit eigenschappen zijn van de specifieke data, architectuur en optimalisatieprotocol, en geen universele constanten. De primaire bijdrage is structureel:

Het biedt een conversieregel (Vergelijking 12) waarmee onderzoekers exponenten tussen conventies kunnen vertalen.
Het biedt een diagnostisch instrument (controleren of $a+b=1$ ) om te identificeren of een studie de $6ND$ benadering heeft aangenomen.
Het demonstreert dat hoewel boekhoudkundige keuzes grote numerieke discrepanties creëren in gerapporteerde metrieken, de loss landscape voldoende vlak is dat het praktische nadeel van deze discrepanties klein is.

De auteurs concluderen dat het veld de boekhoudkundige conventies expliciet moet rapporteren om reproduceerbaarheid en vergelijkbaarheid te waarborgen, maar dat praktijkgebruikers geen paniek hoeven te hebben over kleine afwijkingen in aanbevolen recepten, aangezien de "compute-optimale vallei" vergevensgezind is.

Meer zoals dit