💻 computer science

What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training

Questo articolo dimostra che, sebbene la variazione delle convenzioni contabili per il conteggio dei parametri e del calcolo alteri significativamente gli esponenti adattati della frontiera di addestramento computazionalmente ottimale, l'impatto pratico risultante sull'efficienza dell'addestramento è modesto a causa della piattezza del panorama della perdita, con le specifiche scelte contabili essendo prevedibili da semplici rapporti architettonici.

Autori originali: Alexander Memming

Pubblicato 2026-07-28

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Alexander Memming

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di preparare la torta perfetta, ma non hai una ricetta. Sai che il gusto dipende da due cose: quanta farina usi (la dimensione della torta) e quanto tempo la cuoci (il tempo di cottura). Nel mondo dell'intelligenza artificiale, gli scienziati stanno cercando di trovare la "ricetta" perfetta per l'addestramento di enormi computer simili a cervelli chiamati Transformer. Vogliono sapere: se ho una quantità fissa di denaro da spendere in elettricità e tempo di calcolo, dovrei costruire un cervello minuscolo e nutrirlo con una montagna di dati, o un cervello enorme e nutrirlo con pochissimi dati?

Per capire questo, i ricercatori devono fare un po' di matematica. Contano gli "ingredienti" (la dimensione del cervello) e lo "sforzo" (il lavoro del computer richiesto). Ma ecco la parte complicata: proprio come un pasticcere potrebbe contare le "tazze di farina" in modo diverso a seconda che includa il peso della ciotola o solo la farina stessa, gli scienziati dell'IA contano gli "ingredienti" e lo "sforzo" in modi diversi. Alcuni contano ogni singola parte del cervello, altri contano solo le parti principali del pensiero. Alcuni contano le operazioni matematiche grezze, mentre altri contano i secondi effettivi che il computer impiega per lavorare. Per anni, tutti hanno assunto che questi diversi modi di contare non importassero molto perché i cervelli che stavano studiando erano così enormi che le parti extra erano insignificanti. Ma cosa succede se stai preparando un piccolo cupcake invece di una gigantesca torta nuziale? Il modo in cui conti gli ingredienti cambia improvvisamente la ricetta?

Questo articolo, scritto dal ricercatore indipendente Alexander Memming, si pone esattamente questa domanda. L'autore ha deciso di smettere di tirare a indovinare e ha iniziato a misurare. Invece di guardare modelli di IA massicci ed costosi che solo le grandi aziende possono permettersi, Memming ha costruito una griglia di 35 modelli di IA più piccoli e gestibili. Li ha addestrati tutti sullo stesso testo educativo, usando le stesse regole, ma ha analizzato i risultati quattro volte diverse, cambiando solo il modo in cui contava la "dimensione" e il "costo".

Le scoperte sono un po' come scoprire che la tua bilancia da cucina ti sta mentendo, ma solo quando pesi piccole quantità. L'articolo ha scoperto che quando si usa il vecchio metodo semplice di conteggio (che ignora la "testa di output" del cervello), la matematica suggerisce che dovresti costruire un modello che è circa 19 volte più piccolo di quanto suggerisca un conteggio più preciso. In altre parole, a seconda di quale "righello" utilizzi, la ricetta raccomandata cambia drasticamente. L'esponente — un numero che indica quanto velocemente il modello dovrebbe crescere — è passato da 0,25 a 0,42 solo cambiando il metodo di contabilità. Questa è una differenza enorme, che suggerisce che due scienziati che osservano esattamente le stesse sessioni di addestramento potrebbero pubblicare "ricette ottimali" completamente diverse semplicemente perché hanno usato definizioni diverse per i loro numeri.

Tuttavia, c'è un colpo di scena che rende tutto questo meno spaventoso per chiunque stia effettivamente costruendo questi modelli. Anche se le ricette apparivano molto diverse sulla carta, le torte avevano quasi lo stesso sapore. L'autore ha scoperto che la "valle" delle migliori prestazioni è molto piatta. Questo significa che se segui la ricetta sbagliata (quella basata sul vecchio e semplice metodo di conteggio), non sprechi tutto il tuo budget. Potresti sprecare circa il 18% del calcolo, ma il risultato finale è ancora molto vicino al miglior esito possibile. L'articolo conclude che, sebbene dobbiamo essere molto attenti a come riportiamo i nostri numeri affinché gli scienziati possano confrontare mele con mele, il costo pratico di sbagliare leggermente il conteggio è sorprendentemente piccolo. La ricetta "perfetta" è un bersaglio un po' mobile, ma l'intervallo di ricette "abbastanza buone" è molto più ampio di quanto pensassimo.

Sintesi Tecnica: Cosa conta come calcolo? Un'analisi empirica delle convenzioni contabili nella formazione di Transformer computazionalmente ottimali

Enunciato del problema
Derivare una ricetta di addestramento computazionalmente ottimale per i transformer implica due scelte critiche, spesso implicite: definire la "dimensione del modello" (cosa conta come parametro) e definire il "calcolo" (cosa conta come costo di addestramento). I due studi più citati in questo dominio, Kaplan et al. [2020] e Hoffmann et al. [2022], hanno fatto scelte divergenti: il primo contava solo i parametri non relativi all'embedding, mentre il secondo contava il totale dei parametri. Entrambi si sono basati sull'approssimazione $C \approx 6ND$ (dove $N$ sono i parametri e $D$ i token), ignorando il costo computazionale della proiezione softmax in uscita e dei meccanismi di attenzione.

Sebbene queste approssimazioni siano valide per modelli di scala frontiera (es. GPT-3, Chinchilla) dove gli overhead dell'embedding e della testa di output sono trascurabili, esse falliscono alle scale minori accessibili alla ricerca accademica e su piccola scala. A queste scale, la proiezione di output può consumare la maggior parte dei FLOP di addestramento e i parametri di embedding possono dominare il conteggio dei parametri. Questo articolo si chiede: quanto varia la frontiera computazionalmente ottimale riportata (specificamente l'esponente $a$ in $N^* \propto C^a$ e il rapporto token-per-parametro) quando cambia la convenzione contabile, mantenendo fissi gli esperimenti di addestramento? Inoltre, quale è la perdita pratica derivante dal seguire una convenzione subottimale?

Metodologia
Gli autori hanno condotto un sweep empirico controllato per isolare l'effetto delle convenzioni contabili.

Famiglia di Modelli: 35 transformer decoder-only sono stati addestrati su FineWeb-Edu. I modelli variano da 0,056M a 5,98M di parametri non-embedding ( $N_{ne}$ ), con larghezze $d \in \{48, \dots, 288\}$ e profondità legate alla larghezza ( $L = \max(2, d/48)$ ).
Vocabolario e Calcolo: Gli esperimenti sono stati eseguiti a due dimensioni di vocabolario BPE ( $V=2048$ e $V=8192$ ) per variare il rapporto degli overhead di embedding/testa di output di un fattore 16. Il calcolo di addestramento variava attraverso un intervallo di 5,8 volte.
Controlli: Per eliminare i fattori di confusione identificati in precedenti studi di scaling (es. Porian et al. [2024]), gli autori hanno calibrato i tassi di apprendimento tramite il proprio sweep, fatto corrispondere gli schedule cosine alla durata dell'esecuzione, garantito l'assenza di ripetizione dei dati e utilizzato optimizer e tokenizer coerenti.
Quattro Convenzioni Contabili: Gli stessi 35 esperimenti sono stati analizzati sotto quattro diverse definizioni di dimensione ( $N$ $N$ ) e costo ( $C$ $C$ ):
1. K (Kaplan): $N = N_{ne}$ , $C = 6N_{ne}D$ .
2. H (Hoffmann): $N = N_{tot}$ (parametri totali), $C = 6N_{tot}D$ .
3. F (Exact FLOP): $N = N_{ne}$ , $C = C_{exact}$ (inclusi i matmul dell'attenzione e la softmax di output).
4. W (Wall-clock): $N = N_{ne}$ , $C = C_{sec}$ (misurato come tempo di dispositivo).
Analisi: Gli autori hanno adattato una superficie di perdita additiva standard ( $L = E + A/N^\alpha + B/D^\beta$ ) ai dati e hanno derivato la frontiera computazionalmente ottimale per ogni convenzione. Inoltre, hanno derivato una relazione in forma chiusa che predice lo spostamento degli esponenti basandosi su due elasticità computabili dalla sola architettura.

Risultati Chiave

Entità dello Spostamento: Cambiare la convenzione contabile sullo stesso dataset ha causato una variazione significativa dell'esponente $a$ adattato, che varia da 0,25 a 0,42. Il rapporto token-per-parametro implicito è variato di un fattore di 19 tra le convenzioni.
Dominanza della "Testa": Il principale driver della discrepanza alle piccole scale non è l'attenzione, ma la proiezione softmax di output. Nei modelli più piccoli ( $d=48, V=8192$ ), la testa di output consuma l'83% dei FLOP di addestramento, rendendo l'approssimazione $6ND$ capace di sottostimare il costo reale fino a 8,5×.
Accuratezza Predittiva: Una relazione in forma chiusa derivata da due elasticità ( $\kappa_c$ e $\gamma_c$ ) ha predetto con successo gli esponenti adattati per tre delle quattro convenzioni entro 0,105 del fit numerico. Ciò conferma che lo spostamento è una conseguenza aritmetica deterministica della scelta contabile, non rumore.
Ordinamento: Le convenzioni hanno costantemente ordinato come $a_H < a_K < a_F$ (dove $H$ è i parametri totali, $K$ è i non-embedding con $6ND $, e$ F$ sono i FLOP esatti), corrispondendo alle previsioni teoriche.
Costo Pratico (L'Asimmetria): Nonostante il grande disaccordo negli esponenti riportati e nei rapporti ottimali, il costo pratico di seguire la convenzione "sbagliata" è modesto. Poiché la valle della perdita IsoFLOP è piatta, seguire una raccomandazione subottimale spreca al massimo il 18% del budget di calcolo (0,031 nats per token). Le tre convenzioni basate sui FLOP erano entro il 5% l'una dall'altra in termini di equivalenza di calcolo.

Significatività e Rivendicazioni
L'articolo sostiene che gli esponenti computazionalmente ottimali riportati non sono confrontabili tra gli studi a meno che la specifica convenzione contabile (definizione di parametro e metrica di costo) non venga esplicitamente dichiarata. La divergenza è massima proprio nel regime in cui vengono condotti tipicamente gli esperimenti di scaling accademici, dove i rapporti di overhead non sono trascurabili.

Tuttavia, l'articolo è modesto riguardo ai valori assoluti degli esponenti, osservando che essi sono proprietà del set di dati specifico, dell'architettura e del protocollo di ottimizzazione utilizzati, non costanti universali. Il contributo primario è strutturale:

Fornisce una regola di conversione (Eq. 12) che permette ai ricercatori di tradurre gli esponenti tra le convenzioni.
Offre un diagnostico (controllare se $a+b=1$ ) per identificare se uno studio ha assunto l'approssimazione $6ND$.
Dimostra che, sebbene le scelte di bookkeeping creino grandi discrepanze numeriche nelle metriche riportate, la superficie di perdita è sufficientemente piatta che la penalità pratica per queste discrepanze è piccola.

Gli autori concludono che il campo dovrebbe esplicitare le convenzioni contabili per garantire riproducibilità e comparabilità, ma che i professionisti non devono preoccuparsi eccessivamente per piccole deviazioni nelle ricette raccomandate, poiché la "valle computazionalmente ottimale" è tollerante.

Articoli simili