💻 computer science

What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training

Cet article démontre que, bien que la variation des conventions comptables pour le décompte des paramètres et du calcul modifie de manière significative les exposants ajustés de la frontière d'entraînement optimal pour le calcul, l'impact pratique sur l'efficacité de l'entraînement est modeste en raison de la platitude du paysage de perte, les choix de comptabilité spécifiques étant prévisibles à partir de simples ratios architecturaux.

Auteurs originaux : Alexander Memming

Publié 2026-07-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Alexander Memming

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de préparer le gâteau parfait, mais que vous n'avez pas de recette. Vous savez que le goût dépend de deux choses : la quantité de farine que vous utilisez (la taille du gâteau) et le temps de cuisson (la durée). Dans le monde de l'intelligence artificielle, les scientifiques essaient de trouver la « recette » parfaite pour entraîner de gigantesques cerveaux informatiques appelés Transformers. Ils veulent savoir : si j'ai une somme d'argent fixe à dépenser en électricité et en temps informatique, dois-je construire un petit cerveau et le nourrir avec une montagne de données, ou un énorme cerveau et ne lui donner qu'un tout petit peu ?

Pour déterminer cela, les chercheurs doivent faire des mathématiques. Ils comptent les « ingrédients » (la taille du cerveau) et l'« effort » (le travail de l'ordinateur). Mais voici la partie délicate : tout comme un boulanger pourrait compter les « tasses de farine » différemment selon qu'il inclut le poids du bol ou seulement la farine elle-même, les scientifiques de l'IA comptent les « ingrédients » et l'« effort » de différentes manières. Certains comptent chaque partie du cerveau, tandis que d'autres ne comptent que les parties de réflexion principales. Certains comptent les opérations mathématiques brutes, tandis que d'autres comptent les secondes réelles que l'ordinateur met à travailler. Pendant des années, tout le monde a supposé que ces différentes façons de compter n'avaient pas beaucoup d'importance car les cerveaux qu'ils étudiaient étaient si énormes que les parties supplémentaires étaient dérisoires. Mais et si vous étiez en train de préparer un petit cupcake au lieu d'un gigantesque gâteau de mariage ? Est-ce que la façon de compter les ingrédients change soudainement la recette ?

Ce document, écrit par le chercheur indépendant Alexander Memming, pose précisément cette question. L'auteur a décidé d'arrêter de deviner et de commencer à mesurer. Au lieu de regarder des modèles d'IA massifs et coûteux que seules les géantes de la technologie peuvent s'offrir, Memming a construit une grille de 35 modèles d'IA plus petits et gérables. Il les a tous entraînés sur le même texte éducatif, en utilisant les mêmes règles, mais il a analysé les résultats de quatre manières différentes, en changeant uniquement la façon de compter la « taille » et le « coût ».

Les conclusions sont un peu comme découvrir que votre balance de cuisine vous ment, mais seulement lorsque vous pesez de petites quantités. Le document a révélé que lorsque vous utilisez l'ancienne méthode de comptage simple (qui ignore la « tête de sortie » du cerveau), les mathématiques suggèrent que vous devriez construire un modèle environ 19 fois plus petit que ce qu'un compte plus précis suggère. En d'autres termes, selon la « règle » que vous utilisez, la recette recommandée change radicalement. L'exposant — un nombre qui indique la vitesse à laquelle le modèle doit croître — est passé de 0,25 à 0,42 simplement en changeant la méthode de comptage. C'est une différence énorme, suggérant que deux scientifiques observant exactement les mêmes sessions d'entraînement pourraient publier des « recettes optimales » complètement différentes simplement parce qu'ils ont utilisé des définitions différentes pour leurs nombres.

Cependant, il y a un rebondissement qui rend cela moins effrayant pour ceux qui construisent réellement ces modèles. Même si les recettes semblaient très différentes sur le papier, les gâteaux avaient presque le même goût. L'auteur a découvert que le « creux » de la meilleure performance est très plat. Cela signifie que si vous suivez la mauvaise recette (celle basée sur l'ancienne méthode de comptage simple), vous ne gaspillez pas tout votre budget. Vous pourriez gaspiller environ 18 % de votre puissance de calcul, mais le résultat final reste très proche du meilleur résultat possible. Le document conclut que, bien que nous devions être très prudents quant à la façon dont nous rapportons nos chiffres pour que les scientifiques puissent comparer des pommes avec des pommes, le coût pratique d'une erreur de comptage est étonnamment faible. La recette « parfaite » est une cible un peu mouvante, mais la plage de recettes « suffisamment bonnes » est bien plus large que nous ne le pensions.

Résumé technique : Qu'est-ce qui compte comme du calcul ? Une analyse empirique des conventions de comptabilité dans l'entraînement des Transformers optimales en calcul

Énoncé du problème
Dériver une recette d'entraînement optimale en calcul pour les transformers implique deux choix critiques, bien que souvent implicites : définir la « taille du modèle » (ce qui compte comme un paramètre) et définir le « calcul » (ce qui compte comme le coût de l'entraînement). Les deux études les plus citées dans ce domaine, Kaplan et al. [2020] et Hoffmann et al. [2022], ont fait des choix divergents : le premier ne comptait que les paramètres non liés aux embeddings, tandis que le second comptait le total des paramètres. Les deux reposaient sur l'approximation $C \approx 6ND$ (où $N$ est le nombre de paramètres et $D$ le nombre de tokens), ignorant le coût computationnel de la projection softmax de sortie et des mécanismes d'attention.

Bien que ces approximations soient valables pour les modèles à l'échelle de la frontière (ex: GPT-3, Chinchilla) où les surcoûts des embeddings et des têtes de sortie sont négligeables, elles échouent aux échelles plus réduites accessibles à la recherche académique et à plus petite échelle. À ces échelles, la projection de sortie peut consommer la majorité des FLOPs d'entraînement, et les paramètres d'embedding peuvent dominer le nombre total de paramètres. Cet article pose la question suivante : de combien le front optimal en calcul rapporté (spécifiquement l'exposant $a$ dans $N^* \propto C^a$ et le ratio tokens-par-paramètre) se déplace-t-il lorsque la convention de comptabilité change, en maintenant fixes les sessions d'entraînement sous-jacentes ? De plus, quelle est la perte pratique encourue en suivant une convention sous-optimale ?

Méthodologie
Les auteurs ont mené un balayage empirique contrôlé pour isoler l'effet des conventions de comptabilité.

Famille de modèles : 35 transformers de type decoder-only ont été entraînés sur FineWeb-Edu. Les modèles allaient de 0,056M à 5,98M de paramètres non-embeddings ( $N_{ne}$ ), avec des largeurs $d \in \{48, \dots, 288\}$ et des profondeurs liées à la largeur ( $L = \max(2, d/48)$ ).
Vocabulaire et Calcul : Les expériences ont été menées à deux tailles de vocabulaire BPE ( $V=2048$ et $V=8192$ ) pour faire varier le ratio des surcoûts d'embedding/tête de sortie par un facteur de 16. Le calcul d'entraînement variait sur une plage de 5,8 fois.
Contrôles : Pour éliminer les facteurs de confusion identifiés dans les études de mise à l'échelle antérieures (ex: Porian et al. [2024]), les auteurs ont calibré les taux d'apprentissage via leur propre balayage, assuré la correspondance des schémas de cosine avec les durées d'exécution, garanti l'absence de répétition de données, et utilisé des optimiseurs et des tokenizers cohérents.
Quatre conventions de comptabilité : Les mêmes 35 sessions d'entraînement ont été analysées sous quatre définitions différentes de la taille ( $N$ $N$ ) et du coût ( $C$ $C$ ) :
1. K (Kaplan) : $N = N_{ne}$ , $C = 6N_{ne}D$ .
2. H (Hoffmann) : $N = N_{tot}$ (total des paramètres), $C = 6N_{tot}D$ .
3. F (FLOP exact) : $N = N_{ne}$ , $C = C_{exact}$ (incluant les multiplications de matrices d'attention et le softmax de sortie).
4. W (Temps d'exécution) : $N = N_{ne}$ , $C = C_{sec}$ (temps mesuré sur l'appareil).
Analyse : Les auteurs ont ajusté une surface de perte additive standard ( $L = E + A/N^\alpha + B/D^\beta$ ) aux données et ont dérivé le front optimal en calcul pour chaque convention. Ils ont également dérivé une relation sous forme fermée prédisant le décalage des exposants basé sur deux élasticités calculables à partir de l'architecture seule.

Résultats clés

Ampleur du décalage : Changer la convention de comptabilité sur un même jeu de données a provoqué une variation significative de l'exposant $a$ ajusté, variant de 0,25 à 0,42. Le ratio tokens-par-paramètre impliqué a varié d'un facteur de 19 selon les conventions.
La dominance de la « Tête » : Le principal moteur de la divergence aux petites échelles n'est pas l'attention, mais la projection softmax de sortie. Pour les plus petits modèles ( $d=48, V=8192$ ), la tête de sortie consomme 83 % des FLOPs d'entraînement, faisant de l'approximation $6ND$ une sous-estimation du coût réel allant jusqu'à 8,5×.
Précision prédictive : Une relation en forme fermée dérivée de deux élasticités ( $\kappa_c$ et $\gamma_c$ ) a prédit avec succès les exposants ajustés pour trois des quatre conventions à 0,105 près de l'ajustement numérique. Cela confirme que le décalage est une conséquence arithmétique déterministe du choix de comptabilité, et non du bruit.
Ordre : Les conventions respectent systématiquement l'ordre $a_H < a_K < a_F$ (où $H$ est le total des paramètres, $K$ est le non-embedding avec $6ND$, et $F$ est le FLOP exact), ce qui correspond aux prédictions théoriques.
Coût pratique (L'asymétrie) : Malgré le désaccord important sur les exposants rapportés et les ratios optimaux, le coût pratique de suivre la « mauvaise » convention est modeste. Parce que le creux de la perte IsoFLOP est plat, suivre une recommandation sous-optimale gaspille au maximum 18 % du budget de calcul (0,031 nats par token). Les trois conventions basées sur les FLOPs étaient proches l'une de l'autre à 5 % près en termes de calcul équivalent.

Signification et Revendications
L'article affirme que les exposants de calcul optimaux rapportés ne sont pas comparables entre les études à moins que la convention de comptabilité spécifique (définition des paramètres et métrique de coût) ne soit explicitement mentionnée. La divergence est la plus grande précisément dans le régime où les expériences de mise à l'échelle académiques sont généralement menées, là où les ratios de surcoût ne sont pas négligeables.

Cependant, l'article est modeste quant aux valeurs absolues des exposants, notant qu'ils sont des propriétés de l'architecture, des données spécifiques et du protocole d'optimisation utilisés, et non des constantes universelles. La contribution principale est structurelle :

Elle fournit une règle de conversion (Éq. 12) permettant aux chercheurs de traduire les exposants entre les conventions.
Elle offre un diagnostic (vérifier si $a+b=1$ ) pour identifier si une étude a supposé l'approximation $6ND$.
Elle démontre que, bien que les choix de comptabilité créent des écarts numériques importants dans les métriques rapportées, le paysage de perte est suffisamment plat pour que la pénalité pratique de ces écarts soit faible.

Les auteurs concluent que le domaine doit explicitement rapporter les conventions de comptabilité pour assurer la reproductibilité et la comparabilité, mais que les praticiens n'ont pas à paniquer face à de légères déviations dans les recettes recommandées, car le « creux de l'optimal en calcul » est indulgent.

Articles similaires