Résumé Technique : Tokenisation Optimale pour le Calcul

Énoncé du Problème

Les lois d'échelle ont traditionnellement guidé la conception efficace des grands modèles de langage (LLM) en prescrivant l'équilibre optimal entre la taille du modèle et le volume des données d'entraînement. Cependant, les approches standards expriment le volume de données en tokens, une unité qui dépend intrinsèquement du tokenizer spécifique et de son taux de compression (le nombre moyen d'octets par token). Cette dépendance néglige la densité d'information de l'unité de données elle-même. Par conséquent, les résultats existants sur les lois d'échelle sont liés à des schémas de tokenisation spécifiques (par exemple, BPE), risquant d'obscurcir la véritable relation entre le calcul, les données et les paramètres du modèle. L'article comble le manque de compréhension concernant l'impact du taux de compression ($T$) sur les tendances d'échelle optimales pour le calcul, et si le ratio optimal données/paramètres devrait être exprimé en tokens ou en octets.

Méthodologie

Pour étudier systématiquement le rôle du taux de compression sans variables de confusion comme la taille du vocabulaire, les auteurs ont employé l'architecture Byte Latent Transformer (BLT). BLT permet un contrôle précis du taux de compression en segmentant l'entrée au niveau des octets en tokens latents basés sur un seuil d'entropie, permettant l'entraînement de modèles avec des $T$ variables tout en maintenant la taille du vocabulaire (et donc le nombre de paramètres) constante.

Configuration Expérimentale :

• Modèles : L'étude a entraîné 988 modèles tokenisés latents (BLT) et 320 modèles tokenisés en sous-mots (utilisant des variantes de Caractère, BPE, SuperBPE et BPE masqué).
• Échelle : Les modèles variaient de 50M à 7B de paramètres.
• Budgets de Calcul : Les expériences couvraient des budgets de $5 \times 10^{18}$ à $2 \times 10^{21}$ FLOPs.
• Taux de Compression ($T$) :
  • Modèles Latents : $T \in \{1, 2, 4, 6, 8, 12\}$ octets/token.
  • Modèles en Sous-mots : $T \in \{1.01, 3.71, 4.16, 4.57, 6.16\}$ octets/token.
• Données : L'entraînement a été principalement réalisé sur le corpus DCLM (anglais brut), avec des extensions à cinq autres langues (français, vietnamien, russe, arabe, hindi) et un ensemble de données anglais artificiellement gonflé.
• Évaluation : Les modèles ont été évalués à l'aide du Bits-Per-Byte (BPB) sur la division de validation C4, garantissant que la longueur du contexte était mesurée en octets (par exemple, 8192 octets) plutôt qu'en tokens pour maintenir la cohérence à travers les taux de compression.

Approche d'Analyse :
Les auteurs ont ajusté des lois de puissance en deux étapes :

1. Loi d'Échelle I : Détermination de la taille optimale des données d'entraînement ($B^\star$) et de la taille du modèle ($N^\star$) pour un budget de calcul donné ($C$) et un taux de compression ($T$) en trouvant le minimum des courbes IsoFLOP (perte vs données/paramètres).
2. Loi d'Échelle II : Modélisation de la dynamique de la perte optimale ($L^\star$) en fonction de $C$ et $T$, investiguant spécifiquement l'existence d'un taux de compression optimal.

Contributions et Résultats Clés

1. Loi d'Échelle I : Octets vs Tokens

L'étude établit que dans les configurations optimales pour le calcul, le ratio optimal entre les octets de données d'entraînement et les paramètres du modèle reste approximativement constant, indépendamment du taux de compression.

• Résultat : Le ratio optimal octets/paramètre ($\rho^\star$) est proche de 60 octets par paramètre pour les données en anglais.
• Implication : La règle « Chinchilla » largement citée d'environ 20 tokens par paramètre est un artefact du taux de compression spécifique des tokenizers BPE ($T \approx 4.57$). Lors de la généralisation des recettes d'échelle à travers différents tokenizers, les développeurs doivent faire correspondre le ratio d'octets d'entraînement aux paramètres, et non des tokens aux paramètres.
• Forme Mathématique : $B^\star(C, T) \approx B_0 C^\alpha T^\beta$ et $N^\star(C, T) \approx N_0 C^{1-\alpha} T^{1-\beta}$, où $\alpha \approx 0.465$ et $\beta \approx 0.471$. Puisque $\alpha$ et $\beta$ sont proches de 0.5, le ratio $\rho^\star = B^\star/N^\star$ reste presque constant à travers les variations de $C$ et $T$.

2. Loi d'Échelle II : Taux de Compression Optimal

L'article découvre qu'il existe un taux de compression optimal ($T^\star$) spécifique qui minimise la perte pour un budget de calcul fixe.

• Non-Monotonie : La perte est non monotone par rapport à la compression ; s'écarter de $T^\star$ dans n'importe quelle direction (compression trop faible ou trop élevée) augmente la perte.
• Dépendance au Calcul : Le taux de compression optimal diminue à mesure que le budget de calcul augmente. Par exemple, à $C=10^{20}$ FLOPs, $T^\star \approx 3.69$, tandis qu'à $C=2 \times 10^{21}$ FLOPs, $T^\star \approx 3.33$.
• Validation par Sous-mots : Cette tendance s'applique également aux modèles tokenisés en sous-mots. Surprenamment, les modèles avec 90 % du vocabulaire BPE masqué (compression effective plus faible) ont surpassé les modèles BPE standards à grande échelle, suggérant qu'une compression plus faible peut être bénéfique pour les très grands modèles.

3. Généralisation Multilingue

Les résultats s'étendent aux langues au-delà de l'anglais, les valeurs optimales corrélant avec la parité interlinguale (le ratio de la longueur en octets requise pour exprimer la même information dans différentes langues).

• Spécificité Linguistique : Les langues avec une parité plus élevée (densité d'information plus faible par octet, par exemple hindi, russe) nécessitent un taux de compression optimal plus élevé et un ratio optimal octets/paramètre plus élevé.
• Tokenizers Actuels : Les tokenizers multilingues populaires (par exemple, Llama 3, Qwen 3) tendent à sur-compresser les langues à ressources abondantes (comme l'anglais) et à sous-compresser les langues à ressources limitées (comme le hindi), s'écartant du $T^\star$ optimal calculé.

4. Compromis d'Inférence

Bien qu'une compression plus faible (plus proche du $T^\star$ optimal pour l'entraînement) produise de meilleures performances, elle augmente le coût de calcul d'inférence par octet. L'article note un compromis : une compression plus élevée réduit les coûts d'inférence mais peut dégrader les performances si elle s'écarte significativement du taux optimal pour l'entraînement.

Importance et Revendications

L'article revendique fournir la première étude approfondie de l'impact du taux de compression sur l'efficacité calculatoire des modèles de langage. Son importance principale réside dans :

1. Généralisation des Lois d'Échelle : Il découple les lois d'échelle des tokenizers spécifiques en établissant les octets comme unité fondamentale pour la mise à l'échelle des données, plutôt que les tokens.
2. Stratégie de Tokenisation Optimale : Il démontre que le taux de compression « optimal » n'est pas statique mais dépend du budget de calcul d'entraînement et du domaine linguistique spécifique.
3. Conseils pour les Développeurs : Il conseille aux développeurs de modèles de sélectionner des schémas de tokenisation alignés avec le ratio optimal octets/paramètre pour le calcul et de considérer les taux de compression spécifiques à la langue, en particulier pour les modèles multilingues où les tokenizers standards en sous-mots échouent souvent à atteindre une compression optimale.

Les auteurs concluent que, bien que la tokenisation latente (BLT) offre un contrôle précis pour découvrir ces tendances, les lois d'échelle dérivées s'appliquent de manière cohérente aux modèles tokenisés en sous-mots, fournissant des directives exploitables pour la sélection de schémas de tokenisation afin de maximiser l'efficacité calculatoire.