🤖 machine learning

Kronecker Embeddings: Byte-Level Structured Token Representations for Parameter-Efficient Language Models

Ce papier présente les embeddings de Kronecker, une méthode de factorisation déterministe au niveau des octets qui remplace les grandes tables d'embedding traditionnelles par un encodeur fixe et une projection apprise, éliminant ainsi plus de 90 % des paramètres entraînables du côté de l'entrée tout en améliorant l'efficacité de l'entraînement, la robustesse orthographique et l'utilisation de la mémoire d'exécution dans les grands modèles de langage.

Auteurs originaux : Rohan Shravan

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rohan Shravan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une bibliothèque géante où chaque livre possède une carte d'identité unique. Dans un modèle de langage de grande taille (IA) standard, la toute première chose que l'ordinateur fait lorsqu'il voit un mot est de consulter la carte d'identité de ce mot dans un immense annuaire téléphonique préécrit. Cet annuaire s'appelle une table d'embedding.

Pour les petits modèles, cet annuaire est gérable. Mais pour les modèles « frontier » massifs qui alimentent les IA les plus avancées d'aujourd'hui, cet annuaire est devenu un monstre gonflé. Il occupe des centaines de millions de dollars de mémoire informatique et oblige l'IA à dépenser une énorme quantité de son énergie cérébrale simplement pour mémoriser quelle carte d'identité correspond à quel mot, avant même de commencer à réfléchir au sens de la phrase.

Les embeddings Kronecker sont une nouvelle façon de construire cette bibliothèque qui élimine entièrement l'annuaire téléphonique géant.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'ancienne méthode : L'annuaire téléphonique géant

Imaginez l'IA standard comme un élève qui doit mémoriser un dictionnaire où chaque mot, de « pomme » à « zéphyr », se voit attribuer un nombre aléatoire spécifique.

Le problème : Si le dictionnaire contient 130 000 mots, l'élève doit mémoriser 130 000 nombres aléatoires. Cela occupe une énorme quantité d'espace dans son cerveau (mémoire) et le ralentit.
La particularité : L'article a révélé que cet « annuaire » est en réalité très mauvais pour comprendre les familles de mots. Si vous demandez à l'IA à propos de « courir », son annuaire indique que les mots les plus proches sont « Courir », « courir » et « .courir » (juste le même mot avec une majuscule ou une ponctuation différente). Il traite « courir » et « course » comme des étrangers, même s'ils sont liés.

2. La nouvelle méthode : Le plan de Lego

Les embeddings Kronecker jettent l'annuaire. À la place, ils donnent à l'IA un plan de Lego.

Comment ça marche : Chaque mot n'est qu'une chaîne de petits blocs de construction (octets). Le plan indique : « Si vous voyez un 'b' au premier emplacement, utilisez cette pièce de Lego spécifique. Si vous voyez un 'a' au deuxième emplacement, utilisez cette pièce-là. »
La magie : L'IA ne mémorise pas le mot « courir ». Elle construit le mot « courir » à la volée en assemblant les pièces pour 'c', 'o', 'u', 'r', 'i', 'r' à leurs emplacements spécifiques.
Le résultat : L'IA n'a plus besoin d'un annuaire téléphonique géant. Elle a seulement besoin d'un petit manuel d'instructions (une matrice de projection) pour savoir comment assembler ces pièces de Lego en une forme significative. Cela économise 91 à 94 % de la mémoire généralement nécessaire pour la partie d'entrée du modèle.

3. Ce que l'article a réellement découvert

Les chercheurs ont testé cette nouvelle méthode contre l'ancienne et ont découvert des choses surprenantes :

Elle est plus intelligente face aux fautes de frappe : Parce que la nouvelle méthode construit les mots à partir de leurs lettres individuelles (octets), elle comprend que « reseau » est très similaire à « réseau ». Si vous faites une faute de frappe, l'IA reconnaît toujours la forme du mot. L'ancienne méthode, qui repose sur l'annuaire téléphonique géant, fragmente souvent le mot en morceaux confus lorsqu'une faute de frappe se produit.
- Analogie : Si vous écrivez « chat » en « csh », l'ancienne IA pourrait penser que vous parlez d'un objet complètement différent et inconnu. La nouvelle IA voit que le « c » et le « t » sont aux bons endroits et sait que vous vouliez probablement dire « chat ».
Elle apprend plus vite : Dans leurs tests, l'IA utilisant le plan de Lego (Kronecker) a appris à prédire le mot suivant dans une phrase 2,5 % mieux que l'IA utilisant l'annuaire téléphonique. Elle a également atteint ce niveau de compétence en utilisant 43 % d'étapes d'entraînement en moins.
Elle n'« oublie » pas les nouveaux mots : Si vous demandez à l'IA de parler d'un mot inventé comme « kronekticus », l'ancienne IA se confond et invente une fausse définition. La nouvelle IA, parce qu'elle construit les mots à partir de lettres, peut répéter le mot inventé parfaitement, en préservant l'orthographe exacte que vous lui avez donnée.

4. Les compromis (Le hic)

L'article est honnête sur les inconvénients.

Des jumeaux confus : Parce que la nouvelle méthode examine les lettres, elle pense parfois que des mots qui se ressemblent sont liés, même s'ils signifient des choses différentes. Par exemple, « calculer » et « navette » se ressemblent beaucoup lettre par lettre. La nouvelle IA pourrait penser qu'ils sont des cousins proches, même si l'un concerne les mathématiques et l'autre les voyages. L'IA doit utiliser son « cerveau » (le reste du modèle) pour comprendre la différence en fonction du contexte.
Pas de « nouage » des liens : Dans l'ancien système, l'IA pouvait utiliser le même annuaire pour la lecture et l'écriture afin d'économiser de l'espace. Le nouveau système est trop différent dans sa structure pour faire cela, il a donc besoin d'un petit manuel séparé pour l'écriture. Cependant, l'article note que les plus grands modèles d'IA s'éloignent déjà de toute façon de cette pratique de « nouage ».

5. Pourquoi cela compte pour l'avenir

L'article suggère qu'en supprimant l'annuaire téléphonique géant et lourd, nous pouvons libérer cette énorme quantité de mémoire informatique.

La réallocation : Au lieu de gaspiller de la mémoire sur une liste statique de mots, cet espace économisé peut être utilisé pour rendre le « cerveau » de l'IA (le corps du transformeur) plus grand, plus intelligent, ou capable de lire des documents plus longs.
Les appareils périphériques : Pour faire fonctionner l'IA sur des téléphones ou de petits appareils, c'est un changement radical. La nouvelle méthode permet d'expédier l'IA sans une liste de mots de plusieurs gigaoctets. Elle peut reconstruire les mots à partir d'un petit fichier de 4,5 Mo au lieu d'un fichier de 2 Go, rendant beaucoup plus facile l'exécution d'une IA puissante sur du matériel de petite taille.

En résumé :
Les embeddings Kronecker remplacent un dictionnaire massif et rigide par un kit de construction flexible, lettre par lettre. Ils économisent d'énormes quantités de mémoire, gèrent mieux les fautes de frappe, apprennent plus vite et permettent à l'IA de gérer des mots qu'elle n'a jamais vus auparavant, tout en maintenant exactement la même architecture pour le reste de l'IA.

Résumé Technique : Embeddings Kronecker

1. Énoncé du Problème

Les modèles de langage modernes de grande taille (LLM) reposent sur un tableau d'embeddings d'entrée appris de forme $|V| \times d_{model}$ pour mapper les identifiants de tokens vers des vecteurs continus. Aux échelles de pointe, ce tableau consomme des centaines de millions à des milliards de paramètres entraînables avant même que toute computation contextuelle ne se produise. Par exemple, un modèle avec un vocabulaire de 130k tokens et $d_{model}=4096$ alloue environ 537M de paramètres uniquement aux embeddings d'entrée. Cela crée une friction technique significative : le tableau doit être fragmenté (shardé) sur des rangs parallèles aux données, engendre une surcharge de communication dans les configurations parallèles aux tenseurs, et nécessite une mémoire massive pour les états de l'optimiseur (environ 16 octets par paramètre en Adam à précision mixte). De plus, l'article postule que la nécessité d'apprendre cette mapping fixe des IDs de tokens vers des vecteurs est une question ouverte, particulièrement compte tenu des coûts techniques et de la nature de la structure que ces embeddings développent réellement.

2. Méthodologie : Embeddings Kronecker

Les auteurs proposent les Embeddings Kronecker, un remplacement déterministe et structuré du tableau d'embeddings d'entrée appris. La méthode conserve la tokenisation BPE ou SentencePiece standard mais remplace la table de recherche par un encodeur fixe et une seule projection apprise.

Mécanisme Central

Pour un token avec une séquence d'octets UTF-8 $b = (b_1, \dots, b_L)$ , l'embedding est calculé comme suit :

Encodage Position-Octet : Le token est décomposé en ses octets constitutifs et leurs positions.
Produit Tensoriel (Kronecker) : Un vecteur de codec déterministe $\kappa(b) \in \mathbb{R}^D$ $κ (b) \in R^{D}$ est construit, où $D = d_c \times d_p$ $D = d_{c} \times d_{p}$ .
- $d_c = 256$ (alphabet complet des octets).
- $d_p$ est la position maximale d'un octet (par exemple, 32).
- Le codec est la somme des produits tensoriels de vecteurs one-hot d'octets et de vecteurs one-hot de positions : $\kappa(b) = \frac{1}{\sqrt{L}} \sum_{p=1}^L c_{b_p} \otimes p_p$ .
Normalisation : La sortie du codec subit une normalisation $z$ par token (moyenne 0, écart-type 1) pour stabiliser l'entraînement précoce.
Projection Apprise : Une seule couche linéaire entraînable $W_{proj} \in \mathbb{R}^{D \times d_{model}}$ projette le vecteur de codec vers la dimension cachée du modèle.

Variantes Opérationnelles

gpu_table : Précalcule la table complète de codecs $|V| \times D$ au démarrage. Le calcul est négligeable (récupération/gather), mais l'utilisation de la mémoire est élevée (gigaoctets).
gpu_dynamic : Recalcule le codec à la volée lors du passage avant (forward pass) en utilisant un tampon d'octets compact (~4,5 Mo pour un vocabulaire de 131k). Cela échange une faible surcharge de calcul (0,01–0,24 % du temps par étape) contre des économies massives de mémoire.

Biais Inductif

La méthode introduit une localité au niveau des octets : deux chaînes reçoivent des embeddings similaires si et seulement si elles partagent des octets aux mêmes positions. Cela préserve les distinctions de casse (par exemple, swift vs SWIFT) et la robustesse aux fautes de frappe (par exemple, seperate vs separate), contrairement aux embeddings BPE standard qui tendent à regrouper les variantes typographiques.

3. Contributions Clés

A. Résultats des Sondes Inter-Modèles

Les auteurs ont analysé les embeddings d'entrée à travers six modèles de langage modernes (de 135M à 671B de paramètres, incluant Llama-3.2, Qwen3, DeepSeek-V3, etc.) :

Regroupement Typographique : Les embeddings BPE entraînés regroupent les variantes typographiques (par exemple, run, Run, .run) beaucoup plus que les relatives morphologiques (par exemple, running, runner). Ce schéma se maintient à travers les familles de tokenizers et les échelles.
Évasion Kronecker : Les embeddings Kronecker échappent à ce regroupement typographique, récupérant à la place des chaînes similaires au niveau des octets.
Structure Morphologique : Aucune des deux méthodes ne développe un regroupement morphologique strict au niveau de la couche d'embedding. Dans une sonde en couches sur des checkpoints de 124M, le bras BPE de la première couche de transformateur échange la géométrie morphologique contre une géométrie de co-occurrence/contextuelle, tandis que Kronecker préserve la géométrie au niveau des octets à travers les premières couches.

B. Comparaison d'Entraînement Contrôlée

Une comparaison sur trois graines sur l'architecture nanoGPT GPT-2 124M entraînée sur 2,5 milliards de tokens de FineWeb-Edu :

Performance : Kronecker a atteint une perte de validation inférieure de 2,5 ± 0,2 % par rapport à la baseline liée BPE (écart de 0,083 nats, soit une perplexité environ 9 % plus faible).
Convergence : L'écart de perte s'est élargi pendant l'entraînement et s'est stabilisé à la convergence plutôt que de se réduire.
Efficacité : Kronecker a nécessité 1,43 fois moins d'étapes d'optimiseur pour atteindre la perte convergée de la baseline BPE.
Nombre de Paramètres : À l'échelle de 124M, les paramètres entraînables côté entrée ont été réduits de 91 % (de 38,6M à 3,1M), bien que le nombre total de paramètres entraînables ait légèrement augmenté (3,1M) en raison de la nécessité d'une tête de sortie non liée (le couplage des poids est architecturalement incompatible avec $D \neq d_{model}$ de Kronecker). Aux échelles de pointe (par exemple, 120B-MoE), la réduction côté entrée atteint 94 % (503M de paramètres économisés).

C. Sondes de Robustesse et de Fidélité

Robustesse Orthographique : Sur 110 paires de prompts propres/avec fautes, Kronecker a préservé la prédiction top-1 dans 55,5 % des cas contre 47,3 % pour BPE (+8,2 points de pourcentage). Il a également montré une divergence KL plus faible entre les distributions propres et avec fautes (-7,6 %) et une similarité cosinus plus élevée dans les états cachés finaux (+2,6 %).
Fidélité de Génération : Des sondes qualitatives ont montré que les modèles Kronecker « échoient » les chaînes nouvelles au niveau des octets et les fautes d'orthographe (par exemple, kronekticus, netwrok) à travers la génération autoregressive, tandis que les modèles BPE les fragmentaient et les oubliaient.

D. Observations Mécanistiques

Cible Stable : Les normes des embeddings BPE dérivent de std=0,020 à 0,026 pendant l'entraînement, tandis que les normes de projection Kronecker restent stables à ~1,0. Cela suggère que Kronecker fournit une cible représentative stable pour le corps du transformateur.
Efficacité Mémoire : La variante à la volée réduit l'empreinte mémoire du chemin d'entrée de ~2,15 Go (table précalculée) à ~4,5 Mo (tampon d'octets) pour des tailles de vocabulaire de production.

4. Signification et Revendications

L'article affirme que les Embeddings Kronecker offrent un remplacement économe en paramètres, plug-and-play pour les embeddings d'entrée standard qui :

Élimine le goulot d'étranglement des embeddings : Réduit les paramètres entraînables côté entrée de 91 à 94 % aux échelles de pointe, libérant de la capacité pour le corps du transformateur ou réduisant la mémoire des états de l'optimiseur.
Améliore la dynamique d'entraînement : Atteint une perte de validation plus faible et une convergence plus rapide dans des configurations contrôlées, potentiellement dû à une cible représentative stable et à une optimisation économe en paramètres.
Renforce la robustesse : Offre une robustesse inhérante aux erreurs typographiques et préserve la fidélité au niveau des octets dans la génération, une propriété absente dans les embeddings BPE standard.
Recadre le rôle de l'embedding : Remet en question l'hypothèse selon laquelle les embeddings appris doivent capturer la morphologie, montrant qu'ils capturent principalement des variantes typographiques, tandis que Kronecker offre un biais inductif distinct au niveau des octets.

Les auteurs déclarent explicitement que la méthode n'est pas un remplacement de tokenizer, ni un modèle au niveau des caractères ; elle opère sur des séquences de tokens mais remplace la recherche d'embedding. Ils reconnaissent des limitations, notamment l'impossibilité d'utiliser le couplage des poids, le regroupement de mots sémantiquement distants mais similaires au niveau des octets (par exemple, compute/commute), et la nécessité d'une validation supplémentaire aux échelles de pointe (1B+ de paramètres) et sur des jeux de données multilingues.

5. Limitations et Travaux Futurs

L'article identifie plusieurs questions ouvertes :

Mise à l'échelle : Si l'avantage de perte de validation et les résultats en couches tiennent aux échelles de 1B à 7B+.
Baselines Non Liées : La comparaison contrôlée a utilisé une baseline liée BPE ; les travaux futurs devraient comparer avec des baselines BPE non liées.
Mécanisme : Le mécanisme exact du gain de performance (cible stable vs efficacité des paramètres vs biais inductif) reste une question ouverte.
Côté Sortie : La conception actuelle laisse la tête de sortie comme une matrice apprise standard. Les auteurs émettent l'hypothèse que les travaux futurs pourraient étendre Kronecker au côté sortie pour un décodage sans vocabulaire, mais cela n'a pas été testé.

Le travail est publié avec du code, des scripts reproductibles et quatre modèles LightningLM pré-entraînés (de 2B à 120B-MoE) pour démontrer la stabilité à grande échelle.