🤖 machine learning

Fast and Expressive Multi-Byte Prediction with Probabilistic Circuits

Cet article introduit MTPC, un cadre basé sur les circuits probabilistes pour la prédiction multi-jetons qui optimise le compromis entre expressivité et latence en encodant des distributions conjointes sur les jetons futurs, accélérant ainsi considérablement la génération de LLM au niveau des octets et des sous-mots tout en préservant les performances du modèle original.

Auteurs originaux : Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'écrire une histoire, mais que vous avez une règle très stricte : vous ne pouvez écrire qu'une seule lettre à la fois. Chaque fois que vous tapez une lettre, vous devez vous arrêter, réfléchir et demander à votre cerveau super intelligent (l'IA) ce qui vient ensuite. C'est ainsi que fonctionne la plupart des grands modèles de langage (LLM) actuels. C'est précis, mais c'est incroyablement lent, surtout si vous écrivez en "octets" (les blocs de construction bruts du texte) plutôt qu'en mots entiers, car vous devez taper des milliers de lettres pour écrire une seule phrase.

Le document présente une nouvelle méthode appelée MTPC (Multi-Token Prediction Circuits) pour résoudre ce problème de vitesse sans perdre la qualité de l'histoire.

Voici comment cela fonctionne, en utilisant quelques analogies de la vie quotidienne :

1. Le Problème : Le "Jeu de Devinettes" vs La "Boule de Cristal"

Pour accélérer les choses, les chercheurs ont tenté une astuce appelée Multi-Token Prediction (MTP). Au lieu de deviner une seule lettre, l'IA essaie de deviner un bloc entier de lettres d'un coup (comme deviner les 8 prochaines lettres d'un mot).

L'Ancienne Méthode (Hypothèse d'Indépendance) : Imaginez que vous devinez les 8 prochaines lettres d'un mot, mais que vous traitez chaque lettre comme si elle n'avait aucune relation avec les autres. Vous devinez la première lettre, puis la deuxième, puis la troisième, en ignorant complètement que si la première est un "C", la deuxième est peu probable d'être un "Z".
- Le Résultat : C'est rapide, mais cela mène à l'absurde. Vous pourriez obtenir "Cretoria" au lieu de "Pretoria" ou "Craporia" parce que le modèle n'a pas réalisé que ces lettres devaient s'assembler. C'est comme essayer de construire une maison en choisissant des briques au hasard sans vérifier si elles s'emboîtent.
La Nouvelle Méthode (MTPC) : Les auteurs disent : "Arrêtons de deviner des lettres de manière isolée. Devinons tout le bloc comme un groupe connecté." Ils utilisent un outil mathématique appelé Circuit Probabiliste.
- L'Analogie : Considérez l'ancienne méthode comme une file de personnes se passant un mot, où chacun chuchote un mot aléatoire. La nouvelle méthode est comme un chef d'orchestre dirigeant un orchestre. Le chef (le circuit) sait que si le premier instrument joue un accord de Do majeur, les instruments suivants doivent jouer des notes qui s'accordent avec cet accord. Il comprend les dépendances entre les lettres.

2. La Boîte à Outils : L'"Architecte de Circuits"

Le document propose un cadre flexible (MTPC) qui vous permet de choisir à quel point les lettres doivent être "connectées". Ils proposent différentes "architectures" (formes de circuits) pour équilibrer vitesse et intelligence :

FF (Entièrement Factorisé) : Le mode "Devinette Aléatoire". Rapide, mais stupide. (Les membres de l'orchestre jouent seuls).
CP (Polyadique Canonique) : Un "Devinage de Groupe". Ils devinent quelques thèmes principaux et construisent les lettres autour de ceux-ci. Un peu plus intelligent.
HMM (Modèle de Markov Caché) : Une "Réaction en Chaîne". La première lettre influence la seconde, qui influence la troisième, et ainsi de suite. C'est très intelligent mais lent car vous devez attendre qu'une lettre soit terminée avant de commencer la suivante.
BTree (Arbre Binaire) : Le "Rassemblement d'Équipe". C'est la star du document. Imaginez diviser les 8 lettres en deux groupes de 4. Le modèle devine le premier groupe et le second groupe en même temps, mais ils sont liés par un "chef d'équipe" (une variable cachée) qui garantit qu'ils s'accordent sur le thème général.
- Pourquoi c'est génial : Cela obtient l'intelligence de la "Réaction en Chaîne" mais la vitesse de la "Devinette Aléatoire" car il fait deux choses à la fois.

3. Le Filet de Sécurité : Le "Décodage Spéculatif"

Vous pourriez vous inquiéter : "Si l'IA devine un bloc entier d'un coup, et qu'elle se trompe ?"

Le document utilise une technique appelée Décodage Spéculatif.

L'Analogie : Imaginez un coureur rapide (le Modèle de Brouillon) et un juge lent mais ultra-précis (le Vérificateur).
1. Le coureur rapide sprinte devant et devine les 8 prochaines lettres.
2. Le juge lent vérifie ces lettres une par une.
3. Si le juge est d'accord avec la supposition du coureur, parfait ! Nous gardons ces lettres.
4. Si le juge n'est pas d'accord, nous nous arrêtons pile là, nous écartons les mauvaises suppositions, et nous ne gardons que celles que le juge a approuvées.

Parce que le Modèle de Brouillon (MTPC) est si bon pour comprendre comment les lettres se connectent (grâce au circuit BTree), le juge est d'accord avec le coureur beaucoup plus souvent qu'auparavant. Cela signifie que nous pouvons garder plus de suppositions rapides, accélérant ainsi tout le processus.

4. Les Résultats : Accélérer sans rien casser

Les auteurs ont testé cela sur deux modèles d'IA spécifiques :

EvaByte : Un modèle qui écrit déjà en octets.
Llama 3.2 3B (Byte) : Un modèle populaire converti pour écrire en octets.

Les Conclusions :

Accélération Massive : Comparée à l'ancienne méthode "une lettre à la fois", la MTPC a rendu EvaByte 5,15 fois plus rapide et Llama 2,24 fois plus rapide.
Meilleur que l'astuce de l'"Indépendance" : Même comparée à d'autres méthodes rapides qui devinent simplement les lettres de manière indépendante, la MTPC était 1,17 fois plus rapide.
Aucune Perte de Qualité : Crucialement, grâce au "Filet de Sécurité" (Décodage Spéculatif), la qualité de la sortie finale est exactement la même que si l'IA l'avait écrite une lettre à la fois. Vous ne perdez pas de précision pour gagner de la vitesse.

Résumé

Le document présente une nouvelle façon de rendre la génération de texte par l'IA plus rapide en apprenant à l'IA à deviner des blocs de texte comme un groupe connecté plutôt que comme des lettres isolées. En utilisant une structure intelligente de "Binaire Tree" (BTree) pour organiser ces devinettes et un "Juge" pour les vérifier, ils ont obtenu un boost de vitesse massif (jusqu'à 5x) tout en garantissant que le texte reste parfait. C'est comme apprendre à un dactylo à taper des mots entiers d'un coup, mais avec un filet de sécurité qui attrape instantanément les fautes de frappe.

Résumé Technique : Prédiction Multi-Octets Rapide et Expressive avec des Circuits Probabilistes

Énoncé du Problème

Les modèles de langage (LLM) autorégressifs (AR) génèrent du texte un jeton à la fois, ce qui entraîne une latence et des coûts énergétiques élevés. Ce goulot d'étranglement est particulièrement sévère pour les LLM au niveau des octets (byte-level), qui ne possèdent pas de tokenizer mais nécessitent beaucoup plus d'étapes de décodage pour générer la même longueur de texte par rapport aux modèles de sous-mots. Bien que la Prédiction Multi-Jeton (MTP - Multi-Token Prediction) offre une solution en prédisant simultanément une fenêtre de jetons futurs, les approches existantes font face à un compromis critique entre expressivité et efficacité :

Hypothèses d'indépendance : De nombreuses méthodes MTP actuelles supposent que les jetons futurs sont indépendants (Entièrement Factorisées, FF). Bien qu'efficaces, elles sacrifient l'expressivité, menant à des continuations de type « salade d'octets » (par exemple, des combinaisons aberrantes d'octets valides) et de faibles taux d'acceptation lors du décodage spéculatif.
Têtes Autorégressives Peu Profondes : D'autres méthodes (par exemple, Hydra, EAGLE) conservent la génération autorégressive au sein de la fenêtre de prédiction. Bien que plus expressives, elles se rapprochent davantage d'un décodage AR accéléré que d'une véritable MTP conjointe et n'exposent pas la structure de dépendance comme un choix de modélisation ajustable.
Latence vs Expressivité : Il existe un manque de cadre systématique pour naviguer sur le spectre entre les modèles entièrement factorisés et les distributions conjointes complexes sans engendrer une latence prohibitive.

Méthodologie : Cadre MTPC

Les auteurs proposent MTPC (Multi-Token Prediction Circuits), un cadre qui utilise des Circuits Probabilistes (PC) pour paramétrer la distribution conjointe des jetons futurs. MTPC traite la distribution conjointe comme un graphe de calcul tractable codant des modèles de mélange hiérarchiques, permettant une exploration systématique des variantes architecturales.

Composants Clés

Architectures de Circuits Probabilistes : MTPC généralise les méthodes existantes et introduit de nouvelles structures pour modéliser les dépendances entre les octets futurs :
- MTPC-FF : Un modèle entièrement factorisé (équivalent au MTP indépendant standard) représenté comme un produit d'unités d'entrée.
- MTPC-CP : Une décomposition Canonique Polyadique (CP) introduisant une variable latente discrète pour créer un mélange de composantes factorisées, récupérant ainsi certaines dépendances.
- MTPC-HMM : Une paramétrisation par Modèle de Markov Caché (HMM) utilisant une séquence de variables latentes pour capturer des dépendances distantes via des matrices de transition dépendantes du temps.
- MTPC-BTree : Une nouvelle factorisation en Arbre Binaire (Binary Tree) qui encode une hiérarchie de variables latentes. Cette structure permet l'échantillonnage parallèle des jetons et des variables latentes, traitant les problèmes d'asymétrie et de latence rencontrés avec les HMM.
Paramétrage avec des LLM :
- Le cadre utilise un squelette (backbone) de LLM (avec des adaptateurs LoRA optionnels) pour extraire les caractéristiques contextuelles de l'historique d'entrée.
- Une tête de réseau neuronal mappe ces caractéristiques vers les paramètres du PC (distributions des unités d'entrée et poids des unités de somme), créant ainsi un circuit conditionnel neural.
- Cela permet au modèle de s'abstraire des structures de circuits spécifiques (FF, CP, HMM, BTree) et de se concentrer sur l'apprentissage des paramètres tensorisés.
Intégration du Décodage Spéculatif :
- MTPC emploie un décodage auto-spéculatif, où le modèle de brouillon (tête MTPC) et le vérificateur (LLM AR) partagent le même squelette.
- Le modèle de brouillon échantillonne une fenêtre de jetons en parallèle à partir du PC.
- Le vérificateur accepte ou rejette ces jetons en parallèle.
- Garanties : Le cadre garantit que le décodage glouton produit des résultats identiques au LLM AR cible, et que l'échantillonnage correspond à la cible en termes d'espérance, assurant ainsi aucune perte de qualité de génération.
Dimensions de Compromis :
- Architecture du Circuit : Choisir entre FF, CP, HMM ou BTree pour équilibrer la modélisation des dépendances et le coût computationnel.
- Partage de Couches : Ajuster le nombre de couches LoRA dans le modèle de brouillon (de 0 à 4 couches) pour contrôler la divergence entre les représentations du brouillon et du vérificateur, ajustant ainsi davantage le compromis expressivité-latence.

Contributions Clés

Cadre MTPC : Introduction d'un cadre MTP rapide basé sur les Circuits Probabilistes qui assouplit les hypothèses d'indépendance et généralise les méthodes de décomposition tensorielle (comme CP) en un cadre PC unifié.
Analyse Systématique des Compromis : Identification rigoureuse des compromis entre les jetons acceptés (expressivité) et la latence de génération. L'article démontre que le débit optimal n'est pas toujours atteint par le modèle le plus expressif (ex: HMM), mais par des architectures comme BTree qui offrent une meilleure parallélisation.
Validation Empirique : Intégration de MTPC sur deux LLM au niveau des octets :
- EvaByte (6.5B) : Un modèle au niveau des octets pré-entraîné avec des capacités MTP.
- Llama 3.2 3B (Byte) : Une version « byte-ifiée » d'un modèle de sous-mots populaire, non pré-entraîné pour le MTP.

Résultats Expérimentaux

Les auteurs ont évalué MTPC sur des GPU NVIDIA L40S et RTX 3090 en utilisant le jeu de données Tulu 3.

Gains de Débit :
- EvaByte : MTPC a obtenu une accélération de 5,15× par rapport à la génération AR standard et une accélération de 1,17× par rapport au MTP avec des hypothèses d'indépendance (FF).
- Llama 3.2 3B : MTPC a obtenu une accélération de 2,24× par rapport à l'AR et une accélération de 1,17× par rapport au MTP FF.
Performance des Architectures :
- BTree vs. HMM : Bien que les HMM aient atteint des taux d'acceptation élevés, leur nature autorégressive a introduit une latence élevée, résultant en un débit global inférieur. Les architectures BTree ont trouvé l'équilibre optimal, permettant l'échantillonnage parallèle et atteignant le débit le plus élevé, particulièrement pour de grandes tailles de fenêtre ( $n=16$ ).
- Couches LoRA : L'ajout d'adaptateurs LoRA au modèle de brouillon a augmenté l'expressivité (jetons acceptés) mais aussi la latence. La configuration optimale variait selon le modèle : 1 couche LoRA était optimale pour EvaByte, tandis que 2 couches LoRA bénéficiaient à Llama.
Taille de Fenêtre : Étendre la fenêtre de prédiction à $n=16$ a considérablement boosté le débit pour les circuits expressifs (HMM, BTree) par rapport à $n=8$ , surtout lorsqu'ils sont combinés avec des adaptateurs LoRA.

Signification et Revendications

L'article affirme que MTPC fournit un moyen systématique de naviguer dans le spectre des variantes architecturales de MTP, allant au-delà du choix binaire entre prédiction indépendante et têtes autorégressives peu profondes. En exploitant les Circuits Probabilistes, le cadre permet de modéliser explicitement les dépendances entre jetons tout en maintenant la tractabilité.

Les auteurs soulignent que ces gains de débit sont obtenus sans sacrifier la qualité de génération, car le processus de décodage spéculatif garantit l'alignement avec le LLM AR cible. Ce travail suggère que les LLM au niveau des octets, souvent entravés par la surcharge computationnelle, peuvent devenir plus courants grâce à de telles stratégies de prédiction multi-octets efficaces. Le cadre est présenté comme un outil flexible pour optimiser l'efficacité des prochains modèles de type byte-level, le code et les modèles étant rendus publics.