🤖 AI

EntropyMoE: Entropy-Aware Sparse Expert Routing for Tokenizer-Free LLMs

EntropyMoE introduit une architecture de mélange d'experts sensible à l'entropie pour les grands modèles de langage sans tokenizer qui route dynamiquement les patchs de niveau octet vers des experts spécialisés en fonction de leur entropie et de leur longueur, atteignant une efficacité de compression supérieure et une précision comparable sans dépendre de tokenizers fixes.

Auteurs originaux : Bo Liu, Muxuab Yu, Yu Zhang, Pengfei Gao, Yongping Zhang

Publié 2026-08-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Bo Liu, Muxuab Yu, Yu Zhang, Pengfei Gao, Yongping Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à lire. Pendant longtemps, la meilleure façon de le faire consistait à découper chaque phrase en « morceaux » préétablis appelés jetons (tokens), comme si l'on coupait une pizza en parts fixes avant de la servir. Mais et si le robot pouvait lire les ingrédients bruts — les lettres ou les octets individuels ? C'est le monde des modèles « sans tokenizer ». Ils sont comme des chefs qui n'utilisent pas d'ingrédients pré-découpés, mais manipulent plutôt le légume entier, décidant à la volée de la taille de la tranche à prélever en fonction de la difficulté de la texture. Si le légume est dur (incertain), ils prennent une petite tranche ; s'il est tendre (prévisible), ils en prennent une grande. Cela rend le processus de lecture beaucoup plus flexible.

Cependant, il y a un piège. Même si ces robots sont assez intelligents pour découper le texte en morceaux de tailles variables, ils traitent toujours chaque morceau exactement de la même manière une fois qu'il est sur la planche à découper. Ils utilisent la même quantité de puissance cérébrale pour traiter un mot simple et ennuyeux que pour un mot complexe et déroutant. C'est comme engager une équipe de 100 génies pour résoudre un problème de mathématiques, tout en obligeant ces 100 génies à travailler sur chaque problème, qu'il s'agisse de « 2+2 » ou de la « physique quantique ». C'est un énorme gaspillage d'énergie. La grande question que se posent les scientifiques est la suivante : pouvons-nous rendre le robot plus intelligent en ne faisant appel aux bons experts que pour le bon travail, sans perdre de temps sur les tâches faciles ?

C'est précisément ce que l'article « EntropyMoE » aborde. Les chercheurs ont conçu un nouveau système appelé EntropyMoE qui agit comme un gestionnaire super efficace pour une équipe d'experts en IA. Au lieu de regarder tout le sens complexe d'un fragment de texte pour décider qui doit s'en charger, ce gestionnaire ne regarde qu'un seul nombre simple : l'entropie. Dans le langage courant, l'entropie est ici simplement une mesure de la « surprise » ou de l'« incertitude ». Si un fragment de texte est très prévisible (faible entropie), le gestionnaire sait qu'il est facile. S'il est plein de surprises (entropie élevée), il est difficile.

La magie opère car le gestionnaire utilise ce « score de surprise » pour choisir exactement deux experts parmi une équipe de huit pour gérer chaque fragment de texte. Le meilleur dans tout ça ? Le gestionnaire n'a pas besoin de lire tout le texte pour prendre cette décision ; il a juste besoin de ce seul nombre de « surprise ». C'est comme un videur de boîte de nuit qui a seulement besoin de voir votre carte d'identité pour décider si vous entrez, plutôt que de vous interviewer sur toute votre vie. Ce faisant, le système économise une quantité massive de mémoire informatique et de puissance de calcul. Dans leurs tests, le système EntropyMoE n'a utilisé que 400 minuscules paramètres pour prendre ces décisions d'aiguillage, alors que l'ancienne méthode en nécessitait plus de 400 000 pour accomplir le même travail.

Les résultats ont été impressionnants. Lorsqu'ils ont testé ce nouveau système par rapport aux anciens modèles « denses » (où tout le monde travaille sur tout) et à d'autres modèles de routage intelligents, EntropyMoE s'est avéré être le plus précis pour prédire l'octet suivant de texte. Il a commis le moins d'erreurs, mesurées en « bits par octet ». Bien qu'il n'ait pas totalement écrasé la concurrence dans chaque jeu (comme un quiz de culture générale spécifique appelé HellaSwag où il était légèrement meilleur), il a prouvé que l'utilisation de la « surprise » comme guide est une stratégie gagnante. L'article suggère que cette approche est un moyen solide et efficace de construire une IA plus intelligente, bien que les chercheurs admettent que la version actuelle soit encore un peu plus lente à exécuter que les anciens modèles plus simples, car le « changement d'expert » prend un peu de temps supplémentaire. En fin de compte, ils ont montré que l'on n'a pas besoin d'un cerveau super complexe pour décider qui fait le travail ; parfois, une simple mesure de la surprise du texte est tout ce dont on a besoin pour organiser une équipe d'experts.

Résumé Technique : EntropyMoE

Problématique
Les avancées récentes des modèles de langage (LLM) sans tokenizer, spécifiquement le Byte Latent Transformer (BLT), ont amélioré l'efficacité en regroupant les octets bruts en patchs de tailles dynamiques basées sur l'incertitude prédictive locale (entropie). Dans cette architecture, les séquences d'octets prévisibles forment des patchs plus longs, tandis que les séquences incertaines en forment de plus courts. Cependant, les architectures de patchs d'octets existantes appliquent un calcul feed-forward dense et uniforme à chaque patch, indépendamment de sa difficulté sémantique ou de sa granularité. Cette approche « taille unique » ne parvient pas à adapter la capacité du modèle aux variations de la sémantique des patchs. De plus, les modèles Mixture-of-Experts (MoE) standards sont généralement natifs pour les tokens, effectuant le routage basé sur des états cachés de haute dimension, ce qui ignore le signal d'incertitude explicite déjà calculé lors du processus de patchage et introduit un surcoût de routage inutile.

Méthodologie : EntropyMoE
Le papier propose EntropyMoE, une architecture d'experts creux native aux patchs conçue pour remplacer les couches feed-forward denses d'un Transformer de patchs global par des couches MoE Top-K. L'innovation centrale réside dans l'utilisation de l'entropie scalaire du patch comme unique entrée pour le mécanisme de routage, plutôt que des états cachés de haute dimension.

Architecture : Construit sur un pipeline de type BLT, EntropyMoE conserve l'encodeur d'octets local, l'attention globale de soi (self-attention) et le décodeur, mais remplace les sous-couches feed-forward denses par des pools d'experts. Chaque patch dynamique sert d'unité de routage unique.
Routage basé uniquement sur l'entropie : Contrairement aux routeurs conventionnels qui projettent les états cachés vers des logits d'experts, le routeur d'EntropyMoE mappe uniquement l'entropie scalaire normalisée ( $H_i$ ) d'un patch vers des logits d'experts via une transformation affine apprise ($s = aH + b$). Cela réduit les paramètres de routage de $O(d \times M)$ à $O(M)$ , où $d$ est la dimension cachée et $M$ le nombre d'experts. Dans les expériences rapportées (25 couches, 8 experts), cela représente seulement 400 paramètres de routage entraînables contre plus de 400 000 pour les routeurs basés sur l'état caché.
Sélection Top-K : Le routeur sélectionne exactement $K=2$ experts par patch sur la base des logits dérivés de l'entropie. L'état caché du patch est traité par les experts sélectionnés, mais il est explicitement exclu du processus de sélection.
Comptabilisation de la charge pondérée par les octets : Puisque les patchs varient en longueur, compter les patchs ne reflète pas fidèlement la charge de calcul. EntropyMoE introduit un objectif d'équilibrage de charge pondéré par les octets. La charge d'un expert est calculée comme la somme des longueurs des patchs qui lui sont assignés, normalisée par le nombre total d'octets. Cela garantit que les experts traitant des patchs plus longs (faible entropie) ne sont pas sous-utilisés par rapport à ceux traitant de nombreux patchs courts (haute entropie).
Initialisation : Les modèles creux sont initialisés à partir d'un checkpoint BLT dense en copiant les poids feed-forward denses vers tous les experts, garantissant que le modèle commence avec un comportement identique avant de diverger pendant l'entraînement de continuation.

Principales Contributions

Calcul creux natif aux patchs : La formulation du calcul conditionnel creux pour les LLM sans tokenizer où les patchs d'octets dynamiques sont les unités de routage fondamentales, découplant les décisions de routage des représentations sémantiques de haute dimension.
Routeur basé uniquement sur l'entropie : L'introduction d'un routeur Top-2 basé uniquement sur l'entropie qui utilise le signal d'incertitude causal inhérent au pipeline de patchage. Cela sépare la granularité des patchs (déterminée par le patcher), la sélection des experts (déterminée par l'entropie) et la comptabilisation de la charge (déterminée par la longueur des octets).
Validation empirique contrôlée : Une comparaison rigoureuse avec Dense BLT, Hidden-only MoE et Hidden+Entropy MoE sous des conditions de données, de nombres de mises à jour, de comptes de paramètres actifs et d'initialisation identiques.

Résultats Expérimentaux
Les auteurs ont évalué EntropyMoE sur l'architecture BLT-1B en utilisant le jeu de données FineWeb-Edu.

Qualité de la modélisation : EntropyMoE a obtenu le plus bas Bits Per Byte (BPB) (0,8351) parmi toutes les configurations testées, surpassant la ligne de base Dense BLT (0,8442) ainsi que les deux variantes MoE basées sur l'état caché. L'amélioration est statistiquement significative (intervalles de confiance à 95 % strictement inférieurs à zéro).
Performance en aval : La précision en aval est restée globalement comparable aux lignes de base. Notamment, EntropyMoE a montré une amélioration statistiquement significative sur la tâche HellaSwag (+1,16 % par rapport à Dense BLT) tout en maintenant des performances compétitives sur d'autres tâches comme PIQA et MMLU.
Efficacité du routage : EntropyMoE a réduit les paramètres de routage de trois ordres de grandeur (400 contre ~400k) par rapport aux routeurs basés sur l'état caché. Il a obtenu le meilleur temps d'itération et le débit d'octets valides parmi les modèles creux testés, bien qu'il soit resté environ deux fois plus lent que le Dense BLT en raison du surcoût de dispatch et de communication du MoE.
Motifs de routage : L'analyse a révélé qu'EntropyMoE induit une structure de routage hautement sélective. Contra part aux routeurs basés sur l'état caché qui distribuent les assignations largement, EntropyMoE concentre les assignations sur un petit sous-ensemble d'experts (les 2 meilleurs experts représentent 89,1 % de la masse). Il a également démontré une divergence claire dans le comportement de routage entre les patchs à faible et haute entropie (JSD d'entropie de 0,1263 contre 0,0040 pour Hidden-only), indiquant que l'entropie différencie efficacement l'utilisation des experts.
Comptabilisation de la charge : L'équilibrage de la charge pondéré par les octets a systématiquement amélioré le BPB par rapport à la comptabilisation par nombre de patchs, validant la nécessité de prendre en compte la couverture des octets dans les scénarios de patchs à longueur variable.

Signification et Revendications
L'article affirme que l'entropie du patch sert de coordonnée de routage de faible dimension efficace pour le calcul conditionnel creux dans les LLM sans tokenizer. En exploitant le signal d'incertitude déjà calculé pour le patchage, EntropyMoE organise le calcul creux sans consommer la représentation sémantique complète pour les décisions de routage.

Les auteurs déclarent modestement que, bien que les résultats établissent l'entropie du patch comme une base prometteuse pour le calcul conditionnel et démontrent une meilleure modélisation au niveau des octets, ils ne prétendent pas avoir établi des identités d'experts indispensables ou un avantage de calcul équivalent à la structure dense (car l'implémentation creuse actuelle est toujours plus lente). Les améliorations observées sont attribuées à la géométrie de routage conditionnée par l'entropie et à l'équilibrage de la charge pondéré par les octets plutôt qu'à la seule capacité creuse, car les variantes MoE basées sur l'état caché avec une capacité similaire n'ont pas obtenu les mêmes gains. Ce travail étend la modélisation MoE au-delà des représentations basées sur les tokens, offrant une voie vers une modélisation du langage au niveau des octets plus efficace et adaptative.

Articles similaires