💬 NLP

MultiHashFormer: Hash-based Generative Language Models

MultiHashFormer introduit un nouveau cadre autorégressif basé sur le hachage qui représente les jetons sous forme de séquences uniques d'identifiants de hachage afin de permettre une modélisation de langage efficace en termes de paramètres avec une empreinte de vocabulaire constante, démontrant une performance supérieure aux Transformers standards à travers de multiples échelles et scénarios multilingues.

Auteurs originaux : Huiyin Xue, Atsuki Yamaguchi, Nikolaos Aletras

Publié 2026-06-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Huiyin Xue, Atsuki Yamaguchi, Nikolaos Aletras

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre une nouvelle langue à un robot. Le plus gros problème des robots actuels (les modèles de langage), c'est leur « dictionnaire ».

Le Problème : Le Dictionnaire Pesant

Dans les modèles d'IA standards, chaque mot ou morceau de mot (comme « chat », « carte » ou « physique ») reçoit son propre sac à dos unique et lourd. Si vous voulez qu'un robot apprenne 100 000 mots, vous devez lui fournir 100 000 sacs à dos lourds. Cela rend le robot énorme, coûteux à faire fonctionner et difficile à mettre à jour. Si vous voulez ajouter une nouvelle langue ou des mots rares plus tard, vous devez construire un tout nouvel ensemble de sacs à dos, ce qui revient à essayer d'ajouter une nouvelle aile à une maison sans modifier ses fondations.

Des tentatives précédentes pour corriger cela ont utilisé une astuce de « hachage » (hashing) : au lieu de donner un sac à dos à chaque mot, ils mettaient de nombreux mots dans le même sac à dos.

La Faille : Imaginez que vous mettiez « chat », « carte » et « physique » tous dans le Sac à Dos n°40. Si le robot prédit le « Sac à Dos n°40 », il n'a aucune idée de quel mot il s'agissait réellement. C'est un jeu de devinettes. Cela a fonctionné pour la lecture (encodeurs), mais a échoué pour l'écriture (générateurs) car le robot ne pouvait pas décider quel mot dire ensuite.

La Solution : MultiHashFormer (Le Système de Carte d'Identité)

Les auteurs de cet article proposent un nouveau système appelé MultiHashFormer. Au lieu d'un seul sac à dos, ils donnent à chaque mot une carte d'identité composée d'une courte séquence de nombres.

Imaginez un système de sécurité à un concert :

L'Ancienne Méthode : Vous avez un billet. Si 100 personnes ont le même numéro de billet, le garde ne peut pas distinguer qui est qui.
La Méthode MultiHashFormer : Chaque personne reçoit une carte d'identité avec quatre chiffres différents (par exemple, [12, 40, 56, 99]). Même si deux personnes partagent le nombre « 40 », elles ne partageront pas toute la séquence.
- « Chat » pourrait être : [12, 40, 56, 99]
- « Carte » pourrait être : [99, 40, 3, 12]
- « Physique » pourrait être : [5, 40, 88, 2]

Parce que la combinaison de nombres est unique, le robot peut toujours identifier exactement quel mot est visé, même si les nombres se chevauchent.

Comment ça marche (La Chaîne de Montage)

L'article décrit un processus en trois étapes :

L'Encodeur (Le Traducteur) : Lorsqu'un robot voit un mot, il ne cherche pas un sac à dos lourd. À la place, il fait passer le mot par quatre différentes « machines à hacher » pour générer sa carte d'identité unique à 4 chiffres. Il compresse ensuite cette carte d'identité en un « vecteur de pensée » efficace pour le transmettre au cerveau.
Le Cerveau (Le Transformer) : Le cerveau du robot traite ces pensées exactement comme une IA normale, en comprenant le contexte de la phrase.
Le Décodeur (Le Prédicteur) : Lorsqu'un robot doit deviner le mot suivant, il ne devine pas le mot directement. Il devine les quatre chiffres de la carte d'identité du mot suivant, un par un.
- D'abord, il devine le premier chiffre.
- Ensuite, en utilisant ce chiffre comme indice, il devine le deuxième.
- Il continue jusqu'à obtenir la séquence complète de 4 chiffres.
- Enfin, il cherche quel mot correspond à cette séquence exacte et le prononce.

Pourquoi c'est une grande avancée

L'article affirme trois victoires principales :

Il écrit mieux : En utilisant ce système de carte d'identité, le robot écrit en réalité mieux que les robots standards de même taille. Ils ont testé des modèles de 100 millions, 1 milliard et 3 milliards de « paramètres » (cellules cérébrales) et ont constaté que MultiHashFormer obtenait systématiquement des scores plus élevés en logique, en compréhension de lecture et en tâches linguistiques.
Il connaît mieux les mots rares : Parce que le système force les mots rares à partager un « espace de stockage » de manière intelligente (comme une bibliothèque bondée où les livres sont organisés par plusieurs étiquettes), le robot comprend mieux les mots obscurs ou rares par rapport aux modèles standards.
L'Expansion « Magique » : C'est la partie la plus impressionnante. Si vous voulez apprendre une nouvelle langue au robot ou ajouter 15 000 nouveaux mots, vous n'avez pas besoin d'ajouter de nouvelle mémoire ni de rendre le robot plus gros.
- Dans un robot normal, ajouter des mots le rend plus lourd.
- Dans MultiHashFormer, vous enregistrez simplement de nouvelles combinaisons de cartes d'identité dans le système. La taille du robot reste exactement la même, mais son vocabulaire s'étend instantanément. L'article a montré qu'ils pouvaient étendre le vocabulaire de 32 000 à 48 000 mots sans ajouter un seul paramètre, et le robot conservait des performances identiques.

L'Essentiel

MultiHashFormer est comparable au passage d'un dictionnaire de robot composé d'un tas de livres lourds à usage unique vers un système léger de cartes d'identité numériques. Cela permet au robot de parler plus de langues et de connaître plus de mots sans devenir plus lourd, tout en devenant plus intelligent en même temps.

Résumé Technique : MultiHashFormer

Énoncé du Problème

Les modèles de langage (LM) standards reposent sur des matrices de plongement (embeddings) apprises qui évoluent linéairement avec la taille du vocabulaire, créant ainsi un « goulot d'étranglement du vocabulaire ». Cette mise à l'échelle linéaire verrouille les modèles dans des capacités de jetons (tokens) fixes, entravant leur capacité à s'adapter à de nouveaux domaines ou langues sans augmenter significativement le nombre de paramètres. Bien que des recherches antérieures aient exploré le hachage de jetons pour contraindre l'empreinte des paramètres, les modèles basés sur le hachage existants (par exemple, Proformer, HashFormer) utilisent des correspondances de type « plusieurs-vers-un ». Dans ces systèmes, plusieurs jetons partagent un même index de hachage. Bien que performante en termes de parcimonie de paramètres, cette approche provoque des collisions de jetons qui empêchent la récupération déterministe des jetons lors de la génération autoregressive. Par conséquent, les méthodes de hachage précédentes ont été limitées aux architectures de type encodeur uniquement et à l'entraînement discriminatif, les rendant inapplicables aux modèles de langage génératifs de type décodeur uniquement (causaux).

Méthodologie

Les auteurs proposent MultiHashFormer, un cadre conçu pour permettre l'autoregression basée sur le hachage en éliminant les collisions de jetons grâce à une approche de signature multi-identifiants. L'architecture se compose de trois modules principaux :

Encodeur de Hachage (Hash Encoder) :
- Indexation Multi-Hachage : Au lieu de mapper un jeton vers un seul ID de hachage, chaque jeton est converti en une « signature de hachage » unique consistant en une courte séquence d'IDs de hachage discrets générés par $H$ fonctions de hachage indépendantes (utilisant l'algorithme MurmurHash3). Par exemple, un jeton pourrait être représenté par $[12, 40, 56]$ . Ce mappage multi-ID supporte théoriquement une immense capacité de vocabulaire (par exemple, $B^H$ signatures uniques) avec une empreinte de paramètres strictement sous-linéaire.
- Composition de Plongement à Porte (Gated Compositional Embedding) : Pour gérer le fait que les compartiments (buckets) de hachage sont partagés globalement (provoquant potentiellement des collisions entre jetons sémantiquement non apparentés), le modèle utilise une porte compositionnelle sensible au contexte. Ce module compresse les plongements de hachage individuels en un vecteur latent dense unifié. Il utilise un réseau de goulot d'étranglement (bottleneck) à propagation directe avec une normalisation softmax pour déterminer la contribution de chaque compartiment, suivi d'un adaptateur linéaire pour projeter la représentation combinée dans l'espace latent de l'architecture principale (backbone).
Architecture de Traitement de Séquence (Sequence Processing Backbone) :
- Les vecteurs latents compressés passent par une pile standard de couches de décodeur Transformer (basée sur l'architecture Qwen3) pour générer des représentations contextualisées.
Décodeur de Hachage (Hash Decoder) :
- Prédicteur en Cascade : Pour reconstruire le jeton suivant, le modèle ne prédit pas un simple ID de jeton. À la place, il reconstruit de manière autoregressive la signature multi-ID du jeton suivant. Cela est réalisé via un système itératif structuré de correction d'erreurs.
- Le décodeur initialise une boucle de prédiction avec l'état caché final du backbone. Il prédit ensuite chaque coordonnée de la signature de hachage ( $H_1, H_2, \dots, H_H$ ) de manière séquentielle.
- Récupération de Plongement Douce (Soft Embedding Retrieval) : Pour maintenir la différentiabilité pendant la cascade, le modèle calcule un « plongement de compartiment doux » (la valeur attendue de la matrice de plongement pondérée par les probabilités de logit) plutôt que des indices discrets durs pour les étapes intermédiaires.
- Mise à jour de l'État : Un mélangeur de cascade récursif met à jour l'état interne en concaténant l'état actuel avec le plongement doux récupéré, en faisant passer la représentation jointe par une couche de goulot d'étranglement pour informer la prédiction de la coordonnée de hachage suivante.
Modélisation de la Probabilité :
- Entraînement : Le modèle optimise le produit des probabilités de coordonnées indépendantes ( $\prod P(H_i(w) | \cdot)$ ), permettant des prédictions sur des combinaisons de coordonnées qui peuvent ne pas correspondre à des entrées de vocabulaire réelles afin de simplifier l'optimisation.
- Inférence : Pour garantir une génération valide, le modèle exclut explicitement les signatures non assignées lors de l'inférence, en renormalisant la distribution de probabilité strictement sur le véritable vocabulaire de jetons ( $V_{actl}$ ).

Contributions Clés

Premier LM Causal basé sur le Hachage : MultiHashFormer est le premier cadre capable de supporter la modélisation de langage causale via le hachage en prévenant les collisions de jetons grâce à la génération de signatures multi-ID.
Efficacité des Paramètres et Performance : Le modèle surpasse systématiquement les modèles Transformer standards sur 10 benchmarks à des échelles de 100M, 1B et 3B de paramètres. Il démontre que le découplage du vocabulaire de la matrice de paramètres est plus efficace que l'ajout de couches à des modèles standards.
Expansion du Vocabulaire sans Paramètres : Le cadre permet une expansion fluide du vocabulaire (par exemple, de 32K à 48K jetons) sans augmenter le nombre de paramètres ni nécessiter de modifications structurelles. Le modèle gère l'expansion multilingue en enregistrant de nouvelles signatures virtuelles uniques.
Amélioration de la Représentation des Mots Rares : Le mécanisme de partage de compartiments améliore la représentation des mots rares, comme en témoigne la corrélation plus élevée avec les annotations humaines sur le jeu de données Card-660 par rapport aux bases de référence standards.

Résultats

Capacités Fondamentales : Aux échelles 1B et 3B, MultiHashFormer (spécifiquement la configuration H4B16K) surpasse les bases de référence standards sur 9 tâches sur 11, incluant des gains significatifs en LAMBADA (modélisation de langage) et HellaSwag (logique narrative).
Équivalence de Paramètres : Lorsqu'il est comparé à des modèles de référence ayant un nombre de paramètres équivalent (ou même à des modèles auxquels des couches ont été ajoutées pour égaler le nombre total de paramètres), les variantes de MultiHashFormer atteignent des performances supérieures sur la majorité des tâches.
Expansion du Vocabulaire : Dans les expériences de pré-entraînement continu étendant le vocabulaire de 32K à 48K (ajoutant des jetons arabes, chinois et hindi), Multi-HashFormer a maintenu ou amélioré ses performances sur les tâches multilingues sans les ~31 millions de paramètres supplémentaires requis par les modèles standards pour accommoder ces nouveaux jetons.
Mots Rares : MultiHashFormer a montré des corrélations de Pearson et de Spearman plus élevées avec les scores de similarité humaine pour les paires de mots rares par rapport aux modèles standards, particulièrement lors de l'analyse des états cachés de la l'avant-dernière couche du décodeur.

Signification et Revendications

L'article affirme que MultiHashFormer parvient à contourner le traditionnel goulot d'étranglement du vocabulaire pour les modèles de type décodeur. En remplaçant la matrice de plongement linéaire par une interface de hachage modulaire, le modèle atteint une empreinte de paramètres strictement sous-linéaire tout en portant la capacité du vocabulaire à des limites théoriques (par exemple, des quadrillions de signatures). Les auteurs soutiennent que cette approche résout l'ambiguïté des collisions de jetons dans les contextes génératifs, une limitation qui confinait auparavant le hachage aux modèles de type encodeur uniquement. De plus, le cadre offre une solution pratique pour l'adaptation multilingue, permettant aux modèles d'intégrer de nouvelles langues et de nouveaux jetons sans les coûts de calcul et de mémoire associés à l'expansion des matrices de plongement. Les résultats suggèrent que le biais inductif fourni par l'encodeur et le décodeur de hachage est robuste et découle de l'architecture elle-même plutôt que d'une variance d'échantillonnage aléatoire.