Imaginez que vous essayez d'apprendre à un robot super intelligent à parler le langage humain. Pour ce faire, vous devez décomposer chaque phrase en de minuscules blocs de construction appelés « tokens ». Pensez à ces tokens comme des briques LEGO. Si vous utilisez un ensemble de briques standard, vous pourriez avoir besoin d'un million de petites pièces pour construire une simple maison, ce qui rendrait la construction lente et désordonnée. Pendant des années, la méthode la plus populaire pour fabriquer ces briques (une méthode appelée Byte Pair Encoding, ou BPE) consistait à saisir les paires de lettres les plus fréquentes et à les coller ensemble. C'était comme dire : « Hé, "th" et "e" apparaissent souvent, alors fabriquons une brique "the". » Mais cette approche avait un défaut : elle aimait tellement les mots courts et courants qu'elle ne cessait de fragmenter de longues phrases significatives en morceaux minuscules et inefficaces. Cela forçait le robot à traiter beaucoup plus de briques que nécessaire, ralentissant sa réflexion et consommant sa mémoire.

Imaginez maintenant une nouvelle façon de construire ces ensembles LEGO. Au lieu de simplement chercher les paires les plus fréquentes, cette nouvelle méthode demande : « Et si nous fabriquions des briques plus grandes et plus intelligentes qui couvrent plus de terrain ? » C'est le cœur d'une nouvelle étude menée par les chercheurs Dong Dong et Weijie Su de l'Université de Pennsylvanie. Ils ont introduit un nouveau tokenizer appelé Length-MAX. Au lieu de simplement compter la fréquence d'apparition d'un mot, Length-MAX récompense les phrases plus longues qui apparaissent assez souvent pour être utiles. C'est comme réaliser que si « le » est courant, la phrase « les États-Unis » est un bien meilleur bloc de construction que trois pièces séparées. En remplaçant les briques minuscules et répétitives par des pièces moins nombreuses, plus longues et plus significatives, le robot peut construire ses phrases plus rapidement, utiliser moins de mémoire et réellement mieux comprendre l'histoire.

Le problème des trop nombreuses petites briques

Pendant longtemps, la manière standard d'enseigner le langage aux ordinateurs a consisté à découper le texte en petits morceaux basés sur leur fréquence d'apparition. C'est ce qu'on appelle le Byte Pair Encoding (BPE). Cela fonctionne en trouvant les deux symboles les plus courants l'un à côté de l'autre et en les fusionnant en un nouveau token. C'est un peu comme un jeu où l'on combine sans cesse les voisins les plus populaires jusqu'à ce que l'on n'ait plus de coups possibles.

Le problème est que ce jeu favorise les fragments courts à haute fréquence. Il traite une phrase longue et cohérente comme « au milieu d'une tempête de neige historique » comme une collection de petits morceaux déconnectés. Comme les modèles d'IA modernes doivent prêter attention à chaque petit morceau pour comprendre la phrase entière, avoir trop de petits morceaux fait exploser la complexité mathématique. C'est comme essayer de lire un livre où chaque mot est divisé en trois syllabes ; vous devez lire trois fois plus de « mots » pour obtenir la même signification. Cela ralentit l'entraînement, rend l'IA plus lente pour répondre aux questions et nécessite plus de mémoire informatique.

Entrée en scène Length-MAX : La stratégie du « Plus long est mieux »

Les chercheurs derrière ce papier ont décidé de renverser la situation. Ils ont demandé : « Et si nous optimisions pour la longueur plutôt que pour la simple fréquence ? » Ils ont créé un nouveau tokenizer appelé Length-MAX.

Au lieu de simplement chercher les paires les plus courantes, Length-MAX cherche des sous-chaînes qui maximisent un score spécifique : Fréquence × Longueur. Il récompense les tokens qui sont à la fois courants et longs. Si une phrase comme « les États-Unis » apparaît assez souvent, Length-MAX la saisira et en fera un token unique, plutôt que de la diviser en « les », « États » et « Unis ».

Pour ce faire, l'équipe a dû résoudre un casse-tête mathématique complexe. Ils ont réalisé que trouver l'ensemble parfait de tokens longs est un problème si complexe qu'il est mathématiquement impossible de le résoudre parfaitement pour de vastes quantités de texte (un problème connu sous le nom de NP-difficile). Ils ont donc construit un algorithme « glouton » (greedy) très astucieux. Imaginez un tableau d'affichage où chaque phrase possible reçoit un score basé sur sa longueur et sa fréquence d'apparition. L'algorithme choisit la phrase ayant le meilleur score, la verrouille, et répète le processus jusqu'à ce que le vocabulaire soit complet. Ils ont rendu cela incroyablement rapide en utilisant une technique appelée hachage roulant de Rabin-Karp, qui leur permet de scanner le texte comme un scanner haute vitesse, et ils l'ont exécuté sur des centaines de cœurs de processeur simultanément.

Les résultats : Plus rapide, plus petit et plus intelligent

L'équipe a testé cette nouvelle méthode en entraînant des modèles d'IA à partir de zéro (spécifiquement des modèles GPT-2) et en les comparant à la méthode BPE standard. Les résultats sont impressionnants sur tous les plans :

• Moins de tokens : À travers différentes tailles de vocabulaire, Length-MAX a réduit le nombre de tokens nécessaires pour représenter le texte de 14 à 18 % par rapport au BPE. Pour un vocabulaire de 64 000 mots, la réduction était de 13,0 %. Cela signifie que l'IA doit traiter nettement moins de « briques » pour dire la même chose.
• Entraînement plus rapide : Parce qu'il y a moins de tokens à traiter, les modèles ont appris plus vite. Pour atteindre un niveau de compétence spécifique, le modèle de 124 millions de paramètres a eu besoin de 18,5 % d'étapes en moins, le modèle de 355 millions de paramètres a eu besoin de 17,2 % d'étapes en moins, et le modèle de 1,3 milliard de paramètres a eu besoin de 18,5 % d'étapes en moins.
• Réponses plus rapides : Lorsque les modèles étaient sollicités pour générer du texte, ils étaient plus rapides. La latence d'inférence (le temps nécessaire pour répondre) a chuté de 13,7 % pour le modèle 124M, et la vitesse de génération de texte (débit) a augmenté de 16 %.
• Moins de mémoire : Les modèles ont également utilisé moins de mémoire. Les chercheurs ont constaté que la mémoire nécessaire pour la « mémoire de travail » du modèle (appelée KV-cache) et ses plongements lexicaux (embeddings) a chuté de 18 %.
• Meilleure compréhension : Étonnamment, utiliser moins de tokens n'a pas rendu l'IA moins intelligente ; cela l'a rendue plus intelligente. Sur des tests mesurant la capacité de l'IA à comprendre des histoires longues et le contexte, les modèles Length-MAX ont obtenu de meilleurs résultats. Par exemple, sur un test appelé LAMBADA, la confusion (perplexité) de l'IA a chuté de 11,7 %, et sur un test de raisonnement de bon sens appelé HellaSwag, la précision s'est améliorée de 4,3 points.

Pourquoi cela fonctionne (et ce que cela ne fait pas)

La magie de Length-MAX n'est pas seulement qu'il gagne du temps ; c'est qu'il change la façon dont l'IA perçoit le monde. En regroupant les mots en phrases plus longues et significatives (comme « au milieu de »), l'IA peut maintenir le contexte d'une phrase plus facilement. C'est la différence entre essayer de comprendre une histoire en regardant les lettres individuelles plutôt qu'en regardant les mots et les phrases entières.

Les chercheurs ont également vérifié que cette méthode ne brisait pas le « rythme » naturel du langage. Ils ont découvert que Length-MAX respecte toujours les lois naturelles de la fréquence du langage (connues sous le nom de loi de Zipf), ce qui signifie qu'il ne crée pas de mots longs étranges et aléatoires. Il préserve la structure naturelle du langage tout en le rendant plus efficace.

Cependant, l'article précise avec prudence ce que cette méthode ne fait pas. Elle ne fonctionne pas sur des modèles déjà entraînés et figés ; vous devez entraîner le modèle à partir de zéro avec le nouveau tokenizer pour obtenir ces avantages. Elle se concentre également sur le texte anglais, il n'est donc pas encore clair si elle fonctionne aussi bien pour des langues ayant des structures très différentes. De plus, bien que les résultats soient solides pour des modèles allant jusqu'à 1,3 milliard de paramètres, les chercheurs suggèrent que pour les modèles massifs (comme ceux de 7 milliards de paramètres), les bénéfices sont probablement similaires mais n'ont pas encore été pleinement testés.

L'essentiel à retenir

Length-MAX est une approche fraîche pour un problème vieux de plusieurs décennies. En réalisant que « plus long est souvent mieux » pour les tokens, les chercheurs ont trouvé un moyen de rendre les modèles d'IA plus rapides, moins coûteux à exploiter et, de manière surprenante, plus aptes à comprendre le contexte. C'est un rappel que parfois, la meilleure façon de progresser n'est pas de construire un moteur plus gros, mais de construire une transmission plus intelligente. Le code et les nouveaux vocabulaires sont désormais disponibles pour que chacun puisse les essayer, offrant une manière pratique d'extraire plus d'efficacité de la prochaine génération de modèles de langage.