A Pilot Study of Autocompleting Tokenizers

Chaque jour, des millions de personnes tapent des messages sur des smartphones ou des ordinateurs en utilisant des systèmes qui devinent le mot suivant avant qu'elles ne finissent de taper. Ces fonctions de saisie semi-automatique fonctionnent parce que le langage humain est rempli de motifs ; une fois que l'on voit le début d'une phrase, la suite suit souvent un chemin prévisible. Ce même principe de prédiction est au cœur de l'intelligence artificielle moderne, plus précisément des grands modèles informatiques qui alimentent la traduction et la génération de texte. Ces modèles, connus sous le nom de Transformers, sont incroyablement puissants mais nécessitent des quantités massives de données pour fonctionner. Pour traiter le texte, ils décomposent les phrases en unités minuscules appelées tokens. Pendant des années, la méthode standard a consisté à regrouper les lettres en blocs représentant des mots entiers ou des parties de mots, une technique qui permet de rendre les données gérables. Cependant, une alternative plus simple existe : décomposer le texte en octets individuels, les plus petites unités d'information numérique. Bien que cette approche par octets soit universelle et ne nécessite aucun dictionnaire spécial pour les différentes langues, elle crée des séquences si longues qu'elles ralentissent l'ordinateur et rendent le modèle moins efficace.

Des chercheurs du Williams College ont entrepris de résoudre ce problème en posant une question simple : si un ordinateur peut prédire la lettre suivante dans une séquence avec un haut degré de confiance, a-t-il réellement besoin de voir cette lettre pour comprendre la phrase ? Ils ont proposé une nouvelle méthode qui agit comme un filtre intelligent, supprimant les parties d'un texte qui sont trop évidentes pour être utiles. En entraînant un petit programme léger pour agir comme un assistant de saisie semi-automatique, ils ont identifié quels octets d'une phrase étaient si prévisibles qu'ils pouvaient être supprimés en toute sécurité avant même que le modèle de traduction principal ne les voie. Le résultat est une version compressée du texte qui est nettement plus courte mais qui porte toujours toute la signification nécessaire. Leurs expériences ont montré que pour des langues comme l'anglais et le français, ils pouvaient supprimer près d'un tiers des caractères sans perdre de qualité de traduction. Cette découverte suggère qu'une grande partie des données que nous injectons dans ces puissants systèmes d'IA est redondante, et qu'en supprimant les parties prévisibles, nous pouvons rendre ces modèles plus rapides et plus efficaces sans sacrifier leur capacité à comprendre le monde.

Le cœur de ce travail repose sur un processus en trois étapes qui transforme la manière dont le texte est transmis à une machine. Premièrement, un modèle petit et rapide lit le texte original octet par octet, prédisant ce qui vient ensuite en se basant sur ce qu'il a déjà vu. Si le modèle est très sûr de l'octet suivant, il marque cet octet comme prévisible. Dans la deuxième étape, le système supprime ces caractères marqués de la séquence. Pour s'assurer que le modèle principal ne soit pas confus par les éléments manquants, le système modifie l'octet précédent pour indiquer qu'un caractère a été supprimé, permettant ainsi au modèle d'inférer l'écart grâce au contexte. Enfin, cette séquence raccourcie et compressée est transmise à un grand modèle de traduction standard, qui génère ensuite la sortie dans la langue cible. Les chercheurs ont testé plusieurs façons de gérer ces éléments manquants, constatant que la méthode la plus efficace impliquait l'utilisation de ce type spécifique de marqueur qui note simplement l'absence d'un caractère en modifiant l'octet précédent, permettant au modèle principal d'inférer le reste à partir du contexte.

Lorsque l'équipe a appliqué cette technique pour traduire l'anglais vers le français, les résultats ont été frappants. Ils ont découvert qu'ils pouvaient compresser le texte source à environ 68 % de sa longueur originale tout en maintenant exactement la même qualité de traduction que la version non compressée. Dans certains cas, la version compressée était même légèrement meilleure. Les chercheurs ont également testé la méthode sur des langues ayant des systèmes d'écriture et des structures très différents, notamment le finnois, qui possède une grammaire complexe ; le russe, qui utilise un alphabet différent ; et le chinois, où les caractères représentent des mots entiers plutôt que des sons. Dans tous ces cas, l'approche a bien fonctionné, réduisant la longueur du texte à des ratios spécifiques de 0,646 pour le finnois, 0,468 pour le russe et 0,668 pour le chinois, tout en préservant ou en améliorant la qualité de la traduction. Cette cohérence à travers des langues aussi diverses suggère que la capacité à prédire et à supprimer les informations redondantes est une propriété fondamentale du langage humain, et non un simple trait particulier de l'anglais.

L'étude a également comparé cette méthode de compression intelligente à des manières plus simples et moins sophistiquées de raccourcir le texte, comme supprimer toutes les voyelles ou ne garder que les premières lettres de chaque mot. Ces méthodes grossières ont échoué à maintenir la qualité de la traduction, prouvant que la clé n'est pas seulement de supprimer des caractères, mais de supprimer les bons caractères. Les chercheurs ont démontré qu'en utilisant un modèle pour identifier les parties du texte qui sont réellement prévisibles, ils pouvaient éliminer le bruit tout en gardant le signal intact. Cette approche offre un moyen pratique de réduire le coût computationnel de l'exécution des grands modèles de langage, permettant potentiellement de les faire fonctionner plus rapidement sur du matériel moins puissant. L'étude suggère que beaucoup d'octets que nous forçons actuellement les ordinateurs à traiter sont inutiles, et qu'en laissant le modèle combler les lacunes lui-même, nous pouvons obtenir les mêmes résultats avec moins d'efforts. Bien que l'étude soit une investigation pilote, les conclusions offrent une voie claire vers des systèmes d'IA plus efficaces capables de gérer diverses langues sans le lourd fardeau de traiter explicitement chaque caractère.