Token-Native Storage: Read and Write in your Agent's Language
Ce document préconise le « stockage natif des jetons » (token-native storage), un paradigme où le texte est stocké directement sous forme d'identifiants de jetons BPE plutôt qu'en caractères UTF-8, soutenant que cette approche réduit considérablement la taille du stockage et accélère les opérations de lecture/écriture pour les agents d'IA en éliminant la nécessité de traductions et de re-tokenisations répétées.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Le langage des machines contre le langage des humains
Imaginez que vous essayez d'apprendre à un robot super intelligent à lire une bibliothèque. Les livres sont écrits en langage humain, utilisant des lettres et des mots que nous pouvons voir et comprendre. Mais le robot ne « voit » pas les lettres ; il voit des nombres. Pour le robot, le mot « chat » n'est pas un mot du tout ; c'est un code spécifique, comme un numéro d'identification secret. C'est ainsi que fonctionne l'intelligence artificielle moderne : elle traite le texte en le décomposant en de minuscules morceaux appelés « tokens » (jetons) et en attribuant à chaque morceau un nombre unique.
Pendant des décennies, les ordinateurs ont stocké le texte de la même manière que les humains l'écrivent : sous forme de chaînes de lettres (comme l'UTF-8). C'est parfait pour nous, mais c'est un peu maladroit pour les robots. Chaque fois qu'un robot veut lire un livre de la bibliothèque, il doit traduire les lettres humaines en ses propres nombres secrets, faire son travail, puis retraduire les nombres en lettres pour nous montrer la réponse. Ce processus de traduction prend du temps et de l'espace, un peu comme devoir traduire un livre dans une langue étrangère chaque fois que l'on veut lire une seule page. À mesure que les robots commencent à faire davantage de lecture et d'écriture dans notre monde numérique, cette traduction constante devient un goulot d'étranglement, ralentissant les choses et occupant de l'espace supplémentaire.
La grande idée de l'article : Arrêter de traduire, commencer à parler le « Robot »
Cet article, intitulé « Token-Native Storage » (Stockage natif par jetons), soutient que nous devrions arrêter de forcer les robots à traduire le texte humain chaque fois qu'ils accèdent à une base de données. Au lieu de cela, l'auteur suggère de stocker le texte exactement tel que le robot le voit : sous la forme d'une liste de numéros de jetons. Ils appellent cela le « Token-Native Storage ».
Voyez cela comme ceci : Actuellement, nos bibliothèques numériques sont comme un musée où chaque tableau est enveloppé dans une étiquette lisible par l'humain. Pour montrer le tableau à un robot, nous devons le déballer, traduire l'étiquette en code robot, laisser le robot regarder, puis le réemballer. L'auteur propose un nouveau type de musée où les tableaux sont déjà suspendus dans la langue native du robot. Quand le robot entre, il peut regarder l'art immédiatement sans aucun emballage ni traduction.
Ce qu'ils ont trouvé :
Le chercheur a testé cette idée et a constaté que stocker le texte sous forme de numéros de jetons est non seulement plus rapide, mais aussi moins encombrant que de le stocker sous forme de lettres.
- Vitesse : Lorsqu'un robot lit à partir de ce nouveau type de stockage, il saute l'étape de la traduction. L'article a mesuré que cela est environ 10 à 600 fois plus rapide que l'ancienne méthode, selon la tâche. C'est la différence entre attendre qu'un traducteur finisse une phrase et entendre directement la pensée.
- Espace : Comme les numéros de jetons sont de petits entiers (comme 1, 2, 3) plutôt que de longues chaînes de lettres, ils sont naturellement plus compacts. Même sans utiliser de techniques de compression sophistiquées, le simple fait de regrouper ces nombres permet d'économiser de l'espace. Sur du texte anglais, ce simple regroupage était 2,25 fois plus petit que le stockage de texte standard. Lorsqu'ils ont ajouté une astuce de compression simple (en réordonnant les nombres pour que les plus courants soient les plus petits), ils ont pu réduire les données encore davantage, atteignant 3,30 fois plus petit que le texte standard.
Ce à quoi ils s'opposent :
L'article s'oppose explicitement à la norme actuelle qui consiste à stocker le texte sous forme de lettres lisibles par l'humain (UTF-8) pour les systèmes où les robots sont les principaux lecteurs et rédacteurs. Ils soulignent que garder le texte au format humain force le système à payer une « taxe de traduction » sur chaque opération de lecture et d'écriture. Ils s'opposent également à l'idée que nous ayons besoin d'algorithmes de compression complexes et lourds pour gagner de l'espace ; ils ont découvert qu'en changeant simplement la manière dont les numéros de jetons sont ordonnés (par fréquence plutôt que par ordre de découverte), on peut obtenir un décodage très rapide sans avoir besoin d'outils de décompression lents et complexes.
À quel point sont-ils sûrs ?
L'auteur est très confiant dans ses mesures. Il n'a pas fait que deviner ; il a effectué des tests sur des données réelles, incluant des articles en anglais, du code informatique et du texte en hindi. Il a comparé sa nouvelle méthode aux meilleurs outils de compression existants (comme zstd et gzip) et a constaté que son approche native par jetons égalait ou surpassait systématiquement les leurs en termes de vitesse et de taille. Il a mesuré le temps nécessaire pour lire et écrire des données en microsecondes (millionièmes de seconde), montrant que la différence de vitesse est réelle et significative.
L'astuce de l'« Ordre de Fréquence »
L'une des parties les plus ingénieuses de l'article est une suggestion sur la manière dont les laboratoires d'IA devraient organiser leurs listes de jetons. Actuellement, les numéros de jetons sont attribués de manière assez aléatoire, en fonction du moment où l'IA les a découverts pendant son entraînement. L'auteur a découvert que si vous réordonnez simplement ces numéros pour que les mots les plus courants obtiennent les plus petits numéros (comme 1, 2, 3) et que les mots rares obtiennent des numéros plus grands, vous pouvez compresser les données bien mieux.
Ils appellent cela la méthode « +freq ». C'est comme organiser un placard : si vous placez vos vêtements les plus portés sur les étagères les plus faciles d'accès (petits numéros), vous gagnez du temps et de l'espace. En faisant cela, ils ont pu obtenir presque tous les avantages d'une compression complexe, mais avec une vitesse de décodage 7 fois plus rapide. Ils demandent aux entreprises d'IA de publier leurs listes de jetons dans cet « ordre de fréquence » afin que tout le monde puisse bénéficier de ce gain de vitesse gratuit.
L'obstacle : Parler la même langue
L'article admet qu'il y a un obstacle majeur. Pour que ce système fonctionne parfaitement, chaque robot du système doit parler exactement la même « langue de jetons » (utiliser le même vocabulaire). Actuellement, différents modèles d'IA utilisent souvent des dictionnaires différents. Si un robot utilise un dictionnaire où « chat » est le numéro 500, et qu'un autre utilise un dictionnaire où « chat » est le numéro 12, ils ne peuvent pas facilement partager le stockage.
L'auteur suggère que la solution est la standardisation, similaire à la façon dont nous nous sommes tous mis d'accord pour utiliser le même alphabet (ASCII) ou le même encodage de caractères (UTF-8) pour le texte humain. Si le monde de l'IA se met d'accord sur un « Alphabet de Jetons » partagé, alors ce stockage natif par jetons pourrait devenir le nouveau standard, rendant notre infrastructure numérique plus rapide et moins coûteuse pour les robots qui la font fonctionner.
En résumé, l'article suggère qu'à mesure que les robots prennent le contrôle de la lecture et de l'écriture numérique, nous devrions cesser de stocker leurs données au format humain et commencer à les stocker dans le format qu'ils sont nés pour lire. C'est un petit changement dans la façon dont nous enregistrons les fichiers, mais cela pourrait économiser une quantité massive de temps et d'argent à l'avenir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.