TreeWY: Speculative Verification for Gated DeltaNet Hybrids

Dans le monde de l'intelligence artificielle moderne, les grands modèles de langage agissent comme des moteurs puissants qui génèrent du texte un mot à la fois. Pour ce faire, ils doivent se souvenir de tout ce qu'ils ont écrit jusqu'à présent afin de garantir que le mot suivant s'insère dans le contexte. Pendant de nombreuses années, la méthode la plus courante pour gérer cette mémoire consistait à conserver une liste croissante de chaque mot précédent et de ses données associées, une méthode qui fonctionne bien mais qui nécessite une quantité massive de mémoire informatique à mesure que la conversation s'allonge. Récemment, une nouvelle génération de modèles est apparue, mélangeant cette approche traditionnelle avec une méthode différente, plus compacte. Ces modèles hybrides utilisent un type spécial de couche qui résume l'intégralité de l'historique en un instantané unique de taille fixe, plutôt qu'en une liste croissante. Cela les rend incroyablement efficaces pour les tâches de lecture et d'écriture standard, leur permettant de fonctionner sur des ordinateurs plus petits. Cependant, cette efficacité crée un nouveau problème lors de la tentative d'accélération du processus à l'aide d'une technique appelée décodage spéculatif.

Le décodage spéculatif est une stratégie utilisée pour rendre ces modèles d'IA plus rapides. Au lieu de générer un mot à la fois, un modèle « brouillon » plus petit et moins coûteux devine plusieurs mots à l'avance, et le modèle principal vérifie ensuite si toutes ces suppositions sont correctes. Si le modèle principal peut vérifier une longue chaîne de suppositions, il peut produire plusieurs mots en une seule étape, augmentant ainsi considérablement la vitesse. Le problème survient avec les modèles hybrides mentionnés précédemment. Parce que leur mémoire est un instantané unique et de taille fixe qui ne peut pas être facilement découpé ou collé, les systèmes actuels doivent prendre une copie complète de cet instantané pour chaque mot que le modèle brouillon devine. Si le modèle brouillon devine une longue liste de mots, le système doit stocker une copie de la mémoire pour chaque supposition. Cela remplit rapidement la mémoire de l'ordinateur, forçant le système à limiter la longueur des listes de suppositions et restreignant les gains de vitesse. C'est un goulot d'étranglement qui empêche ces modèles efficaces de fonctionner aussi vite qu'ils le pourraient théoriquement.

Des chercheurs de Thomson Reuters, dirigés par Sneha Murthy Ghantasala, ont développé une nouvelle méthode appelée TreeWY pour résoudre ce goulot d'étranglement spécifique de la mémoire. Leur travail se concentre sur une famille de modèles hybrides connus sous le nom de Qwen3.5, qui sont conçus pour être efficaces mais peinent face aux demandes de mémoire du décodage spéculatif. L'équipe a réalisé que la manière dont ces modèles mettent à jour leur mémoire suit un motif mathématique spécifique qui pourrait être réorganisé. Au lieu de sauvegarder une copie complète de l'état de la mémoire pour chaque supposition, ils ont trouvé un moyen de calculer les résultats de toutes les suppositions à la fois en utilisant une opération mathématique unique et rationalisée. Cette opération traite la séquence de suppositions non pas comme une série d'instantanés séparés, mais comme un arbre structuré où l'information nécessaire est partagée et calculée efficacement.

Le cœur de leur découverte est qu'ils n'ont plus besoin de stocker l'état complet de la mémoire pour chaque jeton (token) brouillon. Dans l'ancienne méthode, si un modèle devinait dix mots, il devait sauvegarder dix versions complètes de sa mémoire, ce qui consommait énormément d'espace. Avec TreeWY, le système ne sauvegarde qu'un résumé minuscule et compressé des changements effectués durant la phase de supposition. Il effectue un calcul unique pour vérifier toutes les suppositions simultanément. Si une supposition est acceptée, le système reconstruit l'état de mémoire correct à partir de ce petit résumé. Si une supposition est rejetée, le système se contente de supprimer le résumé sans jamais avoir eu besoin de stocker l'état de mémoire complet et lourd. Cette approche élimine le besoin de la surcharge de mémoire massive qui rendait auparavant les longues chaînes de suppositions impossibles.

Les chercheurs ont testé cette méthode sur deux tailles du modèle Qwen3.5, une version de 35 milliards de paramètres et une version beaucoup plus grande de 397 milliards de paramètres, en les faisant fonctionner sur des cartes graphiques haut de gamme. Ils ont comparé leur nouvelle méthode TreeWY à l'approche standard utilisée dans les logiciels d'IA populaires. Les résultats ont montré que lorsque la mémoire de l'ordinateur était sous forte pression, la nouvelle méthode permettait au système de gérer nettement plus de requêtes à la fois. Dans certains cas, la vitesse de génération de texte a augmenté de près de cinquante pour cent, et le temps nécessaire pour commencer à générer une réponse a chuté de manière spectaculaire. Cela s'est produit parce que l'espace mémoire libéré a permis au système de maintenir plus de conversations actives simultanément sans planter ou ralentir.

Cependant, l'étude a également révélé que les bénéfices dépendent fortement de la quantité de mémoire disponible. Lorsque l'ordinateur disposait de beaucoup de mémoire disponible, la nouvelle méthode était légèrement plus lente que l'approche standard, coûtant quelques pourcents en vitesse. Cela s'explique par le fait que le nouveau calcul, bien qu'économisant de la mémoire, prend un peu plus de temps à exécuter que la simple méthode de copie de données. Les chercheurs ont noté que la véritable victoire survient lorsque le système est limité par la mémoire, ce qui est une situation courante pour les grands modèles. Dans ces scénarios, la capacité de faire tourner plus de conversations à la fois l'emporte largement sur le faible coût du calcul.

L'équipe a également exploré si cette méthode pouvait supporter des stratégies de supposition encore plus ambitieuses, telles qu'une structure en « arbre » où le modèle devine plusieurs chemins différents en même temps, plutôt qu'une seule ligne de mots. La nouvelle méthode a rendu cela possible en maintenant une utilisation de la mémoire constante, quel que soit l'étalement de l'arbre de suppositions. Auparavant, un arbre de suppositions large aurait nécessité tellement de mémoire qu'il aurait été impossible de l'exécuter. Désormais, le système peut se permettre d'essayer de nombreux chemins différents à la fois. Bien que cela n'ait pas immédiatement entraîné un boost massif de la vitesse pour les modèles testés, cela a prouvé que la méthode est assez flexible pour gérer des structures de supposition complexes et larges qui étaient auparavant inaccessibles.

Les chercheurs ont souligné que leur solution est spécifique aux règles mathématiques régissant ces modèles hybrides. Elle ne repose pas sur les détails spécifiques de la conception du modèle, mais plutôt sur la manière fondamentale dont sa mémoire se met à jour. Cela signifie que l'approche pourrait potentiellement être appliquée à d'autres modèles utilisant des structures de mémoire similaires. Le travail a été implémenté dans un cadre logiciel largement utilisé pour l'exécution de modèles d'IA, et les chercheurs ont vérifié que la nouvelle méthode produit des résultats mathématiquement identiques à l'approche standard, garantissant que la qualité du texte reste inchangée.

En fin de compte, cette recherche démontre qu'en repensant la gestion de la mémoire pendant la phase de supposition, il est possible de libérer tout le potentiel de vitesse des modèles hybrides efficaces. L'étude montre que la limitation ne venait pas des modèles eux-mêmes, mais de la manière dont le logiciel gérait leur mémoire. En passant du stockage d'instantanés complets au calcul d'un résumé partagé, les chercheurs ont transformé un goulot d'étranglement de la mémoire en une voie vers une performance accrue. Cela permet à ces modèles efficaces de fonctionner plus rapidement et de servir plus d'utilisateurs, particulièrement dans les situations où la mémoire de l'ordinateur est la contrainte la plus forte. Les conclusions suggèrent que les futures améliorations de la vitesse de l'IA ne viendront pas seulement de la construction de modèles plus grands, mais de manières plus intelligentes de gérer les données qu'ils détiennent déjà.