La plupart des personnes qui utilisent l'intelligence artificielle aujourd'hui interagissent avec des systèmes qui fonctionnent sur des puces informatiques puissantes et spécialisées, conçues pour les centres de données massifs. Ces systèmes sont construits pour gérer des milliers de requêtes à la fois, un processus qui permet de répartir le coût de leurs calculs lourds entre de nombreux utilisateurs. Mais pour une personne seule utilisant un ordinateur portable ou de bureau standard, les règles d'efficacité changent complètement. Sur une machine personnelle, l'ordinateur ne peut pas compter sur un traitement parallèle massif ; au contraire, il est limité par la vitesse à laquelle il peut déplacer des données de sa mémoire vers son processeur. Chaque fois que l'ordinateur génère un nouveau mot dans une phrase, il doit relire l'intégralité de l'historique de cette conversation pour en comprendre le contexte. À mesure que la conversation s'allonge, ce relecture devient une taxe pesante, ralentissant considérablement le système. Le défi pour les chercheurs est de construire un modèle qui comprenne bien le langage mais qui ne soit pas entravé par ce fardeau de mémoire croissant lorsqu'il fonctionne sur du matériel ordinaire.

Un chercheur a abordé ce problème en concevant un nouveau type de modèle de langage appelé Daedalus-150M, spécifiquement pour les utilisateurs uniques sur des processeurs informatiques standards. Au lieu de prendre un modèle large et complexe et d'essayer de le réduire, ils sont partis des contraintes de la machine de l'utilisateur et ont construit l'architecture de fond en comble pour qu'elle s'y adapte. Le résultat est un système qui se comporte comme un moteur hybride. Il combine deux méthodes différentes de traitement de l'information : une méthode traditionnelle qui mémorise l'intégralité de l'historique de la conversation, et une méthode plus récente et plus simple qui ne mémorise que les derniers instants. Dans cette conception, le modèle possède dix-huit couches de traitement. Six de ces couches utilisent la méthode traditionnelle pour maintenir une compréhension profonde du contexte à long terme, tandis que les douze autres utilisent une technique de mémoire à court terme qui ne regarde que deux étapes en arrière. Cela signifie que pendant les deux tiers du temps où l'ordinateur réfléchit, il n'a pas besoin de relire l'intégralité de l'historique de la conversation, seulement le passé immédiat.

Le chercheur a testé cette conception contre un modèle presque identique qui utilisait la méthode traditionnelle, gourmande en mémoire, pour l'ensemble de ses dix-huit couches. Les deux modèles ont été entraînés sur la même quantité de données, environ soixante milliards de mots, et les deux ont été compressés à une petite taille pour fonctionner sur un ordinateur standard. La comparaison était stricte et planifiée à l'avance : le chercheur a décidé exactement ce qui compterait comme une victoire avant de voir les résultats. Le modèle hybride a égalé le modèle traditionnel dans sa capacité à répondre aux questions et à accomplir des tâches, mais il a été nettement plus performant en termes de vitesse. Lorsque la conversation était courte, les deux modèles fonctionnaient à des vitesses similaires. Cependant, à mesure que la conversation s'allongeait, le modèle traditionnel ralentissait considérablement car il devait relire de plus en plus d'historique. Le modèle hybride, en revanche, maintenait un rythme beaucoup plus régulier. À une longueur de conversation de deux mille mots, le modèle hybride générait du texte près de deux fois plus vite que son homologue traditionnel.

Cet avantage de vitesse n'était pas seulement un calcul théorique ; il a été mesuré directement sur un processeur informatique standard. Le chercheur a constaté que la capacité du modèle hybride à éviter de relire l'intégralité de l'historique économisait une quantité massive de mouvement de données, ce qui est le principal goulot d'étranglement pour ces machines. Bien qu'un calcul simple de la taille des données suggérait que le modèle hybride devrait être seulement légèrement plus rapide, l'écart de performance réel était bien plus important. C'est parce que la méthode traditionnelle implique des calculs complexes, étape par étape, qui dépendent de l'historique complet, lesquels sont lents à exécuter sur un processeur unique. La méthode hybride, en gardant l'état de sa mémoire la plupart du temps petit et fixe, évite entièrement ces étapes lentes. Le modèle est également arrivé plus petit en taille de fichier, occupant environ six pour cent d'espace en moins sur le disque dur, ce qui est un avantage pratique pour les utilisateurs ayant un stockage limité.

Malgré ces succès, le chercheur a pris soin de rapporter ce qui n'a pas fonctionné parfaitement. Ils ont découvert qu'environ la moitié des canaux des sections de mémoire à court terme du modèle ne faisaient rien, restant essentiellement inactifs. Ils ont également trouvé que le modèle utilise un vocabulaire de mots plus large que nécessaire pour sa taille, ce qui gaspille une partie de sa capacité. De plus, lorsqu'ils ont essayé d'entraîner le modèle spécifiquement pour gérer le format de données compressées utilisé pour la vitesse, le processus a échoué, ce qui signifie que le modèle a dû être compressé après l'entraînement, ce qui a légèrement réduit sa précision. Ce sont des problèmes d'ingénierie plutôt que des défauts fondamentaux de la conception, et le chercheur a noté qu'une version future pourrait les corriger en ajustant la manière dont le modèle démarre et dont il est compressé.

Les résultats finaux ont montré que ce choix de conception spécifique — mélanger la mémoire à long terme avec la mémoire à court terme — fonctionne exactement comme prévu pour l'environnement cible. Le modèle a obtenu un score plus élevé sur un ensemble de cinq tests de langage standard que d'autres modèles de taille similaire qui ont été entraînés sur trois à six fois plus de données. Il a même surpassé un modèle qui a été entraîné sur un trillion de mots, bien qu'un modèle beaucoup plus grand conserve toujours un léger avantage en termes d'intelligence brute. La conclusion clé est que, pour un utilisateur seul sur un ordinateur standard, la façon la plus efficace de construire un modèle de langage n'est pas de le rendre aussi intelligent que possible, mais de le rendre aussi léger possible en termes de mémoire. En acceptant que le modèle n'ait pas besoin de relire l'intégralité de la conversation à chaque étape, le chercheur a créé un système qui semble réactif et rapide, même lorsque la conversation devient longue, prouvant qu'une approche architecturale différente peut résoudre les problèmes spécifiques de l'informatique de tous les jours.