Dans le paysage numérique moderne, de puissants systèmes d'intelligence artificielle connus sous le nom de grands modèles de langage ont transformé la manière dont les ordinateurs comprennent et génèrent le langage humain. Ces systèmes sont construits sur de vastes collections de points de données appelés paramètres, qui agissent comme la base de connaissances interne du modèle. Un modèle typique peut contenir des milliards de ces paramètres, nécessitant une quantité significative de mémoire informatique pour les stocker. Pendant des années, l'exécution de ces systèmes complexes a été le domaine de centres de données massifs équipés de processeurs graphiques spécialisés et à haute vitesse. Cependant, un mouvement croissant cherche à rapprocher cette intelligence de l'endroit où les gens vivent et travaillent réellement, en la plaçant sur de plus petits ordinateurs locaux appelés nœuds de périphérie (edge nodes). Ces appareils se trouvent souvent dans des bureaux, des maisons ou des lieux reculés où les connexions Internet sont peu fiables ou là où les préoccupations relatives à la confidentialité empêchent les données de quitter le bâtiment. Le défi pour les ingénieurs est que ces appareils locaux manquent généralement des processeurs graphiques puissants présents dans les centres de données, s'appuyant plutôt sur des unités centrales de traitement (CPU) standards, les cerveaux à usage général de la plupart des ordinateurs. La question critique était de savoir si ces machines modestes et quotidiennes pouvaient réellement supporter la charge lourde de l'exécution de modèles de langage avancés, et si oui, de quelle mémoire elles auraient besoin et à quelle vitesse elles pourraient fonctionner.

Une équipe de chercheurs s'est donné pour mission de répondre à ces questions en testant les limites d'un ordinateur de périphérie unique et représentatif. Ils n'ont pas construit de nouveaux logiciels ni inventé une puce plus rapide ; au lieu de cela, ils ont agi comme de fins observateurs, mesurant exactement ce qui se passe lorsqu'un ordinateur standard tente d'exécuter trois tailles différentes de modèles de langage. Ils ont testé des modèles allant d'une version compacte de 1,1 milliard de paramètres à une version plus robuste de 7 milliards de paramètres. Pour chaque modèle, ils ont fait fonctionner le système à trois niveaux de précision différents, ce qui peut être considéré comme le degré de détail que l'ordinateur utilise pour stocker ses nombres internes. Les chercheurs voulaient voir si la pratique courante consistant à réduire ce niveau de détail, connue sous le nom de quantification, aiderait ces machines locales à fonctionner plus rapidement et à utiliser moins de mémoire, tout comme elle le fait dans les puissants centres de données.

Les résultats qu'ils ont mis au jour ont révélé une réalité surprenante qui contredit ce qui est largement admis à leur sujet. Dans les centres de données ultra-puissants du monde, réduire la précision d'un modèle est une stratégie éprouvée qui réduit l'utilisation de la mémoire de moitié ou plus et accélère les performances. Sur l'ordinateur local, utilisant uniquement le CPU, testé dans cette étude, c'est exactement l'inverse qui s'est produit. Lorsque les chercheurs ont réduit la précision pour gagner de l'espace, l'ordinateur a en réalité eu besoin de beaucoup plus de mémoire pour exécuter le modèle. Pour le plus grand modèle testé, qui théoriquement aurait dû nécessiter environ 14 gigaoctets de mémoire, le système a exigé près de 20 gigaoctets lorsque la précision a été abaissée. Cette augmentation d'environ 48 % s'est produite parce que le processeur standard de l'ordinateur ne pouvait pas comprendre nativement les nombres compressés et à faible précision. Au lieu de les traiter directement, le système devait conserver les poids compressés en mémoire tout en les convertissant simultanément vers un format standard pour chaque calcul. Cela a créé un double fardeau où l'ordinateur détenait à la fois les poids compressés et les tampons de conversion, tandis que les activations et le cache d'attention restaient au format standard tout au long du processus, augmentant ainsi la charge de mémoire plutôt que de l'alléger.

Au-delà du problème de mémoire, l'étude a identifié précisément ce qui ralentissait l'ordinateur. Les chercheurs ont constaté que le processeur travaillait à près de 100 % de sa capacité, mais qu'il produisait très peu de résultats. Cela indiquait que la machine ne luttait pas avec les calculs mathématiques eux-mêmes, mais qu'elle attendait plutôt que les données arrivent de sa mémoire. Le goulot d'étranglement était la vitesse à laquelle l'information pouvait voyager des puces de mémoire vers le processeur, une limite connue sous le nom de bande passante mémoire. Parce que l'ordinateur attendait constamment des données, il ne pouvait traiter qu'une seule requête à la fois. Si un utilisateur essayait de poser deux questions simultanément, le système ne serait pas capable de répartir le travail entre deux fils d'exécution (threads) ; il serait simplement submergé. La requête unique saturait la machine, ce qui signifie que pour servir plusieurs utilisateurs, un réseau devrait ajouter des ordinateurs physiques plutôt que d'essayer d'extraire plus de travail d'un seul appareil.

La chute de performance fut encore plus spectaculaire lorsque les chercheurs ont examiné la vitesse. Le modèle le plus capable, fonctionnant à sa précision standard, pouvait générer environ 3,76 mots par seconde, ce qui est lent mais utilisable pour une conversation. Cependant, lorsque les chercheurs ont appliqué les techniques de compression destinées à rendre les choses plus rapides, la vitesse a chuté. Le système est devenu plus lent, produisant moins d'un mot par seconde, ce qui rendait l'interaction péniblement lente. Dans le cas de compression le plus extrême, le système ne produisait un nouveau mot qu'une fois toutes les seize secondes, ce qui le rendait inutile pour une conversation en temps réel. Cela a confirmé que les techniques conçues pour les cartes graphiques puissantes n'étaient pas seulement inefficaces sur ces machines locales ; elles étaient activement préjudiciables, troquant la vitesse contre une pénalité de mémoire que la machine ne pouvait pas se permettre.

Pour aider les ingénieurs à planifier ces réalités, les chercheurs ont développé une règle simple pour estimer la mémoire dont un ordinateur local aurait réellement besoin. Ils ont découvert que la quantité de mémoire requise ne dépend pas seulement de la taille des paramètres du modèle. Au lieu de cela, l'utilisation totale de la mémoire dépend fortement du niveau de précision choisi. Pour un modèle standard non compressé, la mémoire nécessaire est approximativement égale à la taille des poids du modèle. Mais pour les modèles compressés, les chercheurs ont constaté que la mémoire requise bondissait à environ trois fois la taille des poids pour un niveau de compression, et à près de six fois pour le niveau le plus profond. Cela signifie qu'un ingénieur prévoyant d'exécuter un grand modèle sur un appareil local doit prévoir une machine dotée de beaucoup plus de mémoire que ce que suggère la taille du fichier du modèle. Un ordinateur disposant de 32 gigaoctets de mémoire pourrait être capable de faire tourner un grand modèle, mais il ne resterait que très peu de place pour le système d'exploitation ou d'autres tâches, et il ne pourrait certainement pas faire fonctionner deux modèles de ce type simultanément.

L'étude conclut que bien qu'il soit possible de faire fonctionner des modèles de langage avancés sur des appareils locaux utilisant uniquement le CPU, cela nécessite une refonte complète de la manière dont ces systèmes sont déployés. Les stratégies qui fonctionnent dans le cloud ne se traduisent pas à la périphérie (edge). Les ingénieurs ne peuvent pas simplement prendre un modèle optimisé pour un centre de données et s'attendre à ce qu'il fonctionne efficacement sur un ordinateur portable ou un serveur local. Ils doivent tenir compte du fait que ces machines sont limitées par la vitesse à laquelle elles peuvent déplacer les données, et non par la vitesse à laquelle elles peuvent calculer. Ils doivent également accepter que la compression du modèle pour économiser de l'espace rendra probablement les choses plus lents et nécessitera plus de mémoire, et non moins. Pour ceux qui doivent déployer ces systèmes dans des endroits où les préoccupations de confidentialité ou les problèmes de connexion Internet sont présents, la voie à suivre consiste à choisir la bonne taille de modèle pour la mémoire disponible et à accepter qu'un seul ordinateur local ne peut servir qu'une seule personne à la fois. L'ère de l'intelligence de périphérie est arrivée, mais elle exige un ensemble de règles différent de celui des centres de données qui l'ont précédée.