Dans le monde de l'informatique moderne, un nouveau type d'ordinateur personnel est apparu, doté de processeurs puissants conçus spécifiquement pour l'intelligence artificielle. Ces machines, que l'on trouve souvent dans des ordinateurs portables élégants, contiennent des puces spécialisées capables de faire fonctionner des modèles de langage étendus — des programmes capables d'écrire, de raisonner et de converser. Cependant, une machine unique possède une limite stricte : sa mémoire est trop petite pour contenir le « cerveau » massif des modèles les plus avancés, qui nécessitent bien plus de stockage que ce qu'un seul appareil peut fournir. Traditionnellement, pour faire fonctionner ces modèles géants, les utilisateurs devaient dépendre de serveurs cloud lointains et coûteux, envoyant leurs questions via Internet et attendant une réponse. Cela crée une dépendance vis-à-vis d'infrastructures externes et soulève des préoccupations concernant la confidentialité des données, car des informations sensibles doivent quitter la machine locale. La question posée aux chercheurs était de savoir si un groupe de ces ordinateurs personnels ordinaires et inactifs pouvait travailler ensemble, connectés par un réseau de bureau standard, pour faire fonctionner un modèle trop grand pour n'importe lequel d'entre eux, tout en gardant les données locales et une réponse suffisamment rapide pour une véritable conversation.

Une équipe de chercheurs s'est donné pour mission de répondre à cela en construisant un système qui divise un grand modèle d'intelligence artificielle en morceaux plus petits, en assignant une pièce à chaque ordinateur d'une petite flotte. Imaginez un livre massif trop lourd pour qu'une seule personne puisse le porter ; au lieu d'essayer de le soulever seul, un groupe de personnes se tient en ligne, chacun tenant un chapitre. À mesure que l'histoire se déroule, la première personne lit son chapitre et transmet le contexte à la suivante, qui lit le sien, et ainsi de suite, jusqu'à ce que la dernière personne finisse la phrase. Dans ce système, les « chapitres » sont les couches du modèle d'IA, et le « passage » se fait via une connexion réseau standard. Les chercheurs ont découvert que le simple fait de diviser le modèle de cette manière ne suffisait pas ; le passage de relais entre les ordinateurs était trop lent, et le processus de vérification du travail était trop maladroit, rendant le système lent. Pour y remédier, ils ont développé trois techniques spécifiques qui ont transformé une installation expérimentale et lente en un outil rapide et utilisable.

La première percée concernait une modification subtile de la préparation des pièces du modèle avant même qu'elles ne soient mises en marche. Lorsque les chercheurs exportaient initialement les couches du modèle pour les exécuter sur la puce graphique de l'ordinateur, le logiciel omettait une optimisation cruciale qui accélère habituellement les choses. En injectant une instruction spécifique et simple dans le code de chaque pièce, ils ont débloqué une efficacité cachée du processeur graphique. Ce petit ajustement a permis aux pièces divisées de fonctionner presque aussi vite que le modèle original non divisé tournant sur une seule machine. Sans cette correction, le système était nettement plus lent, mais avec elle, l'écart de performance a presque disparu, prouvant que le modèle pouvait être divisé sans sacrifier la vitesse.

Le deuxième défi consistait à gérer le processus de « brouillon » utilisé pour accélérer la réflexion de l'IA. Normalement, un modèle plus petit et plus rapide devine les prochains mots, et le modèle principal les vérifie. Si la supposition est erronée, le modèle principal doit rejeter la mauvaise supposition et recommencer. Sur les puces spécialisées utilisées dans ces ordinateurs, la méthode standard pour rejeter une mauvaise supposition était incroyablement lente, prenant près d'une demi-seconde pour chaque correction — assez longtemps pour briser le flux de la conversation. Les chercheurs ont trouvé un contournement ingénieux : au lieu de supprimer physiquement les mauvaises suppositions de la mémoire de l'ordinateur, ils ont simplement dit à l'IA de les ignorer. En marquant les mauvaises suppositions comme invisibles dans les données d'arrière-plan, le système a obtenu exactement le même résultat que la suppression, mais en une fraction de seconde. Cela a permis d'utiliser la technique de brouillon plus rapide sans la pénalité, rendant l'IA beaucoup plus réactive.

La troisième innovation a permis au système de servir plusieurs personnes à la fois. Dans une configuration standard, pendant qu'un ordinateur de la file travaille, les autres restent souvent inactifs, attendant leur tour. Les chercheurs ont conçu une méthode permettant aux ordinateurs de jongler avec les requêtes de différents utilisateurs simultanément. Pendant qu'un ordinateur termine une phrase pour l'Utilisateur A, l'ordinateur suivant dans la file peut déjà commencer une phrase pour l'Utilisateur B. Cet entrelacement des tâches maintenait chaque machine de la flotte occupée, multipliant efficacement la vitesse totale du groupe. Combinée aux deux autres correctifs, cette approche a permis à une flotte de deux ordinateurs de servir deux utilisateurs à une vitesse presque deux fois plus rapide qu'un seul ordinateur servant un seul utilisateur.

Les résultats ont été mesurés sur une flotte de trois ordinateurs portables haut de gamme connectés par un réseau Wi-Fi standard. Lors des tests, une configuration à deux ordinateurs faisant fonctionner un modèle populaire de 8 milliards de paramètres a servi deux utilisateurs à un taux de près de 44 mots par seconde, ce qui est suffisant pour une conversation naturelle et interactive. C'était 1,79 fois plus rapide qu'un seul ordinateur faisant fonctionner le même modèle pour un seul utilisateur. Plus impressionnant encore, lorsque les chercheurs ont simulé une connexion Internet lente et longue distance, le système est resté utilisable, tandis qu'une version non optimisée de cette même configuration devenait trop lente pour être pratique. Le système a également réussi à monter en puissance pour faire fonctionner un modèle massif de 70 milliards de paramètres, une taille qu'aucun ordinateur de la flotte ne pouvait contenir seul. En divisant ce modèle géant entre quatre ordinateurs, l'équipe a atteint des vitesses interactives, prouvant qu'un groupe d'appareils de consommation pouvait gérer des tâches auparavant réservées aux centres de données massifs.

L'étude a également exploré le comportement de ce système sous différentes conditions. Ils ont découvert que la vitesse du réseau importait moins que l'efficacité des échanges entre les ordinateurs. Lorsque la connexion était lente, le système compensait en traitant plus de mots à la fois lors d'un seul passage, ce qui lissait les délais. Ils ont également testé le système sur une connexion de réseau étendu réelle à travers Internet, où les résultats ont confirmé qu'avec les bonnes optimisations, la flotte pouvait maintenir une conversation constante même lorsque les ordinateurs étaient éloignés. Les chercheurs ont noté que, bien que le système fonctionne bien, il repose sur le fait que les ordinateurs soient dans un environnement de confiance, car il ne comprend pas de fonctionnalités de sécurité intégrées comme le chiffrement ou l'authentification. De plus, ils ont observé que la chaleur physique générée par les ordinateurs lors d'une utilisation soutenue pourrait finir par les ralentir, un facteur qui devra être géré dans un déploiement réel.

En fin de compte, ce travail démontre que la barrière pour faire fonctionner une intelligence artificielle puissante n'est pas seulement matérielle, mais réside dans la manière dont ce matériel est utilisé. En repensant la façon dont les modèles sont divisés, la façon dont les erreurs sont corrigées et la façon dont plusieurs utilisateurs sont servis, un petit groupe d'ordinateurs ordinaires peut agir comme une seule et puissante machine. Les chercheurs ont rendu leur code et leurs données publics, permettant à d'autres de vérifier les résultats et de bâtir sur ce système. Les conclusions suggèrent que, dans un avenir proche, les organisations pourraient exploiter leurs propres clusters d'IA privés et rapides en utilisant les ordinateurs qu'elles possèdent déjà, gardant les données locales et réduisant la dépendance vis-à-vis des services cloud externes. Le système a prouvé qu'avec le bon logiciel, la puissance collective d'une flotte de machines inactives peut être harnachée pour résoudre des problèmes qui nécessitaient autrefois un supercalculateur.