FLINT: Efficiently Leveraging High Bandwidth Flash for Capacity-Scalable LLM Inference Acceleration

Le monde de l'intelligence artificielle est actuellement engagé dans une course vers une limite physique. Les modèles de langage les plus avancés, ces systèmes qui écrivent du code, rédigent des histoires et résolvent des problèmes complexes, sont devenus si massifs qu'ils ne rentrent plus dans les puces de mémoire standard attachées aux processeurs informatiques qui les font fonctionner. Imaginez essayer de transporter une bibliothèque d'un milliard de livres dans un sac à dos qui ne peut en contenir que quelques dizaines ; c'est la réalité actuelle du matériel qui alimente ces modèles. Pour faire fonctionner ces systèmes, les ingénieurs ont été contraints de répartir les modèles sur de nombreux ordinateurs distincts, une solution coûteuse, lente et gourmande en énergie car les ordinateurs doivent constamment communiquer entre eux pour partager la charge. Une nouvelle technologie appelée mémoire flash à haute bande passante offre un moyen de stocker ces bibliothèques massives juste à côté du processeur, offrant des téraoctets d'espace dans un minuscule boîtier. Cependant, cette nouvelle mémoire de stockage est beaucoup plus lente à lire que la propre mémoire du processeur, créant un goulot d'étranglement où l'ordinateur passe la majeure partie de son temps à attendre l'arrivée des données.

Des chercheurs de Huawei et de l'ETH Zurich ont conçu un système appelé FLINT pour résoudre ce problème d'attente. Leurs travaux, détaillés dans une étude récente, proposent un moyen de rendre ce stockage flash à haute capacité suffisamment rapide pour suivre les demandes du processeur sans nécessiter les calendriers complexes et préétablis que les conceptions précédentes exigeaient. Au lieu de deviner quelles données le processeur aura besoin ensuite, FLINT observe le processeur en temps réel et organise les requêtes de données au fur et mesure qu'elles se produisent. En regroupant ces requêtes et en utilisant plus efficacement les tampons internes de la puce de stockage, le système peut diffuser des données à des vitesses qui rejoignent presque la mémoire propre du processeur. L'équipe a simulé ce système en utilisant six modèles de langage différents, y compris certains des modèles les plus grands et les plus complexes existants. Leurs résultats montrent que cette approche permet à un seul boîtier informatique de gérer des tâches qui nécessitaient auparavant des dizaines de machines, tout en consommant nettement moins d'énergie et en délivrant des résultats beaucoup plus rapides.

Le cœur du problème réside dans la manière dont ces modèles sont construits. Pour effectuer une inférence, qui est l'acte par lequel le modèle génère une réponse, l'ordinateur doit accéder constamment aux poids du modèle, qui sont essentiellement les milliards de nombres définissant sa connaissance. Par le passé, ces poids étaient assez petits pour tenir entièrement dans la mémoire haute vitesse attachée directement au processeur. Désormais, avec des modèles contenant des centaines de milliards ou même des trillions de paramètres, les poids sont trop volumineux pour cette mémoire rapide. L'alternative consistait à utiliser des disques SSD, qui sont volumineux et bon marché mais bien trop lents, ou à utiliser plusieurs processeurs, ce qui introduit des délais lors de la synchronisation de leur travail. La mémoire flash à haute bande passante a été proposée comme un juste milieu : une technologie de stockage qui s'insère dans le même petit boîtier que le processeur et offre une capacité massive, mais avec une vitesse de lecture encore trop faible pour être utilisée directement par le processeur sans provoquer de blocage.

Les tentatives précédentes d'utilisation de ce stockage flash reposaient sur une méthode similaire à celle d'un bibliothécaire devinant quel livre un lecteur demandera ensuite. Le système essayait de prédire la couche suivante du modèle et commençait à récupérer ces poids avant que le processeur ne les demande. Les chercheurs ont constaté que ce jeu de devinettes échouait lamentablement. Parce que les modèles sont si complexes et que leur comportement change selon la question spécifique posée, les suppositions étaient souvent erronées. Le système récupérait des données dont le processeur n'avait pas encore besoin, remplissant ainsi l'espace limité du tampon et le forçant à jeter des données qui étaient pourtant nécessaires. Cela entraînait un fait que le processeur passait la majeure partie de son temps à attendre que les bonnes données soient récupérées à nouveau, gaspillant ainsi la haute vitesse du stockage flash.

FLINT change cette approche en supprimant totalement le recours aux suppositions. Au lieu d'un bibliothécaire qui devine, le système agit comme un contrôleur de trafic hautement efficace qui observe le flux de voitures en temps réel. Lorsque le processeur demande une pièce spécifique de donnée, FLINT ne se contente pas de récupérer cette pièce unique. Il examine le flux de requêtes provenant du processeur et les regroupe. Si le processeur demande plusieurs morceaux de données qui se trouvent être stockés dans la même zone physique de la puce flash, FLINT les combine en une seule requête volumineuse. Cela permet à la puce flash de lire une quantité massive de données en une seule opération, exploitant ainsi sa pleine vitesse. Le système conserve ensuite ces données dans ses tampons internes, prêtes à être remises au processeur exactement au moment où elles sont nécessaires. Ce regroupement dynamique signifie que le système ne perd jamais de temps à récupérer des données inutiles, et il maintient le pipeline de données plein et fluide.

Un autre obstacle majeur pour le stockage flash est qu'il nécessite une maintenance. Au fil du temps, l'acte de lire les données peut dégrader les charges électriques à l'intérieur de la puce, entraînant des erreurs. Pour corriger cela, la puce doit périodiquement interrompre son activité et réécrire les données vers des emplacements neufs. Dans les conceptions précédentes, cette maintenance devait avoir lieu pendant que le processeur tentait de lire des données, provoquant des gels prolongés du système. Les chercheurs ont résolu ce problème en créant un système de « plan fantôme » (phantom plane). Ils ont ajouté une petite quantité d'espace supplémentaire à la puce qui sert de voie de réserve. Lorsqu'une section de la puce nécessite une maintenance, le système copie discrètement les données vers cette voie de réserve en arrière-plan, sans jamais interrompre le flux principal de données vers le processeur. Cela garantit que le travail de maintenance n'interrompt jamais le travail du processeur, maintenant le système en fonctionnement fluide même à mesure que la puce vieillit.

L'équipe a également simplifié la manière dont le système traduit les requêtes du processeur en emplacements physiques sur la puce. Les systèmes de stockage standards sont conçus pour gérer l'écriture et la réécriture constantes, ce qui nécessite des cartes complexes et des mécanismes lourds pour la gestion. Puisque les poids d'un modèle de langage sont écrits une seule fois et ne sont jamais modifiés, FLINT utilise une carte beaucoup plus simple et légère, optimisée uniquement pour la lecture. Cette réduction de la complexité signifie que le système peut traduire les requêtes presque instantanément, éliminant ainsi une autre couche de délai.

Lorsque les chercheurs ont testé ces idées dans une simulation détaillée, les résultats ont été frappants. Ils ont comparé leur nouveau système à trois autres configurations : un système standard utilisant des disques SSD lents, un système utilisant uniquement la mémoire rapide sur de nombreux processeurs, et une tentative précédente d'utiliser le stockage flash. Le système FLINT a été capable de décoder du texte, ce qui est le processus de génération de la sortie du modèle, jusqu'à 1 205 fois plus vite que le système utilisant des disques SSD. Comparé au système qui reposait sur de nombreux processeurs travaillant ensemble, FLIMENT était en moyenne plus de deux fois plus rapide. Plus important encore, il a atteint cette performance en utilisant beaucoup moins d'ordinateurs. Pour un petit lot de requêtes, un seul ordinateur équipé de FLINT pouvait accomplir le travail qui nécessitait auparavant quatre à huit ordinateurs, et ce, tout en consommant nettement moins d'énergie.

L'étude a également examiné la longévité du système. Comme le stockage flash est constamment lu, les chercheurs craignaient la rapidité avec laquelle les puces s'useraient. Ils ont découvert que leur système de maintenance, qui réécrit les données avant que les erreurs ne surviennent, prolonge la durée de vie du stockage de plusieurs années, même sous une utilisation intensive. Le système a été testé avec six modèles différents, allant de modèles denses à des modèles complexes qui basculent entre différents experts pour résoudre des problèmes, et il a performé de manière satisfaisante sur l'ensemble. Les chercheurs ont noté que, bien que le système ajoute une petite quantité d'espace physique à la puce, ce coût est négligeable par rapport aux gains massifs en vitesse et en capacité.

Ce travail démontre que les limites de l'intelligence artificielle ne résident pas seulement dans l'intelligence des modèles, mais aussi dans la manière dont nous déplaçons les données autour d'eux. En repensant la manière dont le stockage interagit avec le processeur, les chercheurs ont montré qu'il est possible de construire des systèmes qui soient à la fois massifs en capacité et rapides en vitesse. Le système FLINT transforme une technologie autrefois considérée comme trop lente pour une utilisation en temps réel en une solution pratique pour la prochaine génération d'intelligence artificielle, permettant à des modèles puissants de fonctionner sur des machines uniques plutôt que de nécessiter des centres de données entiers. Les conclusions suggèrent qu'avec une ingénierie appropriée, les contraintes physiques de la mémoire peuvent être surmontées, ouvrant la voie à des systèmes d'IA plus capables et plus efficaces à l'avenir.