ArcLight: A Lightweight LLM Inference Architecture for Many-Core CPUs

ArcLight est une architecture d'inférence légère conçue spécifiquement pour les CPU many-core qui, en optimisant la gestion de la mémoire et le parallélisme des tenseurs pour réduire les accès inter-NUMA, dépasse les performances des cadres existants d'un facteur allant jusqu'à 46 %.

L'essentiel

Imaginez que vous essayez de faire fonctionner un cerveau artificiel géant (un modèle de langage comme ceux qui écrivent des histoires ou répondent à des questions) sur un ordinateur classique, mais pas n'importe lequel : un ordinateur avec 192 cerveaux (cœurs de processeur) fonctionnant en même temps.

Le problème, c'est que les logiciels actuels pour faire tourner ces intelligences artificielles sur des ordinateurs classiques sont un peu comme des chefs d'orchestre qui ne connaissent pas la géographie de la salle de concert. Ils font travailler les musiciens, mais ils les font courir partout pour chercher leurs partitions, perdant un temps fou à traverser la salle.

Voici l'histoire de ARCLIGHT, le nouveau chef d'orchestre conçu pour résoudre ce chaos.

1. Le Problème : Le Mur des "Quartiers" (NUMA)

Pour comprendre ARCLIGHT, il faut d'abord imaginer votre ordinateur comme une grande ville divisée en quartiers (appelés nœuds NUMA).

• Chaque quartier a ses propres bibliothèques (mémoire) et ses propres habitants (cœurs de processeur).
• Si un habitant du Quartier A a besoin d'un livre, il est super rapide s'il va à la bibliothèque de son propre quartier.
• Mais s'il doit aller chercher un livre dans le Quartier B, il doit traverser toute la ville. C'est lent, fatiguant et ça crée des embouteillages.

Les logiciels actuels (comme llama.cpp) traitent la ville comme un seul grand bloc. Ils envoient les habitants travailler, mais ils ne se soucient pas de quel quartier ils habitent. Résultat : les habitants passent la moitié de leur temps à traverser la ville pour chercher des données, au lieu de travailler. C'est ce qu'on appelle le "mur d'accès mémoire".

2. La Solution : ARCLIGHT, l'Architecte Minimaliste

Les auteurs de l'article ont décidé de ne pas essayer de réparer l'ancien logiciel (ce serait comme essayer de transformer une vieille voiture en fusée). Ils ont construit ARCLIGHT de zéro, avec une philosophie simple : "Moins c'est plus".

C'est un logiciel ultra-léger, conçu spécifiquement pour respecter la géographie de la ville.

Comment ça marche ? (Les Analogies)

• La Gestion de la Mémoire (Les Bibliothèques Locales) :
  Au lieu de mettre tous les livres dans une seule grande bibliothèque centrale, ARCLIGHT crée des bibliothèques locales dans chaque quartier. Quand un habitant du Quartier 1 a besoin d'un livre, il le prend dans sa propre bibliothèque. Plus besoin de traverser la ville ! C'est comme si chaque équipe de travail avait son propre bureau avec tous ses outils à portée de main.

• Le Synchronisation des Équipes (Les Groupes de Travail) :
  Imaginez que vous devez construire un mur de briques.

  • L'ancienne méthode : Tout le monde attend que le dernier maçon ait fini sa brique avant de passer à la suivante. Si un maçon est lent, tout le monde attend.
  • La méthode ARCLIGHT : Elle divise les maçons en petits groupes. Chaque groupe travaille sur sa section du mur en même temps. Ils ne s'arrêtent que pour se dire "C'est fini !" à la fin de la section. Cela permet de faire plusieurs choses en parallèle sans s'embrouiller.

• La "Coupure" en Tranches (Parallélisme Tensoriel) :
  C'est l'astuce géniale d'ARCLIGHT. Au lieu de donner une tâche énorme à tout le monde, il découpe la tâche en petits morceaux.

  • Si le modèle doit faire un calcul mathématique géant (une multiplication de matrices), ARCLIGHT le divise en 4 petits calculs.
  • Le Quartier 1 fait son petit calcul avec ses propres données.
  • Le Quartier 2 fait le sien, etc.
  • À la fin, on assemble simplement les résultats. Personne n'a besoin de traverser la ville pour chercher des données, car tout le travail est fait localement.

3. Les Résultats : Plus Vite, Plus Intelligent

Les chercheurs ont testé ARCLIGHT sur une machine énorme avec 192 cœurs (4 quartiers de 48 cœurs chacun).

• Le résultat : ARCLIGHT est jusqu'à 46 % plus rapide que les meilleurs logiciels actuels sur ces machines.
• Pourquoi ? Parce qu'il a éliminé le temps perdu à traverser la ville (les accès mémoire lents) et qu'il a organisé le travail de manière intelligente.

En Résumé

Imaginez que vous organisez un grand dîner pour 192 personnes.

• Les logiciels actuels : Ils mettent tout le monde autour d'une seule table géante au milieu de la pièce. Tout le monde doit se lever et traverser la pièce pour aller chercher le sel, le poivre ou l'eau. C'est le chaos.
• ARCLIGHT : Il crée 4 tables séparées (les quartiers). Chaque table a son propre sel, son poivre et son eau. Les gens mangent, discutent et travaillent sans jamais avoir à traverser la pièce. Le dîner est servi deux fois plus vite.

ARCLIGHT est donc une architecture légère, intelligente et respectueuse de la structure de votre ordinateur, qui permet de faire tourner des intelligences artificielles complexes sur des serveurs classiques avec une efficacité déconcertante. Et le meilleur ? C'est un projet ouvert, disponible pour tout le monde, conçu pour être simple à comprendre et à modifier.

Résumé technique

Voici un résumé technique détaillé du papier "ARCLIGHT: A LIGHTweight LLM Inference ARChitecture for Many-Core CPUs", présenté en français.

1. Problématique

L'inférence des grands modèles de langage (LLM) sur les CPU est dominée par des frameworks matures comme llama.cpp. Cependant, ces solutions peinent à exploiter pleinement le potentiel des plateformes CPU multi-cœurs (many-core), courantes dans les serveurs web et les équipements réseau haut de gamme.

Le problème central réside dans l'architecture NUMA (Non-Uniform Memory Access) de ces plateformes. Dans un système NUMA, les cœurs et la mémoire sont partitionnés en plusieurs nœuds. L'accès à la mémoire locale est rapide, mais l'accès à la mémoire distante (entre nœuds) est considérablement plus lent (jusqu'à 4 fois plus lent selon les mesures du papier).

Les frameworks existants négligent souvent ce "mur d'accès mémoire inter-NUMA". Lorsqu'ils étendent l'inférence sur des dizaines de cœurs, ils subissent des surcharges de synchronisation et d'accès mémoire non locaux, ce qui crée un goulot d'étranglement empêchant le système d'atteindre son plafond de performance théorique. De plus, adapter des frameworks existants (comme llama.cpp) à ces contraintes nécessite une refonte complexe et invasive de toute la pile logicielle.

2. Méthodologie et Architecture

Pour combler ce fossé, les auteurs ont conçu ARCLIGHT, une architecture d'inférence légère construite "from the ground up" (depuis les fondations) spécifiquement pour les CPU multi-cœurs. L'approche repose sur le minimalisme, la modularité et des optimisations ciblées.

Architecture Globale

ARCLIGHT adopte une architecture découplée avec un frontend de décodage et un backend d'inférence. Le moteur d'inférence est composé de cinq modules essentiels :

1. Gestionnaire de mémoire
2. Gestionnaire de threads
3. Bibliothèque de tenseurs
4. Constructeur de graphe de propagation (Forward Graph Builder)
5. Ordonnanceur de calcul de graphe

L'ensemble du code ne représente que quelques fichiers d'en-tête et sources C++, offrant une base transparente et modifiable ("hackable").

Optimisations Clés

• Gestion Mémoire NUMA-Aware :
  Contrairement à llama.cpp qui utilise un tampon monolithique (UMA) où le système d'exploitation répartit les pages de mémoire de manière non optimale, ARCLIGHT alloue des tampons séparés dans la mémoire locale de chaque nœud NUMA. Cela simplifie la liaison explicite des tenseurs aux nœuds et réduit drastiquement les accès distants. Une mécanisme de double buffering est également implémenté pour les activations afin de réduire la consommation mémoire par couche.

• Gestion des Threads Multi-Vues :
  Au lieu d'un simple pool de threads exécutant la même tâche, ARCLIGHT introduit une organisation logique en groupes de threads. Ces groupes peuvent être dynamiquement reconfigurés pour exécuter des opérations de tenseurs indépendantes en parallèle. Une synchronisation par barrière globale est introduite pour coordonner l'ensemble du pool, distincte des barrières locales au sein d'un groupe.

• Parallélisme Tensoriel Inter-NUMA (Cross-NUMA Tensor Parallelism - TP) :
  C'est l'apport majeur pour contourner le mur de mémoire.

  • Partitionnement des poids : Les matrices de poids (Wq, Wk, Wv, etc.) sont partitionnées (lignes ou colonnes) et réparties sur les différents nœuds NUMA.
  • Graphes de calcul parallèles : L'architecture utilise des opérateurs Scatter (pour diviser le graphe en sous-graphes parallèles) et Gather (pour fusionner les résultats).
  • Exécution Asynchrone : Les sous-graphes s'exécutent de manière asynchrone. Les auteurs montrent que la synchronisation globale n'est nécessaire qu'au début et à la fin des séquences d'opérations, réduisant ainsi les temps d'inactivité des threads.

3. Contributions Principales

1. Une Architecture d'Inférence Légère : Un framework modulaire qui réduit l'inférence LLM à ses essentiels, offrant une base transparente pour la recherche et le développement sur CPU sans la complexité des frameworks traditionnels.
2. Optimisation pour CPU Multi-Cœurs : Une feuille de route pour l'optimisation multidimensionnelle (ordonnancement des threads, gestion mémoire NUMA, parallélisme tensoriel) qui repousse les limites de performance de l'inférence sur CPU.
3. Solution au Mur NUMA : La démonstration que le parallélisme tensoriel, couplé à une allocation mémoire locale stricte, permet de surmonter les goulots d'étranglement liés à la latence mémoire inter-nœuds.

4. Résultats Expérimentaux

Les expériences ont été menées sur une machine de test de 192 cœurs (4 nœuds NUMA, 48 cœurs ARM Kunpeng-920 par nœud) avec le modèle Qwen3-4B (quantifié en Q4_0).

• Débit d'inférence : ARCLIGHT dépasse significativement les performances de llama.cpp. Sur des plateformes multi-NUMA, il atteint un débit d'inférence jusqu'à 46 % plus élevé.
• Impact du TP : L'utilisation du parallélisme tensoriel inter-NUMA brise le mur d'accès mémoire d'un seul nœud.
• Impact de l'asynchronisme : L'ajout de l'exécution asynchrone des sous-graphes (Section 3.4) apporte un gain supplémentaire d'environ 5 tokens/seconde.
• Scalabilité : Contrairement à llama.cpp dont les performances plafonnent ou régressent avec l'ajout de cœurs sur plusieurs nœuds (à cause des accès mémoire distants), ARCLIGHT maintient une scalabilité efficace.

5. Signification et Perspectives

Ce travail démontre que l'inférence LLM sur CPU peut être hautement performante si l'on prend en compte l'architecture matérielle sous-jacente (NUMA) dès la conception du logiciel. ARCLIGHT offre une alternative viable aux solutions GPU pour les environnements où les CPU sont déjà déployés massivement (serveurs web, routeurs).

Limitations actuelles :

• L'évaluation est actuellement limitée aux architectures ARM (support x86 prévu pour le futur).
• Les opérateurs Scatter et Gather sont encore dans une phase préliminaire et pourraient être optimisés davantage pour réduire la surcharge mémoire et améliorer l'efficacité parallèle.

En conclusion, ARCLIGHT établit un nouveau standard pour l'inférence LLM sur CPU, prouvant qu'une architecture légère et consciente du matériel peut surpasser des frameworks matures mais moins adaptés aux spécificités des systèmes multi-cœurs modernes. Le code source est disponible publiquement sur GitHub.