🤖 machine learning

LLMForge: Multi-Backend Hardware-Aware Neural Architecture Search with Infinite-Head Attention for Edge Language Models

LLMForge est un cadre de recherche d'architecture neuronale conscient du matériel qui exploite l'attention à têtes infinies et un modèle de coût multi-backend pour générer automatiquement des modèles de langage optimisés à moins d'un milliard de paramètres, adaptés aux contraintes spécifiques des dispositifs périphériques, et réalise des améliorations significatives en matière d'efficacité énergétique, de latence et de précision du modèle par rapport aux références existantes.

Auteurs originaux : Xinting Jiang, Junyi Luo, Ruichen Qi, Kauna Lei, Ben Laurie, Gregory Kielian, Mehdi Saligane

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinting Jiang, Junyi Luo, Ruichen Qi, Kauna Lei, Ben Laurie, Gregory Kielian, Mehdi Saligane

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire le cerveau robotique parfait et minuscule, capable de fonctionner sur un smartphone ou une montre connectée. Vous voulez qu'il soit assez intelligent pour comprendre le langage, mais assez petit pour tenir dans votre poche sans vider la batterie ni faire surchauffer le téléphone.

Le problème est que les « plans » standards de ces cerveaux (appelés Transformers) ont été conçus pour des supercalculateurs massifs. Lorsque vous essayez de les réduire pour les appareils périphériques, ils se retrouvent souvent bloqués dans des embouteillages, manquent de mémoire ou consomment trop d'énergie.

LLMForge est un nouvel outil créé par des chercheurs pour résoudre ce problème. Pensez-y comme à un architecte ultra-intelligent et conscient du matériel qui ne se contente pas de rétrécir le cerveau ; il redessine complètement le plan en fonction du « terrain » spécifique de l'appareil où il vivra.

Voici comment LLMForge fonctionne, décomposé en trois parties simples :

1. L'Attention à Têtes Infinies (IHA) : Briser les Règles

Les cerveaux robotiques traditionnels ont un manuel de règles rigide. Si vous voulez augmenter le nombre de « têtes pensantes » (processeurs qui examinent différentes parties d'une phrase), vous êtes obligé de rendre chaque tête plus petite. C'est comme une pizza : si vous la coupez en plus de parts, chaque part devient plus petite. Cela limite l'intelligence potentielle du cerveau.

L'innovation de LLMForge : Il jette le manuel de règles rigide. Avec l'Attention à Têtes Infinies, l'architecte peut modifier le nombre de parts, la taille des parts et le type de garnitures indépendamment pour chaque couche du cerveau.

L'Analogie : Imaginez une équipe de construction qui doit habituellement construire des pièces de tailles identiques. LLMForge leur donne un outil magique qui leur permet de construire un petit placard à côté d'une immense salle de bal, puis un bureau moyen, le tout dans le même plan d'étage. Cela multiplie par 400 le nombre de plans possibles, leur permettant de trouver une forme qui s'adapte parfaitement aux contraintes d'un appareil spécifique.

2. Forge-Former : La Boule de Cristal

Construire et tester un nouveau plan de cerveau à partir de zéro est coûteux et lent. C'est comme cuire un gâteau juste pour voir si la recette fonctionne, puis le jeter. Si vous avez des milliers de recettes à tester, vous ferez faillite.

La solution de LLMForge : Ils ont construit une Boule de Cristal appelée Forge-Former.

Comment ça marche : Au lieu de cuire chaque gâteau individuellement, la Boule de Cristal examine la recette (le plan) et prédit exactement à quel point le gâteau sera bon (à quel point le modèle sera intelligent) et combien d'énergie il consommera.
Le Résultat : Cette boule de cristal est beaucoup plus précise que les outils de « devinette » précédents. Elle permet au système de tester des milliers de conceptions dans le temps qu'il fallait auparavant pour en tester quelques-unes, économisant ainsi d'énormes quantités de temps et d'énergie.

3. Forge-DSE : Le Navigateur Multi-Outils

Différents appareils ont différents problèmes. Une carte graphique haut de gamme (GPU) peut être limitée par la vitesse à laquelle elle peut déplacer les données, tandis qu'une puce minuscule dans une montre connectée peut être limitée par la quantité de chaleur qu'elle peut supporter. Une conception parfaite pour l'un peut être terrible pour l'autre.

L'approche de LLMForge : Le moteur Forge-DSE agit comme un navigateur avec un multi-outils.

Il ne cherche pas seulement le modèle le « plus intelligent ». Il recherche le meilleur compromis (un « front de Pareto ») entre l'intelligence, la vitesse et l'efficacité énergétique.
Il teste les conceptions contre quatre types de matériel différents (comme un GPU haute vitesse, une puce spécialisée et une puce en forme d'anneau).
Le Résultat : Le système réalise que « la taille unique ne convient pas à tous ». Il produit des plans différents et uniques pour chaque appareil.
- Pour un appareil axé sur la vitesse, il construit un cerveau large et peu profond.
- Pour un appareil axé sur l'énergie, il construit un cerveau profond et étroit.

Les Résultats : Des Victoires Réelles

Les chercheurs ont testé ce système sur deux tailles de modèles (environ 100 millions et 300 millions de paramètres) et les ont comparés à des modèles populaires existants comme SmolLM2 et Qwen.

Le Modèle « Précision » : L'un de leurs nouveaux designs était plus intelligent (taux d'erreur plus faible) que la concurrence, même s'il avait moins de paramètres (il était plus petit).
Le Modèle « Énergie » : Un autre design utilisait 40 % moins d'énergie par mot généré par rapport aux modèles standards.
Le Modèle « Vitesse » : Un troisième design était 43 % plus rapide pour commencer à parler (Temps jusqu'au premier jeton) et pour terminer les phrases.

Résumé

LLMForge est un système qui cesse d'essayer d'imposer un cerveau « taille unique » à chaque appareil. Au lieu de cela, il utilise un langage de conception flexible, une boule de cristal de prédiction rapide et un navigateur intelligent pour concevoir un cerveau personnalisé pour chaque pièce de matériel spécifique. Le résultat est une IA plus petite, plus rapide et plus économe en énergie qui tient réellement dans votre poche.

Résumé Technique : LLMForge

Énoncé du Problème

Les modèles de langage Transformer à moins d'un milliard de paramètres sont de plus en plus déployés sur des appareils périphériques (edge) pour tirer parti des avantages en matière de confidentialité, de latence et de coûts. Cependant, l'inférence sur appareil est contrainte par des budgets stricts de bande passante mémoire, d'énergie et de thermique. Les approches existantes reposent souvent sur une compression post-entraînement (quantification, élagage), ce qui laisse inexploités les degrés de liberté architecturaux sous-jacents. De plus, les pipelines actuels de Recherche d'Architecture Neurale (NAS) adaptés au matériel pour les Transformers souffrent de trois limitations :

Espace de Recherche Restreint : Les paramétrisations de l'attention fixent souvent les dimensions par tête et lient les capacités des clés/valeurs, limitant les configurations de forme réalisables à un seul choix de nombre de têtes.
Goulot d'Étranglement de l'Évaluation : L'évaluation des candidats par un entraînement à partir de zéro est coûteuse en calcul.
Modélisation Coarse des Coûts : Les coûts matériels sont fréquemment modélisés via des classes d'accélérateurs uniques ou des proxies grossiers (par exemple, le nombre de paramètres), masquant le reclassement des candidats dépendant du substrat.

Méthodologie

Les auteurs présentent LLMForge, un cadre NAS adapté au matériel qui intègre trois contributions composables dans une seule boucle de recherche évolutive NSGA-II.

1. Attention à Têtes Infinies (IHA)

L'IHA découple les paramètres de forme de l'attention ( $n_h$ , $n_{kv}$ , $d_{qk}$ , $d_v$ ) en tant que variables indépendantes par couche. Contrairement à l'Attention Multi-Têtes (MHA) standard ou à l'Attention à Requêtes Groupées (GQA), qui imposent des contraintes de divisibilité ( $d_{model} = n_h \cdot d_h$ ) et un couplage Q/K–V ( $d_h = d_{qk} = d_v$ ), l'IHA relâche ces contraintes. Elle ne préserve que la condition de regroupement GQA ( $n_{kv} | n_h$ ).

Impact : Cela élargit l'espace de configuration d'attention par couche réalisable d'environ 400 fois (passant de 27 configurations sous GQA à 11 250 sous IHA dans les plages de recherche définies).

2. Forge-Former (Surrogé de Précision)

Pour résoudre le goulot d'étranglement de l'évaluation, les auteurs introduisent Forge-Former, un modèle surrogé basé sur un encodeur Transformer.

Architecture : Il encode une architecture comme une séquence de jetons de couche, où chaque jeton concatène les paramètres IHA de la couche. Les champs scalaires sont élevés via des couches linéaires et sommés avec des embeddings de position. Un encodeur Transformer pré-LN capture les interactions intra-couche (via des sous-couches feedforward) et les interactions inter-couches (via l'auto-attention).
Performance : Sur le split de test IHA, Forge-Former atteint un Spearman $\rho = 0,75$ et un Kendall $\tau = 0,58$ , surpassant les bases MLP et forêt aléatoire de 1,4 à 2,5 fois. Il permet la sélection NSGA-II à une fraction du coût d'un entraînement à partir de zéro.

3. Forge-DSE (Moteur d'Exploration de l'Espace de Conception)

Forge-DSE est le moteur de recherche multi-objectifs qui associe Forge-Former à un modèle de coût matériel multi-backends.

Boucle de Recherche : Il fait évoluer des populations d'architectures paramétrées IHA en utilisant NSGA-II avec un tri non dominé et une survie basée sur la distance d'encombrement. Il emploie des opérateurs de mutation personnalisés (suppression, duplication, rotation, perturbation numérique) et une étape de réparation de faisabilité.
Co-évolution du Surrogé : Le cadre affine optionnellement Forge-Former pendant la recherche en ré-entraînant des échantillons informatifs de la population actuelle et en affinant le surrogé via une répétition d'expérience, corrigeant ainsi le décalage de distribution.
Backends Matériels : Le système prend en charge trois backends distincts :
1. Backend A : Coûts mesurés sur un GPU NVIDIA A100 utilisant ZEUS.
2. Backend B : Coûts analytiques via Timeloop pour les flux de données systoliques (Gemmini), à stationnement de ligne (Eyeriss) et à attention fusionnée (FLAT).
3. Backend C : Un simulateur de flux de données en anneau multi-puces (rDXE) pour les accélérateurs périphériques, effectuant une recherche conjointe architecture-et-puce.

Résultats Clés

Validation du Surrogé

Sur le jeu de données IHA, Forge-Former surpasse significativement les bases en termes de fidélité de classement et de récupération Top-X%. Il réduit l'Erreur Absolue Moyenne (MAE) pour les 5 % supérieurs des architectures d'environ 5 fois par rapport aux bases MLP et Forêt Aléatoire. L'analyse t-SNE confirme que les embeddings Forge-Former reflètent mieux la similarité de performance, regroupant étroitement les queues à forte perte.

Performance de la Recherche Multi-Backends

Sur quatre substrats matériels (A100, Gemmini, Eyeriss, FLAT), les recherches convergent vers des architectures de front de Pareto distinctes qui suivent les goulots d'étranglement de coûts spécifiques à chaque substrat :

A100 (Riche en bande passante) : Résulte en largeurs de MLP plates et en têtes d'attention les plus larges.
Eyeriss/Gemmini (Limité par le cache KV) : Collapse $n_{kv}$ en une attention à requêtes groupées agressive et compense par une capacité de MLP plus large.
FLAT (Flexible) : Produit le plus petit modèle avec une profondeur faible et des têtes étroites.
Améliorations : Par rapport à la base SmolLM2-135M, la recherche produit des réductions de 5 à 7 % de la perte de validation, de 16 à 63 % de l'énergie par token, et de 16 à 59 % des métriques de latence (TTFT/TPOT).

Validation à Échelle sur rDXE

Les auteurs ont effectué une recherche conjointe architecture-et-puce sur le substrat en anneau multi-puces rDXE, réentraînant les candidats sélectionnés sur FineWeb-Edu-10BT (13,1 milliards de tokens) par rapport aux bases SmolLM2 et Qwen :

Variante Précision (347M de paramètres) : A atteint la perte de validation la plus faible (2,798) et des performances de référence compétitives avec moins de paramètres que SmolLM2-360M et Qwen-0.5B.
Variante Énergie (294M de paramètres) : A réduit l'énergie par token de 40 %.
Variante Latence (365M de paramètres) : A réduit le Temps-Au-Premier-Token (TTFT) et le Temps-Par-Token-de-Sortie (TPOT) de 43 %.

Signification et Revendications

L'article revendique que LLMForge démontre que le NAS adapté au matériel peut produire des fronts de Pareto conditionnés par le substrat plutôt qu'une seule architecture "meilleure". En découplant les paramètres d'attention via IHA et en utilisant un surrogé basé sur un encodeur haute fidélité, le cadre remodèle efficacement les profils de largeur et de profondeur par couche pour correspondre aux goulots d'étranglement matériels spécifiques.

Les auteurs positionnent LLMForge comme une contribution méthodologique permettant la découverte de paires de configuration architecture-et-puce conscientes du déploiement. Ils notent que, bien que les réductions d'énergie et de latence soient modestes, elles bénéficient principalement au coût opérationnel et au profil carbone de l'inférence périphérique répétée. Le travail est limité à des échelles inférieures au milliard de paramètres ( $\le$ 500M) en raison du coût computationnel de la génération du corpus d'entraînement pour le surrogé, la mise à l'échelle vers des modèles à un milliard de paramètres étant identifiée comme une étape future.