💬 NLP

Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs

Ce papier propose un cadre de co-conception matériel-logiciel basé sur des lois d'échelle (scaling laws) et le modèle « roofline » pour optimiser automatiquement la sélection d'architectures de modèles de langage (LLM) sur des appareils embarqués, permettant d'atteindre un meilleur équilibre entre précision et latence.

Auteurs originaux : Luoyang Sun, Jiwen Jiang, Yifeng Ding, Fengfa Li, Yan Song, Haifeng Zhang, Jian Ying, Lei Ren, Kun Zhan, Wei Chen, Yan Xie, Cheng Deng

Publié 2026-02-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Luoyang Sun, Jiwen Jiang, Yifeng Ding, Fengfa Li, Yan Song, Haifeng Zhang, Jian Ying, Lei Ren, Kun Zhan, Wei Chen, Yan Xie, Cheng Deng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le Dilemme du "Cerveau dans une Boîte"

Imaginez que vous vouliez donner une intelligence incroyable à un petit robot domestique ou à une voiture autonome. Pour cela, vous devez lui installer un "cerveau" (un modèle d'IA comme ChatGPT).

Le problème, c'est que le cerveau de ChatGPT est conçu pour vivre dans des supercalculateurs géants, branchés sur des prises électriques énormes, avec une mémoire infinie. Mais votre robot, lui, est une petite boîte avec une batterie limitée, une mémoire minuscule et un processeur qui chauffe vite.

Si vous lui mettez un cerveau trop gros : le robot devient lent, il "réfléchit" pendant 10 minutes avant de répondre, et sa batterie meurt en 5 minutes.
Si vous lui mettez un cerveau trop petit : il est super rapide, mais il est bête comme ses pieds.

Le défi des chercheurs : trouver le "cerveau parfait" qui est à la fois assez intelligent ET assez léger pour tenir dans la petite boîte du robot.

La Solution : La "Loi de la Co-Conception" (Hardware Co-Design)

Jusqu'à présent, les ingénieurs faisaient souvent les choses séparément : les mathématiciens créaient des cerveaux, et les ingénieurs en matériel essayaient de les faire rentrer de force dans les machines. C'était comme essayer de faire entrer un éléphant dans une petite voiture en espérant qu'il se tasse.

Ce papier propose une nouvelle méthode : la Co-Conception. Au lieu de créer le cerveau puis de chercher la boîte, on dessine le cerveau en même temps que l'on regarde la taille de la boîte.

Pour réussir ce miracle, ils utilisent deux outils magiques :

1. La "Loi de l'Échelle" (Le modèle de précision)

C'est comme une recette de cuisine mathématique. Les chercheurs ont testé des milliers de combinaisons de "cerveaux" (plus ou moins profonds, plus ou moins larges) et ont trouvé une formule qui prédit : "Si vous construisez un cerveau de telle taille, voici exactement à quel point il sera intelligent". Cela évite de devoir entraîner chaque modèle pendant des mois pour savoir s'il est bon.

2. Le "Modèle de la Toiture" (Le modèle de performance)

Imaginez que la puissance de votre robot est une maison avec un toit incliné.

Si vous essayez de courir très vite sous le toit, vous allez butter contre le plafond (c'est la limite de la vitesse du processeur).
Si vous essayez de transporter beaucoup de choses, vous allez être ralenti par la largeur des couloirs (c'est la limite de la mémoire).

Ce modèle permet de prédire instantanément si un cerveau va être ralenti par la "vitesse de calcul" ou par la "vitesse de transport des données".

Les Grandes Découvertes (Ce qu'ils ont appris)

En combinant ces deux outils, ils ont découvert des secrets sur la forme idéale des cerveaux pour les robots :

Le secret du "Large et Plat" : Contrairement aux IA classiques qui sont très "profondes" (beaucoup d'étapes de réflexion), les IA pour robots doivent être plutôt "larges et peu profondes". C'est comme préférer un grand plateau de travail bien organisé plutôt qu'une immense tour de dossiers où il faut tout remonter pour trouver une info.
Le mode "Expert" (MoE) : Ils ont découvert que les meilleurs cerveaux sont des "cerveaux à experts". Au lieu d'utiliser tout le savoir à chaque seconde (ce qui consomme trop d'énergie), le cerveau n'active que les petits experts dont il a besoin pour la tâche précise. C'est comme un chef de cuisine qui n'appelle le spécialiste du poisson que lorsqu'il prépare un poisson, au lieu de faire venir toute l'équipe de restaurant pour chaque plat.
Le gain de temps : Avant, choisir le bon cerveau prenait des mois de tests. Avec leur méthode, cela prend quelques jours.

En résumé

Ce papier donne une "boussole mathématique" aux créateurs de robots. Grâce à elle, on ne devine plus, on calcule précisément la forme du cerveau idéal pour qu'un robot soit aussi intelligent que possible, sans jamais rater sa réponse ou vider sa batterie.

Résumé Technique : Lois d'Échelle de Co-Conception Matériel-Logiciel pour les LLM Embarqués

1. Problématique (Le Problème)

Le déploiement de modèles de langage de grande taille (LLM) sur des appareils à ressources limitées (véhicules autonomes, robots, appareils mobiles) pose un défi majeur de compromis. Les architectures optimisées pour le cloud (GPU haute performance) sont souvent inadaptées à l'embarqué en raison de contraintes strictes de latence, de bande passante mémoire, de capacité de stockage et de consommation d'énergie.

Le problème fondamental réside dans l'irrégularité du profil de calcul des Transformers : l'attention est limitée par la bande passante, les couches FFN (Feed-Forward Network) sont limitées par le calcul, et le cache KV (Key-Value) sature la mémoire locale. Actuellement, la sélection d'une architecture est soit empirique (longue et coûteuse), soit déconnectée des capacités réelles du matériel cible.

2. Méthodologie (L'Approche)

Les auteurs proposent un cadre de co-conception matériel-logiciel qui unifie la prédiction de la précision (perplexité) et de la performance (latence). Leur approche repose sur trois piliers :

Modélisation de la Précision via les "Scaling Laws" : Au lieu de tester des milliers de modèles, ils entraînent 170 architectures (denses et MoE - Mixture of Experts) sur 10 milliards de tokens pour ajuster une loi d'échelle polynomiale. Cette loi permet de prédire la perte de validation ( $\hat{L}$ ) en fonction des hyperparamètres architecturaux (profondeur $l$ , largeur $d$ , taux d'activation des experts $\rho$ , etc.).
Modélisation de la Performance via le Modèle "Roofline" : Ils utilisent l'analyse Roofline pour caractériser la latence. Ils classent chaque opérateur comme étant limité par le calcul (compute-bound) ou par la mémoire (memory-bound). Le modèle prédit la latence en fonction de l'intensité arithmétique et des caractéristiques du matériel (débit de calcul $\pi_H$ et bande passante $\beta_H$ ).
Recherche d'Architecture Pareto-Optimale (PLAS) : En combinant les deux modèles précédents, ils identifient la frontière de Pareto : l'ensemble des architectures qui offrent la meilleure précision possible pour une latence donnée (ou la latence minimale pour une précision donnée).

3. Contributions Clés

Première loi d'échelle de co-conception : Un cadre opérationnel qui lie directement les choix architecturaux aux contraintes matérielles spécifiques.
Cadre théorique de l'optimisation : Ils passent d'une recherche empirique à une formulation mathématique rigoureuse. Ils démontrent que l'architecture optimale change radicalement selon le régime de contrainte (latence seule, mémoire seule, ou contrainte double).
Réduction drastique du temps de conception : Leur méthode réduit le processus de sélection d'une architecture de plusieurs mois à quelques jours.
Découverte de principes de design : Ils identifient des motifs architecturaux optimaux pour l'embarqué, comme la préférence pour les modèles "larges et peu profonds" (wide-and-shallow) et l'utilisation systématique de l'architecture MoE.

4. Résultats Principaux

Supériorité de l'architecture co-conçue : Sur un NVIDIA Jetson Orin, leur architecture co-conçue atteint une perplexité 19,42 % inférieure à celle de Qwen2.5-0.5B, tout en maintenant une latence identique.
Domination du MoE : Les architectures de type Mixture of Experts (MoE) constituent 100 % des solutions optimales sur la frontière de Pareto pour l'inférence à un seul utilisateur (batch size 1), car elles permettent d'augmenter la capacité du modèle sans augmenter proportionnellement le coût de calcul par jeton.
Loi d'échelle Largeur-Sparsité : Ils prouvent mathématiquement que pour les systèmes limités par la mémoire, plus le modèle est large, plus il doit être "sparse" (taux d'activation des experts $\rho$ plus faible) pour rester optimal.
Impact de la quantification : L'utilisation de l'INT8 améliore la frontière de Pareto, mais de manière sous-linéaire en raison des coûts de conversion et des opérations non-linéaires (softmax, etc.) qui restent en haute précision.

5. Signification et Impact

Ce travail marque un tournant dans le déploiement de l'IA physique (IA embarquée). Au lieu de concevoir des modèles "génériques" puis de tenter de les compresser, les ingénieurs peuvent désormais concevoir l'architecture en fonction du processeur cible dès le départ.

Cette méthodologie est cruciale pour les secteurs de l'automobile autonome et de la robotique, où la latence n'est pas seulement une question de confort, mais une exigence de sécurité critique. Le cadre est généralisable à toute nouvelle plateforme matérielle en mesurant simplement ses capacités de calcul et de bande passante.