🤖 machine learning

SelectInfer: Selective Neuron Loading and Computation for On-Device LLMs

SelectInfer est un cadre d'optimisation au niveau du neurone qui permet une inférence efficace de modèles de langage de grande taille sur l'appareil en utilisant un profileur hors ligne pour identifier et charger sélectivement, ainsi que calculer, uniquement les neurones les plus importants, réduisant ainsi considérablement les coûts de mémoire et de calcul sans compromettre la performance des tâches.

Auteurs originaux : Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

Publié 2026-07-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Huzaifa Shaaban Kabakibo, Eric Schniedermeyer, Artem Burchanow, Lin Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque de connaissances géante, si vaste qu'elle contient la réponse à presque toutes les questions que vous pourriez poser. C'est ce que les scientifiques appellent un Grand Modèle de Langage (LLM). Voyez cela comme un cerveau de robot super intelligent qui a lu presque tous les livres d'Internet. Mais il y a un piège : ce cerveau est si énorme et lourd qu'il nécessite généralement un centre de données massif et coûteux avec des superordinateurs puissants pour fonctionner. C'est comme essayer de transporter une bibliothèque entière dans votre sac à dos ; cela ne rentre pas.

Récemment, les gens ont voulu mettre cette « bibliothèque » dans des appareils plus petits, comme les gadgets intelligents dans vos poches ou les ordinateurs des voitures autonomes. Ce sont ce qu'on appelle des « appareils de bord » (edge devices). Le problème est que ces gadgets ont un espace et une puissance de batterie très limités. Si vous essayez de forcer toute la bibliothèque sur eux, l'appareil plante ou devient si lent qu'il est inutile. Les scientifiques ont essayé de rétrécir la bibliothèque en écrasant les livres (en les rendant plus petits mais plus difficiles à lire) ou en jetant des étagères entières (ce qui fait que le robot oublie des choses). Mais ces vieilles astuces brisent souvent la capacité du robot à réfléchir clairement. La grande question est : pouvons-nous faire tenir ce cerveau géant dans un petit sac à dos sans perdre son génie ?

Entrez dans SelectInfer, une nouvelle idée de chercheurs de l'Université de Paderborn qui suggère une manière ingénieuse de résoudre ce casse-tête. Au lieu d'essayer de rétrécir toute la bibliothèque ou de jeter des livres au hasard, SelectInfer agit comme un bibliothécaire très intelligent qui sait exactement de quels livres vous avez besoin en ce moment même.

Voici comment cela fonctionne, en utilisant une histoire simple. Imaginez que votre cerveau de robot est une immense usine avec des milliers de travailleurs (appelés « neurones »). Dans une usine normale, chaque travailleur se présente chaque jour, même s'il n'a rien à faire. Cela gaspille de l'espace et de l'énergie. Les chercheurs ont découvert que ces travailleurs se divisent en deux groupes. Certains sont des « Généralistes » qui se présentent toujours, peu importe la tâche — comme les personnes qui assurent l'éclairage et le fonctionnement de la machine à café. Les autres sont des « Spécialistes » qui ne se présentent que pour des tâches spécifiques, comme l'équipe qui répare la plomberie ou l'équipe qui peint les murs.

L'article montre que pour n'importe quelle tâche donnée, vous n'avez pas besoin de tous les spécialistes, et vous n'avez certainement pas besoin de ceux qui ne travaillent pas aujourd'hui. SelectInfer utilise un tour de magie en deux étapes pour faire fonctionner l'usine sur un petit appareil :

Chargement Sélectif (Le tour du sac à dos) : Avant même que le robot ne commence à travailler, les chercheurs utilisent un « profileur hors ligne » (une sorte d'éclaireur) pour déterminer quels Généralistes et Spécialistes sont les plus importants. Ensuite, quand le robot est prêt à partir, il ne charge dans son sac à dos (mémoire) que ces travailleurs spécifiques. Il laisse les autres derrière lui. C'est comme ne préparer que les outils dont vous avez besoin pour un voyage de camping au lieu de tout le magasin de bricolage. Cela permet au robot de tenir dans des appareils qui étaient auparavant trop petits pour le contenir. Par exemple, sur un appareil doté de seulement 8 Go de mémoire (comme un NVIDIA Jetson Orin Nano), un modèle qui nécessite habituellement 9 Go d'espace peut désormais se faire une place car il ne transporte que l'essentiel de ses 70 % de travailleurs.
Calcul Sélectif (Le tour du « sur demande ») : Même avec un sac à dos plus léger, le robot doit encore demander à chaque travailleur de faire son travail, ce qui prend du temps. SelectInfer ajoute une deuxième règle : une fois que le robot a commencé à travailler, il ne demande qu'aux travailleurs les plus pertinents d'effectuer le calcul pour ce moment précis. Si le robot écrit un poème, il n'a pas besoin que l'équipe de plomberie calcule la rime. Il réveille seulement les poètes. Cela rend le robot beaucoup plus rapide pour réfléchir.

Les chercheurs ont testé cela sur trois cerveaux de robots différents (Llama3.2-3B, Llama3.2-1B et Qwen2.5-3B) sur une petite puce informatique. Ils ont constaté qu'en utilisant cette méthode, ils pouvaient faire fonctionner ces modèles géants sur des appareils qui étaient auparavant impossibles à utiliser. Pour le modèle de 3 milliards de paramètres, SelectInfer l'a rendu environ 1,53 fois plus rapide que la meilleure méthode actuelle d'écrasement des données (quantification 4-bit) et plus de 13 fois plus rapide qu'en essayant de tirer des données d'un disque lent.

Crucialement, l'article soutient que cela ne rend pas le robot « plus bête ». En fait, pour de nombreuses tâches comme la traduction et le résumé d'histoires, SelectInfer était en réalité plus précis que d'autres méthodes qui tentaient d'économiser de l'espace. Les chercheurs ont trouvé que tandis que d'autres méthodes économisaient soit la mémoire mais fonctionnaient lentement, soit étaient rapides mais oubliaient des choses, SelectInfer réussissait à équilibrer les trois : il économisait la mémoire, accélérait la réflexion et maintenait la précision des réponses.

L'article exclut explicitement l'idée que vous devez jeter tout le modèle ou le réentraîner à partir de zéro pour le faire tenir. Il montre également que le simple fait de choisir des travailleurs au hasard pour les laisser derrière (chargement aléatoire) fait échouer complètement le robot, prouvant qu'il faut une carte intelligente pour savoir qui garder. Bien que la méthode nécessite une phase de « reconnaissance » unique pour déterminer quels travailleurs sont importants, les résultats suggèrent que c'est un moyen pratique et puissant d'apporter une IA super intelligente aux petits gadgets de nos poches sans avoir besoin d'un supercalculateur dans le cloud.

Résumé Technique : SelectInfer

Énoncé du Problème

Les grands modèles de langage (LLM) font face à des barrières significatives pour leur déploiement sur des dispositifs de bord (edge) aux ressources limitées (par exemple, NVIDIA Jetson Orin Nano) en raison de leurs exigences élevées en mémoire et en calcul. Les stratégies d'optimisation existantes ne parviennent pas à traiter simultanément les trois dimensions critiques du déploiement en périphérie : l'empreinte mémoire, la vitesse d'inférence et la précision de la sortie.

La quantification réduit la mémoire mais dégrade souvent le débit de décodage et n'offre qu'un contrôle grossier (par exemple, 4 bits contre 8 bits).
L'élagage (Pruning) nécessite un réentraînement coûteux et supprime les poids de manière permanente, manquant ainsi d'adaptabilité au moment de l'exécution.
Le déchargement (Offloading) (par exemple, vers le disque) est limité par la bande passante d'E/S et est souvent incompatible avec les architectures de mémoire unifiée présentes dans les SoC de bord.
Les méthodes de sparsité au runtime (par exemple, CoreInfer) améliorent la vitesse en sautant les neurones inactifs, mais nécessitent que le modèle complet réside en mémoire, ce qui empêche le déploiement de modèles plus larges sur du matériel à mémoire contrainte.

Méthodologie

SelectInfer est un cadre d'optimisation au niveau du neurone qui permet une inférence efficace des LLM grâce à un chargement sélectif et un calcul sélectif, guidés par une phase de profilage hors ligne. L'idée centrale est que les neurones des LLM présentent une double structure : un noyau stable de neurones spécifiques au modèle (généralistes) activés universellement à travers les tâches, et des neurones spécifiques à la tâche qui pilotent la performance pour des entrées individuelles.

1. Phase Hors Ligne : Profiler de LLM

Avant le déploiement, SelectInfer utilise un profileur hors ligne pour analyser les activations des neurones à travers divers jeux de données (par exemple, QA, traduction, résumé).

Scoring : Pour chaque neurone $n$ , un score $s_n$ est calculé basé sur la somme des activations absolues sur un ensemble de tokens $T$ : $s_n = \sum_{t \in T} |a_n(t)|$ .
Classification : Les neurones sont catégorisés en deux groupes :
- Neurones de Base (Base Neurons) : Neurones spécifiques à la tâche identifiés en fusionnant les scores provenant de prompts au sein d'une tâche spécifique.
- Neurones Secondaires (Secondary Neurons) : Neurones spécifiques au modèle identifiés en fusionnant les scores à travers différentes tâches.
Sortie : Le profileur génère des fichiers de neurones classés identifiant les neurones les plus importants pour des tâches spécifiques et pour le comportement général du modèle.

2. Phase En Ligne : Optimisation

Pendant l'exécution sur le dispositif de bord, SelectInfer applique deux mécanismes :

Chargement Sélectif (Optimisation de la Mémoire) :
Au lieu de charger le modèle complet, SelectInfer ne charge qu'un sous-ensemble de neurones en mémoire. Il donne la priorité aux neurones de base (spécifiques à la tâche) et remplit le budget de mémoire restant avec des neurones secondaires (spécifiques au modèle) jusqu'à un seuil de chargement défini $\gamma$ . Cela permet de faire tourner des modèles qui dépasseraient autrement la mémoire du dispositif (par exemple, des modèles de 3B sur des appareils de 8 Go) en écartant entièrement les poids non pertinents.
Calcul Sélectif (Optimisation de la Vitesse) :
Même avec une empreinte mémoire réduite, calculer tous les neurones chargés peut être lent. SelectInfer restreint davantage le calcul à un sous-ensemble des neurones chargés ( $\epsilon < \gamma$ ).
- Neurones Statiques : Correspondent aux neurones de base ; ils sont toujours calculés quel que soit l'input.
- Neurones Dynamiques : Sélectionnés au runtime pendant la phase de prefill. Le système calcule les valeurs d'activation pour tous les neurones chargés, les trie, et sélectionne les $\alpha$ meilleurs neurones par token. Il les agrège ensuite pour trouver les $\beta$ neurones les plus fréquents pour le prompt.
- Le ratio de calcul total $\phi = \delta + \epsilon$ est configurable par l'utilisateur, permettant un compromis entre vitesse et précision.

Principales Contributions

Profiler Hors Ligne : Un mécanisme pour identifier et classer les neurones spécifiques au modèle et spécifiques à la tâche, établissant une "double structure" d'activation des LLM.
Chargement Sélectif : Une stratégie de déploiement qui ne charge que les neurones pertinents, permettant l'exécution de modèles plus grands que la mémoire disponible du dispositif.
Calcul Sélectif : Un mécanisme au runtime qui calcule dynamiquement uniquement les neurones les plus pertinents (statiques + dynamiques), accélérant l'inférence sans perte significative de précision.
Cadre Ajustable : Un système qui traite la mémoire, la vitesse et la précision comme des paramètres indépendamment ajustables, offrant un contrôle plus fin que les leviers grossiers de la quantification ou de l'élagage.

Résultats d'Évaluation

Le cadre a été évalué sur le NVIDIA Jetson Orin Nano (8 Go de mémoire partagée) en utilisant les modèles Llama3.2-1B, Llama3.2-3B et Qwen2.5-3B sur des tâches de QA, de traduction et de résumé.

Faisabilité : SelectInfer a permis à des modèles d'échelle 3B (nécessitant nativement ~8,5–9,5 Go) de s'exécuter sur le dispositif Jetson de 8 Go en ne chargeant que 70 % des neurones.
Empreinte Mémoire : SelectInfer a réduit l'utilisation de la mémoire d'environ 13,2 % pour Llama3.2-3B (de 6,88 Go à 5,97 Go) par rapport au modèle original, et de manière plus significative par rapport à CoreInfer (qui nécessite le chargement du modèle complet). Bien que la quantification 4-bit ait atteint une utilisation de mémoire absolue plus faible, Selectifer a maintenu une plus grande précision pour les poids chargés.
Précision : SelectInfer a maintenu une précision compétitive. Sur les tâches de traduction (WMT16), SelectInfer a atteint environ 25–26 BLEU pour Llama3.2-3B, surpassant nettement CoreInfer (~4–5 BLEU) et CoreInfer avec un chargement aléatoire. Il a généralement surpassé ou égalé la quantification 4-bit sur les tâches de traduction et de résumé.
Vitesse : SelectInfer a atteint un débit de décodage d'environ 9,85 tokens/s pour Llama3.2-3B. Cela représente une amélioration de 1,53× par rapport à la quantification 4-bit et une amélioration de 13× par rapport aux approches de déchargement sur disque.
Comparaison : SelectInfer a surpassé CoreInfer en précision (grâce au profilage hors ligne) et en efficacité mémoire (grâce au chargement sélectif). Il a offert une meilleure vitesse et précision que la quantification sur les tâches de traduction tout en évitant les limitations matérielles des noyaux de basse précision.

Signification et Revendications

L'article affirme que SelectInfer représente une étape pratique vers le déploiement des LLM sur les dispositifs de bord en résolvant le "trilemme" de la mémoire, de la vitesse et de la précision. Contrairement aux travaux antérieurs qui n'optimisent qu'un ou deux aspects, SelectInfer offre un point de fonctionnement équilibré et ajustable à travers les trois dimensions.

Les auteurs soulignent que leur approche :

Ne nécessite aucun réentraînement, ce qui la distingue de l'élagage et de la distillation.
Est compatible avec les architectures de mémoire unifiée, contrairement aux méthodes de déchargement.
Offre un contrôle fin, permettant aux utilisateurs d'ajuster le pourcentage de neurones chargés et calculés pour correspondre aux contraintes spécifiques du dispositif et aux besoins de l'application.
Se généralise à travers les familles de modèles, démontrant son efficacité sur les architectures Llama et Qwen.

Ce travail positionne SelectInfer comme une évolution nécessaire au-delà de la compression grossière, permettant l'exécution de modèles plus grands et plus capables sur du matériel auparavant jugé insuffisant pour de telles tâches.