Multi-DNN Inference of Sparse Models on Edge SoCs

Ce papier présente SparseLoom, un système d'inférence multi-DNN pour SoCs de bord qui utilise une technique de « model stitching » pour recombiner des sous-graphes de modèles épars sans réentraînement, réduisant ainsi les violations d'objectifs de niveau de service et améliorant le débit par rapport aux systèmes existants.

L'essentiel

🌟 Le Problème : La Cuisine de l'Épicier

Imaginez que vous êtes le chef d'un restaurant très populaire (votre appareil électronique, comme un téléphone ou une montre connectée). Vous avez plusieurs commandes en même temps :

1. Reconnaître la voix du client.
2. Identifier un plat sur une photo.
3. Analyser l'humeur du client.
4. Reconnaître les mouvements du client.

Chaque commande demande un cuisinier différent (un processeur spécial : CPU, GPU, NPU). Le problème, c'est que dans les systèmes actuels, pour chaque commande, vous n'avez le droit d'utiliser qu'un seul menu fixe.

• Si le client veut une réponse ultra-rapide (comme pour un jeu), vous devez utiliser un menu "Rapide" (qui est moins précis).
• Si le client veut une réponse parfaite (comme pour un diagnostic médical), vous devez utiliser un menu "Précis" (qui est lent).

Le souci ? Parfois, le menu "Rapide" est trop lent pour la demande, et le menu "Précis" est trop lent pour le temps imparti. Résultat : le client est mécontent, et le restaurant perd du temps. C'est ce qu'on appelle une violation des objectifs de service (SLO).

💡 La Solution : Le "Couture de Modèles" (Model Stitching)

Les auteurs de l'article, de l'Université de St Andrews, ont une idée géniale : la couture de modèles (Model Stitching).

Au lieu de choisir un menu entier tout fait, imaginez que vous avez une bibliothèque de recettes. Chaque recette est découpée en étapes (subgraphs).

• L'étape 1 vient d'un menu "Rapide".
• L'étape 2 vient d'un menu "Précis".
• L'étape 3 vient d'un menu "Économe en énergie".

SparseLoom est un système qui permet de recoudre ces étapes pour créer un nouveau menu sur mesure, sans avoir besoin de réapprendre à cuisiner (sans ré-entraînement). C'est comme assembler un costume en prenant le tissu le plus résistant pour le torse, le plus léger pour les bras et le plus chaud pour les jambes.

🚀 Comment SparseLoom fonctionne-t-il ? (Les 3 Super-Pouvoirs)

Pour que cette idée fonctionne sur un petit appareil (comme un téléphone), il fallait résoudre trois gros problèmes. Voici comment SparseLoom les a réglés avec des analogies :

1. Le Profilage : Le "Devin" (Estimateur)

Le problème : Si vous avez 10 recettes de base, vous pouvez en créer des milliers de nouvelles en les mélangeant. Tester chaque nouvelle recette pour voir si elle est bonne prendrait des jours !
La solution de SparseLoom : Au lieu de cuisiner chaque recette, il utilise un devin (un estimateur). Il regarde les ingrédients des étapes séparées et prédit : "Si je mets cette étape rapide avec cette étape précise, le résultat sera probablement bon et rapide."

• Résultat : Au lieu de tester 1000 recettes, il en teste 10 et devine le reste. Cela économise 99% du temps de préparation.

2. L'Orchestration : Le "Chef d'Orchestre" (Optimiseur)

Le problème : Même avec un bon menu, si vous envoyez les plats dans le mauvais ordre aux cuisiniers, ça bloque. Par exemple, envoyer un plat lourd au petit cuisinier (CPU) avant de l'envoyer au grand cuisinier (GPU) crée des embouteillages.
La solution de SparseLoom : Il ne se contente pas de choisir le menu, il choisit aussi l'ordre dans lequel les cuisiniers travaillent. Il teste virtuellement tous les ordres possibles (CPU d'abord ? GPU d'abord ?) et trouve celui qui fait passer le plus de plats par heure.

• Résultat : Le restaurant tourne 2,3 fois plus vite que les systèmes actuels.

3. La Mémoire : Le "Frigo Intelligent" (Pré-chargement)

Le problème : Pour changer de menu instantanément quand un client change d'avis, il faut avoir tous les menus prêts dans le frigo. Mais le frigo est petit ! Si on essaie de tout stocker, ça explose.
La solution de SparseLoom : Il utilise un système de "Chaleur" (Hotness). Il regarde quels ingrédients (étapes de recette) sont utilisés le plus souvent par les clients. Il ne garde dans le frigo que les ingrédients les plus "chauds" (les plus demandés).

• Résultat : Il économise 28% d'espace mémoire tout en ayant toujours ce dont il a besoin pour satisfaire les clients.

📊 Les Résultats : Pourquoi c'est génial ?

Grâce à cette approche, SparseLoom a montré des résultats impressionnants sur différents appareils (ordinateurs, portables, puces spécialisées) :

• Moins de clients mécontents : Le taux d'échec (quand le système est trop lent ou imprécis) a chuté de 74 %.
• Plus de vitesse : Le système traite 2,3 fois plus de demandes par seconde.
• Moins de gaspillage : Il utilise 28 % de mémoire en moins pour fonctionner.

🎯 En Résumé

Imaginez que vous avez un atelier de couture avec des machines différentes. Au lieu d'avoir des costumes tout faits, SparseLoom vous permet de coudre ensemble les meilleurs morceaux de chaque costume pour créer l'habit parfait pour chaque client, instantanément, sans gaspiller de tissu ni de temps.

C'est une façon intelligente de faire travailler ensemble les différentes puces de nos appareils pour qu'ils soient à la fois plus rapides, plus précis et plus économes en énergie.

Résumé technique

Voici un résumé technique détaillé de l'article "Multi-DNN Inference of Sparse Models on Edge SoCs" (Inférence Multi-DNN de modèles épars sur des SoC de périphérie), rédigé en français.

1. Problématique

Les applications modernes de périphérie (edge computing), telles que la réalité augmentée (RA), nécessitent l'exécution simultanée de tâches hétérogènes (reconnaissance vocale, classification d'images, etc.) sur des systèmes sur puce (SoC) intégrant des processeurs variés (CPU, GPU, NPU).

Les défis principaux identifiés par les auteurs sont :

• Contraintes SLO multiples : Chaque tâche possède des Service Level Objectives (SLO) spécifiques en termes de latence et de précision, qui peuvent varier dynamiquement.
• Limites des systèmes existants : La plupart des systèmes d'inférence Multi-DNN actuels ne supportent qu'un seul modèle (ou quelques variantes éparses pré-générées) par tâche. Ils ne peuvent pas adapter dynamiquement le choix du modèle à partir d'un "zoo" de modèles épars pour répondre aux contraintes changeantes.
• Taux de violation élevé : Le manque de flexibilité dans le choix des modèles conduit à des taux élevés de violation des SLO (latence dépassée ou précision insuffisante).
• Coûts d'adaptation : Les méthodes existantes qui tentent de générer de nouvelles variantes (par élagage ou quantification adaptative) nécessitent souvent un réentraînement coûteux en temps et en données.

2. Méthodologie : SparseLoom et le "Model Stitching"

Pour répondre à ces défis, les auteurs proposent SparseLoom, un système holistique d'inférence Multi-DNN conçu pour les SoC de périphérie. Le cœur de l'innovation réside dans une technique appelée "Model Stitching" (assemblage de modèles).

A. Le Concept de Model Stitching

Contrairement aux approches traditionnelles qui réentraînent des modèles, le Model Stitching est une technique sans réentraînement (training-free).

• Principe : Elle crée de nouvelles variantes de modèles en recombinant des sous-graphes (blocs de couches consécutives) provenant de différentes variantes éparses d'un même modèle de base (par exemple, un modèle dense, une version élaguée à 80%, une version quantifiée en Int8, etc.).
• Hypothèse de validité : Les auteurs s'appuient sur la théorie de la similarité des distributions de sortie des couches (comme SVCCA) pour affirmer que combiner des sous-graphes de modèles compressés issus de la même base préserve la précision globale.
• Résultat : Cela permet d'explorer un espace de variantes exponentiellement plus grand sans frais de calcul supplémentaires pour l'entraînement.

B. Architecture de SparseLoom

SparseLoom intègre trois modules clés pour surmonter les défis de mise en œuvre du stitching :

1. Estimateurs de Performance (Performance Profiler) :

   • Défi : Le nombre de variantes assemblées est exponentiel, rendant le profilage exhaustif (mesure de latence et précision) impossible.
   • Solution : Utilisation d'estimateurs basés sur l'apprentissage automatique (XGBoost pour la précision, sommation des latences de sous-graphes pour le temps d'exécution). Ces estimateurs prédisent les performances des variantes assemblées sans les exécuter physiquement, réduisant drastiquement le coût de profilage.

2. Optimiseur de Placement (Sparsity-Aware Optimizer) :

   • Défi : L'ordre d'exécution des sous-graphes sur les processeurs hétérogènes (CPU, GPU, NPU) impacte fortement la latence. Les systèmes fixes (ex: NPU-GPU-CPU) sont sous-optimaux.
   • Solution : Un algorithme d'optimisation conjointe qui sélectionne simultanément la meilleure variante assemblée pour chaque tâche et l'ordre optimal de placement des sous-graphes sur les processeurs, afin de maximiser le débit global tout en respectant les SLO.

3. Préchargeur de Sous-graphes Chauds (Hot-Subgraph Preloader) :

   • Défi : Précharger toutes les variantes assemblées en mémoire pour éviter les latences de changement à l'exécution entraîne une surcharge mémoire prohibitive.
   • Solution : Une stratégie de préchargement basée sur une métrique de "chaleur" (hotness). Cette métrique évalue la fréquence d'utilisation et l'unicité d'un sous-graphe à travers les configurations SLO. Seuls les sous-graphes les plus critiques sont préchargés, réduisant l'empreinte mémoire tout en minimisant les risques de violation de SLO.

3. Contributions Clés

1. Introduction du Model Stitching pour l'inférence Multi-DNN : Une méthode novatrice pour générer dynamiquement des variantes de modèles épars sans réentraînement, élargissant considérablement l'espace de recherche pour l'optimisation des SLO.
2. Système SparseLoom : La première implémentation complète intégrant le stitching sur des SoC de périphérie, incluant des estimateurs de performance, une optimisation conjointe de placement et une gestion mémoire intelligente.
3. Réduction des coûts de profilage : Démonstration que l'estimation de performance permet de réduire le temps de profilage de plus de 98% par rapport à une approche exhaustive.
4. Optimisation conjointe : Preuve que l'optimisation simultanée du choix de la variante et de l'ordre de placement sur les processeurs est supérieure aux approches séquentielles ou fixes.

4. Résultats Expérimentaux

Les auteurs ont évalué SparseLoom sur trois plateformes (Desktop Intel, Laptop Intel, NVIDIA Jetson Orin) avec quatre tâches (classification d'images, analyse de sentiments, reconnaissance d'activité, reconnaissance vocale) et comparé le système à six baselines de l'état de l'art.

• Réduction des violations de SLO : SparseLoom réduit le taux de violation des SLO jusqu'à 74% par rapport aux meilleurs systèmes existants.
• Amélioration du débit (Throughput) : Le système améliore le débit d'inférence jusqu'à 2,31 fois (2.31×) grâce à l'exploitation efficace des variantes assemblées et du placement optimisé.
• Efficacité Mémoire : Grâce au préchargeur de sous-graphes chauds, SparseLoom réduit la surcharge mémoire moyenne de 28% tout en maintenant des performances de SLO comparables à un préchargement complet.
• Précision des estimateurs : Les estimateurs de précision atteignent un taux de rappel (recall) moyen de 90,78% pour les meilleures variantes, avec une erreur absolue moyenne (MAE) de latence de seulement 1,05 ms.

5. Signification et Impact

Cet article est significatif car il résout le compromis fondamental entre la flexibilité (nécessaire pour respecter des SLO dynamiques) et l'efficacité (nécessaire pour les ressources limitées de la périphérie).

• Au-delà de la sélection simple : Il démontre que la simple sélection parmi des variantes pré-existantes est insuffisante ; la création dynamique de nouvelles combinaisons (stitching) est essentielle pour couvrir l'espace des compromis précision-latence.
• Faisabilité sur le Edge : En éliminant le besoin de réentraînement et en optimisant l'utilisation de la mémoire et du temps de profilage, SparseLoom rend viable le déploiement de systèmes d'inférence complexes et adaptatifs sur des dispositifs embarqués réels.
• Généralité : L'approche est applicable à divers types de modèles (CNN, Transformers) et de tâches, offrant une nouvelle voie pour l'optimisation des systèmes d'IA distribués sur le edge.

En conclusion, SparseLoom représente une avancée majeure dans l'orchestration de l'inférence Multi-DNN, transformant la contrainte de l'hétérogénéité des processeurs et des modèles en un avantage pour l'optimisation des performances.