🤖 AI

Quantization with Unified Adaptive Distillation to enable multi-LoRA based one-for-all Generative Vision Models on edge

Ce papier présente un cadre unifié nommé QUAD qui permet d'exécuter dynamiquement plusieurs tâches de génération d'images sur des appareils mobiles en traitant les poids LoRA comme des entrées d'exécution et en appliquant une distillation adaptative pour réduire considérablement l'empreinte mémoire et la latence sans compromettre la qualité visuelle.

Auteurs originaux : Sowmya Vajrala, Aakash Parmar, Prasanna R, Sravanth Kodavanti, Manjunath Arveti, Srinivas Soumitri Miriyala, Ashok Senapati

Publié 2026-04-01

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sowmya Vajrala, Aakash Parmar, Prasanna R, Sravanth Kodavanti, Manjunath Arveti, Srinivas Soumitri Miriyala, Ashok Senapati

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎨 Le Problème : Une bibliothèque trop lourde pour votre poche

Imaginez que vous avez un super-crayon magique (c'est le modèle d'IA de base) capable de dessiner n'importe quoi. Mais pour faire des choses spécifiques, comme effacer un objet d'une photo, changer le style en peinture à l'huile, ou transformer un croquis en image réaliste, vous avez besoin de différentes pointes de crayon (ce sont les "LoRA", ou adaptateurs).

Le problème actuel :
Aujourd'hui, si vous voulez utiliser ce crayon sur votre téléphone, vous devez installer une copie complète du crayon pour chaque pointe différente.

Pour effacer un objet ? Installez le crayon + la pointe "effaceur".
Pour changer le style ? Installez une autre copie du crayon + la pointe "peinture".

Résultat : Votre téléphone se retrouve rempli de copies inutiles du même crayon. C'est lourd, ça prend toute la mémoire, et changer de fonctionnalité est lent car il faut éteindre un crayon pour en allumer un autre.

💡 La Solution : Un seul crayon, des pointes interchangeables

Les chercheurs de Samsung ont inventé une méthode géniale appelée QUAD. Voici comment cela fonctionne, avec une analogie simple :

1. Le Crayon "Universel" (Le Modèle Gelé)

Au lieu de coller la pointe directement au crayon, ils ont conçu un système où le crayon reste gelé (il ne change jamais). Les pointes (les LoRA) ne sont plus collées dedans, mais deviennent des accessoires qu'on branche à la volée.

Avantage : Vous n'avez qu'un seul fichier de crayon à installer. C'est comme avoir un seul corps de stylo pour toute votre vie.

2. La Magie du "Switch" Instantané

Grâce à cette nouvelle architecture, quand vous voulez effacer un objet, le téléphone charge simplement la "pointe effaceur" dans la mémoire vive et l'insère dans le crayon. Quand vous voulez changer le style, il retire la première pointe et met la deuxième.

Résultat : Pas besoin de réinstaller le crayon, pas de temps d'attente. C'est comme changer de disque sur un lecteur de musique : instantané.

3. Le Secret de la Réduction de Taille (QUAD)

C'est ici que ça devient astucieux. Normalement, chaque pointe a sa propre taille et son propre format, ce qui empêche de les utiliser toutes sur le même crayon sans tout casser.
Les chercheurs ont créé une technique appelée QUAD (Quantization with Unified Adaptive Distillation).

L'analogie : Imaginez que vous avez des outils de différentes tailles. Pour qu'ils rentrent tous dans la même boîte à outils standardisée, vous les "ajustez" légèrement avant de les ranger.
En pratique : Ils entraînent les pointes pour qu'elles parlent toutes le même "langage numérique" (une compression précise). Cela permet de les utiliser toutes ensemble sans perdre en qualité d'image, tout en réduisant drastiquement la taille des fichiers.

🚀 Les Résultats Concrets : Pourquoi c'est génial pour vous ?

Grâce à cette invention, voici ce qui change pour votre téléphone :

Moins de place prise (Mémoire) :
- Avant : Si vous aviez 10 fonctions, vous deviez stocker 10 gros fichiers.
- Maintenant : Vous stockez 1 seul fichier de base + 10 petites pointes.
- Gain : Jusqu'à 6 fois moins de place utilisée ! C'est comme passer d'un déménagement de camion à un déménagement en vélo.
Plus rapide (Latence) :
- Comme le téléphone n'a pas à charger un nouveau gros fichier à chaque fois, les changements de fonction sont 4 fois plus rapides. C'est comme passer d'un train de marchandises à un TGV.
Qualité préservée :
- Même si les fichiers sont compressés pour être légers, les images générées restent magnifiques. On ne perd pas en qualité, on gagne en efficacité.

🌍 En résumé

Cette recherche permet de mettre l'intelligence artificielle générative (comme celle qui crée des images) directement dans votre poche, sans faire exploser la mémoire de votre téléphone.

C'est comme si vous aviez un couteau suisse dans votre poche : au lieu d'avoir 10 couteaux différents qui prennent toute la place, vous avez un seul manche solide et vous glissez les lames (les tâches) dedans au moment où vous en avez besoin. C'est léger, rapide, et tout tient dans votre poche !

1. Problématique

L'intégration croissante de l'IA générative (GenAI) dans les applications mobiles (édition d'images, suppression d'objets, transformation guidée par prompt) se heurte à des contraintes sévères de déploiement sur les appareils en périphérie (edge devices) comme les smartphones.

Coûts de ressources : Les Modèles de Vision de Grande Taille (LVM) sont gourmands en mémoire et en puissance de calcul.
Redondance du stockage : Les pipelines de déploiement actuels pour les adaptateurs LoRA (Low-Rank Adapters) nécessitent de compiler un binaire de modèle distinct pour chaque tâche (LoRA + modèle de base). Cela entraîne une duplication massive du stockage (ROM) et une surcharge de temps d'exécution.
Incompatibilité de la quantification : Lorsqu'ils sont quantifiés indépendamment, les différents adaptateurs LoRA nécessitent des paramètres de quantification (échelles et points zéro) différents. Cela les rend incompatibles avec un seul graphe d'inférence statique, empêchant le basculement dynamique des tâches sans recompilation, ce qui est crucial pour les accélérateurs matériels (NPU) qui exigent des paramètres fixes.

2. Méthodologie Proposée

Les auteurs proposent un cadre unifié permettant l'exécution de multiples tâches GenAI sur un seul modèle partagé, composé de trois piliers principaux :

A. LoRA comme Entrée Runtime (Graphique Gelé)

Au lieu d'intégrer statiquement les poids des LoRA dans le graphe du modèle avant la compilation, l'approche propose de traiter les poids LoRA comme des entrées dynamiques à l'exécution.

Architecture : Le modèle de base (LVM) est gelé et compilé une seule fois. Les couches linéaires sont modifiées pour accepter les matrices de LoRA ( $A$ et $B$ ) sous forme de tenseurs d'entrée.
Avantage : Cela permet de charger dynamiquement différents adaptateurs LoRA en mémoire RAM et de les injecter dans le modèle gelé sans recompilation ni rechargement du modèle de base, facilitant le basculement instantané entre les tâches.

B. Cadre QUAD (Quantization with Unified Adaptive Distillation)

Pour permettre l'exécution efficace sur matériel contraint, il est nécessaire que tous les LoRA partagent les mêmes paramètres de quantification.

Alignement des distributions : Le cadre QUAD force l'utilisation d'un profil de quantification unique (échelle $s$ et point zéro $z$ partagés) pour le modèle de base et tous les LoRA.
Sélection des paramètres : Une analyse de sensibilité (Quantization Sensitivity Score - QSS) est effectuée pour identifier le LoRA le plus sensible à la quantification. Ses paramètres deviennent l'ancrage fixe pour tous les autres.
Distillation de Connaissance : Les LoRA entraînés indépendamment sont affinés (fine-tuning) via une distillation de connaissance. Un modèle « élève » (quantifié avec les paramètres partagés) est entraîné à imiter un modèle « professeur » (pleine précision). Cela permet d'ajuster les poids des LoRA pour qu'ils fonctionnent correctement sous le profil de quantification unique, préservant ainsi la qualité générative.

C. Stack Logiciel et Déploiement

Une pile logicielle légère a été développée pour gérer ce flux sur les NPU mobiles :

Compilation : Conversion du modèle PyTorch vers un IR (Intermediate Representation) matériel, fusion des opérateurs et insertion des nœuds de quantification.
Exécution Runtime : Le runtime charge le modèle gelé et lie les buffers de poids LoRA aux entrées du modèle via des API légères, permettant un basculement de tâche sans surcharge de graphe.

3. Contributions Clés

Modèle « One-for-All » : Première approche permettant de déployer un seul binaire de modèle de base capable de gérer dynamiquement plusieurs tâches GenAI via l'injection de LoRA à l'exécution.
Stratégie QUAD : Une méthode innovante combinant distillation de connaissances et quantification consciente (Quantization-Aware Training) pour aligner les distributions de multiples LoRA sous un seul profil de quantification, résolvant le problème d'incompatibilité des paramètres.
Stack Logicielle NPU : Implémentation complète compatible avec les NPU mobiles (Qualcomm, MediaTek, LSI), permettant un basculement de tâche rapide et une gestion efficace de la mémoire.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs chipsets (Qualcomm GS25, LSI GS25, MediaTek Tab S11) avec des modèles basés sur Stable Diffusion 1.5.

Réduction de la Mémoire (Footprint) :
- Jusqu'à 6x de réduction de l'empreinte mémoire par rapport à l'approche traditionnelle (compilation séparée).
- Exemple : Un modèle de 1,4 Go avec 10 LoRA nécessiterait 15 Go en approche traditionnelle, contre seulement 2,6 Go avec la méthode proposée.
Latence et Performance :
- Amélioration de la latence d'exécution jusqu'à 4x.
- Réduction de la latence de bout en bout de 1,5 seconde grâce à l'élimination du rechargement des graphes de modèles.
Qualité Visuelle :
- Maintien d'une haute qualité d'image. Pour la transformation d'images guidée par prompt, le score de similarité sémantique (simimage) est de 0,881 et le FID de 5,52 pour la tâche de suppression d'objets, comparé au modèle pleine précision (FP32).
- Les analyses d'ablation montrent que la quantification W8A16 (poids INT8, activations INT16) offre le meilleur compromis, bien que des tentatives de W8A8 soient possibles avec une légère perte de qualité.

5. Signification et Impact

Ce travail comble un fossé majeur entre l'adaptation efficace des paramètres (LoRA) et le déploiement pratique sur les appareils mobiles.

Viabilité du Edge GenAI : Il rend possible l'exécution locale de multiples tâches de génération d'images sans dépendre du cloud, réduisant ainsi la latence réseau et améliorant la confidentialité des données.
Extensibilité : Le système permet la livraison Over-The-Air (OTA) de nouveaux LoRA sans modifier le modèle de base, offrant une évolutivité future sans coût de stockage supplémentaire significatif.
Efficacité Matérielle : En exploitant pleinement les NPU existants avec des graphes statiques optimisés, cette méthode ouvre la voie à des applications GenAI riches et réactives directement sur les smartphones.