🤖 machine learning

Toward Multi-Domain and Long-Tailed Quantization via Feature Alignment and Scaling

Cet article présente EmaQ et sa variante à longue traîne EmaQ-LT, de nouveaux cadres de quantification qui exploitent l'alignement des caractéristiques et la mise à l'échelle sensible à la sensibilité pour obtenir des performances d'inférence à faible nombre de bits robustes à travers des décalages multi-domaines difficiles et des déséquilibres de classes sévères.

Auteurs originaux : Chin-Yuan Yeh, Ting-An Chen, De-Nian Yang, Ming-Syan Chen

Publié 2026-06-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chin-Yuan Yeh, Ting-An Chen, De-Nian Yang, Ming-Syan Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une peinture haute définition en couleurs (un modèle d'IA complexe) que vous souhaitez réduire pour qu'elle tienne sur une minuscule carte postale à faible consommation d'énergie (un téléphone portable ou un appareil intelligent). Pour ce faire, vous devez simplifier les couleurs, transformant des millions de nuances en seulement quelques teintes de base. Ce processus est appelé quantification.

Habituellement, cela fonctionne très bien si la peinture est simple et équilibrée. Mais les auteurs de cet article ont remarqué deux problèmes majeurs dans le monde réel :

Le problème des « pièces différentes » (Multi-domaine) : Imaginez essayer d'apprendre à un étudiant à reconnaître des chats. Si vous lui montrez des photos de chats dans un salon ensoleillé, dans un sous-sol sombre et dans un jardin sous la pluie, l'étudiant sera confus. La « luminosité » (la distribution des données) est différente dans chaque pièce. Les méthodes existantes essayaient d'enseigner à l'étudiant en utilisant un ensemble unique de règles, ce qui échouait lorsque l'environnement changeait.
Le problème du « Populaire vs Rare » (Longue traîne) : Imaginez une salle de classe où 90 % des élèves s'appellent « Jean », et un seul s'appelle « Zoé ». Si le professeur ne prête attention qu'à la majorité, il deviendra très bon pour reconnaître les « Jean », mais il échouera complètement à reconnaître les « Zoé ». En IA, cela se produit avec les espèces rares ou les objets rares ; le modèle devient trop confiant concernant les choses communes et très mauvais pour les choses rares.

L'article présente un nouveau système appelé EmaQ (et sa version à longue traîne, EmaQ-LT) pour résoudre ces problèmes. Voici comment il fonctionne, en utilisant des analogies simples :

1. Le Traducteur Universel (Alignement de domaine)

Le Problème : Lorsque les données proviennent de différentes « pièces » (domaines), les nombres à l'intérieur de l'IA sont différents. C'est comme si un groupe parlait anglais et un autre parlait français, mais que l'IA essayait de traduire les deux en utilisant un dictionnaire défectueux. Cela provoque des « erreurs de quantification » — la version simplifiée perd trop de détails.

La Solution (EmaQ) :
Les auteurs ont créé un « Traducteur Universel ». Avant de simplifier les données, ils utilisent un outil mathématique appelé CDF (Fonction de Répartition Cumulée) pour étirer et compresser les données de chaque « pièce » différente jusqu'à ce qu'elles se ressemblent exactement.

Analogie : Imaginez que vous avez un tas de pierres de formes irrégulières provenant de différentes plages. Avant d'essayer de les empiler proprement (quantifier), vous les placez toutes dans un moule qui les transforme en cubes parfaits et identiques. Désormais, peu importe d'où vient la pierre, elle s'insère parfaitement dans la pile. Cela empêche les erreurs de « décalage ».

2. Le Chef d'Équipe Sensible (Agrégation Sensible à la Sensibilité)

Le Problème : Lorsque vous combinez les connaissances de ces différentes « pièces », vous faites généralement la moyenne. Mais certaines pièces sont « sensibles ». Si vous modifiez légèrement les règles pour une pièce sensible, tout le système s'effondre. Si vous traitez une pièce sensible de la même manière qu'une pièce robuste et stable, vous gâchez la pièce sensible.

La Solution (SWA) :
L'article introduit une « Agrégation de Poids Sensible à la Sensibilité » (Sensitivity-Aware Weight Aggregation). Au lieu de donner un vote égal à chaque pièce, le système vérifie à quel point chaque pièce est « sensible » aux changements.

Analogie : Imaginez un groupe de musique où le batteur est très sensible au bruit, mais le bassiste est robuste. Si vous leur dites de jouer exactement au même volume, le batteur pourrait être submergé et faire des erreurs. Le nouveau système agit comme un chef d'orchestre intelligent : il baisse le volume pour le batteur sensible (le protégeant des grands changements) et laisse le bassiste gérer plus de volume. Cela permet à tout le groupe de jouer en harmonie sans briser les parties sensibles.

3. Le Coach de l'Équité (Pour les données à longue traîne)

Le Problème : Dans le scénario « Populaire vs Rare », l'IA devient trop confiante concernant les « Jean » populaires et ignore les rares « Zoé ». Lorsque vous réduisez le modèle, ce biais s'aggrave, et les classes rares disparaissent complètement.

La Solution (EmaQ-LT) :
Les auteurs ont ajouté deux astuces pour corriger ce déséquilibre :

Mise à l'échelle de la Variance (L'Égaliseur) : Ils ont remarqué que les classes rares ont des données plus « instables » (variance élevée) car il y a très peu d'exemples. Ils utilisent un test statistique (le test de Levene) pour identifier ces groupes instables et étirent doucement leurs données pour qu'elles ressemblent davantage aux groupes stables.
- Analogie : C'est comme donner une béquille à un coureur qui boite pour qu'il puisse suivre le rythme des sprinteurs.
Ajustement de la Confiance (L'Enseignant Humble) : L'IA a tendance à être trop arrogante concernant les classes populaires. Le système ajoute un « ajustement de confiance » qui réduit délibérément le score de confiance de l'IA pour les classes populaires.
- Analogie : Si un élève n'arrête pas de crier « Je sais ! » pour des questions faciles, l'enseignant lui dit doucement : « Calme-toi, concentrons-nous sur les questions difficiles que tu rates ». Cela force l'IA à prêter attention aux rares « Zoé ».

Les Résultats

L'article a testé cette méthode sur des ensembles de données standards (comme CIFAR et ImageNet) et des scénarios réels difficiles (comme différents types de caméras ou des espèces rares).

Le Résultat : Leur méthode, EmaQ, a systématiquement battu les méthodes existantes, surtout lorsque les données étaient très réduites (2-bit ou 4-bit). Elle a réussi à maintenir la précision de l'IA même lorsque les données provenaient de sources différentes ou étaient fortement déséquilibrées.

En bref : Le papier apprend à l'IA comment se réduire en taille sans perdre la tête, en faisant d'abord en sorte que toutes les données se ressemblent, en traitant les données sensibles avec un soin particulier, et en forçant l'IA à arrêter d'ignorer les choses rares.

Résumé Technique : Vers une Quantification Multi-Domaine et à Longue Traîne via l'Alignement et la Mise à l'Échelle des Caractéristiques

1. Énoncé du Problème

La quantification des réseaux de neurones profonds est essentielle pour le déploiement de modèles sur des dispositifs aux ressources limitées, pourtant les méthodes existantes supposent principalement des données mono-domaine et équilibrées en termes de classes. Cette hypothèse échoue dans les scénarios réels caractérisés par :

Décalages Multi-Domaines (Multi-Domain Shifts) : Les données d'entraînement provenant de multiples sources (par exemple, différents appareils ou environnements) présentent des distributions divergentes, ce qui entraîne des biais spécifiques au domaine et des taux de convergence incohérents lors de la quantification.
Distributions à Longue Traîne (Long-Tailed Distributions) : Les jeux de données du monde réel possèdent souvent des fréquences de classes hautement déséquilibrées. La quantification exacerbe la dégradation des performances pour les classes minoritaires en raison de l'hétérogénéité des variances de caractéristiques et d'un excès de confiance envers les classes majoritaires.

L'article traite l'absence de cadres de quantification robustes capables de gérer simultanément les décalages de domaine et le déséquilibre des classes tout en fournissant des garanties de convergence théoriques.

2. Méthodologie

Les auteurs proposent un cadre unifié comprenant la Quantification d'Alignement Multi-Domaine Efficace (EmaQ) et son extension pour les données à longue traîne, EmaQ-LT.

A. Quantification d'Alignement Multi-Domaine Efficace (EmaQ)

EmaQ cible la quantification multi-domaine via deux mécanismes principaux :

Entraînement de Quantification par Alignement de Domaine (DAQT) :
- Projection basée sur la CDF : Pour unifier les distributions de domaines divergents, la DAQT projette les caractéristiques de chaque domaine source sur une distribution uniforme commune en utilisant des fonctions de répartition cumulative (CDF). En supposant que les poids/activations des CNN suivent des distributions normales, la méthode projette les poids en virgule flottante $w$ vers un espace uniforme $[-\alpha, \alpha]$ via une transformation de la CDF normale.
- Descente de Gradient d'Alignement de Quantification (AQGD) : Puisque l'opérateur de quantification est non dérivable, les auteurs introduisent un gradient substitut lisse. Ils approchent la dérivée du quantificateur en utilisant la dérivée d'une fonction sigmoïde appliquée à la position relative au sein des intervalles de quantification. Cela stabilise l'entraînement et réduit les oscillations.
- Garantie Théorique : L'article fournit une analyse de convergence basée sur la $\beta$ -sensibilité (continuité de Lipschitz des gradients). Il prouve que la DAQT converge sous des conditions modérées et démontre que les différents domaines possèdent intrinsèquement des taux de convergence différents en raison de variations de sensibilité de gradient.
Agrégation de Poids Sensible à la Sensibilité (SWA) :
- Problème : La moyenne uniforme standard des poids provenant de plusieurs domaines échoue lorsque les domaines ont des sensibilités ( $\beta$ ) différentes. Les domaines hautement sensibles souffrent d'erreurs importantes si ils sont agrégés uniformément avec des domaines moins sensibles.
- Solution : La SWA repondère dynamiquement l'agrégation des mises à jour spécifiques au domaine. Elle calcule un coefficient de sensibilité $\beta_k$ pour chaque domaine (approché via les différences de gradients locaux) et agrège les poids proportionnellement. Cela empêche les changements de paramètres abrupts dans les domaines sensibles tout en permettant aux domaines moins sensibles d'absorber une connaissance multi-domaine plus large.

B. Extension à la Quantification à Longue Traîne (EmaQ-LT)

EmaQ-LT adapte le cadre pour gérer le déséquilibre des classes en traitant l'hétérogénéité de la variance des caractéristiques et les écarts de confiance des logits :

Mise à l'Échelle de la CDF Conditionnelle : Au lieu d'un alignement global, EmaQ-LT applique une mise à l'échelle conditionnelle par classe. Il ajuste l'écart-type de la distribution des caractéristiques de chaque classe en fonction de sa taille d'échantillon ( $n_c$ ) pour réduire les écarts de variance entre les classes majoritaires et minoritaires.
Perte Homogénéisée : En utilisant le test de Levene pour l'homogénéité de la variance, la méthode dérive des bornes statistiques pour les tailles de classes. Les classes tombant en dehors de ces bornes (minoritaires ou extrêmes majoritaires) sont repondérées dans la fonction de perte pour garantir que leur représentation n'est pas dominée par les classes majoritaires.
Ajustement de Logit basé sur la Confiance (CLA) : Pour atténuer la tendance des modèles à attribuer une confiance excessive aux classes majoritaires, le CLA ajuste les logits finaux. Il soustrait un score de confiance (dérivé du log-sum-exp des logits et de la taille de la classe) des logits originaux, atténuant ainsi l'effet de dominance des classes majoritaires et améliorant les scores de prédiction des classes minoritaires.

3. Principales Contributions

Cadre EmaQ : Propose une nouvelle méthode de quantification qui aligne les distributions multi-domaines via la projection CDF et stabilise l'entraînement grâce à l'AQGD.
Analyse Théorique : Établit des garanties de convergence pour la quantification multi-domaine et prouve que les taux de convergence varient selon la sensibilité du domaine, motivant la conception de la SWA.
Agrégation Sensible à la Sensibilité : Introduit la SWA pour équilibrer dynamiquement les mises à jour de poids entre les domaines en fonction de la sensibilité du gradient, évitant la dégradation des performances dans les domaines sensibles.
Extension EmaQ-LT : Étend le cadre aux contextes de longue traîne en intégrant la mise à l'échelle de la variance par classe, une perte homogénéisée basée sur le test de Levene, et l'ajustement des logits pour traiter le déséquilibre de confiance des logits.
Validation Empirique : Démontre des améliorations constantes par rapport aux méthodes de l'état de l'art sur les benchmarks standards (CIFAR-10, ImageNet), multi-domaines (Office-31, Digits) et à longue traîne (SynDigits-LT, CIFAR-LT), particulièrement dans les configurations de faible nombre de bits (2-bit et 4-bit).

4. Résultats Expérimentaux

L'article évalue EmaQ et EmaQ-LT sur divers jeux de données et architectures (ResNet, MobileNet, DenseNet) :

Mono-domaine : EmaQ égale ou surpasse les méthodes existantes de Quantification Post-Entraînement (PTQ) et d'Entraînement avec Quantification (QAT) sur SVHN, CIFAR-10 et ImageNet, montrant des gains significatifs de précision en 2-bit.
Multi-domaine : Sur Office-31 et Digits, EmaQ surpasse nettement les bases (par exemple, jusqu'à 68 % d'amélioration de l'exactitude sur le domaine Webcam en configuration 2-bit), validant l'efficacité de la DAQT et de la SWA pour gérer les décalages de domaine.
Longue Traîne : Dans les scénarios à longue traîne (CIFAR-10/100-LT, SynDigits-LT) avec des ratios de déséquilibre élevés ( $\gamma=200$ ), EmaQ-LT maintient des performances robustes là où les bases échouent. Par exemple, sur SynDigits-LT avec MobileNet-V2 en 2-bit, EmaQ-LT atteint 89,45 % d'exactitude contre 49,32 % pour la meilleure base.
Études d'Ablation : Confirment que le retrait de la DAQT, de la SWA, de la perte homogénéisée ou de l'ajustement des logits entraîne des chutes de performance significatives, validant la nécessité de chaque composant.

5. Signification et Revendications

L'article affirme que sa principale importance réside dans le fait de combler l'écart entre les méthodes de quantification théoriques et les contextes de données pratiques et complexes (multi-domaine et longue traîne). En unifiant l'alignement des distributions et l'agrégation sensible à la sensibilité, ce travail fournit :

Robustesse : Une stratégie de quantification qui reste efficace sous les décalages de distribution et le déséquilibre des classes sans nécessole d'échange de données (compatible avec les scénarios d'apprentissage fédéré).
Fondement Théorique : Des garanties de convergence prouvables et des informations statistiques (via le test de Levene) qui relient le déséquilibre des classes à l'hétérogénéité de la variance induite par la quantification.
Applicabilité Pratique : La capacité de déployer des modèles à faible nombre de bits sur des dispositifs de bord (edge) où les données sont souvent cloisonnées, non-IID et déséquilibrées, atteignant des performances solides là où les méthodes existantes se dégradent considérablement.

Les auteurs concluent que les travaux futurs exploreront l'adaptation de ce cadre aux Vision Transformers et aux modèles de diffusion, ainsi que la validation de l'efficacité de l'inférence sur du matériel réel de bord.