💬 NLP

E-PMQ: Expert-Guided Post-Merge Quantization with Merged-Weight Anchoring

Le papier propose E-PMQ, un cadre de quantification post-fusion guidé par des experts qui exploite les poids des experts sources et l'ancrage des poids fusionnés pour découpler les déviations de quantification et de fusion, permettant ainsi le déploiement efficace en faible précision de plusieurs experts de réseaux de neurones fusionnés.

Auteurs originaux : Wenjun Wang, Yanggan Gu, Shuo Cai, Yuanyi Wang, Pengkai Wang, Jianmin Wu, Hongxia Yang

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wenjun Wang, Yanggan Gu, Shuo Cai, Yuanyi Wang, Pengkai Wang, Jianmin Wu, Hongxia Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : le problème de la « fusion » et de la « compression »

Imaginez que vous avez une équipe de cinq experts différents : un chef, un mécanicien, un médecin, un avocat et un pilote. Chacun d'eux est un maître dans son domaine.

Fusion de modèles : Au lieu d'embaucher les cinq personnes et de les payer pour travailler en même temps (ce qui est coûteux et lent), vous décidez de « fusionner » leurs cerveaux en une seule super-personne. Vous prenez leurs connaissances et les mélangez pour créer un seul « Super-Expert » capable de faire un peu de tout.
Quantification : Maintenant, vous voulez mettre ce Super-Expert dans un petit sac à dos léger pour qu'il puisse voyager facilement sur un téléphone ou un petit appareil. Pour ce faire, vous devez « compresser » ses connaissances. Vous simplifiez ses pensées complexes en notes courtes et simples (nombres à faible nombre de bits) afin qu'elles occupent moins d'espace.

Le problème :
Le papier soutient que si vous prenez simplement ce Super-Expert et que vous le forcez à écrire des notes simples, les choses tournent mal.

L'erreur « naïve » : Si vous demandez simplement au Super-Expert de résumer son propre cerveau mélangé, il risque de se perdre. Parce que son cerveau est un mélange de cinq personnes différentes, ses pensées « mélangées » peuvent déjà être un peu floues ou incohérentes par rapport aux experts originaux. Lorsque vous compressez ces pensées floues, les erreurs s'aggravent. C'est comme essayer de photocopier une photo floue ; la copie sera encore plus floue.

La solution : E-PMQ (l'approche « guidée par l'expert »)

Les auteurs proposent une nouvelle méthode appelée E-PMQ. Au lieu de simplement demander au Super-Expert de se résumer lui-même, ils utilisent les cinq experts originaux pour guider le processus.

Voici comment cela fonctionne, étape par étape :

1. La cible « guidée par l'expert »

Imaginez que le Super-Expert essaie de rédiger un résumé d'un cas médical.

L'ancienne méthode : Le Super-Expert essaie de se souvenir de ce que lui (la version mélangée) pense de la médecine.
La méthode E-PMQ : Le système demande au Médecin original (l'un des experts sources), « Que diriez-vous vous à propos de ce cas ? » Le Super-Expert utilise ensuite la réponse claire et spécifique du Médecin comme « cible » à viser tout en écrivant ses notes simplifiées.
Pourquoi cela aide : Cela garantit que les notes compressées restent fidèles à l'expertise originale de haute qualité, plutôt que de dériver vers le « flou » du terrain intermédiaire du modèle fusionné.

2. L'« ancrage des poids fusionnés » (le filet de sécurité)

Il y a un risque avec la nouvelle méthode. Si le Super-Expert écoute trop le Médecin, il risque d'oublier comment être un Mécanicien ou un Pilote. Il pourrait redevenir simplement un Médecin, perdant le mélange spécial de « Super-Expert » qu'il était censé avoir.

Pour corriger cela, E-PMQ utilise une Ancre :

Imaginez que le Super-Expert est attaché à une ancre lourde (le modèle fusionné original).
Tandis qu'il est guidé par le Médecin (la cible experte), l'ancre le tire en arrière pour s'assurer qu'il ne s'éloigne pas trop de son identité mélangée.
Cela maintient l'équilibre : les notes sont précises par rapport aux experts, mais la personnalité globale reste le Super-Expert unique.

Les résultats : pourquoi cela compte

Le papier a testé cela sur deux types de « Super-Experts » :

Modèles de vision (CLIP) : Des modèles qui regardent des images. Ils ont fusionné des modèles entraînés pour reconnaître des voitures, des panneaux de signalisation, des fleurs, et plus encore.
Modèles de langage (FLAN-T5 & Llama) : Des modèles qui comprennent et génèrent du texte. Ils ont fusionné des modèles entraînés sur les mathématiques, la programmation et la conversation générale.

Les découvertes :

Meilleure précision : Lorsqu'ils ont utilisé E-PMQ, les modèles compressés ont bien mieux performé que l'ancienne méthode « naïve ».
- Exemple : Sur un test difficile avec 20 tâches différentes, l'ancienne méthode a fait chuter le score à 34,8 %, tandis qu'E-PMQ l'a maintenu haut à 76,7 %. C'est une différence massive.
Fonctionne partout : Cela a bien fonctionné qu'ils aient fusionné 8 tâches ou 20 tâches, et qu'ils aient utilisé une compression à 3 bits ou 4 bits (tailles de fichiers très petites).
Aucun coût supplémentaire à la fin : La meilleure partie est que, une fois le modèle compressé et prêt à l'emploi, il ne s'agit que d'un seul petit fichier. Vous n'avez pas besoin des cinq experts originaux ou du système de « guidage » supplémentaire pour fonctionner pendant que le téléphone l'utilise. Le travail supplémentaire ne se produit que avant le déploiement du modèle.

Analogie de résumé

Pensez à la fusion de modèles comme au mélange de cinq smoothies différents dans une grande tasse.

La quantification naïve est comme essayer de congeler cette grande tasse mélangée en un glaçon. La glace pourrait avoir une texture étrange parce que le mélange était déjà un peu désordonné.
E-PMQ est comme avoir les cinq fabricants de smoothies originaux à côté de vous. Pendant que vous congelez la tasse, ils vous disent : « Hé, assurez-vous que le goût de la fraise reste fort », et « Ne laissez pas le goût de la banane disparaître ». En même temps, vous tenez la tasse ferme pour qu'elle ne se transforme pas juste en smoothie à la fraise.
Le résultat : Vous obtenez un glaçon parfait et petit qui a exactement le goût du meilleur des cinq smoothies originaux combinés.

Le papier conclut que cette méthode « guidée par l'expert » est un moyen beaucoup plus fiable de réduire la taille de ces modèles d'IA fusionnés et puissants afin qu'ils puissent fonctionner sur des appareils du quotidien sans perdre leur intelligence.

Résumé technique : E-PMQ : Quantification post-fusion guidée par l'expert avec ancrage des poids fusionnés

1. Formulation du problème : Quantification post-fusion (PMQ)

L'article aborde un scénario de déploiement à ressources limitées spécifique où plusieurs modèles « experts » spécialisés par tâche sont d'abord fusionnés en un modèle unique, et ce modèle fusionné résultant est ensuite quantifié pour une inférence efficace. Les auteurs définissent ce contexte comme la Quantification post-fusion (PMQ).

Le défi central identifié est que les méthodes standard de quantification post-entraînement (PTQ), telles que GPTQ, sont peu fiables lorsqu'elles sont appliquées directement à des modèles fusionnés. Dans la PTQ standard, le modèle en précision complète est traité comme une cible de reconstruction fiable. Cependant, dans la PMQ, le modèle fusionné en précision complète ( $W_m$ ) n'est pas un modèle multi-tâches optimisé indépendamment ; il est une composition de paramètres qui peuvent déjà s'écarter des comportements des experts sources ( $W_i$ ).

Les auteurs soutiennent que la PMQ naïve (quantification directe de $W_m$ ) couple deux écarts distincts :

Écart de quantification : L'erreur introduite par la reconstruction des poids dans un espace à faible nombre de bits.
Écart de fusion relatif à l'expert : L'erreur inhérente au modèle fusionné lui-même, représentant à quel point $W_m$ a dévié des comportements spécifiques des experts sources ( $W_i$ ).

Lorsqu'un algorithme PTQ naïf minimise l'erreur de reconstruction de $W_m$ seul, il traite ce modèle potentiellement dévié comme la vérité terrain. Par conséquent, le processus de quantification ne parvient pas à corriger les écarts de fusion préexistants et les aggrave au contraire avec des erreurs de quantification, entraînant une dégradation significative des performances, en particulier dans des paramètres de faible nombre de bits agressifs (par exemple, 4 bits) ou lors de la fusion de nombreuses tâches.

2. Méthodologie : Cadre E-PMQ

Pour atténuer ces écarts couplés, les auteurs proposent E-PMQ, un cadre guidé par l'expert qui intègre les informations des experts sources pendant la phase d'étalonnage tout en maintenant l'efficacité de déploiement d'un modèle fusionné unique.

Composants principaux

E-PMQ fonctionne par quantification couche par couche dans un ordre avant. Pour chaque couche $\ell$ , elle utilise :

Les poids fusionnés ( $W_m^\ell$ ).
Les poids des experts sources ( $\{W_i^\ell\}_{i=1}^K$ ).
Les activations d'étalonnage collectées à partir du modèle partiellement quantifié actuel.

La méthode introduit deux mécanismes clés :

A. Cibles de sortie guidées par l'expert

Au lieu de reconstruire la sortie du modèle fusionné ( $W_m^\ell X^\ell$ ) comme seule cible, E-PMQ construit des cibles de sortie basées sur les experts sources. Pour chaque expert $i$ , la cible est $Y_i^\ell = W_i^\ell X_i^\ell$ , où $X_i^\ell$ sont les activations collectées à partir du sous-ensemble d'étalonnage associé à cet expert.
L'objectif minimise l'écart entre la sortie de la couche quantifiée et ces cibles induites par l'expert :
$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2$
Cela force le processus de quantification à s'aligner sur les comportements des experts originaux, atténuant ainsi l'écart de fusion relatif à l'expert.

B. Ancrage des poids fusionnés

S'appuyer uniquement sur les cibles d'experts risque de sur-corriger la couche fusionnée, provoquant potentiellement une dérive du modèle quantifié vers un expert spécifique et une perte des capacités intégrées acquises par le processus de fusion. Pour prévenir cela, E-PMQ ajoute un terme de régularisation qui ancre les poids quantifiés ( $Q^\ell$ ) aux poids fusionnés en précision complète ( $W_m^\ell$ ) :
$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2 + \lambda^\ell \| Q^\ell - W_m^\ell \|_F^2$
La force de l'ancrage $\lambda^\ell$ est adaptative, mise à l'échelle par l'énergie d'activation totale de la couche pour assurer la stabilité à travers différentes couches.

Implémentation du solveur

Les auteurs adaptent le solveur de arrondi séquentiel de style GPTQ pour gérer cette nouvelle objectif. Le solveur utilise des statistiques quadratiques modifiées :

Courbure effective : $H_{E-PMQ}^\ell = \sum H_i^\ell + \lambda^\ell I$
Terme de droite : $R_{E-PMQ}^\ell = \sum W_i^\ell H_i^\ell + \lambda^\ell W_m^\ell$
Cela permet d'implémenter la méthode efficacement sans réentraînement de bout en bout, en utilisant uniquement un ensemble d'étalonnage.

3. Contributions principales

L'article expose trois contributions principales :

Formulation du problème : Les auteurs définissent formellement la Quantification post-fusion (PMQ) et identifient le mode de défaillance des approches naïves : le couplage de l'écart de quantification avec l'écart de fusion relatif à l'expert.
Proposition d'algorithme : Ils introduisent E-PMQ, qui utilise les poids des experts sources pour fournir des cibles de sortie guidées lors de l'étalonnage et emploie un ancrage des poids fusionnés pour stabiliser la solution et préserver le comportement intégré du modèle fusionné.
Validation empirique : Des expériences extensives démontrent que E-PMQ surpasse systématiquement les bases de référence PMQ naïves (RTN, GPTQ, AWQ) à travers diverses méthodes de fusion (Arithmétique des tâches, TIES-Merging, Moyenne simple), architectures de modèles (CLIP-ViT, FLAN-T5, Llama-3.1) et échelles de tâches (8 à 20 tâches).

4. Résultats expérimentaux

L'article évalue E-PMQ sur des modèles de vision (CLIP) et de langage (FLAN-T5, Llama-3.1) utilisant une quantification des poids uniquement à 4 bits.

CLIP-ViT-B/32 (8 tâches) : Sous Arithmétique des tâches, E-PMQ améliore la précision de GPTQ à 4 bits de 65,0 % à 73,6 %. Sous TIES-Merging, elle améliore de 69,1 % à 74,8 %.
CLIP-ViT-L/14 (20 tâches) : Dans ce contexte plus difficile avec plus d'interférences, E-PMQ montre des gains dramatiques, améliorant GPTQ de 34,8 % à 76,7 % sous Arithmétique des tâches.
FLAN-T5-base (GLUE) : E-PMQ améliore le score moyen de 78,26 % à 83,34 % sous Arithmétique des tâches et de 79,98 % à 83,48 % sous TIES-Merging.
Llama-3.1 (3B et 8B) : E-PMQ atteint les meilleures performances moyennes parmi les variantes quantifiées, améliorant les scores par rapport aux bases de référence GPTQ et AWQ.
Études d'ablation : La suppression de l'ancrage des poids fusionnés ( $\alpha=0$ ) provoque un effondrement sévère des performances (par exemple, une chute à environ 5 % de précision), confirmant que la guidance par l'expert seule est insuffisante sans ancrage au modèle fusionné. E-PMQ démontre également une robustesse à travers les largeurs de bits (3 bits à 8 bits) et avec des budgets d'étalonnage réduits.

5. Signification et affirmations

L'article affirme que E-PMQ permet un déploiement efficace en faible nombre de bits de modèles fusionnés, un contexte précédemment considéré comme peu fiable en raison de l'accumulation d'écarts.

Efficacité : La méthode nécessite l'accès aux experts sources uniquement pendant la phase de quantification pré-déploiement. Le modèle déployé final est un modèle fusionné à faible nombre de bits unique, sans modules supplémentaires au moment de l'inférence ni poids d'experts, maintenant le même nombre de paramètres et la même vitesse d'inférence que les bases de référence naïves.
Généralisabilité : L'approche s'avère efficace à travers différentes modalités (vision et texte), échelles de modèles et stratégies de fusion.
Limites : Les auteurs notent modestement que E-PMQ nécessite l'accès aux experts sources pendant la quantification, ce qui augmente les coûts de calcul et de mémoire pré-déploiement par rapport à la PTQ naïve. Si seul le modèle fusionné est disponible, la méthode ne peut pas construire de cibles guidées par l'expert. De plus, les performances de la méthode dépendent du caractère représentatif de l'ensemble d'étalonnage.

En résumé, l'article soutient que pour quantifier avec succès des modèles fusionnés, il faut regarder au-delà du modèle fusionné lui-même et utiliser les experts sources pour guider l'étalonnage, tout en ancrant simultanément la solution aux poids fusionnés pour préserver les avantages de la fusion.