🤖 machine learning

Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging

Ce document propose la Décomposition, le Seuil et la Mise à l'échelle (DTS), un cadre de fusion de modèles personnalisés hautement efficace en termes de stockage qui préserve la performance spécifique aux tâches et se généralise aux tâches inédites en utilisant seulement 1 % de stockage supplémentaire par tâche grâce à l'exploitation de la décomposition en valeurs singulières et de la similitude sémantique.

Auteurs originaux : Kuangpu Guo, Aijing Yu, Jian Liang, Yuhe Ding, Zilei Wang, Ran He, Tieniu Tan

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kuangpu Guo, Aijing Yu, Jian Liang, Yuhe Ding, Zilei Wang, Ran He, Tieniu Tan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : L'effet « Smoothie »

Imaginez que vous avez un chef étoilé qui est expert dans huit cuisines différentes : italienne, japonaise, mexicaine, indienne, et ainsi de suite. Pour gagner de la place dans la cuisine, vous décidez de mélanger toutes ses recettes dans un seul et même « Super Livre de Recettes ».

Vous essayez de fusionner les recettes en faisant simplement une moyenne. Le résultat ? Un désastre. Le « Super Chef » ne peut pas faire une pizza parfaite parce que les épices japonaises gâchent la pâte, et que la salsa mexicaine jure avec le curry indien. C'est ce qui arrive à l'IA quand nous essayons de fusionner différents modèles : la « personnalité » ou le savoir spécifique de chaque tâche se perd dans le mélange, entraînant de mauvaises performances.

La solution actuelle : Le « Sac à dos lourd »

Certaines solutions récentes ont tenté de corriger cela en donnant un sac à dos au Super Chef. Pour chaque nouvelle cuisine, le chef transporte un sac séparé et lourd d'ingrédients spécifiques (paramètres propres à la tâche). Cela fonctionne très bien — le chef peut faire une pizza parfaite et un sushi parfait.

Mais il y a un pièat : Les sacs à dos sont trop lourds. Si vous avez 100 tâches, vous avez besoin de 100 sacs à dos lourds. Cela va à l'encontre de l'objectif initial qui était de gagner de l'espace et des ressources.

La solution : DTS (Décomposition, Seuil et Mise à l'échelle)

Les auteurs proposent une nouvelle méthode appelée DTS. Voyez le DTS comme une technique de « Compression Intelligente » qui permet au chef de garder sa personnalité unique sans avoir besoin d'un sac à dos lourd. Cela fonctionne en trois étapes astucieuses :

1. Décomposition (Le « Best-of »)

Au lieu de garder l'intégralité du livre de recettes pour une tâche spécifique, le DTS utilise une astuce mathématique (appelée décomposition en valeurs singulières) pour trouver les « moments forts » les plus importants de cette recette.

Analogie : Imaginez que vous avez un film de 3 heures. Au lieu de stocker tout le film, vous n'en extrayez que les 10 scènes les plus critiques qui définissent l'intrigue. Vous jetez le remplissage inutile. Le DTS ne garde que les « 10 % supérieurs » des nombres les plus importants qui rendent la tâche unique.

2. Seuil (Le « Jeu de regroupement »)

Maintenant que nous avons les moments forts, ils sont encore trop détaillés pour être stockés efficacement. Le DTS examine ces nombres et les regroupe en quatre catégories simples :

Grands nombres positifs
Petits nombres positifs
Grands nombres négatifs
Petits nombres négatifs
Analogie : Au lieu d'écrire la taille exacte de chaque personne dans une foule (par exemple, 1m78,23, 1m78,25), vous les placez simplement dans quatre bacs : « Grand », « Moyen », « Petit » et « Très petit ». Vous perdez un peu de précision, mais vous économisez énormément d'espace.

3. Mise à l'échelle (Le « Bouton de volume »)

Pour s'assurer que les « bacs » ressemblent toujours à la foule d'origine, le DTS attribue un simple « bouton de volume » (un facteur d'échelle) à chaque groupe.

Analogie : Si le bac « Grand » est trop silencieux, vous tournez le bouton de volume pour ce groupe. Cela permet au système de reconstruire la « saveur » originale de la tâche de manière très précise en utilisant seulement quelques bits de données.

Le résultat : Ce processus compresse l'information spécifique à la tâche à tel point qu'elle ne prend que 1 % d'espace supplémentaire par tâche. C'est comme si l'on réduisait un sac à dos lourd à la taille d'une simple clé.

Le tour de magie : Deviner de nouvelles tâches (Généralisation)

Habituellement, si vous voulez que le chef cuisine une nouvelle cuisine qu'il n'a jamais vue (comme la cuisine éthiopienne), vous devez l'entraîner ou lui donner une nouvelle recette.

Le DTS possède un mode spécial « Sans Données » (Data-Free). Il examine les noms ou les descriptions des tâches.

Analogie : Si le chef a maîtrisé l'« Italien » et l'« Espagnol », et que vous lui demandez de cuisiner le « Portugais », le DTS regarde les noms. Il sait que le « Portugais » est linguistiquement similaire à l'« Espagnol ». Il peut donc automatiquement mélanger les saveurs « Espagnole » et « Italienne » dans les bonnes proportions pour deviner la recette portugaise.
Il fait cela sans avoir besoin de nouvelles données ou d'un nouvel entraînement. Il utilise simplement la « similitude sémantique » (à quel point les noms des tâches se ressemblent) pour mélanger les mémoires compressées existantes.

Pourquoi c'est important

L'article montre que le DTS offre le meilleur des deux mondes :

Performance : Il préserve la « personnalité » du modèle, avec des performances presque aussi bonnes que si le modèle avait été entraîné séparément pour chaque tâche.
Efficacité : Il ne nécessite que 1 % d'espace de stockage supplémentaire par tâche, alors que d'autres méthodes pourraient nécessiter 10 % à 100 % d'espace en plus.
Polyvalence : Il fonctionne sur les images (comme reconnaître des voitures ou des chiffres manuscrits) et sur le texte (comme comprendre des phrases ou écrire des histoires).

En résumé, le DTS permet de fusionner de nombreux modèles d'IA en un seul sans qu'ils ne perdent leurs compétences individuelles, et ce, en gardant la « mémoire » de ces compétences incroyablement petite et légère.

Résumé technique : Stay Unique, Stay Efficient (DTS)

Énoncé du problème

La fusion de modèles offre un paradigme sans données et sans optimisation pour unifier plusieurs modèles spécifiques à des tâches en une seule représentation, évitant ainsi les coûts prohibitifs du réglage fin (fine-tuning) et du stockage de modèles séparés. Cependant, les méthodes de fusion basiques traditionnelles (par exemple, la moyenne de poids ou l'arithmétique des tâches) souffrent de conflits de paramètres sévères, entraînant une dégradation significative des performances, même lorsque les modèles sont entraînés sur des tâches sémantiquement similaires.

Bien que les cadres récents de fusion de modèles personnalisés tentent de préserver l'information spécifique à chaque tâche pour atténuer ces conflits, ils engendrent généralement un surcoût de stockage prohibitif. Les méthodes qui stockent des composants d'experts denses, l'intégralité des paramètres du modèle ou des réseaux de routage complexes annulent l'avantage d'efficacité primaire de la fusion de modèles, limitant leur déploiement dans des environnements aux ressources contraintes. Le défi central est de préserver l'information essentielle spécifique à la tâche pour maintenir la performance tout en minimisant le stockage supplémentaire requis par tâche.

Méthodologie : Décomposition, Seuillage et Mise à l'échelle (DTS)

Les auteurs proposent DTS, un cadre de fusion personnalisée basé sur l'approximation, conçu pour compresser efficacement l'information spécifique à la tâche. La méthode opère en deux étapes principales : une étape d'approximation et une étape d'inférence.

1. Représentation de l'information spécifique à la tâche

Le cadre définit l'information spécifique à la tâche sous deux formes :

Vecteurs de tâche ( $\tau_n$ ) : La différence entre les poids ajustés ( $\theta_n$ ) et les poids pré-entraînés ( $\theta_0$ ), soit $\tau_n = \theta_n - \theta_0$ .
Vecteurs de différence ( $d_n$ ) : Une nouvelle représentation définie comme la différence entre les poids ajustés et une base fusionnée grossièrement ( $\theta_m$ ), soit $d_n = \theta_n - \theta_m$ . Cette variante est particulièrement utile lorsque les poids pré-entraînés originaux sont inaccessibles et capture le résidu personnalisé par rapport à une base commune.

2. Le pipeline de compression DTS

Pour stocker ces vecteurs efficacement, DTS applique trois opérations séquentielles :

Décomposition (SVD) : La matrice cible (vecteur de tâche ou vecteur de différence) subit une décomposition en valeurs singulières tronquée (SVD). Seuls les $r$ premières valeurs singulières et leurs vecteurs correspondants sont conservés, filtrant le bruit de paramètre non structuré selon le théorème d'Eckart-Young-Mirsky.
Seuillage : Au lieu d'utiliser un simple masque binaire (qui rejette l'information fine), DTS introduit une stratégie de seuillage novatrice. Il partitionne les éléments de chaque vecteur singulier en quatre groupes :
1. Valeurs positives « Grandes »
2. Valeurs positives « Petites »
3. Valeurs négatives « Grandes »
4. Valeurs négatives « Petites »
  Ceci est réalisé en encodant d'abord le signe (1 bit), puis en comparant les valeurs positives/négatives à leurs médianes respectives pour déterminer les niveaux de magnitude.
Mise à l'échelle (Scaling) : Pour chacun des quatre groupes, un facteur de mise à l'échelle unique est calculé. Ce facteur représente la moyenne arithmétique (calculée via la norme L1 pour l'efficacité) des valeurs absolues au sein de ce groupe.

3. Reconstruction et efficacité de stockage

Lors de l'inférence, l'information spécifique à la tâche est reconstruite en combinant les vecteurs singuliers approximés et les facteurs de mise à l'échelle. La représentation résultante ne nécessite que 2 bits par élément (1 bit pour le signe, 1 bit pour le niveau de magnitude), atteignant un ratio de compression de 16×. Cela se traduit par un surcoût de stockage d'environ 1 % par tâche.

4. Généralisation aux tâches inédites (Adaptation sans données)

Pour gérer les tâches inédites sans données d'entraînement supplémentaires ou exemples étiquetés, les auteurs proposent une variante qui fusionne l'information spécifique à la tâche en se basant sur la similitude sémantique.

Les caractéristiques de la tâche (par exemple, noms de classes pour la classification, instructions pour la génération) sont encodées à l'aide d'un encodeur de texte pré-entraîné pour générer des plongements (embeddings) sémantiques.
Les poids de fusion pour une tâche inédite sont calculés dynamiquement en fonction de la similitude cosinus entre l'embedding de la tâche inédite et les embeddings des tâches connues.
Cette approche est entièrement sans données (data-free) et ne nécessite ni entraînement en ligne ni rétropropagation.

Principales contributions

Cadre DTS : Une méthode de fusion personnalisée légère, basée sur l'approximation, qui préserve l'information spécifique à la tâche tout en minimant le surcoût de stockage grâce à la SVD, un nouveau seuillage à 4 groupes et la mise à l'échelle.
Variantes DTS-T et DTS-D : L'introduction de deux implémentations spécifiques : l'une opérant sur des vecteurs de tâche standards et l'autre sur des vecteurs de différence (relativement à une base fusionnée), offrant une flexibilité pour différents scénarios de déploiement.
Généralisation sans données : Une variante capable de s'adapter aux tâches inédites en exploitant la similitude sémantique des caractéristiques de la tâche, éliminant le besoin de données de domaine cible ou de routeurs entraînables.
Compromis Efficacité-Performance : La méthode atteint des performances de pointe avec seulement environ 1 % de stockage supplémentaire par tâche, surpassant nettement les méthodes de personnalisation existantes qui nécessitent souvent 10 à 100 % de stockage supplémentaire.

Résultats expérimentaux

Les auteurs ont évalué DTS sur des tâches de classification visuelle (ViT-B/32, ViT-L/14, ViT-B/16), de traitement du langage naturel (RoBERTa, GPT-2) et de génération de langage naturel (Qwen-14B).

Fusion multi-tâche standard : DTS surpasse systématiquement les bases de référence de pointe (incluant T-Switch, FREE-Merging et WEMOE) sur les benchmarks standards.
- Sur ViT-B/32, DTS-D a atteint une précision moyenne de 90,40 %, dépassant la meilleure base de référence (T-Switch à 90,15 %) tout en ne nécessitant que 3,68 % de mémoire supplémentaire (contre 6,25 % pour T-Switch et 49,95 % pour WEMOE).
- Sur RoBERTa, DTS-D a atteint 84,98 % de précision moyenne avec seulement 3,81 % de mémoire supplémentaire, récupérant 99,06 % de la performance des modèles ajustés individuellement.
- Les auteurs notent qu'en ajustant de manière adaptative le coefficient de parcimonie ( $r$ ), ils peuvent réduire le taux de mémoire supplémentaire à <1 % (par exemple, DTS-D* à 0,98 % pour ViT-B/32) avec une perte de performance minimale.
Généralisation aux tâches inédites : Dans les scénarios zero-shot où les modèles ajustés pour les tâches inédites n'étaient pas disponibles lors de la fusion :
- Les variantes de DTS ont nettement surpassé toutes les méthodes de personnalisation concurrentes. Par exemple, sur les tâches inédites de ViT-B/32, DTS-D a atteint une précision moyenne de 55,41 %, alors que les autres bases de référence personnalisées (comme WEMOE et T-Switch) sont tombées dans la plage des 40–50 %, performant souvent moins bien que les méthodes de fusion basiques comme Ties-Merging.
- Cela démontre que la fusion basée sur la similitude sémantique transfère efficacement la connaissance spécifique à la tâche sans sur-apprentissage sur les tâches connues.

Signification et affirmations

L'article affirme que DTS répond au compromis fondamental de la fusion de modèles entre préservation de la performance et efficacité de stockage. En démontant que l'information spécifique à la tâche peut être compressée en une représentation de 2 bits sans perte significative de fidélité, les auteurs soutiennent que la fusion personnalisée peut être déployée dans des environnements aux ressources contraintes, auparavant inaccessibles à de telles méthodes.

De plus, ce travail souligne que les méthodes de fusion personnalisée échouent souvent à se généraliser aux tâches inédites car elles optimisent trop spécifiquement pour les tâches connues. L'adaptation proposée, sans données et basée sur la similitude sémantique, offre une solution évolutive pour les scénarios multi-tâches en "démarrage à froid" (cold-start), permettant aux modèles de gérer de nouvelles tâches sans données d'entraînement supplémentaires ou surcharge de calcul. Les auteurs positionnent DTS comme un paradigme pratique, efficace et performant pour la prochaine génération de déploiement de modèles multi-tâches.