Résumé Technique : PACT – Préserver les Noyaux Ancrés dans les Vecteurs de Tâche pour la Fusion de Modèles

Énoncé du Problème

La fusion de modèles est apparue comme une alternative sans entraînement à l'apprentissage multitâche, visant à combiner plusieurs modèles spécialisés par tâche en un seul modèle multitâche. Le paradigme dominant, l'Arithmétique des Tâches (Task Arithmetic), décompose les poids affinés en paramètres pré-entraînés ($\theta_0$) et en vecteurs de tâche ($\Delta_t = \theta_t - \theta_0$), effectuant la fusion exclusivement dans l'espace des vecteurs de tâche. Cette approche suppose implicitement que toute la connaissance spécifique à la tâche est encodée dans les vecteurs de tâche, tandis que le modèle pré-entraîné ne sert que de point d'initialisation partagé.

Les auteurs contestent cette hypothèse, arguant qu'elle ne tient pas compte des préférences intrinsèques des tâches des modèles pré-entraînés. Ils identifient un phénomène où les connaissances critiques pour une tâche restent « ancrées » dans les poids pré-entraînés plutôt que d'être pleinement transférées dans les vecteurs de tâche. Ces dimensions, nommées dimensions de Mur Porteur (Load-Bearing Wall ou LBW), présentent des mises à jour négligeables lors de l'affinage (faible $|\Delta_t|$) mais sont essentielles au maintien de la performance de la tâche. Les méthodes de fusion existantes, en opérant uniquement sur les vecteurs de tâche, écrasent ou déforment par inadvertance ces dimensions LBW lors de l'agrégation de plusieurs tâches, ce qui entraîne une dégradation des performances.

Méthodologie : PACT (Preserve Anchored Cores)

Pour remédier à la vulnérabilité des dimensions LBW, les auteurs proposent PACT, un cadre sans données conçu pour protéger les connaissances spécifiques aux tâches ancrées dans le modèle pré-entraîné pendant le processus de fusion.

1. Identification des Dimensions LBW

Le papier caractérise les dimensions LBW selon deux perspectives :

• Perspective des Poids Scalaires : En utilisant l'Information de Fisher et des scores d'enrichissement, les auteurs identifient des paramètres spécifiques qui ont de faibles magnitudes dans le vecteur de tâche mais une haute sensibilité à la perte de la tâche.
• Perspective de Sous-espace : En utilisant la Décomposition en Valeurs Singulières (SVD), les auteurs définissent le sous-espace LBW ($V_{t,LBW}$) pour une tâche $t$. Celui-ci est dérivé en projetant le sous-espace principal des poids pré-entraînés ($V_{0,K}$) sur le complément orthogonal du sous-espace d'actualisation actif de la tâche ($V_{t,k}$). Formellement :
  $$V_{t,LBW} = \text{orth}\left((I - V_{t,k}V_{t,k}^\top)V_{0,K}\right)$$
  Ce sous-espace capture les directions de caractéristiques pré-entraînées critiques pour la tâche qui restent inchangées pendant l'affinage.

2. L'Algorithme PACT

PACT fonctionne en filtrant les vecteurs de tâche avant d'appliquer les algorithmes de fusion standards (ex: Task Arithmetic, TSV-M, Iso-C). Le mécanisme central consiste à construire un Bouclier Orthogonal Global pour chaque tâche afin d'empêcher ses mises à jour d'interférer avec les sous-espaces LBW des autres tâches.

• Construction du Bouclier : Pour une tâche spécifique $t$, l'algorithme agrège les sous-espaces LBW de toutes les autres tâches ($V_{j,LBW}$ pour $j \neq t$) et construit une base orthonormée unifiée $V_{t}^{protect}$ via la décomposition QR. Ce bouclier représente l'union des dépendances critiques pré-entraînées requises par toutes les autres tâches.
• Filtrage : Le vecteur de tâche $\Delta_t$ est projeté sur le complément orthogonal de ce bouclier pour supprimer les composantes qui écraseraient les « espaces sacrés » des autres tâches :
  $$\tilde{\Delta}_t = \Delta_t - \Delta_t V_{t}^{protect}(V_{t}^{protect})^\top$$
• Fusion : Les vecteurs filtrés $\{\tilde{\Delta}_t\}$ sont ensuite fusionnés à l'aide d'algorithmes existants.

3. Variante Efficace (SVD Randomisée)

Pour améliorer la scalabilité, les auteurs proposent une variante efficace utilisant la SVD Randomisée (RSVD). Puisque PACT nécessite principalement l'extraction des $k$ vecteurs singuliers supérieurs, la RSVD approxime ces composantes avec une complexité computationnelle et une empreinte mémoire considérablement réduites ($O(mnk)$ contre $O(mn^2)$ ou $O(n^3)$), tout en agissant comme un régularisateur implicite qui lisse le bruit de haute fréquence.

Contributions Clés

1. Réexamen des Hypothèses de l'Arithmétique des Tâches : Le papier démontre empiriquement que les vecteurs de tâche ne capturent pas totalement la connaissance spécifique à la tâche. Il identifie et valide causalement l'existence des dimensions LBW — des paramètres qui reçoivent des mises à jour négligeables mais sont critiques pour la performance.
2. Validation Causale : À travers des expériences de perturbation contrôlée (niveaux scalaire et sous-espace), les auteurs montrent que :
   • La modification des dimensions LBW (même avec de faibles magnitudes) provoque des chutes de performance catastrophiques.
   • La fusion standard écrase ces dimensions, et leur restauration permet de récupérer la performance.
   • L'ablation de sous-espace des composantes LBW entraîne une dégradation des performances ordres de grandeur plus grande que l'ablation de sous-espace aléatoire.
3. Cadre PACT : La proposition d'un cadre géométrique sans données qui construit des boucliers orthogonaux pour filtrer les mises à jour interférantes, s'intégrant de manière transparente aux méthodes de fusion existantes basées sur les poids scalaires ou les sous-espaces.
4. Analyse Théorique : Les auteurs fournissent des bornes théoriques montrant que la dégradation des performances causée par le filtrage de PACT est contrôlée par la projection du gradient et de la mise à jour de la tâche sur l'espace de protection, garantissant que l'auto-performance est préservée si la mise à jour de la tâche est concentrée dans son sous-espace actif.

Résultats Expérimentaux

Des expériences approfondies ont été menées sur des benchmarks de vision (ViT-B/32, ViT-B/16, ViT-L/14) sur 8, 14 et 20 tâches, couvrant à la fois les réglages d'affinage complet (full fine-tuning) et d'affinage LoRA.

• Gains de Performance : PACT améliore systématiquement les principales méthodes de fusion (Task Arithmetic, TSV-M, Iso-C).
  • PACT-Iso-C atteint des performances de l'état de l'art (SOTA) dans les 9 scénarios évalués (3 backbones $\times$ 3 nombres de tâches).
  • Dans le réglage à 20 tâches avec ViT-L/14, PACT-Iso-C atteint 95,1 % de précision absolue et 98,3 % de précision normalisée, surpassant largement le précédent meilleur (Iso-CTS).
• Adaptation LoRA : PACT améliore également la performance de fusion pour les modèles affinés par LoRA, démontrant que les effets LBW persistent même lorsque les paramètres pré-entraînés sont gelés pendant l'affinage (car la connaissance LBW réside dans le modèle de base).
• Efficacité : La variante RSVD atteint des performances comparables à la SVD complète (et parfois supérieures grâce au débruitage implicite) tout en réduisant drastiquement la complexité de calcul.
• Études d'Ablation :
  • Statique vs Dynamique : Une ligne de base statique (S-PACT) qui filtre uniquement contre le noyau pré-entraîné sans considérer les sous-espaces LBW des autres tâches produit des gains limités, soulignant la nécessité d'une protection mutuelle dynamique.
  • Profondeur par Couche : Le filtrage des couches fondamentales précoces (où l'énergie d'intrusion est la plus élevée) produit les améliorations les plus significatives, bien qu'un filtrage global soit requis pour des charges de tâches élevées.

Signification et Revendications

Le papier affirme que la fusion de modèles ne consiste pas seulement à résoudre les conflits entre les mises à jour de tâches, mais aussi à respecter et protéger activement les fondations pré-entraînées critiques. En identifiant les dimensions de « Mur Porteur », les auteurs révèlent un angle mort fondamental des méthodes basées sur les vecteurs de tâche existantes : elles manipulent ce qui est explicitement encodé dans les vecteurs de tâche mais négligent la connaissance implicitement stockée dans le modèle pré-entraîné.

La signification de PACT réside dans sa capacité à :

• Fournir une perspective géométrique sur la fusion de modèles qui complète les approches algébriques existantes.
• Offrir une solution modulaire et sans données qui peut être intégrée dans n'importe quel pipeline de fusion de vecteurs de tâche existant sans nécessiter l'accès aux données d'entraînement originales.
• Établir de nouvelles performances SOTA à travers diverses tâches de vision et échelles de modèles, prouvant que la protection des noyaux ancrés est essentielle pour une synthèse multitâche robuste.

Les auteurs concluent que bien que PACT introduise une certaine surcharge de calcul (atténuée par la variante RSVD), il offre un changement de paradigme nécessaire pour gérer les dépendances structurelles inhérentes aux modèles pré-entraînés lors de la fusion. Des travaux futurs sont suggérés pour étendre ce cadre aux grands modèles de langage (LLM) et explorer des dimensionalités adaptatives pour les boucliers de protection.