Résumé Technique : Quand le Savoir Partagé Nuit : L'Accumulation Spectrale Excessive dans la Fusion de Modèles

1. Énoncé du Problème

La fusion de modèles combine plusieurs modèles fine-tunés en un modèle unique unifié en opérant directement dans l'espace des poids, offrant une alternative légère au réentraînement. Alors que les méthodes existantes se concentrent principalement sur la résolution des conflits entre les mises à jour de tâches (par exemple, via le masquage ou l'élagage), elles négligent souvent un mode de défaillance spécifique : l'accumulation spectrale excessive.

Les auteurs identifient que lorsque plusieurs tâches partagent des directions spectrales alignées (c'est-à-dire des vecteurs singuliers se chevauchant), une simple combinaison linéaire des matrices de tâches agrège de manière répétée ces composantes partagées. Ce phénomène entraîne :

• Inflation des valeurs singulières : Les valeurs singulières correspondant aux sous-espaces partagés deviennent disproportionnellement grandes.
• Déséquilibre spectral : Le modèle fusionné devient dominé par quelques sous-espaces spectraux supérieurs contenant des connaissances partagées, tandis que les composantes spécifiques à chaque tâche dans les sous-espaces restants sont supprimées.
• Dégradation des performances : Contrairement à l'intuition selon laquelle le savoir partagé est bénéfique, sa sur-comptabilisation biaise le modèle et réduit les performances en aval sur des benchmarks de vision et de langage.

2. Méthodologie : Calibration des Valeurs Singulières (SVC)

Pour remédier à l'accumulation spectrale excessive sans nécessiter de données supplémentaires, d'entraînement ou d'optimisation, les auteurs proposent la Calibration des Valeurs Singulières (SVC), une méthode de post-traitement.

Fondement Théorique

La méthode repose sur une analyse de projection dans l'espace de sortie. En décomposant la matrice de tâche fusionnée $\Delta W_{merge}$ par Décomposition en Valeurs Singulières (SVD), les auteurs définissent une base d'espace de sortie partagée $\{u_r\}$. Ils projettent les matrices de tâches individuelles sur cette base pour mesurer dans quelle mesure chaque tâche contribue à des sous-espaces spectraux spécifiques.

• Coefficient de Projection ($s_i^r$) : Cette métrique quantifie l'échelle de la réponse de la tâche $i$ dans le sous-espace $r$ après fusion. Si $s_i^r > 1$, cela indique que la mise à jour fusionnée a amplifié la direction de la tâche $i$ en raison d'une accumulation constructive provenant d'autres tâches (sur-comptabilisation spectrale).
• Mécanisme d'Inflation : L'article démontre que des produits scalaires inter-tâches positifs dans l'espace de sortie conduisent à $s_i^r > 1$, provoquant la valeur singulière fusionnée $\sigma_r$ à dépasser la magnitude optimale de projection requise pour préserver les capacités individuelles des tâches.

Étapes de l'Algorithme

1. Construction de la Base : Calculer la SVD de la matrice de tâche fusionnée $\Delta W_{merge} = U\Sigma V^\top$ pour obtenir les vecteurs singuliers gauches $\{u_r\}$ en tant que système de coordonnées partagé.
2. Quantification du Chevauchement : Pour chaque sous-espace $r$ et tâche $i$, calculer le coefficient de projection $s_i^r = \frac{\langle a_{merge}^r, a_i^r \rangle}{\|a_i^r\|_2^2}$, où $a^r$ représente la réponse le long de $u_r$.
3. Facteur de Calibration : Agréger ces coefficients à travers les tâches pour dériver un facteur de calibration $\gamma_r$ pour chaque sous-espace. Ce facteur est conçu pour pondérer négativement les sous-espaces présentant une forte sur-comptabilisation (où de nombreuses $s_i^r$ sont grandes).
   • $\gamma_r = K / \sum_{i=1}^K \max(\alpha, s_i^r)$, où $\alpha$ est un hyperparamètre (par défaut $1/K$) empêchant l'instabilité.
4. Redimensionnement : Ajuster les valeurs singulières tout en maintenant les vecteurs singuliers (directions) fixes : $\tilde{\sigma}_r = \gamma_r \sigma_r$.
5. Reconstruction : Reconstruire la matrice fusionnée calibrée $\tilde{\Delta W}_{merge} = \sum \tilde{\sigma}_r u_r v_r^\top$ et mettre à jour les poids pré-entraînés.

3. Contributions Clés

• Identification de la Sur-Comptabilisation Spectrale : L'article isole un mode de défaillance spécifique dans la fusion de modèles où l'agrégation redondante de connaissances partagées gonfle les valeurs singulières dans les sous-espaces dominants, distinct des conflits de poids traditionnels.
• Méthode SVC : Une technique de post-traitement sans entraînement et sans données qui quantifie le chevauchement de l'espace de sortie et redimensionne les valeurs singulières pour restaurer l'équilibre spectral. Elle agit comme un module plug-in compatible avec les bases de fusion existantes.
• Validation Théorique et Empirique : Les auteurs fournissent une analyse théorique reliant les décalages de projection à l'inflation des valeurs singulières et démontrent que ce phénomène persiste à travers diverses stratégies de fusion (par exemple, Task Arithmetic, TIES, DARE).

4. Résultats Expérimentaux

Les auteurs ont évalué SVC sur divers benchmarks en utilisant des modèles de Vision (ViT-B/32, ViT-B/16, ViT-L/14) et de Langage (BERT, T5, LLaMA2-7B, T0).

• Vision par Ordinateur (CV) : Sur un benchmark de classification à 8 tâches, SVC a amélioré la base Task Arithmetic (TA) de 13,0 % (passant de 68,9 % à 81,9 % de précision moyenne). Il a également produit des gains constants par rapport à d'autres bases solides comme TIES, DARE et TSV-M.
• Traitement du Langage Naturel (NLP) : SVC a amélioré les performances à travers des tâches de classification et génératives. Par exemple, sur le modèle T0 avec un fine-tuning IA3, SVC a amélioré TA de 12,3 %. Sur LLaMA2-7B, il a montré des gains significatifs sur les benchmarks AlpacaEval et GSM8K.
• Généralité : La méthode s'est avérée efficace à travers différentes tailles et architectures de modèles. Elle a également fonctionné comme un outil d'« optimisation des préférences », permettant au modèle fusionné de prioriser des tâches spécifiques en ajustant la calibration en fonction d'une tâche cible.
• Efficacité : SVC introduit une surcharge minimale, ne nécessitant qu'une seule étape de SVD hors ligne et de reconstruction sans calcul de gradient ni données auxiliaires.

5. Signification et Revendications

L'article revendique que les échecs de la fusion de modèles ne sont pas uniquement dus à des mises à jour conflictuelles, mais découlent également de l'accumulation redondante de composantes alignées. En déplaçant le focus de la résolution des conflits vers l'équilibre spectral, SVC offre un mécanisme simple mais efficace pour corriger la « sur-comptabilisation » du savoir partagé.

Les auteurs positionnent SVC comme un outil complémentaire pouvant être appliqué par-dessus les méthodes de fusion existantes (y compris les méthodes d'espace spectral comme Iso-CTS) pour affiner davantage les performances. Ils soulignent que si d'autres méthodes peuvent adresser les conflits ou l'effondrement du rang, SVC cible spécifiquement l'inflation des sous-espaces dominants causée par l'interférence constructive, restaurant ainsi un spectre plus équilibré et améliorant la généralisation à travers plusieurs tâches.