Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging

Résumé Technique : Dévoiler l'interférence de LoRA : Des sous-espaces orthogonaux pour une fusion de modèles robuste

Énoncé du problème
Bien que le réglage fin (fine-tuning) des grands modèles de langage (LM) pour des tâches spécifiques produise des performances élevées, maintenir des modèles distincts pour chaque tâche est coûteux en termes de stockage et de déploiement. La fusion de modèles offre une solution en combinant plusieurs modèles spécifiques à une tâche en un seul modèle multi-tâches sans entraînement supplémentaire. Cependant, les méthodes de fusion existantes échouent souvent lorsqu'elles sont appliquées à des modèles ajustés avec la méthode LoRA (Low-Rank Adaptation), entraînant une dégradation significative des performances.

Les auteurs soutiennent que cette dégradation provient d'une interférence de paramètres pilotée par l'interaction entre les paramètres du modèle et les distributions de données. Plus précisément, lors de la fusion de modules LoRA (par exemple, $W_m = W_0 + B_1A_1 + B_2A_2$), le terme de mise à jour d'une tâche ($B_2A_2$) agit comme une « perturbation » involontaire sur les caractéristiques latentes d'une autre tâche ($h_1$), décalant les sorties loin de la réponse attendue. Les approches antérieures sans données (data-free), se concentrant uniquement sur l'orthogonalité ou l'alignement des vecteurs de tâches, négligent souvent cette interaction cruciale entre les caractéristiques latentes et les mises à jour de paramètres.

Méthodologie : OSRM
Le document propose OSRM (Orthogonal Subspaces for Robust model Merging), une méthode qui contraint le sous-espace LoRA avant le réglage fin afin de minimiser l'interférence avec les distributions de données hors tâche.

1. Objectif central : La méthode vise à réduire le terme d'interférence $\|B_2A_2 h_1\|$ en minimisant la norme de Frobenius $\|A_2 H_1^\top\|_F$, où $H_1$ représente la matrice de caractéristiques latentes d'échantillons provenant d'une tâche différente ($T_1$).
2. Solution analytique : Pour éviter les solutions triviales (par exemple, $A_2=0$) et maintenir la capacité de représentation, les auteurs imposent une contrainte stipulant que $A_2$ doit avoir des lignes orthonormées ($A_2 A_2^\top = I$). Sous cette contrainte, l'initialisation optimale pour $A_2$ est dérivée analytiquement en utilisant la décomposition en valeurs propres de la matrice de covariance des échantillons $S = \frac{1}{k-1}H^\top H$. Plus précisément, $A_2$ est initialisé en utilisant les vecteurs propres correspondant aux plus petites valeurs propres de $S$. Cela place le sous-espace LoRA dans des directions où les données hors tâche présentent une variance minimale.
3. Extensions pratiques :
   • Relaxation pendant le réglage fin : Bien que la solution théorique suggère de figer $A_2$, les auteurs constatent que cela dégrade la précision de la tâche unique ; ils utilisent donc la solution analytique uniquement comme initialisation pour $A_2$, permettant à celui-ci d'être mis à jour pendant le réglage fin. Les résultats empiriques montrent que l'écart par rapport à l'état orthogonal initial est marginal (environ 14 %), préservant ainsi la validité de la méthode.
   • Scalabilité et confidentialité : Pour fusionner $N$ tâches, la méthode agrège les caractéristiques latentes de toutes les tâches sauf la tâche cible $T_t$. Pour réduire l'utilisation de la mémoire et répondre aux préoccupations de confidentialité, les auteurs proposent de moyenner les caractéristiques latentes par échantillon avant la concaténation.
   • Application post-hoc : La méthode peut être étendue à des modules LoRA existants en décomposant les poids appris à l'aide de la base dérivée d'OSRM, bien que cela puisse entraîner une certaine perte de performance.

Contributions clés

• Identification de l'interaction Données-Paramètres : Le papier souligne que l'interférence de paramètres dans la fusion LoRA n'est pas seulement une fonction des conflits de poids, mais est profondément liée à la manière dont les paramètres interagissent avec des distributions de données spécifiques.
• Contrainte pré-réglage fin : Contrairement aux travaux antérieurs qui opèrent pendant ou après la fusion, OSRM intervient avant le réglage fin en initialisant le sous-espace LoRA pour qu'il soit orthogonal aux distributions de données non pertinentes.
• Intégration Plug-and-Play : L'approche est conçue pour s'intégrer de manière transparente aux algorithmes de fusion existants (ex: Task Arithmetic, Fisher Merging, TIES, RegMean, EMR) sans nécessiter de modifications de la logique de fusion elle-même.
• Robustesse : La méthode démontre une sensibilité réduite aux hyperparamètres tels que les coefficients d'échelle, la taille des échantillons et le nombre de tâches.

Résultats expérimentaux
Les auteurs ont évalué OSRM sur huit jeux de données du benchmark GLUE en utilisant trois modèles de langage largement utilisés (RoBERTa-large, T5-large, Llama3.2-1B) et deux modèles plus grands (Llama3.2-3B, Llama3-8B).

• Gains de performance : OSRM a systématiquement surpassé les bases de comparaison de fusion existantes sur tous les modèles et techniques de fusion testés.
  • Sur RoBERTa-large, OSRM a considérablement amélioré la performance moyenne par rapport aux bases (ex: +13 % sur CoLA pour Task Arithmetic, +21 % sur MNLI pour Fisher Merging).
  • Sur T5-large, il a nettement surpassé les bases sur RegMean (+3,76 % en moyenne) et Fisher (+7,9 % en moyenne).
  • Sur Llama3.2-1B et 3B, OSRM a dépassé les bases sur TA, RegMean, TIES et EMR, avec des améliorations par tâche atteignant jusqu'à 12,78 %.
• Préservation de la tâche unique : La méthode impacte de manière minimale la précision de la tâche unique (écart moyen <1 %) et surpasse souvent la performance de la tâche unique de référence.
• Robustesse :
  • Coefficient d'échelle : OSRM a maintenu une performance supérieure sur une large gamme de coefficients d'échelle ($\lambda \in [0,1, 1,3]$), alors que les bases étaient plus sensibles.
  • Taille de l'échantillon : La méthode a bien fonctionné avec seulement 100 échantillons pour l'initialisation.
  • Nombre de tâches : Les avantages de performance sont devenus plus prononcés à mesure que le nombre de tâches fusionnées augmentait ($N > 5$).

Signification et affirmations
Le papier affirme qu'OSRM offre une stratégie généralisable pour combiner les modèles LoRA plus efficacement en traitant explicitement l'interaction entre les données et les paramètres. Les auteurs soulignent que leur approche fournit une solution plug-and-play qui améliore la performance de fusion tout en préservant la précision de la tâche unique. Ils soutiennent que la prise en compte des interactions données-paramètres est cruciale pour une fusion de modèles robuste, allant au-delà des stratégies purement sans données qui se concentrent uniquement sur l'alignement des poids. Les résultats suggèrent que contraindre le sous-espace LoRA avant le réglage fin est une étape vitale pour atténuer les décalages de sortie involontaires qui affectent actuellement la fusion de modèles LoRA.