Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy

1. Problématique

L'adaptation à faible rang (LoRA) est devenue la méthode standard pour adapter les grands modèles de fondation (LLM, VLM) à des tâches spécifiques, car elle est efficace en termes de paramètres et de mémoire. Cependant, une fois plusieurs adaptateurs LoRA entraînés sur différentes tâches, il existe un besoin croissant de les fusionner en un seul modèle généraliste sans réentraînement coûteux (paradigme de Model Merging).

Les méthodes de fusion actuelles (comme Task Arithmetic, TIES-Merging, ou AdaMerging) rencontrent deux défis majeurs lorsqu'elles sont appliquées aux adaptateurs LoRA :

1. Perte de la couverture du sous-espace (Subspace Coverage) : Les mises à jour LoRA occupent des sous-espaces de paramètres différents. Une fusion naïve (moyenne linéaire) peut entraîner un effondrement de ces sous-espaces, réduisant la capacité du modèle fusionné à représenter l'information nécessaire à toutes les tâches.
2. Anisotropie directionnelle : Les différentes directions de rang 1 au sein des adaptateurs LoRA n'ont pas la même sensibilité aux pertes de tâche. Certaines directions dominent la réponse de la perte, tandis que d'autres sont faibles. Ignorer ce déséquilibre (anisotropie) conduit à des compromis de performance sous-optimaux et à une instabilité lorsque les préférences entre les tâches changent.

La plupart des méthodes existantes ne traitent qu'un seul de ces aspects ou ignorent la structure factorisée de LoRA, ce qui limite la robustesse et la généralisation des modèles fusionnés.

2. Méthodologie : TARA-Merging

Les auteurs proposent TARA (Task-Rank Anisotropy Alignment), un cadre de fusion structuré qui adresse simultanément la couverture du sous-espace et l'anisotropie.

A. Analyse Fondamentale

• Couverture du sous-espace : Mesurée par le rang effectif (effective rank) basé sur l'entropie des valeurs singulières. Les auteurs montrent que la fusion standard réduit ce rang, indiquant une perte d'information.
• Anisotropie : Analysée via le nombre de conditionnement de la Jacobienne des pertes de tâche restreinte aux directions LoRA. Un nombre de conditionnement élevé indique que de petites variations dans certaines directions ont un impact disproportionné sur les pertes, créant un déséquilibre.

B. Architecture de TARA

TARA fusionne les adaptateurs en optimisant des poids de sélection directionnelle ($\phi$) pour minimiser une fonction de perte pseudo-entropique pondérée par les préférences de l'utilisateur ($\rho$). Deux variantes sont proposées :

1. Variante A (Sélection par rang) :

   • Traite chaque facteur de rang 1 ($b_{ij}a_{ij}^T$) individuellement.
   • Répond principalement à l'anisotropie en réaffectant les poids à l'intérieur de chaque adaptateur.
   • Moins coûteuse en calcul car elle évite le calcul d'une base partagée.

2. Variante B (Sélection de direction singulière partagée) :

   • Construit une base orthonormée partagée entre toutes les tâches en effectuant une SVD sur la concaténation de tous les vecteurs de tâche ($\Delta W$).
   • Définit de nouvelles directions $S_{ik}$ basées sur les vecteurs singuliers communs.
   • Avantage clé : Préserve explicitement la couverture du sous-espace en maintenant les directions les plus informatives à travers les tâches, tout en gérant l'anisotropie via le rééquilibrage des poids.
   • Offre généralement de meilleures performances au prix d'un coût de calcul supplémentaire (SVD).

C. Optimisation

La méthode utilise une scalarisation de Tchebycheff lissée pour optimiser les poids de fusion sous des préférences utilisateur spécifiées. Contrairement aux méthodes sans apprentissage (learning-free), TARA utilise une optimisation basée sur le gradient (via AdamW) pour ajuster les poids, ce qui est désormais viable même pour les grands modèles grâce à la faible surcharge mémoire des adaptateurs LoRA.

3. Contributions Clés

1. Identification de deux propriétés critiques : Le papier établit que la couverture du sous-espace et l'anisotropie directionnelle sont les deux piliers manquants dans la fusion LoRA actuelle.
2. Cadre TARA : Introduction d'une méthode qui aligne les poids de fusion sur les préférences de tâche tout en préservant la structure des sous-espaces LoRA et en corrigeant les déséquilibres de sensibilité.
3. Validation empirique étendue : Démonstration de performances state-of-the-art sur des benchmarks visuels (8 tâches) et linguistiques (6 tâches NLI avec LLaMA-3), surpassant les méthodes "vanilla" et les méthodes conscientes de LoRA (KnOTS, LoRA-LEGO).

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles de vision (CLIP ViT-B/32) et des LLM (LLaMA-3 8B).

• Évaluation par tâche (Per-Task) : TARA surpasse systématiquement les baselines.
  • Sur les 8 tâches de vision, la variante B atteint une précision normalisée moyenne de 76,3 %, contre 73,6 % pour le meilleur concurrent (KnOTS-TIES).
  • Sur les 6 tâches NLI, la variante B atteint 80,3 %, surpassant largement AdaMerging (78,7 %) et les autres méthodes.
• Évaluation conjointe (Joint-Task) : Dans un scénario où le modèle est évalué sur l'union de toutes les tâches, TARA démontre une meilleure capacité à discriminer les labels de différentes sources, atteignant un Hits@1 de 51,1 % (contre 48,1 % pour AdaMerging).
• Généralisation à des tâches invisibles (Unseen Tasks) : TARA généralise mieux aux tâches pour lesquelles aucun adaptateur n'a été fusionné, prouvant sa capacité à capturer des représentations robustes.
• Analyse de sensibilité aux préférences : TARA produit des courbes de compromis (Pareto fronts) plus lisses et stables que les méthodes de base, indiquant une meilleure robustesse lorsque les priorités entre les tâches changent.
• Efficacité : Bien que TARA utilise une optimisation basée sur le gradient, le coût mémoire et temporel reste compétitif, surtout comparé aux méthodes sans apprentissage qui nécessitent souvent des recherches par grille coûteuses pour les hyperparamètres.

5. Signification et Impact

Ce travail est significatif car il dépasse la simple fusion linéaire des vecteurs de tâche pour adopter une approche structurelle et géométrique de la fusion LoRA.

• Théorique : Il fournit une analyse rigoureuse de la géométrie des mises à jour LoRA, montrant que la préservation de la dimension effective et la gestion de l'anisotropie sont essentielles pour éviter la "catastrophe de l'oubli" ou la dégradation des performances lors de la fusion.
• Pratique : TARA offre une solution robuste pour construire des modèles généraux à partir de nombreux experts LoRA spécialisés, facilitant le déploiement de systèmes multi-tâches sans le coût du réentraînement multi-tâches.
• Généralité : La méthode s'applique aussi bien aux modèles de vision qu'aux grands modèles de langage, suggérant que les principes de couverture de sous-espace et d'anisotropie sont universels pour l'adaptation de modèles.

En résumé, TARA démontre que pour fusionner efficacement des adaptateurs LoRA, il ne suffit pas de moyenner les poids ; il faut comprendre et préserver la structure géométrique des mises à jour tout en ajustant dynamiquement l'importance de chaque direction selon les préférences de l'utilisateur.