Label-Free Cross-Task LoRA Merging with Null-Space Compression

1. Problématique

L'ère des modèles de fondation (Foundation Models) a vu l'adoption massive du Low-Rank Adaptation (LoRA) pour le fine-tuning, car il permet d'adapter de grands modèles (LLM, VLM) avec un nombre de paramètres entraînés très réduit. Cependant, une fois plusieurs modèles LoRA entraînés indépendamment sur différentes tâches, il devient crucial de les fusionner en un seul modèle capable de gérer ces multiples tâches sans nécessiter de réentraînement conjoint coûteux ni d'accès aux données étiquetées.

Les méthodes existantes de fusion de modèles (Model Merging) souffrent de limitations majeures dans ce contexte :

• Limitation des tâches homogènes : De nombreuses approches fonctionnent bien pour la classification, mais échouent lorsque les tâches sont hétérogènes (mélange de classification et de régression, comme la détection de profondeur).
• Dépendance aux étiquettes et à l'entropie : Les méthodes basées sur le gradient, comme AdaMerging, utilisent la minimisation de l'entropie de sortie comme signal d'optimisation. Cette approche est inapplicable aux problèmes de régression (où l'entropie n'est pas définie) et devient prohibitivement coûteuse pour les LLM et VLM, car le calcul de l'entropie doit être effectué pour chaque token généré, augmentant la complexité avec la longueur de la séquence.
• Inefficacité des méthodes sans gradient : Les approches sans gradient (Task Arithmetic, TIES, DARE) tendent à s'effondrer sur des tâches denses complexes (segmentation, régression) lors de la fusion de modèles hétérogènes.

2. Méthodologie : Null-Space Compression (NSC)

Les auteurs proposent NSC Merging, une méthode de fusion sans étiquettes (label-free) et agnostique vis-à-vis de la tâche, qui repose sur une observation géométrique fondamentale de la structure LoRA.

Observation Clé : Compression de l'Espace Nul

Dans une adaptation LoRA, la mise à jour des poids est définie par $\Delta W = BA$, où $A$ est la matrice de projection vers le bas (down-projection) et $B$ la matrice de projection vers le haut.

• La matrice $A$ projette les activations d'entrée dans un sous-espace de faible dimension.
• Les composantes des activations qui tombent dans le noyau (null space) de $A$ sont ignorées.
• Les auteurs observent que lors du fine-tuning, le rapport de l'espace nul (null-space ratio) diminue systématiquement. Ce rapport mesure la proportion de l'activation supprimée par la projection.
• Corrélation : Une diminution de ce rapport (c'est-à-dire une meilleure utilisation de l'espace du sous-espace LoRA) est fortement corrélée à une amélioration des performances de la tâche.

Algorithme NSC

Au lieu d'utiliser l'entropie de sortie, NSC utilise la réduction du rapport de l'espace nul comme signal d'optimisation pour apprendre les coefficients de fusion ($\lambda$).

1. Calcul du Signal : Pour un échantillon non étiqueté $x$, on calcule le rapport de l'espace nul $\omega(z)$ pour les couches LoRA. Une formulation efficace utilisant l'inverse de la matrice de Gram $(AA^\top)^{-1}$ permet de calculer ce rapport sans construire la matrice de projection complète, réduisant la complexité de $O(d^2)$ à $O(r^2)$ (où $r$ est le rang LoRA, très petit).
2. Objectif d'Optimisation : L'objectif est de minimiser l'espérance du rapport de l'espace nul moyen sur un ensemble de validation non étiqueté :
   $$\min_{\{\lambda_k\}} \frac{1}{K} \sum_{k=1}^K \mathbb{E}_{x \sim D_k} [\Omega_k(x; \Theta_{merge})]$$
   où $\Theta_{merge}$ est le modèle fusionné.
3. Avantages :
   • Applicable à la régression : Ne dépend pas des sorties probabilistes, donc fonctionne pour la régression et la génération.
   • Efficacité pour les séquences longues : Le signal est calculé à partir de l'entrée (ou du premier token), rendant le coût indépendant de la longueur de la séquence générée, contrairement à AdaMerging.
   • Généralisation : Fonctionne sur des tâches hétérogènes (classification + régression).

3. Contributions Principales

1. Découverte théorique et empirique : Identification du fait que le fine-tuning LoRA comprime systématiquement l'espace nul de la matrice de projection $A$, et que cette compression est un indicateur robuste de la performance de la tâche.
2. Nouvelle méthode de fusion (NSC) : Proposition d'un algorithme de fusion basé sur le gradient qui utilise cette compression comme signal d'apprentissage, éliminant le besoin d'étiquettes et d'objectifs basés sur l'entropie.
3. Validation à grande échelle : Démonstration de l'efficacité de la méthode sur 20 tâches de vision hétérogènes, 6 benchmarks NLI (LLM) et 6 tâches Vision-Language (VLM), surpassant les méthodes de l'état de l'art.

4. Résultats Expérimentaux

Les expériences ont été menées sur des architectures variées (ViT, LLaMA-3, LLaVA) et des tâches diverses.

• Vision Hétérogène (20 tâches) : Sur les ensembles NYUD-v2, PASCAL-Context et Taskonomy (mélange de segmentation sémantique, estimation de profondeur, détection de bords, etc.), NSC atteint un score moyen normalisé de 92,0%.
  • Les méthodes sans gradient (Task Arithmetic, TIES) s'effondrent sur les tâches de régression et de prédiction dense (ex: < 2% sur la segmentation NYUD-v2 pour TIES).
  • NSC maintient des performances équilibrées sur toutes les tâches, évitant le surapprentissage sur un sous-ensemble de tâches.
• LLM (NLI) : Sur 6 benchmarks d'inférence linguistique avec LLaMA-3-8B, NSC obtient 92,3% de précision normalisée, surpassant AdaMerging (89,6%) et les méthodes sans gradient.
• VLM (Vision-Language) : Sur 6 tâches (VQA, légendage d'images) avec LLaVA-1.5-7B, NSC atteint 82,7% de performance normalisée.
  • Efficacité computationnelle : Contrairement à AdaMerging (Full Token) qui doit calculer l'entropie sur tous les tokens générés, NSC calcule son signal dès l'entrée. Cela rend NSC environ 7 fois plus rapide que la version "Full Token" d'AdaMerging tout en obtenant des résultats supérieurs ou équivalents.
• Généralisation : Dans un protocole "vu/non-vu" (10 tâches vues, 10 non vues), NSC démontre une capacité de transfert supérieure (87,1% sur les tâches non vues) par rapport aux baselines.

5. Signification et Impact

Ce travail est significatif car il résout le problème de la fusion de modèles pour des scénarios réels complexes où les tâches sont hétérogènes et les données étiquetées indisponibles.

• Universalité : NSC comble le vide laissé par les méthodes basées sur l'entropie, qui sont inapplicables à la régression et inefficaces pour les modèles génératifs longs.
• Efficacité : En exploitant la géométrie interne des adaptateurs LoRA (matrice $A$) plutôt que les sorties du modèle, NSC offre une méthode de fusion scalable et économique en termes de calcul, particulièrement adaptée aux grands modèles de fondation.
• Praticité : La méthode permet de combiner des experts LoRA entraînés indépendamment sur des tâches disparates (ex: un modèle de détection de profondeur et un modèle de classification) en un seul modèle performant, facilitant le déploiement de systèmes multi-tâches sans réentraînement massif.

En résumé, NSC Merging établit un nouvel état de l'art pour la fusion de modèles LoRA, offrant une solution robuste, sans étiquettes et efficace pour l'intégration de connaissances dans les modèles de fondation modernes.