Résumé Technique : Mélange Guidé par la Courbure pour l'Adaptation des MLLM

Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) possèdent des connaissances générales étendues acquises grâce à un pré-entraînement à l'échelle du web. Cependant, l'adaptation de ces modèles à des tâches spécialisées en aval via le réglage fin (fine-tuning) entraîne souvent un oubli catastrophique, où le modèle perd ses capacités générales fondamentales au profit de nouvelles compétences spécifiques à la tâche. Les solutions existantes, telles que la fusion de modèles heuristique (ex: Spider) ou le réglage fin efficace en paramètres (PEFT), échouent souvent à équilibrer efficacement l'adaptation à la tâche et la rétention des connaissances. Beaucoup reposent sur des fonctions de score artisanales sans fondement théorique solide ou optimisent uniquement la performance sur la tâche en aval, négligeant la préservation des connaissances pré-entraînées.

Méthodologie

Les auteurs proposent le Curvature-Guided Mixing (CGM), un cadre théoriquement fondé qui fusionne les modèles pré-entraînés ($w_{pt}$) et réglés finement ($w_{ft}$) en analysant la géométrie de leurs paysages de perte respectifs.

1. Approximation du Paysage de Perte

La méthode modélise la géométrie locale des fonctions de perte pour les tâches de pré-entraînement ($\ell_{pt}$) et de réglage fin ($\ell_{ft}$) en utilisant un développement de Taylor du second ordre autour de leurs poids optimaux.

• Hypothèses : Les gradients aux optima convergés sont nuls ($\nabla \ell = 0$), et la solution fusionnée se situe dans la région jointe de faible perte, permettant de négliger les termes d'ordre supérieur.
• Approximation : La perte est approximée par une fonction quadratique impliquant la matrice Hessienne ($H$), qui capture la courbure locale. Pour assurer la tractabilité computationnelle, la méthode utilise les entrées diagonales des matrices Hessiennes ($h_{pt}$ et $h_{ft}$), réduisant la complexité de $O(d^2)$ à $O(d)$.

2. CGM : Mélange Doux (Solution à Forme Fermée)

Le cadre formule un objectif d'optimisation conjoint pour minimiser la somme pondérée des pertes pour les deux tâches. En paramétrant les poids fusionnés comme une interpolation linéaire ($w_i = w_{ft,i} + \lambda_i(w_{pt,i} - w_{ft,i})$), les auteurs dérivent un ratio de mélange optimal en forme fermée ($\lambda_i^*$) pour chaque paramètre :

$$\lambda_i^* = \frac{\alpha h_{pt,i}}{h_{ft,i} + \alpha h_{pt,i}}$$

Où :

• $h_{pt,i}$ et $h_{ft,i}$ sont les entrées diagonales de la Hessienne (courbures) pour les tâches de pré-entraînement et de réglage fin, respectivement.
• $\alpha$ est un hyperparamètre équilibrant les deux objectifs.
• Interprétation : Les paramètres présentant une courbure de pré-entraînement élevée (paysage de perte abrupt pour les tâches générales) sont maintenus plus proches des valeurs pré-entraînées, tandis que ceux ayant une courure de réglage fin élevée sont maintenus plus proches des valeurs réglées finement. Ce "mélange doux" est une mise à jour dense qui fusionne tous les paramètres.

3. CGM† : Mélange Dur (Sélection Sparse)

Reconnaissant que les mises à jour denses peuvent être perturbatrices, les auteurs introduisent CGM†, une variante de "mélange dur" qui reformule le problème comme une tâche de sélection de paramètres parcimonieuse (sparse).

• Mécanisme : Au lieu de fusionner les poids, la méthode prend une décision binaire pour chaque paramètre : soit conserver le poids réglé finement ($w_{ft}$), soit revenir au poids pré-entraîné ($w_{pt}$).
• Scoring : Un score sensible à la courbure $c_i$ est dérivé pour classer les paramètres :
  $$c_i = \frac{1}{2}(h_{ft,i} - \alpha h_{pt,i})\Delta_i^2$$
  où $\Delta_i = w_{pt,i} - w_{ft,i}$.
• Sélection : La méthode rétablit les $K\%$ supérieurs de paramètres ayant les scores $c_i$ les plus faibles (indiquant qu'ils sont critiques pour les connaissances générales mais moins critiques pour la nouvelle tâche) vers leurs valeurs pré-entraînées. Cela impose une contrainte $L_0$ implicite, assurant une modification minimale et ciblée.

Contributions Clés

1. Cadre Théoriquement Fondé : Le papier introduit le CGM, qui dérive une règle de mélange optimale directement d'un objectif d'optimisation conjoint utilisant des informations de courbure de second ordre, allant au-delà du scoring heuristique.
2. Mélange Dur Parcimonieux (CGM†) : Une variante robuste qui traite la fusion comme un problème de sélection parcimonieuse, utilisant un nouveau score sensible à la courbure pour identifier et rétablir uniquement les paramètres les plus critiques pour la rétention des connaissances générales.
3. Validation Empirique : Des expériences approfondies sur LLaVA-1.5-7B et Qwen-2.5VL-3B à travers plusieurs tâches en aval (OKVQA, Flickr30k, LaTeX-OCR) démontrent que CGM et CGM† surpassent systématiquement les bases existantes (Tailor, DARE, Grafting, Wanda) en équilibrant la spécialisation de la tâche et la rétention des connaissances générales.

Résultats Expérimentaux

• Métriques de Performance : Les auteurs évaluent en utilisant le Hscore (moyenne harmonique de la performance de la tâche cible et de la moyenne pré-entraînée) et l'Avg (moyenne arithmétique).
• Principales Conclusions :
  • Sur LLaVA-1.5 réglé sur OKVQA, CGM† a obtenu le Hscore le plus élevé (62.8) et a maintenu un Pre-Avg élevé (65.7), surpassant de manière significative le modèle réglé finement (Hscore 53.9) et les autres bases de fusion.
  • Sur Qwen-2.5VL, les méthodes proposées ont systématiquement obtenu des compromis supérieurs, récupérant souvent la performance quasi-originale du modèle pré-entraîné sur les benchmarks généraux tout en maintenant des scores forts pour les tâches spécifiques.
  • Études d'Ablation : Le retrait de la courbure de réglage fin ou de la courbure de pré-entraînement de la fonction de score a conduit à des résultats sous-optimaux (soit un surapprentissage, soit un oubli excessif), confirmant la nécessité de la formulation de courbure conjointe.
  • Sensibilité aux Hyperparamètres : Le ratio de parcimonie $K$ s'est révélé robuste ; même avec seulement 10 % de paramètres rétablis, les connaissances générales ont été largement préservées. Le coefficient d'équilibre $\alpha$ influençait principalement la performance de la tâche cible, avec un équilibre optimal trouvé à de petites valeurs ($\approx 0.1$).
  • Structure de Sélection : L'analyse visuelle des masques de sélection a révélé que CGM† sélectionne des groupes de paramètres cohérents et structurés (bandes verticales dans les couches d'attention), contrairement aux bases comme Magnitude et Tailor qui produisent un bruit diffus et non structuré.

Signification et Revendications

Le papier affirme que le Curvature-Guided Mixing fournit une solution fondée sur des principes au problème de l'oubli catastrophique dans les MLLM en exploitant la géométrie des paysages de perte. En dérivant analytiquement les ratios de mélange basés sur les courbures relatives, la méthode évite les pièges des approches heuristiques. Les auteurs affirment que leur travail établit un nouvel état de l'art dans la fusion de modèles, démontrant que les informations de second ordre peuvent être utilisées efficacement pour créer des modèles qui sont à la fois hautement spécialisés pour de nouvelles tâches et robustes dans leur intelligence générale fondamentale. Le travail suggère que le "mélange doux" dérivé de l'optimisation conjointe et le "mélange dur" de sélection parcimonieuse sont des stratégies complémentaires pour une adaptation efficace des MLLM.