Résumé Technique : DualSFT – Un Algorithme, Deux Objectifs pour le Finetuning des LLM

1. Énoncé du Problème

Le finetuning des Grands Modèles de Langage (LLM) fait face à des coûts prohibitifs aux échelles modernes, stimulant la recherche vers deux stratégies distinctes d'efficacité : le Finetuning Économe en Paramètres (PEFT) et le Finetuning Économe en Données (DEFT). Les méthodes PEFT (par exemple, sélection de paramètres, LoRA) réduisent la mémoire d'état entraînable, tandis que les méthodes DEFT (par exemple, sélection de données, rééquilibrage) réduisent la charge d'optimisation.

Actuellement, ces stratégies opèrent de manière indépendante. Lorsqu'un masque de paramètres et un sous-ensemble de données sont tous deux appliqués pour restreindre les mises à jour, les approches existantes emploient généralement des mécanismes de notation séparés. Cette séparation engendre une surcharge computationnelle redondante et crée un décalage de coordination : un masque de paramètres sélectionné sans tenir compte du sous-ensemble de données spécifique (et vice versa) peut conduire à une performance conjointe sous-optimale. L'article postule que, puisque les masques de paramètres et les sous-ensembles de données déterminent conjointement les mises à jour restreintes, ils devraient être sélectionnés via une règle de notation partagée plutôt que par des mécanismes déconnectés.

2. Méthodologie : DualSFT

Les auteurs proposent DualSFT (Dual-Selection Fine-Tuning), un algorithme en une seule passe qui extrait conjointement l'importance des paramètres et l'utilité des données à partir de statistiques de gradient partagées. L'insight théorique central consiste à formuler la sélection de paramètres et de données comme deux facettes d'un seul problème de surrogat de réponse locale sous un objectif de validation commun.

2.1 Fondement Théorique : Formulation Bilevel et Surrogats

Le processus de sélection est formulé comme deux problèmes d'optimisation bilevel partageant un objectif de validation externe $\mathcal{L}_{val} = \mathcal{L}_{new} + \lambda \mathcal{L}_{prior}$, où $\mathcal{L}_{new}$ est la perte de la tâche cible et $\mathcal{L}_{prior}$ préserve les capacités pré-entraînées.

• Niveau Extérieur : Sélectionne un masque contraint par un budget (masque de paramètres $\mathbf{m}_\theta$ ou masque de données $\mathbf{m}_D$).
• Niveau Intérieur : Calcule la mise à jour de paramètres optimale $\delta^*$ induite par le masque sélectionné.

Résoudre ces problèmes exactement est intraitable pour les LLM. Les auteurs approximent la réponse interne en utilisant une mise à jour de gradient en une étape à un point de contrôle de préchauffage commun $\bar{\theta}$. Cela produit des surrogats locaux où la direction de mise à jour dépend du sous-ensemble sélectionné.

2.2 La Matrice d'Interaction Partagée

En développant l'objectif de validation autour de $\bar{\theta}$ à l'aide d'approximations de Taylor du premier et du second ordre, les auteurs dérivent une matrice d'interaction de gradient $\mathbf{M} \in \mathbb{R}^{N \times D}$ (où $N$ est le nombre d'échantillons et $D$ la dimension des paramètres).

• Importance des Paramètres : Émerge comme l'agrégation colonne par colonne de $\mathbf{M}$.
• Utilité des Données : Émerge comme l'agrégation ligne par ligne de $\mathbf{M}$.

Cette structure révèle une dualité ligne-colonne : les deux signaux sont dérivés du même objet algébrique. Les scores sous forme fermée admettent une interprétation par la valeur de Shapley, traitant la sélection comme un jeu coopératif où la matrice d'interaction fournit l'attribution des crédits.

2.3 Le Pipeline de l'Algorithme DualSFT

L'algorithme s'exécute en trois étapes :

1. Préchauffage Pilote : Un préchauffage léger (1 époque, 5 % des données) établit un point de contrôle stable $\bar{\theta}$ et estime la courbure diagonale $\hat{c}$ en utilisant le tampon du second moment d'AdamW.
2. Notation Duale en Une Passe :
   • Un vecteur de projection d'amélioration de validation $\mathbf{u}$ est construit : $\mathbf{u} = \eta_{sc}(\nabla \mathcal{L}_{new} + \lambda \nabla \mathcal{L}_{prior}) - \frac{\eta_{sc}^2}{2} \hat{c} \odot \mathbf{G}$, où $\mathbf{G}$ est le gradient d'entraînement accumulé.
   • Scores de Paramètres : $s_{\theta, d} = u_d G_d$ (agrégation colonne).
   • Scores de Données : $s_{D, n} = \langle \mathbf{u}, \mathbf{g}_n \rangle$ (agrégation ligne, calculée via le Produit Scalaire Fantôme pour éviter la matérialisation des gradients par échantillon).
   • Les $k$ paramètres supérieurs et les $b$ échantillons supérieurs sont sélectionnés sur la base de ces scores signés.
3. Finetuning Restreint : Le modèle est finetuné sur le sous-ensemble de données sélectionné en utilisant uniquement les paramètres sélectionnés.

2.4 Mécanisme de Préservation

Pour atténuer l'oubli catastrophique sans accès aux données de pré-entraînement, DualSFT emploie la Distillation Self-pondérée par la Confiance (CWSD). Cela construit la direction de préservation $\nabla \mathcal{L}_{prior}$ en minimisant la divergence KL entre le modèle actuel et le modèle pré-entraîné original sur un ensemble d'ancrage, pondérée par la confiance des prédictions du modèle original.

3. Contributions Clés

1. Théorie de Notation Unifiée : La dérivation d'une règle de notation de surrogat de réponse partagée qui transforme les problèmes séparés de sélection de paramètres et de données en agrégations ligne par ligne et colonne par colonne d'une seule matrice d'interaction de gradient, soutenue par une interprétation localisée de Shapley.
2. Algorithme DualSFT : Un algorithme pratique de notation duale en une seule passe qui coordonne la sélection de paramètres et de données simultanément, éliminant les passes de notation redondantes et les lacunes de coordination trouvées dans les hybrides séquentiels de base.
3. Direction de Préservation : Une direction de préservation sans corpus utilisant la CWSD qui atténue efficacement l'oubli pendant le finetuning restreint.
4. Validation Empirique : Expériences complètes sur des LLM de 3B à 9B (Llama-3.2, Gemma-3, Qwen-3.5) couvrant la génération de code et le raisonnement mathématique.

4. Résultats Expérimentaux

Les expériences ont été menées sur Magicoder (code) et MetaMathQA (math) avec des budgets appariés (10 % de données, 5 % de paramètres).

• Performance : DualSFT surpasse les bases uniaxes (par exemple, LESS, S2FT, NanoAdam) et les hybrides séquentiels (par exemple, LESS + S2FT, SPICE + NanoAdam).
  • Sur Llama-3.2-3B (Magicoder), DualSFT complet a obtenu un score Global de 47,10 %, surpassant l'hybride séquentiel le plus fort (SPICE + NanoAdam à 44,71 %) de 2,39 points.
  • Les variantes de DualSFT ont constamment mené leurs groupes de comparaison respectifs tant en plasticité (performance de la tâche cible) qu'en stabilité (rétention des capacités générales).
• Efficacité : DualSFT réduit les coûts de finetuning. DualSFT complet a obtenu ses résultats avec 7,4 heures-GPU et 28,5 Go de mémoire de pointe pour la sélection, surpassant les hybrides séquentiels dans le compromis contraint conjoint.
• Ablations :
  • Supprimer l'étape de préchauffage a considérablement nui à la plasticité.
  • Supprimer la CWSD a considérablement nui à la stabilité.
  • L'utilisation d'une notation uniquement du premier ordre (ignorant la courbure diagonale) a causé la plus grande baisse de performance globale, validant l'approximation du second ordre.
• Analyse Diagnostique : L'article confirme que la notation en une seule passe capture la majeure partie de la structure conjointe, car la re-sélection côté fixe (re-noter un axe après en avoir fixé l'autre) produit des gains marginaux (<0,12 point) au prix d'une augmentation significative du calcul.

5. Signification et Revendications

L'article revendique que DualSFT représente un passage du traitement de la sélection de paramètres et de données comme des heuristiques indépendantes à leur vision comme ressources d'adaptation couplées. En dérivant les deux signaux d'un seul surrogat d'amélioration de validation, la méthode :

• Réduit la Redondance : Élimine le besoin de mécanismes de notation séparés et de passes conditionnelles répétées.
• Améliore la Coordination : Aligne les axes de sélection avant la mise à jour conjointe, évitant le « décalage de coordination » où des sélections indépendantes mélangent des signaux non vérifiés.
• Équilibre les Compromis : Atteint une frontière stabilité-plasticité-efficacité plus favorable que les méthodes séquentielles ou uniaxes existantes sous des budgets appariés.

Les auteurs notent modestement que la méthode repose sur un surrogat local, ce qui signifie que la fidélité des scores peut diminuer à mesure que l'optimisation s'éloigne du point de contrôle de préchauffage. Ils suggèrent une re-sélection dynamique comme direction future pour des horizons d'adaptation plus longs, mais soulignent que l'approche en une seule passe est hautement rentable pour les budgets étudiés.