Résumé Technique : Oubli Spectral via DG-Hard

Énoncé du Problème

L'affinement fin (fine-tuning) de grands modèles de langage (LLM) pour des tâches cibles spécifiques induit systématiquement un oubli catastrophique, où les capacités présentes dans le modèle de base pré-entraîné ($W_{base}$) sont dégradées ou détruites, même si les données d'entraînement n'ont jamais explicitement menacé ces capacités. Ce phénomène se manifeste comme un « changement collatéral » dans la mise à jour des poids $\Delta = W_{ft} - W_{base}$ : tandis que la mise à jour contient un signal structuré de faible rang aligné sur la nouvelle tâche, elle accumule également un résidu de bruit de type IID (indépendant et identiquement distribué) provenant des étapes de descente de gradient stochastique (SGD). Ce résidu de bruit déforme les caractéristiques pré-entraînées, entraînant des effondrements de performance sur des benchmarks réservés (par exemple, un affinement fin médical réduisant drastiquement le raisonnement mathématique).

Les méthodes de réparation a posteriori existantes tentent de récupérer ces capacités perdues en opérant dans l'espace des coordonnées (par exemple, l'interpolation scalaire comme WiSE-FT, l'abandon aléatoire comme DARE, ou l'élagage par magnitude/signe comme TIES et FAPM). Cependant, ces approches font face à un problème fondamental de représentation : les entrées pertinentes pour la tâche et les entrées résiduelles nocives sont entrelacées par leur magnitude, leur signe et leur position, rendant difficile la séparation du signal du bruit sans sacrifier soit les gains de la tâche cible, soit les capacités récupérées.

Méthodologie : DG-Hard

L'article propose DG-Hard, une méthode de réparation a posteriori, sans données et sans gradient, qui opère dans l'espace des valeurs singulières plutôt que dans l'espace des coordonnées. L'hypothèse centrale est que la mise à jour d'affinement $\Delta$ suit un modèle signal-plus-bruit :
$$\Delta = \Delta_{signal} + \Delta_{noise}$$
où $\Delta_{signal}$ est une mise à jour de faible rang alignée sur la tâche, et $\Delta_{noise}$ est un résidu IID que la descente de gradient n'a aucune incitation à éliminer.

L'Approche Spectrale

1. Décomposition Signal-plus-Bruit : La méthode traite le delta de poids $\Delta$ pour chaque matrice de poids 2D comme la somme d'un composant structuré de faible rang et d'un composant de bruit matriciel aléatoire. Les preuves empiriques suggèrent que le spectre du composant de bruit suit la distribution de Marchenko-Pastur (MP), tandis que le signal apparaît sous forme d'un nombre fini de pics de valeurs singulières aberrantes.
2. Seuillage Dur Optimal : Au lieu d'un élagage ou d'une interpolation arbitraires, DG-Hard applique le seuillage dur optimal des valeurs singulières de Donoho-Gavish à la Décomposition en Valeurs Singulières (SVD) de $\Delta$.
   • Le seuil $\tau^*$ est dérivé pour minimiser l'Erreur Quadratique Moyenne Asymptotique (AMSE) du signal reconstruit.
   • Il est calculé comme $\tau^* = \omega(\beta) \hat{\sigma} \sqrt{\max(m, n)}$, où $\hat{\sigma}$ est estimé à partir de la médiane des valeurs singulières, et $\omega(\beta)$ est une constante dépendante du rapport d'aspect de la matrice $\beta$.
3. Réparation sous Forme Close : La procédure implique :
   • Le calcul de la SVD de $\Delta = U \text{diag}(s) V^\top$.
   • Le seuillage dur des valeurs singulières : $s'_i = s_i \cdot \mathbb{1}\{s_i > \tau^*\}$.
   • La reconstruction du delta élagué $\Delta^* = U \text{diag}(s') V^\top$.
   • La formation du point de contrôle réparé : $W^* = W_{base} + \Delta^*$.

Ce processus ne nécessite aucune donnée d'entraînement supplémentaire, aucun calcul de gradient, et s'exécute en quelques minutes sur un seul GPU, réduisant la réparation à une étape de filtrage SVD sous forme close.

Contributions Clés

1. Formulation de la Réparation A Posteriori : Les auteurs cadrent la récupération de l'oubli catastrophique comme un problème de récupération-préservation : récupérer les capacités endommagées sur les benchmarks réservés tout en préservant les gains de la tâche cible et les améliorations incidentes sur les benchmarks réservés.
2. Identification de la Structure Spectrale : L'article démontre empiriquement que les résidus dommageables se concentrent dans le volume des valeurs singulières (correspondant aux prédictions des matrices aléatoires), tandis que les mises à jour pertinentes pour la tâche apparaissent comme des pics de valeurs singulières. Cela explique pourquoi les méthodes de l'espace des coordonnées peinent avec le compromis entre récupération et préservation.
3. Algorithme DG-Hard : L'introduction d'une méthode de réparation sans données appliquant le seuil dur statistiquement optimal de Donoho-Gavish aux deltas d'affinement, séparant efficacement le signal structuré du résidu de bruit.
4. Évaluation Conditionnelle à la Partition : Les auteurs introduisent une suite de métriques novatrice qui suit séparément la guérison (récupération sur les benchmarks endommagés), la préservation (maintien des benchmarks améliorés), la non-dégradation (stabilité sur les benchmarks inchangés) et la rétention sur la tâche. Cela évite les pièges de la précision moyenne, qui peut masquer des échecs par benchmark ou récompenser un simple retour au modèle de base.

Résultats Expérimentaux

La méthode a été évaluée sur 14 configurations (modèle, tâche) (utilisant Qwen3.5-4B et Llama-3.2-3B-Instruct) et neuf benchmarks croisés réservés.

• Performance Équilibrée : DG-Hard réalise la réparation la plus équilibrée parmi les bases de référence a posteriori. C'est la seule méthode obtenant un score $\ge 80$ à la fois sur Nettoyage (guérison + non-dégradation) et Rétention (préservation + rétention sur la tâche), atteignant un Score Combiné de 83,3.
• Comparaison aux Bases de Référence :
  • FAPM et V-SoftMask représentent des extrêmes : FAPM guérit bien les dommages (91,9 Nettoyage) mais détruit la préservation (0,0 Rétention) ; V-SoftMask préserve les gains (97,1 Rétention) mais échoue à guérir (24,9 Nettoyage).
  • WiSE-FT (interpolation linéaire) s'en approche le plus mais reste en deçà sur la Rétention (71,0) par rapport à DG-Hard.
  • LoRA et CoFi-Tune souffrent d'une faible rétention ou d'une préservation non positive sur des cohortes spécifiques.
• Alignement de Sécurité : DG-Hard restaure l'alignement de sécurité dégradé par un affinement fin bénin sur trois axes indépendants (HarmBench, XSTest, StrongREJECT) sans utiliser aucune donnée d'alignement. Cela suggère que la dégradation de la sécurité est également un sous-produit du résidu de bruit éliminé par la coupe spectrale.
• Cognition vs Connaissance : La méthode montre une force particulière dans la cohortes de Cognition (tâches de raisonnement), où d'autres bases de référence s'effondrent souvent sur la préservation.

Signification et Revendications

L'article revendique qu'une partie de la perte de capacité induite par l'affinement fin n'est pas une conséquence inévitable de la spécialisation, mais plutôt un résidu spectral éliminable au sein de la mise à jour des poids elle-même.

• Mécanisme : Les résultats suggèrent que le « bruit » accumulé pendant l'affinement fin est fonctionnellement inerte et délétère, tandis que le « signal » est concentré dans un sous-espace de faible dimension. En éliminant le volume spectral, DG-Hard récupère les capacités sans réentraînement.
• Généralité : La méthode fonctionne sans accès aux données de pré-entraînement, aux données d'alignement ou aux hyperparamètres d'entraînement originaux, reposant uniquement sur les points de contrôle de base et d'affinement.
• Sécurité : La récupération inattendue de l'alignement de sécurité implique que la sécurité et la capacité sont liées à travers la même structure spectrale, et qu'un affinement fin « bénin » peut éroder la sécurité de manière involontaire via le même mécanisme de bruit qui érode le raisonnement.

Les auteurs concluent que l'oubli spectral offre une voie principielle, efficace et sans données pour atténuer l'oubli catastrophique, remettant en question la notion que la spécialisation nécessite nécessairement la perte permanente de capacités générales.