Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training

Résumé Technique : Conflit Géométrique : Expliquer et Contrôler l'Oubli dans le Post-Entraînement Continu des LLM

Énoncé du Problème
Le post-entraînement continu vise à étendre les modèles de langage de grande taille (LLM) avec de nouvelles connaissances, compétences et comportements via une séquence de mises à jour. Cependant, ce processus fait face au défi de l'oubli catastrophique, où l'apprentissage d'une nouvelle tâche compromet les capacités acquises précédemment. Les stratégies d'atténuation existantes — telles que le fine-tuning séquentiel, les méthodes basées sur la répétition (replay), la régularisation et la fusion de modèles — manquent souvent de critères principiels pour déterminer quand une nouvelle mise à jour de paramètres doit être intégrée. Plus précisément, il reste flou de savoir quand les mises à jour séquentielles permettent un transfert de capacités et quand elles provoquent une interférence. Les méthodes actuelles reposent souvent sur des métriques grossières comme l'amplitude de la mise à jour ou la compatibilité isolée par paires, qui échouent à expliquer ou à contrôler pleinement l'oubli dans des contextes hétérogènes et séquentiels.

Méthodologie : Géométrie des Tâches et GCWM
Les auteurs proposent un cadre basé sur la géométrie des tâches pour analyser et contrôler le post-entraînement continu.

1. Représentation de la Géométrie des Tâches : Au lieu de considérer les mises à jour uniquement selon leur norme, la méthode représente chaque tâche par sa matrice de mise à jour de paramètres $\Delta_t$. Pour chaque couche, la "géométrie de la tâche" est définie comme la matrice de covariance $C_t = \Delta_t^\top \Delta_t$, qui capture les directions dominantes et la structure spectrale de la mise à jour.
2. Conflit Géométrique : L'article introduit le conflit géométrique comme une distance de Bures–Wasserstein normalisée entre les géométries de covariance des tâches. Crucialement, les auteurs définissent une variante relative à l'état, mesurant l'écart entre la géométrie d'une tâche entrante et la géométrie de l'état évolutif du modèle (qui intègre déjà les mises à jour précédentes).
3. Insight Clé : Grâce à une analyse empirique sur les modèles Qwen3 (0,6B–14B), les auteurs constatent que l'oubli s'explique mieux comme un échec d'intégration de mise à jour relative à l'état. L'oubli se produit lorsque la géométrie de covariance induite par une nouvelle tâche est désalignée par rapport à la géométrie de l'état actuel du modèle. Le transfert se produit lorsque la nouvelle mise à jour reste compatible avec cet état. Ce signal relatif à l'état surpasse les normes brutes de mise à jour, les ratios d'alignement de sous-espace (SAR) et les conflits de gradients par paires dans la prédiction de la perte de rétention.
4. Fusion Wasserstein à Conflit Géométrique (GCWM) : Motivés par ces découvertes, les auteurs proposent GCWM, une méthode d'intégration de mises à jour sans données.
   • Construction d'une Métrique Partagée : GCWM construit une métrique Wasserstein partagée pour l'ensemble actuel de tâches actives en utilisant des barycentres de Wasserstein gaussiens.
   • Correction à Portes de Conflit : Elle calcule un score de conflit géométrique par couche. Ce score active une branche de correction consciente de la géométrie. Si le conflit est élevé (indiquant une incompatibilité), la méthode restreint l'intégration de la mise à jour consciente de la géométrie ; si le conflit est faible, elle permet une intégration plus forte.
   • Mise à Jour Incrémentale : La méthode applique uniquement le changement incrémental par rapport à l'état fusionné précédent, assurant que le modèle évolue sur la base de changements nouvellement induits et contrôlés par la compatibilité.
   • Support Théorique : Les auteurs fournissent des bornes théoriques montrant que la perte supplémentaire encourue par GCWM par rapport à une fusion simple est contrôlée par le conflit géométrique et le déplacement de fusion à portes.

Contributions Clés

1. Cadre Analytique : L'article développe une analyse de la géométrie des tâches montrant que l'oubli est un phénomène relatif à l'état, mieux expliqué par le désalignement des géométries de covariance induites par les tâches avec l'état évolutif du modèle que par l'amplitude de la mise à jour ou la compatibilité isolée par paires.
2. Nouveau Signal : Il introduit le conflit géométrique (une distance de Bures–Wasserstein sur les géométries de covariance induites par les tâches) à la fois comme signal explicatif de l'oubli et comme signal de contrôle pratique pour l'intégration des mises à jour.
3. Algorithme : Il propose GCWM, une méthode sans données qui construit une métrique Wasserstein partagée et utilise le conflit géométrique pour activer des corrections conscientes de la géométrie couche par couche.
4. Validation Empirique : La méthode est validée sur les modèles Qwen3 (0,6B à 14B) dans des contextes continus de domaine (14 sous-domaines MMLU-Pro) et continus de capacités (mathématiques et code).

Résultats

• Performance : GCWM surpasse constamment les bases sans données (incluant Localize-and-Stitch, AIMMerging et OPCM) sans utiliser de données de répétition.
  • Dans les contextes continus de domaine, GCWM atteint les meilleures performances globales non-MTL (Apprentissage Multi-Tâche) sur toutes les échelles, améliorant la meilleure base sans données de jusqu'à +1,61 points sur Qwen3-1,7B.
  • Dans les contextes continus de capacités, GCWM devance les bases sans données en moyenne sur les modèles 1,7B et 14B, montrant des gains significatifs en rétention et en performance finale sur des benchmarks tels que GSM8K, HumanEval et MMLU-Pro.
• Ablation : Le retrait de la porte de conflit ou le remplacement du barycentre de Wasserstein par une métrique de moyenne simple dégrade la performance, confirmant la nécessité à la fois de la métrique partagée et du mécanisme de contrôle par portes basé sur le conflit.
• Évolutivité : La méthode reste efficace à travers les échelles de modèles, le signal de géométrie relative à l'état devenant un prédicteur plus fort de l'oubli à mesure que la taille du modèle augmente (par exemple, la corrélation avec la perte de rétention atteint -0,86 pour Qwen3-14B).

Signification et Revendications
L'article revendique que le conflit géométrique joue un double rôle :

1. Explicatif : Il fournit une explication mécaniste de l'oubli catastrophique, l'identifiant comme un échec de l'intégration de mises à jour relative à l'état plutôt que comme une simple dérive des paramètres.
2. Contrôle : Il agit comme un signal pratique et sans données pour contrôler la force d'intégration des mises à jour séquentielles.

Les auteurs positionnent GCWM comme une méthode rendant l'adaptation continue des LLM plus pratique en réduisant la dépendance aux données de répétition. Ils soulignent que si la méthode améliore la rétention et la performance, elle opère dans l'espace des mises à jour de paramètres et ne fournit pas intrinsèquement de garanties de sécurité ; ainsi, elle doit être combinée avec des vérifications de sécurité standard. Ce travail suggère que la compréhension de la structure spectrale et géométrique des mises à jour est cruciale pour gérer le compromis entre l'apprentissage de nouvelles capacités et la rétention des anciennes dans les modèles de langage de grande taille.