Résumé Technique : Une théorie de la perturbation locale pour l'interférence et la récupération inter-domaines dans l'apprentissage par renforcement multi-domaines

Énoncé du Problème

L'apprentissage par renforcement (RL) post-entraînement améliore efficacement les grands modèles de langage (LLM) sur des domaines spécifiques tels que le raisonnement mathématique, la génération de code, les questions-réponses (QA) et l'écriture créative (CW). Cependant, l'entraînement séquentiel sur plusieurs domaines entraîne souvent une interférence inter-domaines, où les performances sur les domaines antérieurs se dégradent après l'entraînement sur les domaines suivants.

Les explications existantes de ce phénomène, telles que l'oubli catastrophique ou le conflit de gradient global, sont insuffisantes. Les observations empiriques de ce travail révèlent que :

1. Les cosinus de gradient du modèle complet entre les domaines peuvent être presque orthogonaux (proches de zéro) même lorsqu'une dégradation significative des performances se produit.
2. L'interférence est sélective et asymétrique (par exemple, l'entraînement sur QA et CW dégrade sévèrement les performances en Mathématiques, tandis que Code et QA restent stables), plutôt qu'un oubli uniforme.
3. Les vues globales standard ne parviennent pas à expliquer comment une interférence substantielle peut persister malgré un faible antagonisme des gradients globaux.

La question centrale abordée est la suivante : Où réside l'interférence inter-domaines si elle ne se trouve pas dans l'antagonisme des gradients globaux ?

Méthodologie et Cadre Théorique

Les auteurs proposent de passer de l'analyse des conflits d'objectifs du modèle complet à l'analyse des routes de calcul actives locales. La méthodologie combine une analyse structurelle empirique avec un modèle de perturbation locale.

1. Analyse Structurelle Empirique

L'étude utilise une configuration de RL multi-domaine séquentielle (Code $\to$ Math $\to$ QA $\to$ CW) basée sur le curriculum Omni-Thinker. Les principales conclusions structurelles incluent :

• Mises à jour éparses de faible magnitude : Le RL spécifique à un domaine induit des modifications éparses, avec 77 % à 89 % des paramètres montrant des changements absolus négligeables ($<10^{-7}$) et des changements relatifs ($<10^{-3}$).
• Faible chevauchement des modifications : Les ensembles de neurones les plus modifiés à travers différents domaines présentent un faible chevauchement de Jaccard (moyenne < 0,19), excluant l'hypothèse selon laquelle l'interférence proviendrait de la réécriture des mêmes neurones.
• Routes de calcul actives partagées : Malgré un faible chevauchement des modifications, les domaines orientés vers le raisonnement (Math, Code, QA) partagent des routes de calcul actives substantielles (top 5 % des neurones actifs) lors de l'inférence.
• Conflit directionnel : Sur ces routes actives partagées, les directions de mise à jour varient. Alors que certaines paires (ex. Code-Math) sont alignées, d'autres (ex. Math-QA) présentent un conflit dépendant de la couche, où les directions de mise à jour sont antagonistes dans des couches spécifiques.

2. Théorie de la Perturbation Locale

Guidés par ces observations, les auteurs formalisent un modèle de perturbation locale avec trois propositions fondamentales :

• Dommage de second ordre : Puisque le point de contrôle après l'entraînement sur le domaine $A$ est approximativement stationnaire pour son objectif local, l'effet principal d'une mise à jour ultérieure $\delta_B$ est un terme de dommage de second ordre ($\frac{1}{2}\delta_B^\top H_A \delta_B$), et non un conflit de gradient de premier ordre.
• Sous-espace de conflit actif de faible dimension : Ce dommage est concentré dans un sous-espace de conflit actif partagé de faible dimension ($S_{A,B}$). Même si les gradients globaux sont orthogonaux et les modifications éparses, l'interférence se produit si la projection de la mise à jour du domaine ultérieur sur ce sous-espace sensible est importante.
• Contraction géométrique via le rafraîchissement : Un court "rafraîchissement" (ré-entraînement) sur le domaine $A$ endommagé contracte géométriquement la composante nocive au sein de $S_{A,B}$. Sous l'hypothre d'une courbure positive dans le sous-espace et d'un couplage faible provenant de directions orthogonales, le déplacement nocif décroît exponentiellement avec le nombre d'étapes de rafraîchissement, permettant une récupération sélective sans ré-entraînement complet.

Contributions Clés

1. Explication mécaniste de l'interférence : L'article démontre que la dégradation inter-domaines est pilotée non pas par un conflit de gradient global ou une co-édition directe de neurones, mais par des modifications de RL éparses interagissant le long de routes de calcul actives partagées.
2. Formalisation théorique : Il formalise le mécanisme comme un dommage de second ordre concentré dans un sous-espace de conflit partagé de faible dimension. Cela explique pourquoi des gradients globaux presque orthogonaux peuvent coexister avec une dégradation sélective.
3. Validation de la récupération sélective : La théorie prédit qu'un court rafraîchissement sur le domaine endommagé peut récupérer les performances en contractant la composante du sous-espace de conflit tout en limitant les dommages collatéraux aux autres domaines.

Résultats Expérimentaux

Les auteurs valident leur théorie par deux approches complémentaires :

A. Récupération au niveau des tâches (Rafraîchissement court)

• Configuration : Après un entraînement séquentiel (Code $\to$ Math $\to$ QA $\to$ CW), la performance en Math est passée de 66,49 à 57,66.
• Intervention : Un court rafraîchissement "Re-Math" a été appliqué au point de contrôle final ($CWo$).
• Résultat : La performance en Math est remontée à 66,04 (proche de l'expert mono-domaine de 66,84), tandis que les performances en Code, QA et CW sont restées largement stables.
• Résultat : Le score moyen sur tous les domaines a atteint 66,39, surpassant à la fois la base séquentielle et les bases de domaines mixtes (JT et CGPO). Cela confirme que l'interférence est réversible via une correction localisée.

B. Intervention directe (Rollback sans entraînement)

• Configuration : Pour tester directement la revendication de localisation, les auteurs ont effectué un "rollback" (retour en arrière) sans entraînement sur la paire Math-QA. Ils ont identifié un ensemble épars de "coordonnées de conflit proxy" basées sur trois signaux : activation partagée, magnitude de mise à jour et conflit directionnel.
• Intervention : Ils ont annulé le déplacement induit par QA uniquement sur ces coordonnées sélectionnées (2 % des neurones MLP).
• Résultat : Ce rollback épars a récupéré 20,4 % de la perte Math (de 59,90 à 61,25) avec un impact négligeable sur la performance QA. Étendre le rollback pour inclure les couches d'attention a augmenté la récupération à 73,6 % avec un budget de 32 %.
• Signification : Cela fournit une preuve directe que la composante nocive de l'interférence inter-domaines est localisée et peut être partiellement inversée sans ré-entraînement.

Signification et Revendications

L'article affirme fournir un compte mécaniste localisé de l'interférence et de la récupération dans le RL multi-domaine. Sa signification réside dans :

• Réfutation des explications globales : Il établit que l'orthogonalité des gradients globaux ne garantit pas la sécurité contre l'interférence, car le dommage est un phénomène localisé de second ordre.
• Implication pratique : Il suggère qu'une amélioration multi-domaine stable peut ne pas nécessiter de réglage complexe du mélange de données ou de programmes de rejeu conçus à la main. Au lieu de cela, de courts rafraîchissements ciblés sur les domaines dégradés peuvent récupérer efficacement les performances avec des effets secondaires limités.
• Aperçu théorique : Il comble le fossé entre les mises à jour éparses des paramètres et l'interférence fonctionnelle, montrant que le "conflit" réside dans l'alignement des mises à jour sur les routes actives partagées plutôt que dans l'espace des paramètres globaux.

Les auteurs restent modestes, notant que leur intervention sur le sous-espace de conflit est actuellement basée sur un proxy grossier et qu'un travail futur est nécessaire pour automatiser la détection des domaines dégradés et identifier précisément le sous-espace de conflit latent pour des interventions plus efficaces.