🤖 machine learning

Knowledge is Not Enough: Injecting RL Skills for Continual Adaptation

Le papier propose le Transfert de Compétences Paramétrique (PaST), un cadre qui remédie aux limites du Finetuning Supervisé dans l'adaptation des Grands Modèles de Langage en injectant linéairement des vecteurs de compétences agnostiques au domaine, dérivés de l'Apprentissage par Renforcement, permettant ainsi une adaptation continue efficace et performante pour l'intégration de connaissances et l'utilisation d'outils par des agents.

Auteurs originaux : Pingzhi Tang, Yiding Wang, Muhan Zhang

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pingzhi Tang, Yiding Wang, Muhan Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : L'Étudiant « Intelligent mais Ignare »

Imaginez que vous avez un étudiant brillant (un Grand Modèle de Langage, ou LLM) qui a lu presque tous les livres de la bibliothèque jusqu'à une certaine date. Cet étudiant est excellent pour répondre à des questions basées sur ce qu'il connaît déjà.

Cependant, le monde continue d'évoluer. De nouveaux faits apparaissent chaque jour (comme une nouvelle loi adoptée hier ou une nouvelle application sortie ce matin).

L'Ancienne Méthode (SFT) : Pour enseigner ces nouveaux faits à l'étudiant, nous lui faisons généralement mémoriser le nouveau texte. C'est comme le forcer à bachoter un nouveau manuel la veille d'un examen. Il peut réciter les faits parfaitement, mais si l'examen lui demande d'utiliser ces faits dans une situation délicate, il se fige souvent, devine mal, ou invente des choses (hallucine). Il possède la connaissance, mais il manque de la compétence pour l'appliquer.
La Méthode Coûteuse (RL) : Pour lui apprendre à penser et à résoudre des problèmes, nous utilisons généralement l'Apprentissage par Renforcement (RL). C'est comme engager un coach personnel qui fait pratiquer à l'étudiant la résolution de problèmes encore et encore, le récompensant quand il a raison. Cela fonctionne très bien, mais cela prend un temps et une somme d'argent considérables. On ne peut pas engager un coach pour chaque nouveau fait qui émerge dans le monde.

La Découverte : Deux Types Différents de Changements Cérébraux

Les chercheurs de l'Université de Pékin ont découvert quelque chose de fascinant sur la façon dont le cerveau de l'étudiant change au cours de ces deux processus.

Ils ont constaté que lorsque l'étudiant mémorise des faits (SFT) et lorsqu'il apprend des compétences de raisonnement (RL), les changements se produisent dans deux parties complètement différentes de son cerveau.

Analogie : Imaginez que le cerveau de l'étudiant est une immense bibliothèque.
- SFT consiste à ajouter de nouveaux livres aux étagères. Cela modifie le contenu de la bibliothèque.
- RL consiste à former le bibliothécaire sur comment trouver les livres, les recouper et résoudre des énigmes en les utilisant. Cela modifie l'organisation et la logique de la bibliothèque.
- L'Idée Maîtresse : Ces deux changements ne se gênent pas mutuellement. Ils sont « orthogonaux », ce qui signifie qu'ils se produisent dans des espaces séparés et non superposés. Vous pouvez ajouter de nouveaux livres sans perturber la logique du bibliothécaire, et vous pouvez former le bibliothécaire sans changer les livres sur les étagères.

La Solution : PaST (Transfert Paramétrique de Compétences)

Puisque ces deux changements sont séparés, les chercheurs ont imaginé un raccourci ingénieux appelé PaST.

Comment cela fonctionne :

Extraire le « Vecteur de Compétence » : Au lieu de retrainer l'étudiant sur chaque nouveau sujet, ils prennent un modèle qui a déjà été entraîné sur un sujet (comme les films) en utilisant la méthode coûteuse du « coach » (RL). Ils comparent ce modèle « intelligent » à une version « stupide » qui n'a fait que mémoriser les faits. La différence entre eux est un « Vecteur de Compétence ».
- Analogie : Considérez ce Vecteur de Compétence comme un manuel universel « Comment faire » ou une puce de mémoire musculaire. Il contient la logique pure de « comment résoudre un problème » sans être lié à des faits spécifiques.
Injecter la Compétence : Lorsqu'un nouveau sujet arrive (comme un nouveau document juridique), ils enseignent d'abord rapidement à l'étudiant les nouveaux faits (SFT léger). Ensuite, ils collent simplement le « Vecteur de Compétence » dans le cerveau de l'étudiant.
- Analogie : C'est comme donner à l'étudiant le nouveau manuel (faits) puis brancher instantanément la « Puce de Résolution de Problèmes » (compétences) qu'il a apprise lors de la formation sur les films. L'étudiant connaît maintenant les nouveaux faits et sait exactement comment les utiliser, sans avoir besoin d'un nouveau coach.

Pourquoi C'est Important

Le papier a testé cela sur trois défis différents :

Compréhension de Lecture (SQuAD) : Le modèle devait mémoriser un passage et répondre à des questions sans relire le texte. PaST a rendu le modèle beaucoup plus performant pour trouver la bonne réponse par rapport à la simple mémorisation.
Documents Longs (LooGLE) : Lorsque le texte était énorme (comme un document de 20 000 mots), les méthodes standards se perdaient. PaST a aidé le modèle à rester concentré et à trouver les bonnes informations.
Utilisation d'Outils (ToolBench) : Le modèle devait utiliser des API (comme télécharger un post Instagram). Lorsque le compte Instagram était privé, un modèle normal aurait simplement deviné un nouvel outil factice à utiliser. Le modèle PaST a réalisé que le compte était privé, a arrêté de deviner et a donné la bonne réponse : « Je ne peux pas faire cela car le compte est privé. »

La Conclusion

Le papier prouve que la connaissance et les compétences sont des choses distinctes. Vous n'avez pas besoin de dépenser une fortune pour retrainer la capacité de « pensée » d'un modèle à chaque fois que vous lui donnez de nouvelles informations. Au lieu de cela, vous pouvez apprendre la compétence de « pensée » une fois, l'extraire sous forme d'outil portable, et la brancher à n'importe quelle nouvelle situation. Cela rend l'IA beaucoup plus rapide, moins chère et plus intelligente dans son adaptation au monde réel.

Résumé Technique : La Connaissance ne Suffit Pas : Injection de Compétences RL pour l'Adaptation Continue

Énoncé du Problème

Les Grands Modèles de Langage (LLM) font face à un défi fondamental de « date de coupure des connaissances » : leur mémoire paramétrique est figée après le pré-entraînement, empêchant l'intériorisation native de nouvelles informations ou outils. Bien que la Génération Augmentée par Récupération (RAG) tente de mitiger cela via un contexte externe, elle souffre de problèmes de modélisation des dépendances à long terme et de surcharge d'inférence. Par conséquent, la recherche s'est orientée vers la Mise à Jour Paramétrique des Connaissances (par exemple, Édition de Connaissances, Entraînement au Moment du Test).

Cependant, une limitation critique existe dans les paradigmes d'adaptation actuels : une déconnexion fonctionnelle entre les connaissances et les compétences de raisonnement.

Le Fine-Tuning Supervisé (SFT) mémorise efficacement le contenu factuel (le « quoi ») mais échoue souvent à enseigner au modèle comment raisonner sur ou manipuler ces connaissances dans des tâches en aval. Les modèles entraînés par SFT peuvent « connaître » des faits mais échouent à les utiliser dynamiquement, conduisant à des hallucinations ou à un comportement rigide lors de la confrontation à des erreurs.
L'Apprentissage par Renforcement (RL) est essentiel pour acquérir des compétences robustes de raisonnement et d'exécution (le « comment »), mais son coût computationnel élevé (nécessitant une exploration sur-politique et des données d'interaction) le rend peu pratique pour une adaptation en ligne continue et efficace à chaque nouveau scénario.

Le problème central consiste à équiper un modèle de nouvelles connaissances de domaine et des compétences procédurales pour les utiliser, sans encourir le coût prohibitif d'un entraînement RL à partir de zéro pour chaque nouveau domaine.

Méthodologie : Transfert Paramétrique de Compétences (PaST)

Les auteurs proposent le Transfert Paramétrique de Compétences (PaST), un cadre modulaire qui découple l'acquisition des connaissances de l'acquisition des compétences, permettant le transfert de capacités de raisonnement entre domaines sans RL explicite dans le domaine cible.

1. Base Théorique : Orthogonalité des Mises à Jour

La méthode repose sur l'observation empirique que les mises à jour de paramètres induites par le SFT ( $\Delta W_{SFT}$ ) et le RL ( $\Delta W_{RL}$ ) sont quasi orthogonales.

Preuve Empirique : L'analyse de similarité cosinus à travers les couches du modèle (par exemple, sur les tâches LooGLE et ToolBench) montre que $\Delta W_{SFT}$ et $\Delta W_{RL}$ résident dans des sous-espaces découplés du paysage des paramètres. Leur corrélation est constamment proche de zéro, tandis que deux mises à jour SFT indépendantes montrent une corrélation significative.
Implication : Les connaissances (injection factuelle) et les compétences (logique procédurale) peuvent être optimisées séparément et composées linéairement sans interférence destructive.

2. Le Cadre PaST

PaST opère en deux étapes :

Étape I : Extraction de Compétences dans le Domaine Source

Ancrage SFT : Un modèle de base est affiné sur un corpus de connaissances du domaine source ( $C_S$ ) pour obtenir $\theta^S_{sft}$ .
Raffinement RL : Le modèle SFT subit un entraînement RL sur des trajectoires d'interaction source ( $T_S$ ) pour intérioriser les politiques de raisonnement, aboutissant à $\theta^S_{rl}$ .
Extraction du Vecteur de Compétence : Un Vecteur de Compétence ( $v_{skill}$ $v_{s k i l l}$ ) indépendant du domaine est extrait en soustrayant les paramètres SFT des paramètres RL :
$v_{skill} = \theta^S_{rl} - \theta^S_{sft}$
Ce vecteur capture la direction « gradient » de l'amélioration du raisonnement, débarrassée des faits déclaratifs spécifiques au domaine.
- Raffinement : Pour éviter le surapprentissage à un contenu source spécifique, une Stratégie de Bootstrapping Itératif est employée. Le domaine source est divisé en sous-ensembles ; le vecteur de compétence est raffiné itérativement sur plusieurs tours, injectant le vecteur du tour précédent comme point de départ chaud pour la phase RL suivante.

Étape II : Adaptation au Domaine Cible

SFT Léger : Le modèle cible est affiné sur de nouveaux documents du domaine cible ( $C_T$ ) pour obtenir $\theta^T_{sft}$ . Cela ancre le modèle avec les nouveaux faits.
Injection Linéaire : Le vecteur de compétence extrait est injecté linéairement dans le modèle cible :
$\theta_{final} = \theta^T_{sft} + \lambda \cdot v_{skill}$
(où $\lambda$ est un coefficient d'échelle, fixé à 1 dans les expériences). Cela greffe la géométrie de raisonnement apprise à la source sur la variété des connaissances cibles, permettant l'exécution en zero-shot de tâches complexes.

Contributions Clés

Identification de la Déconnexion Raisonnement-Knowledge : L'article souligne que le SFT seul est insuffisant pour transférer la logique procédurale vers de nouveaux domaines, car il induit principalement une mémorisation de surface.
Preuve Empirique de l'Orthogonalité : Les auteurs fournissent des preuves rigoureuses que les mises à jour SFT et RL occupent des sous-espaces quasi orthogonaux, validant la faisabilité de séparer et de recombiner connaissances et compétences.
Cadre PaST : Une méthode novatrice utilisant l'arithmétique des vecteurs de tâche pour transférer des compétences apprises par RL d'un domaine source vers un domaine cible, contournant le besoin d'un RL coûteux dans le domaine cible.
Découplage et Transférabilité : Démonstration que la manipulation des connaissances et les compétences d'exécution peuvent être efficacement découplées et transférées, permettant une adaptation robuste dans des domaines cibles à données rares.

Résultats Expérimentaux

Les auteurs ont évalué PaST sur trois benchmarks :

Incorporation de Connaissances (SQuAD) :
- Configuration : QA en livre fermé où le modèle doit mémoriser un passage via des mises à jour au moment du test et répondre à des questions sans contexte.
- Résultat : PaST a atteint une précision de 56,9 %, surpassant significativement la ligne de base d'édition automatique de pointe SEAL (47,0 %) et une ligne de base standard « Entraînement sur le Passage + Synthétique » (39,7 %). Cela représente une amélioration absolue de +17,2 % par rapport à la ligne de base synthétique, prouvant que le vecteur de compétence fournit une logique d'inférence essentielle.
Raisonnement en Contexte Long (LooGLE) :
- Configuration : QA sur des documents dépassant 21k tokens.
- Résultat : PaST a amélioré la précision de 30,1 % (SFT Standard) à 38,1 % (+8,0 points). La méthode a réussi à s'adapter à une documentation massive, transformant le modèle d'un conteneur de faits passif en un expert capable de récupération paramétrique précise.
Utilisation d'Outils Transversale (ToolBench) :
- Configuration : Exécution en livre fermé où le modèle doit utiliser des API uniquement sur la base de leurs noms (sans contexte), transférant des compétences d'un domaine source « Films » vers 20 catégories cibles invisibles.
- Résultat : PaST a augmenté le taux de réussite moyen de 21,9 % (SFT Cible) à 32,2 % (+10,3 points). Il a atteint une activation en zero-shot dans des domaines où la ligne de base échouait complètement (par exemple, Publicité : 0 % $\to$ 16,7 %).
Comparaison d'Efficacité :
- PaST a égalé la performance d'un RL entraîné sur le domaine cible pendant environ 75 étapes (44,0 % contre 44,6 %) mais a encouru zéro temps d'entraînement supplémentaire sur le domaine cible. Le RL cible nécessitait environ 72 minutes par document, tandis que PaST n'en nécessitait aucune.

Signification et Revendications

L'article revendique que PaST offre une alternative computationnellement efficace et évolutive au RL sur-politique pour l'adaptation continue. En exploitant l'orthogonalité des mises à jour de paramètres, la méthode permet aux modèles d'acquérir de nouvelles connaissances via un SFT léger tout en héritant simultanément de capacités de raisonnement robustes d'une source pré-entraînée. Cela comble le fossé entre « connaître » des faits et les « utiliser », adressant un goulot d'étranglement critique dans le déploiement des LLM dans des environnements dynamiques et réels où les connaissances et les compétences de raisonnement doivent évoluer rapidement.

Les auteurs notent modestement des limitations, notamment le besoin de domaines expérimentaux plus larges au-delà du QA et de l'utilisation d'outils, l'utilisation d'un coefficient d'échelle statique ( $\lambda=1$ ), et la dépendance principale à l'architecture Qwen2.5-7B, suggérant que des travaux futurs sont nécessaires pour confirmer ces dynamiques à travers des échelles de modèles plus larges.