🤖 machine learning

Learning, Fast and Slow: Towards LLMs That Adapt Continually

Ce papier présente l'entraînement rapide-lent (FST), un cadre qui combine des paramètres de modèle fixes (poids « lents ») avec un contexte optimisé (poids « rapides ») pour permettre aux LLM d'apprendre plus efficacement à partir de retours textuels, d'atteindre de meilleures performances et de conserver une plus grande plasticité tout en réduisant considérablement l'oubli catastrophique par rapport aux méthodes traditionnelles de mise à jour des paramètres.

Auteurs originaux : Rishabh Tiwari, Kusha Sareen, Lakshya A Agrawal, Joseph E. Gonzalez, Matei Zaharia, Kurt Keutzer, Inderjit S Dhillon, Rishabh Agarwal, Devvrit Khatri

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rishabh Tiwari, Kusha Sareen, Lakshya A Agrawal, Joseph E. Gonzalez, Matei Zaharia, Kurt Keutzer, Inderjit S Dhillon, Rishabh Agarwal, Devvrit Khatri

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un étudiant brillant mais rigide (le Grand Modèle de Langage) comment résoudre des énigmes complexes comme des problèmes mathématiques, des défis de programmation ou des casse-têtes de vérification des faits.

Traditionnellement, lorsque nous voulons que cet étudiant s'améliore, nous le forçons à mémoriser les nouvelles règles en réécrivant son cerveau (en mettant à jour les paramètres internes du modèle). C'est comme prendre une éponge, la tremper dans une nouvelle eau, puis la presser à sec. Le problème ? Une fois pressée, l'ancienne eau (ses connaissances générales d'origine) s'écoule. Il devient très bon à l'énigme spécifique que vous lui avez enseignée, mais il oublie comment être un bon penseur général, et il lutte pour apprendre la prochaine énigme. Cela s'appelle « l'oubli catastrophique ».

D'un autre côté, vous pourriez simplement donner à l'étudiant une fiche de triche (une invite) pour chaque énigme spécifique. C'est bon marché et rapide, mais l'étudiant doit toujours compter sur ses capacités cérébrales d'origine. Si l'énigme est trop difficile, la fiche de triche seule ne suffit pas pour obtenir un score parfait.

La Solution « Rapide et Lent »
L'article présente une nouvelle méthode d'entraînement appelée Entraînement Rapide-Lent (FST). Elle combine le meilleur des deux mondes en traitant le processus d'apprentissage de l'étudiant comme un système à deux voies :

La Voie Lente (Le Cerveau) : Ce sont les poids permanents du modèle. Il apprend lentement, comme une mémoire à long terme. Il se concentre sur le maintien des compétences de raisonnement fondamentales et des connaissances générales de l'étudiant intactes.
La Voie Rapide (La Fiche de Triche) : C'est le « contexte » ou l'invite. Il apprend très rapidement, comme un post-it temporaire. Il absorbe les détails spécifiques et délicats de la tâche actuelle sans modifier définitivement le cerveau de l'étudiant.

Comment cela fonctionne (L'Analogie)
Imaginez que vous entraînez un chef (l'IA) à cuisiner un nouveau plat difficile.

L'Ancienne Méthode (Apprentissage Lent uniquement) : Vous forcez le chef à mémoriser la recette en réécrivant toute sa philosophie culinaire. Il devient excellent pour ce seul plat, mais il oublie comment cuisiner tout le reste, et il ne peut pas s'adapter si vous lui demandez de cuisiner une version légèrement différente plus tard.
La Méthode FST : Vous conservez les compétences fondamentales du chef (Voie Lente) exactement telles qu'elles sont. Au lieu de cela, vous lui donnez une carte de recette dynamique et évolutive (Voie Rapide).
- Chaque fois que le chef tente le plat et fait une erreur, un « coach » (le système) examine l'erreur et met à jour instantanément la carte de recette avec un conseil spécifique (par exemple : « Ne ajoutez pas de sel avant l'étape 3 »).
- Le chef utilise cette carte mise à jour pour réessayer.
- Ce n'est qu'après que le chef a maîtrisé le plat en utilisant ces cartes que nous apportons de minuscules ajustements prudents à son style de cuisine fondamental (la Voie Lente).

Pourquoi c'est mieux (Les Résultats)
L'article affirme que cette approche gagne de trois manières majeures :

C'est plus rapide et moins cher : Parce que la « carte de recette » (Voie Rapide) peut absorber instantanément de nouvelles informations, le système apprend la tâche beaucoup plus vite. L'article indique qu'il faut jusqu'à 3 fois moins de tentatives pour atteindre le même niveau de performance que l'ancienne méthode.
Il n'oublie pas : Parce que le cerveau fondamental du chef (Voie Lente) n'est pas constamment réécrit, il ne perd pas ses compétences culinaires générales. L'article montre que le modèle reste beaucoup plus proche de son moi intelligent d'origine, ce qui signifie qu'il n'« oublie » pas comment être un raisonneur général.
Il est prêt pour le prochain défi : Puisque le cerveau du chef n'a pas été trop spécialisé sur le premier plat, il peut immédiatement commencer à apprendre un nouveau plat sans avoir besoin de « désapprendre » l'ancien. L'article a testé cela en changeant de tâche en cours d'entraînement, et les modèles FST se sont adaptés en douceur, tandis que les anciens modèles ont complètement stagné.

La Sauce Secrète : Une Équipe de Chefs
L'article mentionne également une astuce ingénieuse : au lieu d'utiliser une seule carte de recette, ils maintiennent une équipe de différentes cartes de recette (une population d'invites). Certaines cartes sont excellentes pour les mathématiques, d'autres pour la programmation. Le système les mélange, permettant à la « Voie Lente » de voir une variété de façons de résoudre des problèmes, ce qui l'aide à apprendre encore mieux sans se confondre.

En Résumé
Cet article soutient que nous ne devrions pas forcer les modèles d'IA à mémoriser chaque nouvelle tâche en réécrivant leurs cerveaux. Au lieu de cela, nous devrions leur permettre de conserver leur intelligence générale (Lente) tout en leur donnant un ensemble d'instructions super-rapides et adaptables (Rapide) pour gérer des tâches spécifiques. Cela les rend plus intelligents, plus rapides à entraîner et meilleurs pour apprendre de nouvelles choses sans oublier les anciennes.

Résumé Technique : Apprentissage Rapide et Lent : Vers des LLMs Capables d'Adaptation Continue

Énoncé du Problème

Les Grands Modèles de Langage (LLMs) sont généralement adaptés aux tâches en aval via des mises à jour de paramètres, telles que le Fine-Tuning Supervisé (SFT) ou l'Apprentissage par Renforcement (RL). Bien que efficace, cette approche force le modèle à absorber toutes les informations spécifiques à la tâche dans un seul ensemble persistant de poids. Cela crée un goulot d'étranglement fondamental : les mises à jour qui améliorent les performances dans le domaine déplacent simultanément le modèle loin de son comportement de base, réduisant l'entropie de sortie, dégradant la généralisation hors distribution (OOD) et provoquant une « perte de plasticité » — l'incapacité à s'adapter efficacement aux tâches futures. À l'inverse, l'apprentissage en contexte (par exemple, l'optimisation de prompts) permet une adaptation rapide et peu coûteuse sans modifier les poids, mais échoue généralement à atteindre les plafonds de performance réalisables par les mises à jour de paramètres. L'article soutient que limiter l'apprentissage soit aux mécanismes en contexte, soit aux mécanismes dans les poids est sous-optimal et que les méthodes actuelles échouent à exploiter les forces complémentaires des deux.

Méthodologie : Entraînement Rapide-Lent (FST)

Les auteurs introduisent l'Entraînement Rapide-Lent (FST), un cadre qui optimise conjointement deux canaux d'adaptation complémentaires :

Poids Lents ( $\theta$ ) : Les paramètres du modèle, mis à jour de manière peu fréquente et coûteuse via l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR). Ils encodent des comportements persistants et de longue durée.
Poids Rapides ( $\Phi$ ) : Une population de contextes textuels (prompts, instructions), mis à jour fréquemment et à faible coût via l'Évolution Réfléchie des Prompts (GEPA). Ils capturent des signaux transitoires et spécifiques à la tâche.

La Boucle d'Entraînement

Le FST entrelace deux boucles de mise à jour au sein de cycles de longueur $T$ :

Boucle Rapide (Optimisation du Contexte) : En utilisant la politique actuelle $\pi_\theta$ , le système génère des déroulements. Un LLM « réflexif » figé analyse ces déroulements (incluant les pensées, les appels d'outils, les erreurs et les retours) pour proposer des mutations textuelles. Le GEPA maintient une population de frontière de Pareto de $K$ prompts plutôt qu'un seul meilleur prompt. Cette population préserve la diversité, permettant à différents prompts de se spécialiser sur différents sous-ensembles de la distribution des tâches.
Boucle Lente (Mise à Jour des Paramètres) : La politique $\theta$ est mise à jour en utilisant l'Optimisation de Politique Relative par Groupes (GRPO) avec une fonction objectif de substitution tronquée (CISPO). Crucialement, lors de la génération des déroulements pour la mise à jour RL, le système échantillonne à partir de la population entière de $K$ prompts rapides. Le calcul de l'avantage normalise les récompenses à travers l'ensemble du groupe, mélangeant la variation induite à la fois par les prompts et le processus d'échantillonnage.

Cette co-évolution permet aux poids rapides d'absorber immédiatement les leçons spécifiques à la tâche (par exemple, des heuristiques spécifiques ou des corrections d'erreurs), orientant le modèle vers un meilleur raisonnement. Les poids lents se mettent ensuite à jour dans ce contexte évolutif, empêchant le modèle de se spécialiser excessivement sur un seul prompt statique ou de dériver trop loin de la politique de base.

Contributions Clés

Intégration du Cadre : L'article concrétise le concept théorique des poids rapides/lents (à l'origine issu des neurosciences et de la littérature précoce sur les réseaux de neurones) pour l'après-entraînement des LLM, combinant spécifiquement le RLVR pour les poids et le GEPA pour les prompts.
Population de Prompts sur la Frontière de Pareto : Contrairement aux travaux antérieurs qui optimisent un seul prompt, le FST maintient une population diversifiée de prompts. Cela permet à l'agent RL de comparer les réponses à travers différents comportements de conditionnement au sein du même calcul d'avantage, fournissant des signaux de gradient plus riches.
Optimisation Entrelacée : La méthode évite le paradigme séquentiel « entraîner puis ajuster ». Au lieu de cela, elle permet à la politique et à la population de prompts de co-évoluer, où la population de prompts s'adapte à la politique actuelle, et la politique s'adapte aux prompts évolutifs.

Résultats Expérimentaux

Les auteurs évaluent le FST sur trois domaines de raisonnement : CodeIO (prédiction de sortie de code), Polaris (mathématiques) et HoVer-hard (vérification de faits multi-sauts), en utilisant Qwen3-8B comme modèle de base.

Efficacité des Données : Le FST atteint le pic de performance en cours d'exécution du RL standard en significativement moins d'étapes : 3,0 fois moins sur CodeIO, 1,4 fois moins sur Math, et 3,0 fois moins sur HoVer-hard.
Asymptote de Performance : Le FST atteint constamment un plafond de performance plus élevé que le RL seul. Par exemple, sur HoVer-hard, l'asymptote ajustée passe de 17,3 % (RL) à 25,0 % (FST).
Réduction de la Dérive du Modèle : À des niveaux de récompense équivalents, les modèles entraînés avec FST présentent jusqu'à 70 % de divergence KL en moins par rapport à la politique de base comparés aux modèles RL uniquement. Cela indique que les poids lents restent plus proches de la configuration de base.
Plasticité Préservée : Dans une expérience d'entraînement en deux phases (entraînement sur la tâche X, puis tâche Y), les modèles initiés par FST conservent la capacité d'apprendre la tâche Y efficacement. En revanche, les modèles RL-only s'effondrent souvent vers une performance proche de zéro sur la deuxième tâche, démontrant une perte de plasticité sévère.
Apprentissage Continu : Dans un scénario où les domaines de tâches changent tous les 200 étapes, le FST s'adapte rapidement aux nouveaux objectifs, tandis que les modèles RL-only stagnent ou échouent à acquérir de nouvelles tâches après la première.
Analyse des Mécanismes :
- Observation 1 : Les poids rapides acquièrent les signaux de tâche beaucoup plus vite que les poids lents. Dans une tâche synthétique de graphe en étoile, le FST a obtenu des récompenses mesurables dès l'étape ~50, piloté par l'évolution des prompts, tandis que le RL-only est resté proche de zéro jusqu'à l'étape ~300.
- Observation 2 : Le plafond de performance est relevé car les deux canaux optimisent la récompense. Distiller les poids rapides dans les poids lents (FST-distill) améliore les performances par rapport aux méthodes basées uniquement sur les prompts, mais échoue à atteindre le plafond de l'approche FST conjointe, confirmant que les deux composants sont nécessaires pour une performance maximale.

Importance et Revendications

L'article revendique que l'après-entraînement efficace des LLM ne doit pas être considéré comme un apprentissage de paramètres suivi d'un ajustement de prompts, mais plutôt comme une optimisation sur plusieurs canaux d'adaptation.

Division du Travail : En acheminant les améliorations spécifiques à la tâche et à évolution rapide via des poids textuels rapides, les poids paramétriques lents sont libérés pour consolider des comportements de raisonnement persistants et généraux.
Apprentissage Continu : Cette division du travail offre une voie vers des méthodes d'après-entraînement plus efficaces en données, moins destructrices (dérive KL plus faible) et plus propices à l'apprentissage continu, répondant au phénomène de « perte de plasticité » observé dans l'apprentissage continu profond.
Efficacité Informationnelle : Le cadre exploite des retours textuels riches (pensées, erreurs) dans la mise à jour du contexte, surmontant la limite informationnelle de « 1 bit par épisode » souvent associée aux récompenses binaires du RLVR.

Les auteurs concluent que le FST représente une direction prometteuse pour les modèles de raisonnement, suggérant que toutes les informations spécifiques à la tâche n'ont pas besoin d'être distillées dans les poids du modèle, et que maintenir une séparation entre la connaissance déclarative (prompt) et procédurale (poids) est crucial pour les raisonneurs à usage général.