🤖 AI

Learning on the Job: Continual Learning from Deployment Feedback for Frozen-Weights Agents

Cet article démontre que les agents d'IA aux poids gelés peuvent réaliser des améliorations significatives en matière d'apprentissage continu en associant leurs modèles statiques à un système de mémoire externe qui distille le feedback de déploiement en règles en langage naturel récupérables, leur permettant ainsi de résoudre des tâches auparavant insolubles sans réentraînement du modèle.

Auteurs originaux : Valentin Tablan, Scott Taylor, Kristoffer Bernhem

Publié 2026-07-27

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Valentin Tablan, Scott Taylor, Kristoffer Bernhem

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où, chaque fois que vous essayez de résoudre une énigme, vous oubliez les règles dès que le chronomètre s'arrête. Si vous résolviez un problème de mathématiques complexe aujourd'hui, vous repartiriez de zéro demain, même si le problème était exactement le même. C'est la réalité actuelle pour de nombreux agents d'intelligence artificielle (IA). Ils sont construits sur des « cerveaux gelés » — des modèles puissants qui sont figés dans le marbre lors de leur lancement. Ils ne peuvent pas apprendre de leurs erreurs en temps réel car modifier le câblage de leur cerveau est coûteux, risqué et lent. Cependant, dans le monde réel, ces agents reçoivent constamment des retours. Un client peut dire : « Ça a marché ! » ou un humain peut corriger une erreur en disant : « Voici la bonne méthode. » La grande question que se posent les scientifiques est la suivante : peut-on apprendre à ces agents dotés de cerveaux gelés à devenir plus intelligents simplement en lisant une « fiche de révision » de leurs propres expériences passées, sans jamais modifier leur cerveau ?

Ce document, intitulé « Apprendre sur le tas », explore une astuce ingénieuse. Au lieu d'essayer de recâbler le cerveau de l'IA, les chercheurs lui ont donné un carnet de notes externe — un système de mémoire. Lorsqu'un agent termine une tâche, il regarde le résultat (a-t-il gagné ou perdu ?) et écrit une règle courte en langage naturel dans ce carnet. Par exemple : « Si le client demande un remboursement, vérifiez d'abord la date. » Plus tard, lorsqu'il est confronté à une situation similaire, l'agent consulte son carnet avant d'agir. L'étude a été testée sur une simulation bancaire où l'IA devait naviguer à travers des règles complexes pour aider les clients. Ils ont découvert qu'en lisant simplement leurs propres notes, les agents devenaient nettement plus performants dans leur travail. Un agent qui a appris à partir d'un simple signal « victoire/défaite » a amélioré son taux de réussite de 1,6 fois, tandis qu'un autre, apprenant à partir de corrections détaillées, s'est amélioré de 2,6 fois. Encore plus incroyable, les notes écrites par un type d'IA étaient utiles à un type d'IA complètement différent, prouvant que cette « expérience » pouvait être partagée comme un livre de bibliothèque.

Le Problème : L'amnésie de l'IA

Considérez les agents d'IA les plus avancés d'aujourd'hui comme des stagiaires incroyablement talentueux mais incroyablement amnésiques. Vous les embauchez, on leur donne une immense bibliothèque de manuels de procédures (environ 700 documents dans cette étude) pour référence, et ils essaient d'aider un client. S'ils résolvent un problème difficile, tant mieux ! Mais dès que la conversation se termine, leur mémoire à court terme est effacée. Si ce même client difficile rappelle demain, l'agent n'a aucune idée de ce qui s'est passé hier. Il doit repartir de zéro.

La raison de cette amnésie est architecturale. Ces agents fonctionnent sur des modèles dotés de « poids gelés ». Imaginez le cerveau du modèle comme une gigantesque et complexe sculpture d'argile. Une fois que la sculpture est cuite et durcie (déployée), vous ne pouvez pas enlever ou ajouter de l'argile sans faire fondre l'ensemble pour recommencer. Faire fondre l'ensemble est dangereux (le modèle pourrait oublier tout ce qu'il savait auparavant) et coûteux. Ainsi, dans le monde réel, ces agents restent figés. Ils sont aussi capables lors de leur dernier jour de travail qu'ils l'étaient lors de leur premier.

La Solution : Le Carnet de Notes Externe

Les chercheurs se sont demandé : et si l'agent n'avait pas besoin de changer son cerveau pour apprendre ? Et s'il avait juste besoin d'un carnet de notes ?

Ils ont associé l'IA gelée à un système appelé Spark. Considérez Spark comme une bibliothèque magique et partagée où l'agent peut écrire et lire des notes. Lorsqu'un agent termine une tâche, il ne jette pas simplement l'expérience. Au lieu de cela, il réfléchit à ce qui s'est passé et écrit une « règle » dans la bibliothèque.

Le mode « Expérience » : L'agent reçoit un simple pouce levé ou baissé (un verdict d'un bit). Il doit découvrir la leçon par lui-même. « J'ai essayé de faire X et j'ai échoué. Je devrais éviter X la prochaine fois. »
Le mode « Instruction » : L'agent reçoit le pouce baissé plus la réponse correcte. « J'ai essayé X et j'ai échoué. La bonne façon est Y. »

L'agent écrit ces leçons sous forme de règles simples en langage naturel, comme : « Lorsqu'un client demande un transfert, vérifiez toujours la limite quotidienne d'abord. » Ces règles sont stockées dans la bibliothèque Spark. La prochaine fois que l'agent fait face à un client, il recherche les règles pertinentes dans la bibliothèque avant d'agir.

L'Expérience : Parier sur la Mémoire

Pour tester cela, l'équipe a utilisé un test bancaire difficile appelé τ-bench. Imaginez un jeu vidéo où l'IA joue le rôle d'un guichetier de banque. Les « clients » sont simulés par d'autres IA, et ils ont des objectifs cachés et des demandes complexes. L'agent doit comprendre les règles de la banque en parcourant une énorme pile de documents de procédure. C'est difficile ; même les meilleurs modèles d'IA ne résolvent environ que 25 % de ces tâches lors de leur premier essai.

Les chercheurs ont mené l'expérience avec deux modèles d'IA différents :

Mistral Large : Un modèle puissant et open-source que les entreprises peuvent faire fonctionner sur leurs propres serveurs.
Claude Sonnet 5 : Un modèle de pointe de haut niveau.

Ils ont testé trois scénarios pour chaque modèle :

La Référence (Baseline) : L'agent possède la bibliothèque de procédures mais aucune mémoire. Il oublie tout entre chaque tentative.
Expérience : L'agent possède la bibliothèque et un carnet de notes, mais apprend uniquement à partir d'un signal simple de « victoire/défaite ».
Instruction : L'agent possède la bibliothèque, un carnet de notes, et apprend à partir du signal « victoire/défaite » plus la solution correcte après un échec.

Les Résultats : De Zéro à Héros

Les résultats ont été frappants. Les agents qui utilisaient le carnet de notes sont devenus bien meilleurs dans leur travail, et ce, sans changer un seul neurone dans leurs cerveaux gelés.

Le Pouvoir des Corrections : Pour le modèle Mistral Large, le groupe « Instruction » (apprenant grâce aux corrections) a résolu 2,6 fois plus de tâches dès le premier essai par rapport à la référence. Ils ont réussi à résoudre 22 des 84 tâches que l'agent de référence n'a jamais résolues, peu importe le nombre de tentatives.
Le Pouvoir de l'Expérience : Même apprendre d'un simple signal « victoire/défaite » a aidé. Le groupe « Expérience » s'est amélioré de 1,6 fois par rapport à la référence.
La Courbe d'Apprentissage : Au début, tous les agents étaient également mauvais car les carnets étaient vides. Mais au fil des essais, les agents dotés de carnets sont devenus plus intelligents. L'agent de référence est resté stable, tandis que les agents apprenants ont progressé à chaque tentative.
La Magie de l'Interopérabilité entre Modèles : Les chercheurs ont fait quelque chose de très intéressant. Ils ont pris le carnet construit par le modèle Mistral Large et l'ont donné au modèle Claude Sonnet 5 pour qu'il le lise (et vice versa). Même s'ils étaient des modèles différents, les notes étaient utiles ! Le modèle Mistral, en lisant les notes de Claude, a considérablement amélioré son taux de réussite. Cela prouve que la connaissance stockée dans le carnet n'était pas seulement « le style de Mistral » ; c'était une connaissance générale et utile que n'importe quel agent pouvait utiliser.

Pourquoi cela compte

Ce document suggère une nouvelle façon de rendre l'IA plus intelligente sans le coût et le risque énormes d'un réentraînement. Au lieu d'essayer de faire fondre et de remodeler le cerveau de l'IA, nous pouvons simplement lui donner un meilleur moyen de se souvenir.

L'étude a également écarté quelques hypothèses. Par exemple, ils ont vérifié si les agents ne faisaient pas simplement de la « mise en cache » de réponses (mémoriser la solution exacte d'une énigme spécifique). Ils ont constaté que ce n'était pas le cas. Les agents apprenaient des règles (comme « vérifier la date ») qui les aidaient à résoudre de nouvelles variations du problème. Ils ont également montré que cet apprentissage ne rendait pas les agents moins performants dans ce qu'ils savaient déjà bien faire ; ils conservaient leurs anciennes compétences tout en acquérant de nouvelles.

En résumé, cette recherche montre que pour les agents d'IA gelés, le feedback qu'ils reçoivent chaque jour — qu'il s'agisse d'un simple « bon travail » ou d'une correction détaillée — est suffisant pour les transformer en apprenants à vie, à condition qu'ils aient un endroit pour noter ce qu'ils ont appris. Cela transforme l'expérience d'un agent unique en un actif organisationnel partagé, rendant l'ensemble du système plus intelligent, une note à la fois.

Résumé Technique : Apprentissage sur le Tas pour les Agents à Poids Gelés

Énoncé du Problème

Les déploiements actuels d'agents IA reposent sur des modèles de fondation aux poids gelés, ce qui signifie que les agents perdent presque toutes les opportunités d'apprentissage après chaque épisode. Lorsqu'une requête difficile se réitère, l'agent repart de zéro. Bien que la mise à jour des poids offre une voie classique vers l'apprentissage continu, elle induit des coûts prohibitifs en termes d'infrastructure, de risque d'oubli catastrophique et de nécessité de nouvelles évaluations de sécurité. Par conséquent, les agents déployés restent souvent aussi capables le dernier jour qu'au premier.

Les déploiements en conditions réelles génèrent typiquement des signaux de supervision — tels que des verdicts de résultat (succès/échec) ou des corrections post-hoc (résolutions vérifiées) — pourtant ces signaux sont rarement utilisés pour l'apprentissage. Cet article étudie si ces signaux de rétroaction ordinaires sont suffisants pour permettre un apprentissage continu sans modifier les poids du modèle, en associant l'agent gelé à un système de mémoire externe.

Méthodologie

Le Système de Mémoire Spark

L'étude utilise Spark, un service de mémoire partagée pour les agents IA.

Unité de Connaissance : Les enseignements sont stockés sous forme d'énoncés compacts en langage naturel (règles, procédures, avertissements) comprenant un titre, un contenu et une requête de récupération formulée comme une question qu'un futur agent poserait.
Cycle de Vie : Les contributions passent par un pipeline de curation autonome impliquant des filtres de sécurité, des barrières de qualité et une déduplication. Le système supporte la synthèse et l'élagage continus de nouveaux enseignements à partir de grappes d'enseignements liés.
Interaction : Les agents interagissent via quatre appels : search (recherche), create_memory (création de mémoire), enrich_memory (enrichissement de mémoire) et share_feedback (partage de rétroaction). Le système fonctionne selon un cycle lecture-contribution-rétroaction, où la rétroaction met à jour les estimations de confiance pour influencer le classement de la récupération.

Configuration Expérimentale

Les expériences sont menées sur le domaine $\tau$ -Banking de $\tau$ -bench, un benchmark intensif en connaissances impliquant des conversations multi-tours avec des clients simulés.

Difficulté de la Tâche : Les agents doivent découvrir des règles métier et des outils en recherchant dans un corpus d'environ 700 documents de politique via une recherche éparse BM25. Le benchmark est déterministe, le succès étant défini par la correspondance de l'état final de la base de données avec une vérité terrain.
Modèles : Deux modèles couvrent le spectre du déploiement : Mistral Large (poids ouverts, auto-hébergeable) et Claude Sonnet 5 (modèle de pointe).
Protocole : Chaque tâche exécute $k=4$ essais indépendants. Le magasin de mémoire commence vide et reste actif à travers les essais pour une seule tâche, permettant aux leçons de l'essai $t$ d'influencer l'essai $t+1$ .

Conditions

Trois conditions sont comparées :

Baseline Sans Mémoire : Un contrôle RAG statique récupérant sur l'ensemble du corpus de politiques sans mémoire inter-essais.
Expérience (Experience) : L'agent apprend d'un verdict de résultat à un bit (succès/échec). En cas d'échec, il doit distiller ses propres leçons (règles d'évitement) sans accès à la solution correcte.
Instruction : L'agent apprend du verdict ainsi que d'une séquence d'actions vérifiée (correction) délivrée après un épisode échoué. Cela permet à l'agent d'écrire la règle correcte dans la mémoire.

Métriques

$pass^k$ : La métrique standard du benchmark exigeant qu'une tâche soit résolue dans tous les $k$ essais.
Taux de succès par essai : Le taux de succès agrégé en fonction de l'indice de l'essai.
Taux de maintien (Hold rate) : La probabilité qu'une tâche réussie à l'essai $t$ soit réussie à nouveau à $t+1$ , mesurant la rétention des connaissances.
Conversion : Le taux auquel les tâches situées dans le "stratum plancher" (tâches que la baseline ne résout jamais) sont résolues par les conditions d'apprentissage.

Résultats Clés

Performance de l'Apprentissage Continu

Mistral Large :
- L'Instruction a élevé le succès au premier essai ( $pass^1$ ) à 0,170, soit 2,6 $\times$ la baseline (0,064) et 1,6 $\times$ la condition Experience (0,103).
- L'Experience seule a élevé le $pass^1$ à 0,103 (1,6 $\times$ la baseline).
- Conversion : L'Instruction a converti 22 des 84 tâches que la baseline ne résolvait jamais. L'Experience en a converti 5.
- Rétention : L'Experience a maintenu les solutions bancées à un taux de 0,88, tandis que l'Instruction s'est maintenue à 0,65.
Claude Sonnet 5 :
- A répliqué la tendance sur un modèle plus puissant. L'Instruction a élevé le $pass^1$ de 0,248 (baseline) à 0,397.
- A converti 28 des 57 tâches que la baseline ne résolvait jamais.
- La courbe d'apprentissage a montré une hausse monotone des taux de succès à travers les essais pour les conditions d'apprentissage, alors que la baseline est restée plate.

Transfert entre Modèles

L'étude a testé si la mémoire construite par un modèle pouvait bénéficier à un autre en figeant les magasins et en faisant lire le magasin par l'autre (lecture seule).

Mistral Large lisant le magasin construit par Claude Sonnet 5 a amélioré le $pass^1$ de 0,064 à 0,289 (+0,224).
Claude Sonnet 5 lisant le magasin construit par Mistral Large a amélioré le $pass^1$ de 0,248 à 0,314 (+0,066).
Signification : Le transfert était efficace dans les deux sens, incluant un transfert "ascendant" où les règles du modèle plus faible ont aidé le modèle plus fort. Sous réserve qu'une tâche soit transférable (non résolue par le consommateur mais résolue par le producteur), les taux de conversion étaient d'environ 31 % dans les deux sens.

Signification et Revendications

L'article revendique trois contributions principales :

Suffisance de la Rétroaction Post-Épisode : L'étude démontre que la rétroaction ordinaire de déploiement (verdicts de résultat et corrections) est un signal suffisant pour l'apprentissage continu. Un agent peut augmenter significativement sa performance (jusqu'à 2,6 $\times$ ) sans mise à jour des poids, à condition d'être couplé à une mémoire externe qui distille les épisodes en règles récupérables.
Transférabilité de la Mémoire Accumulée : Les magasins de mémoire accumulés sont transportables d'un modèle à l'autre. Un magasin gelé construit par un modèle peut améliorer la performance d'un autre modèle, transformant l'expérience individuelle de l'agent en une connaissance organisationnelle agnostique au modèle.
Protocole de Mesure Réutilisable : L'article introduit un protocole pour mesurer l'apprentissage continu dans les agents à poids gelés, distinguant le succès de la tâche, la fiabilité à travers les essais et la rétention des connaissances (taux de maintien), publié avec l'outil et les données.

Les auteurs soulignent que les résultats traitent du régime spécifique où les connaissances manquantes au modèle sont décisives. L'effet d'apprentissage se produit entre les essais, piloté uniquement par le magasin de mémoire, et la connaissance accumulée se transfère efficacement, suggérant que la mémoire externe peut servir d'alternative viable aux mises à jour de poids pour de nombreux déploiements en entreprise. L'article note explicitement que la généralisation à des types de tâches inédits n'a pas été mesurée ; l'accent est mis sur les situations récurrentes lors du déploiement.