Résumé technique : Dégradation et préservation des capacités dans l'adaptation d'agents LLM tout au long de la vie

Définition du problème : Érosion des capacités dans les agents auto-évolutifs

Des cadres récents ont permis aux agents de modèles de langage (LLM) d'affiner autonomement leurs flux de raisonnement, d'accumuler des compétences réutilisables, de mettre à jour les paramètres sous-jacents du modèle et de maintenir une mémoire persistante. Bien que ces systèmes promettent un avenir d'agents élargissant continuellement leur compétence, cet article identifie un mode de défaillance fondamental : l'érosion des capacités sous l'auto-évolution.

Les auteurs démontrent que l'auto-évolution est souvent non monotone. Lorsqu'un agent s'adapte à une nouvelle distribution de tâches ($Y$), le processus d'optimisation pour $Y$ dégrade fréquemment les capacités acquises précédemment sur les distributions de tâches antérieures ($X$). Ce phénomène se manifeste structurellement selon trois dimensions :

1. Déclin rétrospectif des capacités : Les performances sur les tâches précédemment maîtrisées chutent après le fine-tuning ou la mise à jour pour de nouvelles tâches.
2. Dérive de la politique comportementale : Les flux de travail deviennent inutilement complexes et alourdis, introduisant du bruit et des étapes d'exécution qui n'étaient pas présents dans les comportements antérieurs réussis.
3. Érosion de la généralisation : L'adaptation rétrécit l'espace de raisonnement effectif, interférant avec les compétences acquises précédemment ou les motifs de récupération de la mémoire.

L'article soutient qu'il ne s'agit pas simplement d'un échec d'algorithmes spécifiques, mais d'une conséquence structurelle de l'auto-modification continue non contrainte. Que le référentiel mutable soit un graphe de flux de travail, une banque de compétences, des paramètres de modèle ou un stockage de mémoire, l'optimisation exclusive pour la distribution de tâches actuelle introduit une interférence destructrice, écrasant ou dégradant les structures qui soutenaient un comportement réussi sur les tâches antérieures.

Méthodologie : Évolution préservant les capacités (CPE)

Pour y remédier, les auteurs proposent l'Évolution préservant les capacités (CPE), un principe général de stabilisation. La CPE modifie l'objectif standard d'auto-évolution pour inclure un régularisateur de rétention explicite.

Cadre théorique

Les auteurs modélisent l'auto-évolution comme un processus séquentiel où un agent met à jour un état de capacité $R_t$ afin de minimiser la perte sur une nouvelle distribution $D_t$. L'évolution naïve minimise uniquement la perte actuelle $L_t(R)$. La CPE résout plutôt :
$$R^{CPE}_t \in \arg \min_{R \in \mathcal{R}} L_t(R) + \lambda \Omega_t(R, R_{t-1})$$
où $\Omega_t$ mesure l'écart par rapport aux structures antérieures soutenant les capacités, et $\lambda$ contrôle le compromis stabilité-plasticité.

L'analyse locale (Propositions 1 et 2) montre que les mises à jour naïves augmentent le risque retenu chaque fois que la direction de mise à jour chevauche des directions de forte courbure (sensibilité) pour les tâches antérieures. La CPE supprime cela en pénalisant les mises à jour le long de ces directions sensibles, contraignant efficacement l'agent à se déplacer vers la nouvelle distribution sans détruire le « support de capacité » requis par les anciennes tâches.

Instances spécifiques aux dimensions

L'article implémente la CPE à travers quatre canaux d'évolution distincts, chacun avec un régularisateur adapté :

1. Évolution du flux de travail :
   • Référentiel : Graphes de flux de travail exécutables / programmes d'invite.
   • Mécanisme : Le régularisateur $\Omega_{wf}$ décourage les écarts par rapport aux « signatures comportementales d'ancrage » extraites d'un flux de travail de départ. Il empêche l'accumulation d'étapes de validation excessivement complexes et de détours structurels qui dégradent les performances sur les tâches simples.
2. Évolution des compétences/outils :
   • Référentiel : Une banque de compétences de capacité limitée contenant des modèles procéduraux.
   • Mécanisme : Le régularisateur $\Omega_{sk}$ empêche l'éviction de compétences utiles en raison des limites de capacité. Il emploie une consolidation préservant les capacités, fusionnant les compétences sémantiquement liées et protégeant les entrées historiques à haute utilité d'une suppression directe lors de l'admission de nouvelles compétences.
3. Évolution du modèle :
   • Référentiel : Paramètres de modèle entraînables (par exemple, adaptateurs LoRA).
   • Mécanisme : Le régularisateur $\Omega_{md}$ utilise une pénalité de style Consolidation Élastique des Poids (EWC). Il estime l'importance des paramètres (via l'information de Fisher) pour les domaines antérieurs et pénalise le mouvement le long de ces directions, permettant l'adaptation uniquement dans les directions de faible importance.
4. Évolution de la mémoire :
   • Référentiel : Banques de mémoire externes persistantes.
   • Mécanisme : Le régularisateur $\Omega_{mem}$ utilise une préservation à seuil de preuve. Les mémoires qui accumulent un soutien auto-vérifié répété sont traitées comme stables et protégées de l'éviction ou de l'écriture destructive, tandis que les entrées à faible preuve restent adaptables.

Résultats clés

Les auteurs évaluent la CPE par rapport à l'auto-évolution « non contrainte » (« Vanilla ») sur quatre principaux benchmarks et plusieurs modèles de base (incluant GPT-5.1, GPT-5 nano, GPT-4o mini, Qwen3-0.6B et Llama3.2-3B).

• Évolution du flux de travail (EvoAgentX sur $\tau^2$-Bench) :
  • L'évolution naïve a conduit à des flux de travail alourdis et à une baisse des performances sur les tâches simples (par exemple, de 57,1 % à 41,8 % sur les tâches de transport aérien avec GPT-5.1).
  • La CPE a préservé une structure d'exécution plus compacte, améliorant les performances retenues sur les tâches simples à 52,8 % tout en maintenant ou en améliorant l'adaptation aux tâches complexes.
• Évolution des compétences (MemSkill sur MATH) :
  • L'évolution naïve a progressivement écrasé les compétences antérieures (par exemple, la géométrie) alors que la distribution se déplaçait vers la théorie des nombres, provoquant une dégradation continue sur les ensembles d'évaluation d'algèbre et de géométrie.
  • La CPE a maintenu une utilisation stable des compétences antérieures, entraînant une précision retenue plus élevée sur tous les domaines séquentiels (par exemple, la précision en géométrie est passée de 58,9 % à 59,3 % avec GPT-5 nano).
• Évolution du modèle (STaR sur MedMCQA) :
  • L'auto-entraînement naïf a présenté un oubli catastrophique sur les domaines médicaux antérieurs (Anatomie, Biochimie) alors que le modèle s'adaptait à de nouveaux.
  • La CPE a constamment amélioré la précision retenue sur tous les domaines et toutes les tailles de modèles (par exemple, la précision en anatomie sur Qwen3-0.6B est passée de 29,4 % à 30,5 %).
• Évolution de la mémoire (Dynamic Cheatsheet) :
  • Les mises à jour de mémoire non contraintes ont dégradé la rétention des tâches anciennes d'une moyenne de 2,3 %.
  • La CPE a réduit cet écart de rétention à 0,7 %, stabilisant les motifs de récupération pour les domaines précédemment appris sans entraver l'adaptation aux nouvelles tâches.

Importance et revendications

L'article revendique être le premier à identifier systématiquement l'érosion des capacités comme un mode de défaillance structurel à travers toutes les dimensions majeures des agents auto-évolutifs (flux de travail, compétences, modèle et mémoire).

• Perspective unifiée : Les auteurs fournissent une perspective d'interférence unifiée, montrant que malgré des implémentations hétérogènes, les quatre dimensions souffrent du même mécanisme : l'optimisation pour de nouvelles tâches écrase les structures soutenant les anciennes tâches.
• Principe de stabilisation : L'article postule que l'auto-évolution stable à long horizon nécessite non seulement d'acquérir de nouvelles capacités, mais aussi de préserver explicitement celles déjà apprises. La CPE est présentée comme un principe de conception général pour y parvenir.
• Portée modeste : Les auteurs reconnaissent que leurs mécanismes de préservation actuels sont légers et spécifiques au domaine. Ils présentent ce travail comme une vérification du phénomène d'érosion et une démonstration qu'une régularisation explicite peut l'atténuer, plutôt que comme une solution complète à tous les défis futurs des agents autonomes. Ils notent que les agents du monde réel pourraient faire face à des trajectoires plus complexes et ouvertes que les déplacements séquentiels contrôlés testés ici.

En conclusion, l'article soutient que sans contraintes explicites de préservation, les agents auto-évolutifs s'éloigneront inévitablement d'un comportement fiable, et que l'Évolution préservant les capacités est un composant nécessaire pour construire des agents capables d'un véritable apprentissage tout au long de la vie.