Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills

Ce rapport de synthèse propose un cadre unifié en quatre paradigmes pour analyser l'adaptation des agents d'IA après l'entraînement préliminaire, en examinant les méthodes d'amélioration des agents et des outils, les architectures de mémoire adaptative et les compétences, tout en évaluant leurs compromis et en identifiant les défis futurs.

L'essentiel

Imaginez que l'Intelligence Artificielle (IA) est comme un génie très intelligent qui vit dans une lampe magique (le modèle de langage, ou LLM). Ce génie est très savant, mais il a deux gros problèmes : il ne peut pas toucher au monde réel, et il oublie vite ce qu'il a appris après chaque conversation.

Pour le rendre vraiment utile, nous devons le transformer en un Agent capable d'agir. Mais comment l'améliorer ? C'est là que cette recherche intervient. Elle propose une carte au trésor avec quatre chemins pour adapter ce génie, en fonction de ce que l'on veut changer et de comment on lui donne des conseils.

Voici l'explication simple de ces quatre chemins, avec des analogies du quotidien :

1. Le Génie lui-même (L'Agent)

C'est le cerveau principal. On peut le modifier de deux façons :

• Chemin A1 : L'entraînement par la pratique (Le signal vient de l'action)

  • L'analogie : Imaginez un apprenti cuisinier qui apprend à utiliser un couteau. S'il coupe un doigt, il a mal (échec). S'il coupe une carotte parfaitement, il a réussi. Il apprend directement par le résultat de son action.
  • En IA : On laisse l'IA utiliser un outil (comme un moteur de recherche ou un compilateur de code). Si l'outil dit "C'est bon" ou "C'est faux", l'IA ajuste son cerveau immédiatement. C'est très précis, mais ça demande beaucoup d'essais et d'erreurs.
  • Exemple : Un agent qui apprend à écrire du code en voyant si le programme plante ou non.

• Chemin A2 : L'entraînement par la note finale (Le signal vient du résultat global)

  • L'analogie : C'est comme un étudiant qui passe un examen. Il ne sait pas exactement où il a fait une erreur dans son raisonnement, mais il reçoit une note finale (15/20). Il doit deviner comment améliorer sa stratégie globale pour avoir 20/20 la prochaine fois.
  • En IA : On ne regarde pas chaque petite étape, mais seulement si la réponse finale est bonne. C'est plus flexible (l'IA apprend à penser stratégiquement), mais c'est plus difficile à apprendre car il est dur de savoir pourquoi on a eu une mauvaise note.
  • Exemple : Un agent qui doit résoudre un problème complexe en plusieurs étapes et reçoit une récompense seulement à la toute fin.

2. Les Outils du Génie (Les Outils)

Parfois, on ne veut pas changer le génie (c'est trop cher ou impossible, comme avec ChatGPT). On préfère améliorer ses outils (sa "boîte à outils").

• Chemin T1 : Les outils tout faits (Indépendants)

  • L'analogie : C'est comme acheter un marteau professionnel dans un magasin de bricolage. Le marteau est déjà parfait, il est fabriqué par un expert, et n'importe quel artisan peut l'utiliser sans le modifier.
  • En IA : On utilise des outils pré-entraînés (comme un moteur de recherche très rapide ou un traducteur) que l'IA peut appeler. L'IA reste la même, mais elle a de meilleurs outils.
  • Exemple : Utiliser un moteur de recherche Google optimisé pour trouver des documents précis.

• Chemin T2 : Les outils sur mesure (Adaptés au Génie)

  • L'analogie : Imaginez que vous avez un chef cuisinier très célèbre mais qui ne peut pas changer de recette. Au lieu de le changer, vous formez un assistant spécial qui prépare les ingrédients exactement comme le chef les aime. L'assistant apprend en regardant ce que le chef mange et en ajustant ses préparations pour que le chef soit plus heureux.
  • En IA : On garde l'IA principale figée, mais on entraîne un petit "sous-agent" (un outil) pour qu'il soit parfaitement synchronisé avec elle. Si l'IA principale fait une erreur, le sous-agent apprend à mieux fournir les informations pour éviter l'erreur la prochaine fois.
  • Exemple : Un petit robot qui apprend à chercher les bonnes informations spécifiquement pour aider un grand modèle d'IA à répondre à des questions médicales.

Pourquoi tout cela est important ? (Le grand tableau)

Les chercheurs disent qu'il n'y a pas de "meilleure" méthode, tout dépend de la situation :

• Si vous voulez de la précision technique (comme coder ou faire des maths), le chemin A1 (pratique directe) est souvent le meilleur.
• Si vous voulez de la stratégie complexe (comme faire de la recherche approfondie), le chemin A2 (note finale) est nécessaire.
• Si vous voulez aller vite et économiser de l'argent, le chemin T2 (outils sur mesure) est souvent le gagnant. Il est beaucoup moins cher d'entraîner un petit assistant (l'outil) que de rééduquer tout le génie (l'IA).

En résumé

Cette étude nous dit : Ne changez pas tout le système si vous n'avez besoin que d'un petit ajustement.

• Si votre IA est maladroite avec les outils, entraînez-la à les utiliser (A1).
• Si elle a du mal à réfléchir globalement, entraînez-la sur les résultats (A2).
• Si elle est bloquée par des outils médiocres, achetez de meilleurs outils (T1).
• Si votre IA est parfaite mais que ses outils ne lui parlent pas bien, créez un traducteur ou un assistant sur mesure pour elle (T2).

C'est comme construire une équipe : parfois, il faut entraîner le capitaine (l'agent), parfois il faut juste acheter de meilleures chaussures à l'équipe (les outils), et parfois il faut créer un manager spécial qui aide le capitaine à mieux utiliser l'équipe (l'adaptation T2). L'avenir de l'IA intelligente repose sur le bon mélange de ces quatre stratégies.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche "Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills" (Adaptation de l'IA Agente : Une enquête sur le post-entraînement, la mémoire et les compétences).

1. Problématique et Contexte

Les systèmes d'IA agents basés sur les grands modèles de langage (LLM) ont dépassé la simple génération de texte pour devenir des entités capables de percevoir leur environnement, d'utiliser des outils externes, de gérer la mémoire et d'exécuter des plans complexes. Cependant, ces systèmes actuels souffrent de limitations majeures :

• Une utilisation peu fiable des outils.
• Une planification à long horizon superficielle.
• Des lacunes dans le raisonnement spécifique à un domaine.
• Une mauvaise généralisation aux environnements sans expérience préalable.

Le paysage de la recherche est actuellement fragmenté entre les méthodes de post-entraînement (fine-tuning, RL), les systèmes de récupération/mémoire et les bibliothèques de compétences. Il manque un cadre unifié pour comprendre comment adapter un agent, ses outils ou leur interaction après l'entraînement préliminaire (pre-training).

2. Méthodologie : Le Cadre à Quatre Paradigmes

Les auteurs proposent un cadre unifié d'adaptation structuré selon deux dimensions principales :

1. L'objet de l'adaptation : L'agent lui-même (le modèle de base) ou les outils externes (récupérateurs, planificateurs, mémoires, sous-agents).
2. La source du signal d'adaptation : Le résultat de l'exécution de l'outil (verifiable) ou l'évaluation de la sortie finale de l'agent.

Cela définit quatre paradigmes distincts :

A. Adaptation de l'Agent (Agent Adaptation)

• A1 : Adaptation signalée par l'exécution de l'outil (Tool Execution Signaled).
  • Mécanisme : L'agent est optimisé en utilisant des signaux de récompense directs provenant de l'exécution de l'outil (ex: succès d'un test de code, score de pertinence de recherche, vérification formelle).
  • Méthodes : Fine-tuning supervisé (SFT) et Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR).
  • Avantage : Signaux denses, causaux et précis pour maîtriser la mécanique des outils.
  • Exemple : DeepSeek-R1 (pour le code), DeepRetrieval (pour la recherche).
• A2 : Adaptation signalée par la sortie de l'agent (Agent Output Signaled).
  • Mécanisme : L'agent est optimisé en fonction de la qualité de sa réponse finale (ex: exactitude de la réponse, plan global), indépendamment de la qualité de chaque étape intermédiaire.
  • Méthodes : SFT sur les réponses finales, RL basé sur les préférences ou la réussite de la tâche.
  • Avantage : Optimise la stratégie globale et la coordination outil-raisonnement.
  • Inconvénient : Signaux épars (sparse rewards), attribution de crédit difficile, risque d'apprentissage par "raccourcis".
  • Exemple : Search-R1, ReSearch.

B. Adaptation de l'Outil (Tool Adaptation)

• T1 : Adaptation d'outil agnostique à l'agent (Agent-Agnostic).
  • Mécanisme : Les outils sont entraînés indépendamment de tout agent spécifique (modèles pré-entraînés, récupérateurs denses). L'agent les utilise comme des modules "plug-and-play".
  • Avantage : Réutilisabilité maximale, coût de calcul faible pour l'agent (qui reste figé).
  • Exemple : HuggingGPT, AlphaFold2, récupérateurs denses classiques.
• T2 : Adaptation d'outil supervisée par l'agent (Agent-Supervised).
  • Mécanisme : L'agent principal reste figé (frozen), mais ses outils (sous-agents, modules de mémoire, récupérateurs) sont adaptés en utilisant les sorties de l'agent comme signal de supervision.
  • Concept clé : "Subagent-as-Tool". L'outil apprend à reformuler l'information pour qu'elle soit optimale pour le raisonnement de l'agent figé.
  • Avantage : Très haute efficacité des données (data efficiency), évite l'oubli catastrophique (catastrophic forgetting) de l'agent principal, modularité.
  • Exemple : s3 (sous-agent de recherche entraîné par feedback d'un LLM figé), Mem-α (gestion de mémoire).

3. Contributions Clés

1. Cadre Unifié 2x2 : Une taxonomie rigoureuse (A1, A2, T1, T2) qui décompose l'adaptation des agents selon l'objet optimisé et le signal utilisé, permettant de comparer les compromis (coût, flexibilité, généralisation).
2. Synthèse Empirique et Mémoire/Compétences : L'article traite systématiquement la mémoire et les compétences comme des mécanismes d'adaptation. Il montre comment les systèmes de mémoire adaptative (buffers épisodiques, bases de connaissances) s'inscrivent dans le paradigme T2, et comment les bibliothèques de compétences (skills) font le pont entre le post-entraînement (A1/A2) et les écosystèmes d'outils (T1/T2).
3. Cadre d'Évaluation Multidimensionnel : Identification des lacunes dans les benchmarks actuels. Les auteurs distinguent les métriques d'exécution vérifiable (A1) des métriques d'utilité holistique (A2) et soulignent le manque de benchmarks standardisés pour l'adaptation T2 et les comparaisons inter-paradigmes.
4. Cartographie des Applications : Analyse de la dominance des paradigmes dans des domaines spécifiques (Recherche approfondie, Développement logiciel, Utilisation d'ordinateurs, Découverte de médicaments), montrant comment le choix du paradigme dépend de la disponibilité de signaux de feedback vérifiables.

4. Résultats et Observations Principales

• Efficacité des Données (Data Efficiency) : Une comparaison quantitative (ex: entre Search-R1 en A2 et s3 en T2) suggère que l'adaptation T2 peut atteindre des performances comparables à l'entraînement A2 complet avec 70 fois moins d'exemples d'entraînement. En T2, l'outil n'a besoin d'apprendre qu'une compétence procédurale étroite, tandis que l'agent figé gère déjà le raisonnement et les connaissances.
• Densité du Signal : Les méthodes A1 excellent dans les domaines à feedback dense et vérifiable (code, preuves formelles, SQL). Les méthodes A2 sont nécessaires lorsque le feedback est holistique et subjectif.
• Cycle de "Graduation" (Graduation Lifecycle) : Les agents entraînés via A1 ou A2 peuvent être "gelés" et redéployés en tant qu'outils T1 réutilisables (ex: un agent de recherche entraîné devient un outil de recherche pour d'autres agents).
• Compromis Coût/Flexibilité :
  • A1/A2 : Haute flexibilité paramétrique mais coût de calcul élevé et risque d'oubli catastrophique.
  • T1/T2 : Haute flexibilité systémique (modularité, mise à jour à chaud des outils) et coût réduit, mais limité par les capacités intrinsèques de l'agent figé.

5. Signification et Perspectives Futures

Ce travail est fondamental car il déplace le centre de gravité de la recherche sur les agents : au lieu de chercher uniquement à améliorer le modèle de base (coûteux et rigide), il propose d'orchestrer un écosystème modulaire où l'agent central reste stable tandis que les outils périphériques (mémoire, recherche, planification) évoluent continuellement.

Défis ouverts identifiés :

• Co-adaptation : Développer des cadres où l'agent et les outils s'adaptent simultanément (problème d'attribution de crédit et de stabilité dynamique).
• Adaptation Continue : Gérer les distributions de tâches non stationnaires sans oublier les compétences précédentes (Continual Learning).
• Sécurité : Mitiger les risques d'exploration non sûre (A1) et d'adaptation parasite (T2 où l'outil exploite l'agent).
• Efficacité : Rendre l'adaptation possible sur des appareils contraints (On-Device) via des techniques comme LoRA et la quantification.

En conclusion, l'article plaide pour une architecture hybride future : des noyaux de raisonnement stables (LLM figés) entourés d'un écosystème dynamique de sous-agents et de mémoires adaptatifs (T1/T2), permettant une évolution continue, sécurisée et économe en ressources des systèmes d'IA agentic.