🤖 AI

ToolSelf: Unifying Task Execution and Self-Reconfiguration via Tool-Driven Emergent Adaptation

Le document introduit ToolSelf, un paradigme qui unifie l'exécution de tâches et l'auto-reconfiguration au moment de l'exécution au sein d'une politique unique pour surmonter la rigidité des configurations statiques, atteignant des gains de performance significatifs grâce à une nouvelle approche d'entraînement en deux étapes sensible à la configuration (Configuration-Aware Two-stage Training ou CAT).

Auteurs originaux : Jingqi Zhou, Sheng Wang, Dezhao Deng, Junwen Lu, Junwei Su, Qintong Li, Jiahui Gao, Hao Wu, Jiyue Jiang, Lingpeng Kong, Dunhong Jin, Chuan Wu

Publié 2026-06-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jingqi Zhou, Sheng Wang, Dezhao Deng, Junwen Lu, Junwei Su, Qintong Li, Jiahui Gao, Hao Wu, Jiyue Jiang, Lingpeng Kong, Dunhong Jin, Chuan Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un assistant hautement intelligent pour résoudre un mystère très complexe et à étapes multiples.

L'Ancienne Méthode (Configuration Statique) :
Dans les systèmes d'IA traditionnels, vous devez écrire un « livre de règles » strict pour votre assistant avant qu'il ne commence son travail. Vous lui dites : « Tu es un détective. Utilise ces 5 outils spécifiques. Garde tes notes dans ce format de carnet spécifique. Ton objectif est de retrouver le chat disparu. »

Le problème est qu'une fois le travail commencé, l'assistant est prisonnier de ce livre de règles.

Si l'assistant réalise qu'il a besoin d'un autre outil (comme un microscope au lieu d'une loupe), il ne peut pas l'obtenir.
S'il réalise que son personnage de « détective » est trop rigide et qu'il doit devenir davantage un « scientifique », il ne peut pas changer.
Si son carnet devient trop rempli de notes inutiles, il ne peut pas faire le ménage.
Il est forcé de continuer à essayer de résoudre l'énigme avec les mauvais outils et le mauvais état d'esprit, échouant souvent parce que la situation a changé, mais pas ses instructions.

La Nouvelle Méthode (TOOLSELF) :
Le document présente TOOLSELF, un système où l'assistant ne se contente pas de suivre un livre de règles ; il écrit son propre livre de règles pendant qu'il travaille.

Considérez TOOLSELF comme un assistant qui possède une « Baguette Magique » spéciale (un outil appelé reconfigure).

La Boucle : L'assistant travaille sur une partie de la tâche. Lorsqu'il rencontre un obstacle ou termine une étape, il fait une pause.
Le Point de Contrôle : Il se demande : « Est-ce que mon plan actuel fonctionne ? Ai-je les bons outils ? Mon carnet est-il trop désordonné ? »
La Baguette Magique : S'il répond « Non », il agite la Baguette Magique. Cet outil ne lui donne pas seulement un nouvel outil ; il lui permet de réécrire sa propre fiche de poste pour l'étape suivante.
- « D'accord, pour la prochaine étape, je ne suis plus un détective, je suis un analyste de données. »
- « Je dois échanger ma loupe contre une calculatrice. »
- « Je dois supprimer les anciennes notes et commencer un nouveau résumé. »
Le Résultat : L'assistant adopte immédiatement cette nouvelle identité, utilise les nouveaux outils et continue. Il s'adapte en temps réel à ce que la tâche exige.

Comment ils ont formé l'assistant pour faire cela (Entraînement CAT) :
Vous pourriez demander : « Comment l'IA sait-elle quand changer d'avis et en quoi elle doit changer ? » Les auteurs ont utilisé une méthode d'entraînement en deux étapes appelée CAT (Configuration-Aware Two-stage Training) :

Étape 1 : La phase des « Bons Exemples » (RFT) : Ils ont montré à l'IA de nombreux exemples de missions réussies où l'assistant avait compris de lui-même comment effectuer les changements nécessaires. L'IA a appris à copier ces bons comportements.
Étape 2 : La phase du « Scorecard » (KTO) : Ils ont laissé l'IA tenter des tâches par elle-même. Si l'IA terminait toute la mission avec succès, elle recevait une « Étoile d'Or ». Si elle échouait, elle recevait une « Croix Rouge ». Crucialement, l'IA a appris que chaque décision qu'elle prenait en cours de route (y compris lorsqu'elle décidait de modifier ses propres règles) contribuait à cette Étoile d'Or ou à cette Croix Rouge finale. Cela a appris à l'IA à prendre de meilleures décisions d'auto-ajustement pour garantir la victoire finale.

Les Résultats :
Le papier a testé cela sur des tâches difficiles comme la recherche approfondie (trouver des faits à travers de nombreux sites web), l'assistance IA générale et la correction de code logiciel.

Sans entraînement supplémentaire (Zero-shot) : Même en utilisant simplement la méthode de la « Baguette Magique », l'assistant TOOLSELF a obtenu de meilleurs résultats que les assistants spécialisés qui avaient été programmés manuellement pour des tâches spécifiques.
Avec l'entraînement (CAT) : Après cet entraînement en deux étapes, l'assistant TOOLSELF a amélioré ses performances de façon massive de 28,8 points en moyenne par rapport aux anciens assistants à « livre de règles statique ».

En Résumé :
TOOLSELF est comme donner à une IA un travail où elle peut licencier son propre patron, embaucher de nouveaux outils et réécrire ses propres instructions pendant qu'elle effectue le travail, tout cela en fonction de ce qui se passe réellement devant elle. Cela la rend beaucoup plus flexible et efficace pour résoudre des problèmes longs et compliqués que les systèmes qui sont bloqués par un plan établi avant le début de la tâche.

Résumé Technique : TOOLSELF

Énoncé du Problème

Les systèmes d'agents actuels pilotés par des modèles de langage de grande taille (LLM) font face à une tension fondamentale entre la performance spécifique au domaine et la généralisation inter-tâches. Les systèmes existants reposent généralement sur des configurations statiques (fixées avant l'exécution) qui définissent la stratégie, la boîte à outils, la gestion du contexte et le style de raisonnement de l'agent.

Spécialisation vs Généralisation : Des priors de domaine forts et des espaces d'outils compacts favorisent la performance sur des tâches spécifiques mais affaiblissent la transférabilité. À l'inverse, les agents polyvalents dotés d'espaces d'outils étendus et de flux de travail agnostiques aux tâches étendent la couverture, mais souffrent souvent d'une guidance diluée et d'une performance dégradée sur le long terme.
Limites des solutions existantes : Les approches précédentes tentent de résoudre cela via :
- L'optimisation pré-exécution : Dérive des configurations spécialisées hors ligne mais ne peut pas s'adapter au moment de l'exécution.
- L'orchestration planificateur-travailleur : Découple la planification de l'exécution, entraînant une perte d'information et une fragmentation de l'attribution de crédit.
- Le patch de configuration : Modifie des dimensions isolées (ex: contexte ou outils) via des modules externes, ce qui résulte en une optimisation fragmentée qui échoue à coordonner les changements au niveau du système.
Défi Central : Ces méthodes déconnectent l'adaptation de l'exécution, empêchant l'agent de mettre à jour proactivement sa configuration en fonction de la progression de la tâche et du feedback en temps réel.

Méthodologie : TOOLSELF

Les auteurs proposent TOOLSELF (Auto-reconfiguration pilotée par les outils), un paradigme qui unifie l'exécution des tâches et l'auto-reconfiguration au moment de l'exécution au sein d'une politique unique et optimisable.

1. Mécanisme Central : Espace d'Action Unifié

TOOLSELF traite la configuration non pas comme une constante pré-fixée, mais comme un état dynamique mis à jour par les outils. L'agent d'exécution $\pi_i$ opère sous une configuration $C_i = (q_i, \sigma_i, T_i, K_i, m_i)$ , où :

$q_i$ : Sous-objectif actuel.
$\sigma_i$ : Stratégie d'exécution.
$T_i$ : Boîte à outils spécifique à l'étape (sous-ensemble du pool global).
$K_i$ : Connaissances locales et contraintes.
$m_i$ : Mode de gestion du contexte.

L'agent est équipé d'un Outil de Reconfiguration standardisé ( $T_{reconfig}$ ). Lorsque l'agent détermine que la configuration actuelle est mal alignée avec les exigences de la tâche (ex: échec de stratégie, connaissance manquante ou sous-objectif terminé), il invoque $T_{reconfig}$ . Cet outil :

Archive le résumé de l'étape actuelle dans un pool d'historique global.
Retourne une spécification de génération de configuration ( $z_i$ ) qui guide la même politique pour synthétiser la configuration suivante $C_{i+1}$ .

Cette conception garantit que les mises à jour de configuration sont des actions natives au sein de l'espace d'action de l'agent, permettant des mises à jour holistiques des sous-objectifs, des stratégies, des outils et de la gestion du contexte simultanément.

2. Cadre d'Entraînement : Entraînement en Deux Étapes Sensible à la Configuration (CAT)

Pour intérioriser l'auto-reconfiguration comme une méta-capacité, les auteurs introduisent CAT, un cadre d'entraînement de bout en bout :

Étape I : Initialisation par démarrage à froid (RFT) : Utilise l'apprentissage par ajustement par échantillonnage de rejet (RFT) sur des trajectoires réussies générées par un modèle enseignant (Qwen3-235B). La politique apprend à générer des trajectoires d'étapes valides et des mises à jour de configuration conditionnées par des résultats réussis.
Étape II : Raffinement par Apprentissage par Renforcement (KTO) : Emploie l'optimisation de Kahneman-Tversky (KTO) avec un feedback binaire au niveau de la trajectoire. Puisque la qualité de l'auto-reconfiguration n'est observable qu'à travers le succès de la tâche en aval, l'attribution de crédit est propagée à toutes les décisions (exécution et reconfiguration) au sein d'une trajectoire basée sur le résultat final de la tâche (Succès/Échec).

Contributions Clés

Paradigme TOOLSELF : Une nouvelle architecture qui abstrait les mises à jour de configuration comme une interface d'outil standardisée, unifiant exécution et adaptation au sein de l'espace d'action d'une politique unique. Cela permet une optimisation conjointe et une adaptabilité émergente sans guidance injectée manuellement.
Cadre CAT : Une approche d'entraînement en deux étapes (RFT + KTO) qui enseigne aux agents à effectuer une auto-reconfiguration inter-étapes, optimisant les décisions de configuration explicitement pour le succès de la tâche en aval.
Optimisation Unifiée : En colocalisant l'adaptation et l'exécution, la méthode élimine la perte d'information due au relais entre modules et permet une attribution de crédit de bout en bout, favorisant des capacités telles que la planification à long terme et l'auto-correction.

Résultats Expérimentaux

Les auteurs ont évalué TOOLSELF sur cinq jeux de données couvrant la recherche profonde (FRAMES, xbench), l'assistance IA générale (GAIA, GAIA(WS)) et le génie logiciel (SWE-Lite), en utilisant les modèles Qwen3-8B et Qwen3-14B.

Performance Zero-Shot : Même sans entraînement CAT, le zero-shot de TOOLSELF rivalise avec les agents spécialisés par tâche (ex: WebSailor, SWE-Agent) tout en maintenant une forte généralisation inter-tâches.
Gains d'Entraînement : Après l'entraînement CAT, TOOLSELF affiche une amélioration moyenne de 28,8 points par rapport aux baselines à configuration statique.
- Sur Qwen3-8B, l'exactitude moyenne est passée de 16,5 % (Agent Vanilla) à 45,3 % (TOOLSELF + RFT + KTO).
- Sur FRAMES (Qwen3-14B), elle a atteint 61,5 %, surpassant les baselines spécialisées comme WebSailor (42,0 %) et Co-Sight (46,0 %).
Études d'Ablation :
- Intégré vs Découplé : La conception intégrée (politique unifiée) surpasse significativement une variante découplée où un LLM séparé génère les configurations, confirmant que le contexte d'exécution fin est critique pour une reconfiguration efficace.
- Analyse de Composants : Le transfert de connaissances et la planification de sous-objectifs ont été identifiés comme les dimensions de configuration les plus critiques pour le raisonnement à long terme.
- Efficacité : TOOLSELF a démontré une plus grande efficacité de jetons (tokens) par rapport aux agents spécialisés comme Co-Sight, malgré une exploration plus profonde.

Signification et Revendications

L'article affirme que TOOLSELF éclaire une voie vers l'adaptivité émergente dans les systèmes agentiques. En remplaçant la guidance injectée manuellement par une auto-reconfiguration exécutée en temps réel et apprenable, le système peut :

Se spécialiser dynamiquement pour diverses tâches et étapes d'exécution tout en préservant la flexibilité du généraliste.
Intérioriser des capacités avancées telles que la planification à long terme, l'auto-raffinement et l'auto-correction.
Atteindre des performances de pointe sur des benchmarks complexes sans nécessiter de configurations statiques spécifiques à la tâche ou d'orchestrateurs externes.

Les auteurs soulignent que cette approche résout le compromis spécialisation-généralisation en faisant de la configuration une variable dynamique et apprenable plutôt qu'une contrainte statique, permettant aux agents d'« apprendre à s'adapter » grâce au feedback au niveau de la trajectoire.