Résumé Technique : SkillFlow : Évolution Récursive des Compétences Pilotée par le Flux pour la Coordination d'Agents

1. Énoncé du Problème

Les récents progrès des systèmes d'agents basés sur les grands modèles de langage (LLM) ont permis l'automatisation de tâches complexes grâce à la coordination de tâches. Cependant, les méthodes de coordination existantes font face à trois défis critiques :

1. Effondrement de la Stratégie : Les méthodes d'apprentissage par renforcement (RL) basées sur des objectifs de la famille REINFORCE (par exemple, GRPO) tendent à converger vers un seul mode maximisant la récompense. Cela élimine des stratégies diverses et également efficaces, rendant les agents fragiles lorsque les capacités d'exécution évoluent ou lorsque plusieurs chemins valides existent.
2. Variance Élevée des Gradients et Attribution de Crédit Opaque : Les récompenses uniquement terminales créent des horizons d'attribution de crédit longs. Lorsqu'une trajectoire multi-étapes réussit ou échoue, il est unclear quelle étape spécifique en est responsable, ce qui entraîne une forte variance dans les gradients de politique et une attribution opaque.
3. Évolution Non Guidée des Compétences : Les cadres disposant de bibliothèques de compétences dynamiques reposent souvent sur des déclencheurs heuristiques, des calendriers fixes ou des invocations directes de type « LLM-comme-juge » pour mettre à jour leurs bibliothèques. Ces approches manquent de signaux d'entraînement principiels pour déterminer quand évoluer, quelles compétences créer ou élaguer, et où se situent les lacunes critiques de décision.

2. Méthodologie : SkillFlow

SkillFlow est un cadre basé sur le flux conçu pour automatiser la coordination de tâches via une interaction multi-tours tout en faisant évoluer récursivement sa propre bibliothèque de compétences. Il fonctionne selon un paradigme Superviseur-Exécuteur où un Superviseur entraînable ($\pi_\theta$) interagit avec un environnement structuré contenant une bibliothèque de compétences dynamique et un Exécuteur figé.

2.1 Architecture de Base

• Graphe d'État de Coordination : Le processus de tâche est modélisé comme un graphe orienté acyclique (DAG) où les nœuds représentent les historiques d'interaction ($H_t$) et les arêtes représentent les actions de coordination.
• Bibliothèque de Compétences Dynamique : L'environnement maintient une bibliothèque de « conseils atomiques » (conseils stratégiques courts et autonomes). Cette bibliothèque co-évolue avec la politique mais reste fixe au cours de chaque phase d'entraînement pour garantir un espace d'actions constant.
• Politique Rétrospective Arrière : Une politique arrière apprise ($P_\phi$) est conditionnée par l'« état rétrospectif » ($H_{t-1} \oplus o^{exec}_t$), intégrant un retour d'information d'exécution indisponible à la politique avant au moment de la décision.

2.2 Équilibre de Trajectoire Tempéré (TTB)

Le cœur de SkillFlow est l'Équilibre de Trajectoire Tempéré (TTB), une fonction de perte d'appariement de flux basée sur la régression. Contrairement à REINFORCE, qui pousse la masse de probabilité vers une seule meilleure trajectoire, le TTB fait en sorte que la probabilité d'échantillonnage d'une trajectoire soit proportionnelle à sa récompense :
$$\pi^*(\tau | q) \propto \tilde{R}(\tau)^\beta$$
où $\tilde{R}(\tau)$ est la récompense lissée et $\beta$ contrôle le compromis diversité-qualité.

La perte TTB est définie comme le résidu au carré, normalisé par la longueur, de la condition d'équilibre de trajectoire :
$$L_{TTB}(\tau) = \left( \frac{\Delta(\tau)}{T} \right)^2$$
$$\Delta(\tau) = \log Z_\theta(q) + \sum_{t=1}^T \log \pi_\theta(a_t | r_t, H_{t-1}) - \beta \log \tilde{R}(\tau) - \sum_{t=1}^T \log P_\phi(a_t | H_{t-1} \oplus o^{exec}_t)$$
À la convergence ($\Delta(\tau) = 0$), la politique avant échantillonne les trajectoires proportionnellement à leurs récompenses, préservant ainsi la diversité stratégique.

2.3 Attribution de Crédit à Coût Zéro

Le même objectif de flux entraîne conjointement la politique arrière, permettant une attribution de crédit par étape à coût d'inférence supplémentaire nul. En comparant la décision de la politique avant avec l'évaluation de la politique arrière rétrospective, SkillFlow calcule l'Importance de l'Étape ($I(t)$) :
$$I(t) = \frac{\pi_\theta(a_t | r_t, H_{t-1})}{P_\phi(a_t | H_{t-1} \oplus o^{exec}_t)}$$
De fortes déviations dans $I(t)$ indiquent des décisions où l'évaluation a changé de manière significative après l'exécution, signalant efficacement les étapes critiques ayant conduit au succès ou à l'échec.

2.4 Évolution Récursive des Compétences Pilotée par le Flux

SkillFlow boucle les signaux d'entraînement vers la croissance autonome des capacités en utilisant les diagnostics de flux pour piloter un opérateur de curation $\Phi$ :

• Quand Évoluer : L'évolution est déclenchée lorsque le résidu TTB ($\Delta(\tau)^2$) sature contre un plateau, indiquant que la bibliothèque actuelle limite l'expressivité de la politique.
• Quoi Créer/Élaguer : Les compétences sont classées par leur Flux Marginal de Compétence ($\hat{F}(s)$), qui mesure le flux moyen qu'une compétence attire. Les compétences avec des contributions persistamment négatives sont élaguées ; celles avec un flux élevé sont conservées.
• Où Évoluer : De nouvelles compétences sont générées aux « étapes déclencheuses » identifiées par une Importance d'Étape ($I(t)$) élevée, là où les trajectoires réussies et échouées d'une même requête divergent. Un Créateur de Compétences ($\Psi$) synthétise de nouveaux conseils atomiques à partir de ces lacunes de décision.

3. Contributions Clés

1. TTB pour la Coordination : Introduction d'une fonction de perte d'appariement de flux qui préserve des stratégies de coordination diverses proportionnelles à la récompense, évitant l'effondrement de mode inhérent aux objectifs de la famille REINFORCE.
2. Attribution de Crédit à Coût Zéro : Une politique arrière apprise conjointement qui fournit une attribution transparente, par étape, des résultats de trajectoire sans nécessiter de déroulements ou d'inférences supplémentaires.
3. Évolution Principielle des Compétences : Un mécanisme récursif qui étend, élague et affine automatiquement la bibliothèque de compétences sur la base de diagnostics de flux (résidus TTB, importance des étapes et flux marginal), éliminant le besoin de déclencheurs heuristiques ou d'invocations de type « LLM-comme-juge ».
4. Validation Empirique : Évaluation complète démontrant que SkillFlow surpasse les LLM directs, les bases de référence RL (GRPO, Tree-GRPO) et les méthodes existantes d'évolution de compétences sur 14 benchmarks.

4. Résultats Expérimentaux

SkillFlow a été évalué sur 14 jeux de données couvrant quatre catégories : Réponse à des Questions (HotpotQA, TriviaQA, MuSiQue, NQ-Open), Raisonnement Mathématique (AIME 2026, MATH-Hard, GPQA Diamond), Prise de Décision Interactive (WebShop, ALFWorld, ScienceWorld, Mind2Web) et Génération de Code (SWE-bench, HumanEval).

• Performance : SkillFlow a nettement surpassé toutes les bases de référence. Sur les benchmarks In-Distribution (IID), il a atteint un Exact Match (EM) moyen de 94,14 % (contre 73,34 % pour Qwen3.5-9B et 90,63 % pour AgentFlow). Sur les benchmarks Out-of-Distribution (OOD), il a maintenu une avance solide avec un EM moyen de 83,99 % (contre 76,96 % pour AgentFlow).
• Diversité et Robustesse : Le cadre a démontré une diversité stratégique supérieure, en particulier dans des tâches comme WebShop et ALFWorld où les bases de référence REINFORCE souffraient d'effondrement de stratégie.
• Transférabilité : SkillFlow a amélioré les performances sur divers noyaux de LLM (y compris Qwen3.5, Claude et Gemini), les noyaux plus faibles montrant les gains les plus significatifs, suggérant que la méthode compense les limitations de raisonnement de base.
• Efficacité : SkillFlow a atteint ces résultats avec des coûts de calcul inférieurs (moins de tokens et de temps) par rapport aux autres bases de référence d'évolution de compétences, attribué à l'efficacité de l'évolution pilotée par les signaux de flux.

5. Importance et Revendications

L'article revendique que SkillFlow établit une fondation pour une coordination d'agents auto-évolutive et basée sur le flux. Son importance réside dans l'unification de l'entraînement à la coordination et de l'évolution récursive des compétences sous un seul cadre théorique (GFlowNets).

• Préservation de la Diversité : En échantillonnant des trajectoires proportionnelles à la récompense plutôt qu'en s'effondrant vers un seul mode, SkillFlow maintient un répertoire de stratégies, rendant les agents plus robustes aux changements de capacités des outils ou aux variations de tâches.
• Apprentissage Transparent : Le mécanisme d'attribution de crédit à coût zéro fournit de l'interprétabilité, permettant au système d'identifier exactement quelles décisions ont été déterminantes, une fonctionnalité souvent absente dans le RL à récompense terminale.
• Croissance Autonome : Le mécanisme d'évolution récursive des compétences boucle les signaux d'entraînement avec la croissance des capacités, permettant à l'agent d'identifier et de combler autonomement les lacunes de décision sans intervention humaine ni planification heuristique.

Les auteurs notent que si SkillFlow amplifie efficacement la coordination et l'utilisation d'outils, il repose sur la mémoire de contexte long et la capacité de raisonnement du noyau sous-jacent ; il ne remplace pas le besoin de compétences de raisonnement fondamentales, mais optimise plutôt la manière dont ces compétences sont composées et évoluent.