Résumé technique : Evoflux

Problématique

L'article traite des limites des modèles de langage compacts (1,5 à 4 milliards de paramètres) lorsqu'ils sont déployés en tant qu'agents utilisant des outils dans des environnements dynamiques et en direct comme le Model Context Protocol (MCP). Bien que les modèles compacts offrent des avantages en termes de coût, de latence et de confidentialité, ils sont fragiles dans la construction de flux de travail exécutables. Les petits planificateurs génèrent souvent des graphes qui semblent plausibles textuellement, mais qui échouent lors de la résolution des outils, de la validation des paramètres, du suivi des dépendances ou de l'exécution.

Les auteurs soutiennent que les approches de distillation standard (Supervised Fine-Tuning ou SFT, et Direct Preference Optimization ou DPO) sont insuffisantes dans ce régime. L'entraînement sur un budget restreint de traces d'enseignants (quelques centaines) enseigne les formats de flux de travail de surface, mais ne parvient pas à capturer les comportements de récupération nécessaires pour réparer les plans lorsque les catalogues d'outils changent ou que l'exécution échoue. De plus, l'oubli catastrophique dans le cadre d'un réglage fin instructionnel continu et étroit pose des risques pour les modèles compacts. La question centrale est de savoir si la puissance de calcul doit être dépensée dans les mises à jour de poids (entraînement) ou dans la réparation au moment de l'inférence (recherche) compte tenu du même budget de supervision restreint.

Méthodologie : Evoflux

Les auteurs introduisent Evoflux, une procédure de recherche évolutive au moment de l'inférence conçue pour traiter l'utilisation d'outils compacts comme un problème de réparation de flux de travail exécutable plutôt que comme une tâche de génération en une seule passe.

Mécanisme central

Evoflux fonctionne comme une boucle évolutive bornée où le modèle compact agit comme un opérateur de proposition au sein d'un cycle de réparation, plutôt que comme un générateur statique.

1. Représentation : Les plans sont représentés sous forme de graphes de flux de travail typés contenant des nœuds d'outils, des arêtes de dépendance, des nœuds de validation et des sorties terminales.
2. Évaluation fondée sur l'exécution : Les candidats ne sont pas évalués sur leur seule validité syntaxique. Ils sont compilés, validés par rapport aux schémas d'outils et exécutés dans un environnement vivant ($E$). Un score scalaire est dérivé d'un juge LLM (MCP-Bench LLMJUDGE) basé sur six sous-dimensions : accomplissement de la tâche, ancrage (grounding), pertinence de l'outil, précision des paramètres, conscience des dépendances, et parallélisme/efficacité.
3. Boucle évolutive :
   • Initialisation : Le planificateur tente de générer un flux de travail réalisable avec des tentatives répétées, en utilisant les erreurs d'exécution comme contexte pour les tentatives suivantes.
   • Mutation et Édition : Le système fait évoluer la population de graphes candidats à travers un langage d'édition typé fini qui reflète les modes de défaillance courants :
     • Échanges d'outils (Tool Swaps) : Remplacement d'outils indisponibles.
     • Éditions de paramètres (Parameter Edits) : Correction des erreurs de schéma ou liaison d'arguments à des sorties en amont.
     • Insertion/Suppression : Ajout d'étapes de collecte de preuves ou suppression d'étapes redondantes.
     • Réordonnancement (Reordering) : Correction des structures de dépendance.
   • Intensité Adaptative : Une statistique de croissance ($G$) suit les progrès récents. Si les progrès stagnent, l'intensité de la recherche augmente, déclenchant des mutations plus exploratoires (éditions aléatoires) et potentiellement un Guidage Métaphorique (Meta Guidance).
   • Guidage Métaphorique (Meta Guidance) : Lorsque la mutation locale stagne, le planificateur est incité à effectuer une refonte de haut niveau (par exemple, remplacer un chemin à serveur unique par un flux de travail multi-serveurs) en utilisant le meilleur candidat actuel et les membres les plus faibles de la population comme contexte.
   • Élagage de la Diversité : La population est plafonnée ($K$) et élaguée par un partitionnement par hachage d'actions (action-hash binning) pour éviter l'effondrement en flux de travail quasi-duplicats tout en préservant les variantes à score élevé.

Références de base pour l'entraînement (Baselines)

Pour évaluer le compromis, les auteurs comparent Evoflux à :

• Le décodage zero-shot.
• Le Supervised Fine-Tuning (SFT) sur des traces extraites par recherche.
• Le SFT + Direct Preference Optimization (DPO) utilisant des préférences par paires issues des mêmes données de recherche.
• ReAct : Un baseline de raisonnement et d'action séquentiel.

Tous les baselines d'entraînement utilisent le même budget limité de traces extraites par recherche afin d'assurer une comparaison équitable entre les mises à jour de poids et la recherche au moment de l'inférence.

Résultats Clés

L'évaluation a été menée sur des tâches réservées de MCP-Bench, qui couvre 28 serveurs MCP en direct et 250 outils dans divers domaines.

1. Faisabilité de l'exécution : Evoflux améliore considérablement la faisabilité de l'exécution pour les petits planificateurs. Sur les tâches réservées, la faisabilité est passée d'un niveau de base d'environ 3 % à 17–24 % sur des modèles tels que Llama-3.2-3B, Qwen3.5-4B et SmolLM3-3B.
2. Échec de l'entraînement sur petit corpus : Contrairement à Evoflux, le SFT et le SFT+DPO sur le même corpus de recherche n'ont pas apporté de gains fiables. Dans plusieurs cas, les points de contrôle entraînés ont égalé ou sous-performé le baseline zero-shot. Notamment, le modèle Qwen3.5-4B entraîné avec SFT+DPO a subi un « effondrement de planification » (planning collapse), échouant à émettre des plans utilisables et revenant à des heuristiques, ce qui a entraîné une faisabilité inférieure au modèle zero-shot non entraîné.
3. Comparaison avec ReAct : ReAct a atteint une performance de pointe plus élevée sur des planificateurs plus forts (ex: Qwen3.5-4B) mais a présenté une variance plus élevée et des coûts de tokens nettement plus importants en raison de l'accumulation de contexte dans les longues trajectoires. Evoflux a fourni des améliorations plus stables et prévisibles avec un budget de tokens inférieur.
4. Efficacité des Tokens : Bien qu'Evoflux incurre des coûts de tokens plus élevés que l'inférence en une seule passe (SFT/Zero-shot), il est plus efficace en termes de tokens que ReAct. Le processus de recherche concentre les coûts dans les tokens de prompt pour l'évaluation des candidats, tandis que les coûts de ReAct augmentent rapidement avec la longueur de la trajectoire.

Signification et Revendications

L'article affirme que pour les agents compacts opérant sous des budgets de traces d'enseignants limités, la recherche fondée sur l'exécution est un levier plus fiable pour améliorer les performances que les mises à jour de poids.

• Réparation plutôt qu'Imitation : Les résultats suggèrent que le fine-tuning sur de petits corpus mène souvent à une imitation superficielle des formes de flux de travail sans internaliser les processus de réparation adaptatifs nécessaires à une exécution robuste.
• Calcul au moment de l'inférence : Dépenser de la puissance de calcul en ligne pour réparer, muter et valider les flux de travail par rapport aux catalogues d'outils en direct permet une meilleure généralisation aux tâches non vues que de tenter de distiller ces comportements de réparation dans les poids du modèle avec des données limitées.
• Atténuation des Risques : L'étude met en évidence un risque spécifique dans le déploiement d'agents compacts : l'entraînement sur de petits ensembles de données extraites par recherche peut dégrader les performances (effondrement sous le niveau zero-shot) plutôt que de les améliorer, faisant de l'évolution au moment de l'inférence une stratégie plus sûre et plus efficace pour garantir la fiabilité de l'exécution.

Les auteurs concluent que, bien qu'une distillation à plus grande échelle puisse encore être viable avec des jeux de données massifs, le régime actuel de traces rares favorise la recherche évolutive au moment de l'inférence pour la construction de flux de travail d'outils fiables et exécutables.