Résumé Technique : EvoDS

Énoncé du Problème

Bien que les agents basés sur les Grands Modèles de Langage (LLM) aient fait progresser la science des données automatisée, les approches existantes font face à deux limitations fondamentales :

1. Ensembles d'actions statiques : Les agents actuels reposent sur des flux de travail prédéfinis et des espaces d'action fixes. Ils traitent les outils comme des primitives statiques plutôt que comme des capacités apprenables, forçant les agents à redécouvrir de manière répétée des solutions par essais et erreurs au lieu d'abstraire les comportements réussis en compétences réutilisables.
2. Déficiences de la gestion du contexte : Les flux de travail de la science des données nécessitent intrinsèquement un raisonnement itératif à long terme. Les agents existants manquent de mécanismes principled pour gérer le contexte qui croît rapidement en raison des artefacts intermédiaires, de l'évolution des compétences et des journaux d'exécution. Cela conduit au phénomène de "perte au milieu" (lost-in-the-middle), à une dégradation des performances de raisonnement et à des échecs de dépassement de jetons (out-of-token), empêchant une accumulation systématique de l'expérience.

La question de recherche centrale est de savoir si des agents de science des données autonomes peuvent être conçus non seulement pour exécuter des tâches, mais aussi pour soutenir une analyse exploratoire ouverte et accumuler systématiquement de l'expérience à travers les itérations et les tâches.

Méthodologie

Les auteurs proposent EvoDS, un agent de science des données autonome auto-évolutif qui intègre l'acquisition de compétences et la régulation du contexte au sein d'une architecture multi-agents hiérarchique. Le cadre est optimisé via un schéma d'entraînement en deux étapes impliquant l'Apprentissage Supervisé (SFT) et l'Apprentissage par Renforcement Agentique (RL).

1. Architecture Multi-Agents Hiérarchique

EvoDS décompose les flux de travail complexes de la science des données en sous-tâches atomiques gérées par des agents spécialisés :

• Agent Manager : Agit comme le contrôleur global, responsable du raisonnement de haut niveau, de la décomposition des tâches et de la coordination. Il maintient une mémoire globale (objectifs de la tâche) et interagit avec l'environnement à l'aide d'un ensemble minimal d'outils.
• Sous-Agents Spécialisés : Comprennent un Nettoyeur (Cleaner), un Générateur de caractéristiques (Featurizer), un Modélisateur (Modeler), un Visualiseur (Visualizer) et un Débugueur (Debugger). Chacun opère dans un espace d'action localisé ($A_i$) spécifique à son domaine, maintenant une mémoire locale pour le contexte spécifique à la sous-tâche.
• Interaction : Le Manager délègue les sous-tâches aux sous-agents. Les sous-agents exécutent les opérations et renvoient les résultats. Cette décomposition réduit la complexité du raisonnement et localise les contextes d'exécution longs.

2. Acquisition Autonome de Compétences (ASA)

Pour permettre l'auto-évolution, EvoDS introduit un mécanisme permettant aux agents de synthétiser, valider et réutiliser des compétences exécutables ($a = \langle n, d, c \rangle$, où $n$ est le nom, $d$ la description, $c$ le code). Le processus comprend quatre étapes :

• Synthèse : Lorsqu'une sous-tâche dépasse les capacités existantes, l'agent génère une nouvelle compétence exécutable via le prompting.
• Vérification : La compétence synthétisée est exécutée pour s'assurer qu'elle produit des sorties valides.
• Mise en cache : Les compétences validées sont stockées dans un référentiel de compétences synthétisées ($\Delta A_i$).
• Expansion : Pour éviter l'inflation de l'espace d'action, les compétences sont ajoutées de façon permanente à l'espace d'action de l'agent uniquement si leur nombre de génération dépasse un seuil ($\tau=3$), garantissant que seules les compétences fréquemment utilisées et de haute qualité sont conservées.

3. Compression de Contexte Adaptative (ACC)

Pour gérer la croissance du contexte, EvoDS emploie une stratégie de compression à deux niveaux :

• Niveau Sous-Agent : Les sous-agents distillent les résultats d'exécution bruts en résumés concis conditionnés par l'objectif global de la tâche, filtrant les détails inutiles avant de renvoyer les résultats au Manager.
• Niveau Manager : Contrairement à une troncature passive, le Manager possède un outil de résumé dédié. Il détermine de manière adaptative quand compresser le contexte en fonction de l'état actuel du raisonnement et des objectifs de la tâche, préservant les informations critiques pour la tâche tout en supprimant le bruit non pertinent.

4. Optimisation Agentique

EvoDS est entraîné à l'aide d'un cadre en deux étapes :

• SFT (Initialisation Stable) : Un modèle enseignant (DeepSeek-V3.1) génère des trajectoires pour le Manager et les sous-agents. Ces trajectoires (principales et de sous-trajectoires) sont utilisées pour initialiser un comportement coordonné.
• Apprentissage par Renforcement Conjoint (RL) : Le système utilise l'Optimisation de Politique Relative de Groupe (GRPO) pour optimiser conjointement la performance des tâches, l'acquisition de compétences et la gestion du contexte.
  • Récompenses : Les sous-agents reçoivent des récompenses basées sur des règles pour l'achèvement des sous-tâches. Le Manager reçoit une récompense hybride ($R_{main}$) équilibrant la qualité de la solution ($R_{outcome}$), l'efficacité de l'achèvement des sous-tâches, et des pénalités pour la longueur excessive du contexte ($P_{context}$) et le nombre de tours d'interaction ($P_{turn}$).
  • Objectif : L'objectif d'entraînement aligne le système sur un principe de goulot d'étranglement de l'information, minimisant les informations non pertinentes à la tâche tout en préservant les signaux critiques.

Principales Contributions

1. Cadre EvoDS : Un agent auto-évolutif qui unifie l'Acquisition Autonome de Compétences et la Compression de Contexte Adaptative au sein d'un système multi-agents hiérarchique, permettant une expansion progressive des compétences et un contrôle actif du contexte à long terme.
2. Schéma d'Entraînement : Une stratégie d'entraînement multi-agents en deux étapes (SFT + RL conjoint) qui optimise simultanément l'exécution des tâches, l'apprentissage des compétences et la régulation du contexte, permettant à l'agent de s'améliorer avec l'expérience tout en restant robuste sous les contraintes de jetons.
3. Aperçus Théoriques :
   • Preuve que l'architecture hiérarchique réduit la probabilité d'erreur de sélection d'outils par rapport aux cadres plats en décomposant les grands espaces de décision.
   • Démonstration que l'objectif d'optimisation du Manager est équivalent à un problème de Goulot d'Étranglement de l'Information, justifiant théoriquement l'équilibre entre efficacité et qualité de décision.
4. Performance Empirique : Expérimentations approfondies montrant des améliorations significatives par rapport aux agents open-source de pointe.

Résultats Expérimentaux

Les auteurs ont évalué EvoDS sur quatre benchmarks : DABench, DA-Code, ScienceAgentBench (SAB), et MLE-Dojo.

• Performance : EvoDS a surpassé la base de référence open-source la plus forte (DataMind-14B) avec une moyenne de 28,9 % (amélioration absolue de 9,5 %), malgré l'utilisation d'un modèle de base plus petit (Qwen3-8B). Il a atteint la deuxième meilleure performance moyenne globale, surpassé uniquement par ReAct avec le modèle propriétaire o4-mini.
• Robustesse à Long Terme : EvoDS a éliminé les échecs de dépassement de jetons sur tous les benchmarks, là où les bases de référence sans compression de contexte dépassaient fréquemment les limites de jetons, particulièrement sur des tâches complexes comme MLE-Dojo.
• Réutilisation de Compétences : Les expériences ont démontré que les compétences synthétisées pouvaient être efficacement réutilisées à travers les tâches. La variante "avec réutilisation" a surpassé la variante "sans réutilisation" de 2,9 % sur DA-Code et de 9,3 % sur ScienceAgentBench, avec un taux de réutilisation inter-tâches de 69 % pour les compétences synthétisées.
• Études d'Ablation : La suppression de n'importe quel composant central (RL, structure hiérarchique, ASA ou ACC) a entraîné une dégradation des performances. Notamment, la suppression de l'ACC a provoqué la chute de performance la plus sévère et un taux élevé d'échecs liés à la limite de jetons.

Signification et Revendications

L'article affirme qu'EvoDS représente une étape significative vers des systèmes de science des données évolutifs, adaptatifs et autonomes. En allant au-delà des flux de travail statiques, EvoDS démontre que les agents peuvent :

• Accumuler de l'Expérience : Convertir systématiquement les procédures de résolution de problèmes réussies en compétences persistantes et réutilisables.
• Gérer la Complexité : Réguler efficacement les contextes à long terme grâce à une compression adaptative, permettant une exécution fiable dans des pipelines multi-étapes sans épuisement des jetons.
• Combler l'Écart : Réduire l'écart de performance entre les modèles de fondation open-source et propriétaires grâce à une conception architecturale et des stratégies d'entraînement efficaces, plutôt qu'en comptant uniquement sur l'échelle du modèle.

Les auteurs reconnaissent que bien qu'EvoDS excelle dans l'automatisation procédurale et l'accumulation de compétences, sa performance sur les tâches nécessitant une connaissance approfondie du domaine (ex: découverte scientifique complexe) reste contrainte par les connaissances du modèle de fondation sous-jacent, suggérant que les travaux futurs devraient se concentrer sur l'intégration de connaissances de domaine externes plus fortes.