Résumé Technique : CURATEEVO

Énoncé du Problème

Les agents basés sur les Grands Modèles de Langage (LLM) nécessitent des méthodes de post-entraînement capables d'améliorer la prise de décision sur le long terme en utilisant le feedback de l'environnement. Bien que la qualité des données soit un déterminant connu de la performance dans le post-entraînement agentique, les pipelines de curation de données existants souffrent de deux limitations principales :

1. Négligence de la Curation : La plupart des méthodes se concentrent principalement sur l'augmentation des données (collecter plus de trajectoires d'échec) tout en négligeant les opérations critiques de filtrage et de raffinement. Cela entraîne souvent l'inclusion de données de faible qualité ou redondantes, augmentant les coûts d'entraînement sans gains de performance proportionnels.
2. Rigidité d'Adaptation : Les pipelines existants reposent sur des règles de traitement de données fixes. Ces stratégies statiques peinent à s'adapter aux applications aval hors distribution ou aux modes d'échec évolutifs, car elles ne peuvent pas s'ajuster dynamiquement aux faiblesses spécifiques de la politique de l'agent actuel.

Méthodologie : CURATEEVO

Les auteurs proposent CURATEEVO, un cadre d'évolution dynamique piloté par les échecs pour la curation de données de post-entraînement agentique. Contra irement aux approches traditionnelles qui traitent la curation comme une étape de prétraitement statique, CURATEEVO traite la stratégie de curation comme du code exécutable qui est réécrit de manière itérative sur la base du feedback de l'environnement.

Cadre Central

Le cadre opère selon des cycles d'évolution multi-époques :

1. Représentation : La stratégie de curation $\rho$ est représentée comme un code exécutable qui transforme un corpus brut fixe ($D_{raw}$) en trois ressources :
   • Données de Fine-Tuning Supervisé ($D_{SFT}$).
   • Données d'Apprentissage par Renforcement ($D_{RL}$).
   • Une banque de mémoire pour le temps d'inférence ($M_{mem}$).
2. Entraînement & Évaluation : Une politique d'agent est entraînée à partir d'un modèle de base fixe en utilisant une recette fixe (SFT + GRPO) sur les données curées. La politique est ensuite évaluée sur un ensemble de développement isolé ($Q_{dev}$).
3. Collecte de Feedback : Les trajectoires d'échec du jeu de développement sont collectées, ainsi que les statistiques sur les données curées actuelles (échelle, distribution des tours, redondance).
4. Évolution du Code : Un agent d'évolution de code basé sur un LLM analyse les modes d'échec récurrents (ex: sélection d'outil incorrecte, planification faible, mésappariements de mémoire) pour diagnostiquer les causes. Il réécrit ensuite le code de curation ($\rho$) pour remédier à ces problèmes.

Objectif d'Optimisation

Le processus d'évolution optimise une fonction d'objectif sensible au coût $J(\rho) = P(\rho) - \lambda C(\rho)$, où :

• Efficacité ($P(\rho)$) : Mesurée par la performance en aval de l'agent entraîné avec les ressources curées. L'agent d'évolution cible d'abord cela en augmentant les données pour couvrir les capacités manquantes, en filtrant les exemples trompeurs et en affinant les trajectoires faibles.
• Efficience ($C(\rho)$) : Mesurée par le coût normalisé des tours d'entraînement. Après avoir traité l'efficacité, l'agent élague les tours redondants, supprime les échantillons de faible utilité et tronque les trajectoires trop longues pour réduire l'échelle d'entraînement tout en préservant les signaux de supervision critiques.

Si une stratégie évoluée échoue à améliorer l'objectif, le processus effectue un retour en arrière (rollback) pour éviter une cascade d'erreurs.

Contributions Clés

1. Cadre d'Évolution Dynamique : La proposition de CURATEEVO, qui déplace la curation de données d'un pipeline statique vers un processus d'évolution dynamique basé sur le code et piloté par les échecs de l'agent.
2. Optimisation Conjointe : Le cadre considère conjointement l'augmentation, le filtrage et le raffinement des données, permettant des améliorations de performance tout en réduisant simultanément les coûts d'entraînement.
3. Adaptabilité : En révisant dynamiquement le code de curation sur la base du feedback d'évaluation, la méthode s'adapte aux applications hors distribution et aux modes d'échec spécifiques, contrairement aux pipelines fixes.
4. Construction de Ressources : La méthode construit explicitement non seulement des données d'entraînement (SFT/RL), mais aussi une banque de mémoire pour le temps d'inférence, créant un ensemble de ressources holistique pour l'entraînement de l'agent.

Résultats Expérimentaux

Les auteurs ont évalué CURATEEVO sur ACEBench-Agent, BFCL-V4, et $\tau^2$-Bench sous deux configurations : Données Étiquetées (trajectoires annotées par l'humain) et Données Sauvages (logs d'interactions réelles des utilisateurs).

• Gains de Performance :
  • Dans la configuration Données Étiquetées, CURATEEVO a amélioré les scores moyens de 3,2 points par rapport aux bases de référence les plus fortes.
  • Dans la configuration Données Sauvages, il a amélioré les scores moyens de 2,7 points.
  • Notamment, CURATEEVO utilisant un modèle de 4 milliards de paramètres (QWEN3-4B) a surpassé plusieurs méthodes antérieures utilisant des modèles de 8 milliards, suggérant qu'une curation adaptative peut être aussi impactante qu'une augmentation de la taille du modèle.
• Efficience : CURATEEVO a réduit le surcoût de tokens d'environ 48 % et le surcoût de temps de calcul (wall-clock) de 50 % par tranche de 1 000 tours d'entraînement conservés par rapport aux bases de référence précédentes. Cette efficience provient de l'évolution du code sur un corpus fixe plutôt que de dépendre d'interactions coûteuses avec l'environnement ou des utilisateurs simulés.
• Compatibilité : Les ressources curées produites par CURATEEVO sont compatibles avec différentes recettes de post-entraînement (ex: AgentGym-RL, ProRL-Agent), générant une amélioration moyenne supplémentaire de 21,3 points lorsqu'elles sont combinées avec ces méthodes.
• Études d'Ablation :
  • Supprimer la révision orientée vers l'efficacité a causé la plus forte baisse de performance (~7 points), confirmant que le diagnostic des modes d'échec est le principal moteur du succès.
  • Supprimer la révision orientée vers l'efficience a également causé une baisse constante, indiquant que l'élagage de la redondance améliore la qualité des données, et pas seulement la réduction de l'échelle.
  • Les trois ressources (SFT, RL, Mémoire) se sont révélées complémentaires.

Signification et Revendications

L'article affirme qu'une curation de données adaptative et pilotée par le feedback est une direction pratique et efficace pour améliorer les agents LLM. La signification de CURATEEVO réside dans sa capacité à :

• Transformer le processus de curation d'une "étape de prétraitement fixe" en une boucle d'optimisation itérative et consciente des échecs.
• Démontrer que le filtrage et le raffinement sont aussi critiques que l'augmentation pour le post-entraînement agentique.
• Montrer qu'une curation sensible au coût peut réduire les surcoûts d'entraînement tout en améliant simultanément les performances en aval, ce qui la rend adaptée aux applications d'agents du monde réel où les données peuvent être bruitées ou imparfaites.

Les auteurs positionnent CURATEEVO non pas comme un remplacement de algorithmes spécifiques d'optimisation de politique, mais comme une amélioration modulaire côté données qui améliore la qualité et l'efficacité des ressources d'entraînement ($D_{SFT}$, $D_{RL}$, $M_{mem}$) injectées dans n'importe quel pipeline de post-entraînement agentique.