Résumé Technique : ANDES (Agent Native Data Evolving Synthesis)

Problématique

L'article identifie un goulot d'étranglement critique dans le post-entraînement autonome des modèles de langage de grande taille (LLM) : l'incapacité des agents à acquérir de manière fiable des données d'entraînement de haute qualité, ciblées et diversifiées sous des contraintes de calcul strictes. Bien que les tendances récentes visent à déléguer la prise de décision complexe de l'alignement des modèles (SFT et RL) à des agents autonomes, les évaluations révèlent que même les agents de pointe peinent dans ce domaine.

Les approches actuelles font face à deux modes de défaillance primaires :

1. Acquisition basée sur le Web : S'appuyer sur la recherche web ouverte force les agents à effectuer une planification à long terme, un parsing HTML brut et un filtrage de bruit en zéro-shot. Cela impose une barrière prohibitive, causant l'échec des modèles plus faibles avant même la formation d'une boucle d'entraînement fonctionnelle, tandis que les modèles avancés peinent souvent avec l'organisation des données et le contrôle de la qualité.
2. Pipelines synthétiques statiques : Les méthodes conventionnelles de données synthétiques fonctionnent comme des scripts statiques et ponctuels isolés du cycle d'entraînement actif de l'agent. Elles manquent de la capacité de piloter dynamiquement la génération via un feedback diagnostique en temps réel, ce qui entraîne des décalages de domaine de données, un effondrement de la diversité et un surapprentissage des distributions de benchmarks de surface.

Il existe une absence critique d'une interface de synthèse de données accessible, dynamiquement interactive et de haute qualité, spécifiquement conçue pour les agents de post-entraînement.

Méthodologie : Le cadre ANDES

Pour combler ces lacunes, les auteurs introduisent ANDES (Agent Native Data Evolving Synthesis), un cadre qui réimagine la génération de données non pas comme un pipeline statique, mais comme une compétence d'agent prête à l'emploi (plug-and-play). ANDES fournit une couche d'abstraction intelligente, permettant aux agents de entraîneur de piloter dynamiquement la synthèse de données via une interface interactive en boucle fermée.

Le cadre opère à travers quatre étapes clés :

1. Requête d'agent pilotée par l'objectif

Avant d'invoquer ANDES, l'agent entraîneur analyse les benchmarks en aval et les décompose en $K$ domaines de capacités macro (ex: raisonnement mathématique, génération de code). Au lieu d'énumérer des exigences de tâches spécifiques, l'agent les abstrait en dimensions de capacités sous-jacentes pour assurer une couverture de données transférable. Pour chaque domaine, l'agent construit une description de tâche ($\tau$), alloue un budget d'échantillonnage ($N$) et sélectionne un protocole de format ($\phi$) comme configuration d'entrée.

2. Routage par Arbre du Monde auto-évolutif

Pour faciliter un ancrage spécifique à la tâche tout en maintenant la diversité, ANDES utilise un Arbre du Monde ($W$) structuré comme Sujet $\rightarrow$ Thème $\rightarrow$ Scénario (ex: Cybersécurité $\rightarrow$ Prévention des fuites d'informations $\rightarrow$ Mesures de prévention).

• Échantillonnage pondéré : Les sujets sont échantillonnés proportionnellement à leurs poids. Un LLM Routeur évalue les scénarios échantillonnés par rapport à la description de la tâche, les classant comme Forts (alignés sur la tâche), Faibles (génériques) ou Ambigus.
• Pondération adaptative : Les poids sont mis à jour en fonction des évaluations d'adéquation, déplaçant le budget de synthèse vers les sujets sémantiquement alignés tout en préservant une couverture résiduelle.
• Évolution dynamique des nœuds : Pour éviter l'épuisement des réservoirs de scénarios dans les sujets à haute pertinence, le système déclenche une "évolution de sous-arbre" lorsqu'un compte de sélection d'un sujet dépasse un seuil de saturation. Un LLM Évoluteur génère de nouveaux thèmes et scénarios conditionnés sur les générations précédentes, garantissant que la taxonomie reste fraîche et évite la redondance.

3. Synthèse de données en deux étapes

Chaque configuration de routage est traitée via un pipeline en deux étapes :

• Étape 1 (Génération de QA) : Génère des paires Question-Réponse brutes. Pour les échantillons de la "piste de fusion" (alignés sur la tâche), le prompt injecte la description de la tâche comme une contrainte stricte tout en utilisant le scénario comme enveloppe contextuelle. Pour les échantillons de la "piste générique", les prompts se concentrent sur les données d'instruction générales.
• Étape 2 (Raffinement et Résumé) : Un LLM Raffineur critique les sorties brutes, attribuant un score d'effort pour filtrer les réponses fortement défectueuses. Les réponses conservées sont réécrites. Crucialement, un contrôle de diversité logique est effectué sur les échantillons de la piste de fusion pour détecter et supprimer la répétition de modèles de raisonnement (effondrement).

4. Partition pilotée par rapport et ajustement de configuration

Le système renvoie un jeu de données raffiné accompagné d'un Rapport de Synthèse contenant des signaux diagnostiques (ex: résumés de diversité logique, distribution des sujets, comptes d'échantillons effectifs). L'agent entraîneur utilise ce rapport pour :

• Filtrer les données : Appliquer un filtrage actif pour supprimer les échantillons présentant une répétition logique détectée.
• Ajuster la configuration : Réviser dynamiquement la prochaine invocation de la description de la tâche ($\tau$) pour cibler des angles de capacité sous-explorés et ajuster le budget d'échantillonnage ($N$) pour compenser les échantillons écartés. Cela crée une interaction en boucle fermée où l'agent pilote progressivement la synthèse vers une meilleure couverture de capacités.

Contributions clés

1. Changement conceptuel : L'article reconceptualise la synthèse de données, passant d'un pipeline statique hors ligne à une compétence d'agent prête à l'emploi, abaissant considérablement le seuil de capacité pour l'acquisition autonome de données.
2. L'outil ANDES : Implémentation d'un outil de synthèse alimenté par un routage par Arbre du Monde auto-évolutif et un feedback piloté par rapport. Cela abstrait les mécaniques complexes de curation de données, permettant aux agents de se concentrer sur des stratégies d'optimisation de haut niveau.
3. Validation empirique : Évaluation complète démontrant que l'intégration d'ANDES dans la boucle active de post-entraînement permet à des modèles fondamentalement plus faibles d'atteindre un auto-amélioration autonome remarquable et d'obtenir des performances de pointe (SOTA).

Résultats expérimentaux

Les auteurs ont évalué ANDES sur PostTrainBench, un benchmark conçu pour évaluer les capacités de post-entraînement autonome.

• Performance SOTA : Sous des contraintes de calcul strictes, un agent GLM-4.7 équipé d'ANDES a obtenu un score moyen de 33,39 % sur PostTrainBench. Cela surpasse la méthode concurrente la plus forte, Opus-4.7 (xHigh), qui a obtenu 28,56 %, et dépasse largement la ligne de base d'exécution brute (GLM-4.7 avec uniquement Scaffold) à 7,48 %.
• Généralisation inter-modèles : ANDES a systématiquement obtenu la performance moyenne la plus élevée sur quatre modèles de base différents (Qwen3-1.7B, Qwen3-4B, SmolLM-3B, et Gemma3-4B), indiquant que son efficacité n'est pas liée à une architecture de modèle spécifique.
• Études d'ablation :
  • Scaffold vs Outil : Bien qu'un scaffold d'agent personnalisé ait amélioré la performance par rapport à une ligne de base CLI standard, l'intégration de l'outil ANDES a provoqué une "deuxième vague" d'améliorations définitives, confirmant que la synthèse de données active et alignée sur la cible est le principal moteur de succès.
  • Mécanisme d'interaction : Supprimer l'interaction pilotée par rapport a réduit la performance (de 30,39 % à 26,80 % sur Qwen3-1.7B), validant que l'interaction multi-tours est essentielle pour optimiser la qualité et la diversité des données.
• Scalabilité : L'analyse de l'Arbre du Monde a montré qu'à mesure que le volume de données augmente, le système déplace avec succès l'attention vers les nœuds pertinents pour la cible (augmentant le ratio de "données de fusion") tout en faisant évoluer continuellement de nouveaux nœuds pour prévenir l'effondrement de la diversité.

Signification et Revendications

L'article affirme que le principal goulot d'étranglement dans les pipelines de recherche automatisés n'est pas l'exécution de l'entraînement, mais l'acquisition fiable de données de haute qualité, ciblées et diversifiées dans des budgets de calcul limités.

ANDES démontre que les interfaces de synthèse de données structurées, interactives et évolutives sont une étape prometteuse vers un alignement de modèle automatisé, scalable et fiable. En transformant la génération de données en un jeu dynamique en boucle fermée où les agents filtrent activement les données et calibrent les configurations, le cadre permet même aux agents fondamentalement plus faibles d'atteindre des performances SOTA, comblant efficacement l'écart entre les capacités des agents et les exigences rigoureuses du post-entraînement.