🤖 AI

Can Generalist Agents Automate Data Curation?

Cet article introduit Curation-Bench pour démontrer que, bien que les agents de codage généralistes puissent automatiser la boucle de curation de données et égaler les références existantes, l'obtention de politiques de données de niveau recherche nécessite un échafaudage qui force les agents à citer et à adapter les méthodes antérieures plutôt que de s'appuyer sur un prompting ouvert.

Auteurs originaux : Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

Publié 2026-06-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Feiyang Kang, Hanze Li, Adam Nguyen, Mahavir Dabas, Jiaqi W. Ma, Frederic Sala, Dawn Song, Ruoxi Jia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant brillant mais inexpérimenté (un modèle d'IA) comment résoudre des puzzles complexes. Vous avez une immense bibliothèque de 665 000 problèmes d'entraînement, mais vous n'avez le temps d'en donner que 10 000. La question est la suivante : Comment choisir les meilleurs 10 000 ?

Par le passé, les humains devaient le faire manuellement. Ils devinaient quels problèmes étaient bons, testaient l'étudiant, voyaient où il échouait, puis ajustaient leur liste. C'était lent, coûteux et épuisant.

Cette publication pose la question suivante : Un agent informatique intelligent (un « Agent Généraliste ») peut-il faire ce travail pour nous ? Peut-il agir comme un assistant de recherche qui choisit les données, entraîne le modèle, vérifie les résultats et réessaie automatiquement ?

Voici l'histoire de ce qu'ils ont découvert, en utilisant quelques analogies simples.

1. La mise en place : Le « Concours de Cuisine »

Les chercheurs ont construit une cuisine spéciale appelée CURATION-BENCH.

Le Chef (L'Agent) : Une IA intelligente capable de lire des fichiers, d'écrire du code et d'exécuter des commandes.
Les Ingrédients (Les Données) : Un énorme tas de recettes mélangées (images et texte).
Les Règles : L'agent ne peut pas modifier la température du four (le code d'entraînement) ni le jury (les tests). La seule chose que l'agent peut changer est quels ingrédients il met dans la marmite.
Le But : Créer un petit lot de 10 000 ingrédients qui donne un plat aussi savoureux qu'un plat fait avec les 665 000 complets.

2. La première tentative : « Le Cuisinier Intuitif »

Les chercheurs ont laissé les agents cuisiner avec des prompts ouverts. Ils ont essentiellement dit : « Allez-y, choisissez les 10 000 meilleures recettes que vous pouvez trouver. »

Le Résultat : Les agents étaient étonnamment bons sur les bases.

Ils ont rapidement compris que prendre des recettes au hasard était une mauvaise idée.
Ils ont commencé à ajuster le mélange : « Ajoutons plus de recettes de cuisine et moins de problèmes de mathématiques », ou « Assurons-nous d'avoir assez d'instructions longues et détaillées ».
L'Analogie : Pensez à un cuisinier amateur qui connaît les bases. Il n'a pas besoin d'un manuel pour savoir que si la soupe est trop salée, il doit ajouter de l'eau. Les agents pouvaient « ajuster » la recette en modifiant des curseurs simples (comme le ratio de différentes sources de données).
La Limite : Ils se sont enfermés dans une routine. Ils continuaient à ajuster la même recette encore et encore (par exemple, « Peut-être 60 % de cuisine, 40 % de maths ? Non, peut-être 55/45 ? »). Ils n'ont que rarement pensé à essayer un style de cuisine complètement différent, du type : « Et si nous réécrivions les recettes au lieu de simplement les choisir ? »

3. Le Problème : « L'Écart d'Exécution »

Les agents étaient de bons exécuteurs (ils pouvaient suivre la boucle et les instructions) mais de mauvais chercheurs (ils ne savaient pas comment explorer de nouvelles idées).

Même lorsque les chercheurs leur ont donné une liste de « techniques de cuisine géniales » ou une pile de « livres de cuisine célèbres » (articles scientifiques), les agents les ont pour la plupart ignorés. Ils disaient : « Je vais essayer l'échantillonnage de diversité ! » dans leurs notes, mais en réalité, ils se contentaient de changer à nouveau le ratio des ingrédients. Ils étaient coincés dans une « optimisation locale » — ajustant la même petite zone au lieu d'explorer toute la cuisine.

4. La Solution : « Le Sous-Chef Strict » (L'Échafaudage)

Pour corriger cela, les chercheurs ont introduit des Échafaudages (Scaffolds). Considérez-les comme des règles strictes ou des petites roues de soutien qui forcent l'agent à penser comme un véritable scientifique.

Ils ont essayé deux types :

Échafaudages Légers : « Hé, voici quelques techniques cool que vous pourriez essayer. » (Cela a poussé les agents à parler de plus d'idées, mais ils cuisinaient toujours de la même manière).
Échafaudages Lourds : « Avant de changer la recette, vous devez citer un livre de cuisine spécifique, expliquer exactement pourquoi vous utilisez cette technique et montrer comment vous l'avez adaptée à vos ingrédients. »

La Percée :
Les Échafaudages Lourds ont fonctionné comme par magie.

Les agents ont arrêté de simplement ajuster des ratios. Ils ont commencé à lire les « livres de cuisine » (articles scientifiques) et à implémenter réellement des stratégies complexes et nouvelles.
Un agent a découvert une méthode appelée EL2N (qui consiste à choisir les recettes avec lesquelles l'étudiant a le plus eu de mal, mais en filtrant ensuite celles qui étaient simplement cassées ou confuses).
Le Résultat : Cet agent « échafaudé » a créé un ensemble de données de 10 000 exemples qui a obtenu de meilleurs résultats que les références conçues par l'humain utilisant 100 000 exemples. Il a obtenu les mêmes résultats (ou de meilleurs) avec un dixième des données.

5. La Grande Conclusion

L'article conclut que :

Les agents peuvent gérer la boucle : Ils sont excellents pour accomplir le travail répétitif de test et d'ajustement.
Mais ils ont besoin d'un guide : Sans règles strictes les forçant à citer des preuves et à adapter des méthodes spécifiques, ils se retrouvent en mode « vérification de l'ambiance » (vibe check), faisant des changements mineurs et sûrs plutôt que des découvertes majeures.
Le calcul est la nouvelle donnée : Si vous ne pouvez pas obtenir plus de données, vous pouvez consacrer plus de « temps de calcul » (itérations) à la recherche de la manière parfaite d'utiliser les données que vous possédez déjà.

En bref : Vous pouvez confier à une IA intelligente la tâche de gérer des données, mais si vous voulez qu'elle soit un véritable chercheur et non un simple ajusteur, vous devez lui donner une liste de contrôle stricte qui la force à apprendre des découvertes passées plutôt qu'à simplement deviner.

Résumé Technique : Les agents généralistes peuvent-ils automatiser la curation de données ?

Problématique

Le développement de l'IA moderne repose lourdement sur la curation des données d'entraînement, un processus qui est à la fois conséquent et laborieux. Les praticiens s'engagent généralement dans une boucle itérative consistant à proposer, implémenter, évaluer et réviser des politiques de données basées sur un retour de benchmark bruyant. Si des travaux antérieurs ont automatisé des opérations de données individuelles (ex. : élagage, déduplication, réécriture), le processus de prise de décision de plus haut niveau — décider quelle technique utiliser, comment l'adapter et quand la réviser — reste largement manuel. Les benchmarks existants soit fixent les données et optimisent les recettes d'entraînement (ex. : agents de recherche en ML), soit traitent les données comme une entrée statique pour l'analyse (ex. : agents de science des données), laissant un vide dans l'évaluation de la découverte itérative de politiques de données par des agents autonomes.

Méthodologie : CURATION-BENCH

Pour combler ce vide, les auteurs introduisent CURATION-BENCH, un benchmark centré sur l'agent conçu pour évaluer si les agents de codage généralistes peuvent automatiser la boucle de curation de données.

Principes de conception du benchmark

Isolation des données : L'architecture du modèle, la recette d'entraînement et la suite d'évaluation sont fixes. La seule variable de l'agent est la politique de curation des données.
Réalisme du terminal : Les agents opèrent dans un espace de travail terminal standard, interagissant avec des fichiers, écrivant des scripts, exécutant des commandes et déboguant, reflétant ainsi les flux de travail réels de l'ingénierie.
Contrôle de la contamination : Un audit automatique vérifie les jeux de données soumis pour détecter des correspondances exactes ou des segments de texte à fort chevauchement avec les benchmarks d'évaluation afin de prévenir la fuite de données (data leakage).
Lisibilité de la trajectoire : Le système enregistre la trajectoire complète de la curation (scripts, manifestes, journaux, scores) pour évaluer non seulement le résultat final, mais aussi la qualité du processus de recherche.

Formalisation de la tâche

Une tâche est définie par un tuple $\tau = (M_0, D_{pool}, B, T, E, C)$ , où $M_0$ est le modèle initial, $D_{pool}$ est le pool de candidats, $B$ est le budget de données, $T$ est la procédure d'entraînement fixe, $E$ est la suite d'évaluation, et $C$ représente les contraintes. L'agent doit produire une politique $\pi$ qui mappe $D_{pool}$ vers un jeu de données curé $D_\pi$ ( $|D_\pi| \le B$ ). La politique est scorée par $S(\pi) = E(T(M_0, D_\pi))$ .

Configuration expérimentale

L'instanciation principale se concentre sur l'ajustement d'instructions multimodales :

Données : Sélection de 10k échantillons de l'ensemble LLaVA-665K (665k au total) pour affiner le modèle LLaVA-1.5-7B.
Agents : Agents de codage généralistes (Claude Code, Codex, Kimi, Qwen) opérant via le harnais OpenHands.
Échafaudages (Scaffolds) : L'étude compare des agents en prompt ouvert (open-prompt) contre des échafaudages légers (guidage optionnel sur les stratégies ou les articles) et des échafaudages lourds (protocoles contraignants exigeant des hypothèses fondées sur des preuves ou l'adaptation obligatoire de méthodes antérieures).

Contributions Clés

1. Benchmark pour la curation itérative de données

CURATION-BENCH est le premier benchmark qui isole la curation des données d'entraînement comme l'objet central d'optimisation pour les agents autonomes, enregistrant la trajectoire de recherche complète pour distinguer une exploration efficace d'un simple ajustement local.

2. Le fossé Exécution–Recherche

L'étude identifie un écart persistant où les agents sont des exécuteurs capables mais des chercheurs limités.

Exécution : Les agents en prompt ouvert peuvent exécuter de manière fiable la boucle de curation, produisant des jeux de données valides et améliorant les résultats d'entraînement par rapport à une sélection aléatoire.
Limitation de la recherche : Les agents ont tendance à "sur-exploiter" les familles de politiques locales (ex. : ajustement des ratios de sources, des seuils de longueur ou des graines aléatoires) plutôt qu'à explorer des familles de politiques distinctes. Même avec accès à des guides de stratégie et des références d'articles, les agents échouent souvent à opérationnaliser des idées de recherche abstraites en politiques exécutables sans contraintes structurelles supplémentaires.

3. Le rôle de l'échafaudage (Scaffolding)

L'article démontre que l'échafaudage est le levier critique pour convertir l'exécution de l'agent en une véritable exploration de recherche.

Échafaudages légers : Fournir des listes de stratégies ou des références d'articles élargit les options énoncées de l'agent mais change rarement la politique exécutée, car les agents reviennent par défaut à des heuristiques locales à faible coût.
Échafaudages lourds : Imposer des protocoles contraignants (ex. : "Adapt Papers") qui exigent que l'agent cite une méthode antérieure spécifique, explique son applicabilité et l'adapte au budget actuel, force un passage vers une exploration guidée par la méthode. Cette approche permet aux agents de découvrir des politiques novatrices et performantes que les agents en prompt ouvert manquent.

Résultats

Performance des agents en prompt ouvert

Atteinte du baseline : Les agents en prompt ouvert atteignent de solides baselines de sélection de données publiées (ex. : ICONS, ARDS) en dix itérations.
Efficacité : Ils récupèrent environ 59 % du gain de l'ajustement avec les données complètes en utilisant seulement 1,5 % du pool de données original (10k vs 665k).
Limitation : Leur succès est porté par l'ajustement d'heuristiques locales plutôt que par l'exploration de nouvelles familles de politiques.

Impact de l'échafaudage lourd

Performance de rupture : Sous l'échafaudage "Adapt Papers", un agent a composé de manière autonome une politique hybride combinant une sélection de type EL2N (top-loss) avec un filtre de bruit par perte d'assistant (assistant-loss noise filter).
Supériorité : Cet agent échafaudé a obtenu un score moyen de 34,9, surpassant à la fois l'agent en prompt ouvert et les solides baselines non-agents (ICONS, ARDS) tout en utilisant seulement un dixième du budget de données requis par ces baselines (10k vs 100k).
Qualité de la trajectoire : Les échafaudages lourds ont éliminé les opérations "superficielles" (passant de 47 % à 0 % dans le meilleur des cas) et ont augmenté les itérations "fondées" à 100 %.

Mise à l'échelle du budget de calcul

Étendre le budget d'itération de l'agent de 10 à 50 montre que la performance continue de s'améliorer sans plateau clair, suggérant que dans les régimes de données finies, du calcul supplémentaire peut être efficacement dépensé pour la recherche sur les politiques de données plutôt que simplement pour l'entraînement sur plus de données.

Signification et Revendications

L'article affirme que les agents généralistes actuels peuvent exécuter la boucle de curation mais ne peuvent pas mener de recherche sur les données de manière fiable sans une adaptation de méthode échafaudée.

Autonome vs Assisté : La distinction est faite entre l'exécution autonome (exécuter une boucle avec une vérification locale claire) et la recherche assistée par agent (naviguer dans un espace de politique discontinu avec un feedback parcimonieux). La curation de données appartient à cette seconde catégorie.
Les échafaudages comme artefacts : Les auteurs soutiennent que les échafaudages ne sont pas de simples prompts, mais des objets de conception expérimentale qui déterminent les capacités de raisonnement de l'agent. Les évaluations futures de la recherche de données autonome doivent rapporter la force de l'échafaudage et les diagnostics de trajectoire, et non seulement les scores finaux.
Calcul efficient en données : Ce travail suggère un nouveau paradigme pour améliorer la performance des modèles dans les régimes de données finies : dépenser du calcul supplémentaire sur la recherche de politiques de données (sélection, adaptation, validation) plutôt que de se contenter de réutiliser les données ou d'utiliser l'expansion synthétique.

Les auteurs concluent que si le prompting ouvert produit des exécuteurs utiles, une recherche de données fiable nécessite une adaptation de méthode par échafaudage pour combler le fossé entre la connaissance méthodologique abstraite et les politiques de données exécutables.