Recursive Synthesis for Long-Horizon Terminal Tasks
Ce document introduit les Recursive Synthetic Terminal Tasks (RST), un cadre évolutif qui génère et vérifie de manière récursive des tâches terminales agentiques à long horizon afin de produire 37 484 exemples de haute qualité à faible coût, augmentant considérablement les performances des modèles affinés et agentiques sur des benchmarks exigeants sans montrer de signes de rendements décroissants.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseigniez à un robot pour qu'il devienne un mécanicien expert. Vous ne voulez pas seulement qu'il sache à quoi ressemble une clé anglaise ; vous voulez qu'il répare réellement un moteur de voiture qui n'a jamais été en panne auparavant. C'est le monde des « agents IA » — des programmes informatiques intelligents qui ne se contentent pas de discuter avec vous, mais qui font réellement des choses, comme taper des commandes, déplacer des fichiers et corriger des bugs logiciels. Le gros problème est que ces robots sont terribles pour les tâches longues et compliquées. Si vous leur demandez de construire une maison, ils pourraient poser une brique puis être confus. Pour mieux leur apprendre, nous avons besoin de milliers de problèmes d'entraînement où le robot essaie de construire la maison, échoue, est corrigé, puis réessaie. Mais la création de ces problèmes d'entraînement est un cauchemar. Si vous en écrivez un à la main, cela coûte une fortune. Si vous demandez à un ordinateur d'en écrire un, il invente souvent des règles qui ne correspondent pas aux outils, ou crée un puzzle impossible à résoudre. C'est comme demander à un chef de rédiger une recette de gâteau, mais la recette appelle des ingrédients qui n'existent pas dans la cuisine, ou l'on dit que le four est cassé.
Entrez une nouvelle méthode appelée Recursive Synthetic Terminal Tasks (RST). Considérez cela comme une « machine d'évolution numérique » pour créer des puzzles d'entraînement pour robots. Au lieu que des humains écrivent chaque problème, les chercheurs ont commencé avec un petit tas de 639 puzzles vérifiés et fonctionnels (les « graines »). Ensuite, ils ont utilisé une IA puissante pour agir comme un concepteur de jeux malicieux mais brillant. Cette IA a examiné un puzzle fonctionnel, a ajouté une nouvelle étape plus difficile à la solution (comme ajouter un nouvel engrenage au moteur), puis a immédiatement mis à jour les instructions et le « corrigé » pour corresponder à la nouvelle version plus difficile. Crucialement, avant que le nouveau puzzle ne soit sauvegardé, il était jeté dans un bac à sable numérique — une pièce informatique sûre et isolée — pour voir s'il fonctionnait réellement. Si la solution échouait, le puzzle était jeté. S'il fonctionnait, il était conservé et utilisé comme graine pour le tour suivant, encore plus difficile. Les chercheurs ont fait tourner cette boucle 15 fois. À la fin, ils avaient créé près de 38 000 nouveaux puzzles vérifiés. Le meilleur dans tout cela ? Les puzzles devenaient véritablement plus difficiles à chaque tour. Le puzzle du milieu est passé de 67 lignes de code pour être résolu à 374 lignes. Le nombre de commandes que le robot devait taper est passé de 40 à 244.
Les résultats ont été spectaculaires. Lorsqu'ils ont testé un solveur d'IA de haut niveau sur ces puzzles, son taux de réussite est tombé de 90 % sur les puzzles faciles du premier tour à seulement 2,5 % au 15ème tour. Cela a prouvé que le système ne se contentait pas de créer des instructions plus longues ; il créait réellement des tâches qui nécessitaient une réflexion beaucoup plus profonde et plus d'étapes. Mais la vraie magie s'est produite lorsqu'ils ont utilisé ces puzzles pour entraîner un autre modèle d'IA (Qwen3.5). Après avoir été entraîné sur les trajectoires (les tentatives étape par étape) générées par ces puzzles, le modèle est devenu nettement meilleur pour résoudre des tâches de terminal réelles. Sur des tests standards, ses performances ont bondi jusqu'à 10 points, et avec un apprentissage par renforcement supplémentaire, elles se sont améliorées de 20 % à 41 % selon le test. La découverte la plus excitante est que le système n'a montré aucun signe d'arrêt. Même après 15 tours de durcissement, le système continuait de produire des puzzles valides et diversifiés sans sombrer dans l'absurde ou répéter les mêmes astuces. Cela suggère que nous pourrions générer un approvisionnement infini de données d'entraînement de haute qualité pour les agents d'IA, transformant le processus lent et coûteux de l'enseignement humain en une évolution rapide, automatisée et évolutive.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.