STEP-VERIFIER: Learning to Verify Intermediate Agent Behavior with Process Reward Models
STEP-VERIFIER est un modèle de récompense par étape qui apprend à vérifier les actions individuelles d'un agent grâce à des comparaisons par paires synthétisées automatiquement, fournissant un retour intermédiaire dense pendant l'entraînement pour améliorer significativement les performances de l'agent sur des tâches complexes d'utilisation d'outils sans nécessiter de recours au vérificateur lors du déploiement.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle, il existe une classe croissante de programmes connus sous le nom d'agents. Contrairement à un chatbot standard qui se contente de répondre à une question, un agent est conçu pour passer à l'action. Il peut naviguer sur le Web, appeler des outils externes ou manipuler des fichiers pour résoudre des problèmes complexes. Pour apprendre à faire cela, ces agents sont souvent entraînés par un processus similaire à celui de l'essai et de l'erreur. Ils tentent une tâche et, s'ils réussissent à la toute fin, ils sont récompensés. S'ils échouent, ils ne le sont pas. Cela fonctionne bien pour des tâches simples, mais pour des missions longues et compliquées impliquant des dizaines d'étapes, cela crée un angle mort important. L'agent ne connaît que le résultat final, et non l'étape spécifique qui a causé l'échec. Un seul mauvais mouvement au début du processus peut ruiner toute la tentative, pourtant le système d'apprentissage traite cet échec de la même manière qu'une tentative ayant échoué à chaque étape. Ce manque de détails rend difficile pour l'agent d'apprendre de ses erreurs de manière efficace.
Des chercheurs de l'Université de Hong Kong et de Xiaomi ont développé une nouvelle méthode pour résoudre ce problème, appelée STEP-VERIFIER. Au lieu d'attendre la fin d'une tâche pour juger la performance d'un agent, ce système apprend à évaluer la qualité de chaque action individuelle au moment même où elle se produit. L'innovation réside dans la manière dont il apprend à faire cela sans avoir besoin d'enseignants humains pour noter chaque étape. L'équipe a réalisé qu'elle pouvait utiliser les propres tentatives passées de l'agent pour générer le feedback nécessaire. Lorsqu'un agent essaie de résoudre le même problème de nombreuses fois, il suit souvent le même chemin pendant les premières étapes avant de bifurquer dans différentes directions. En comparant les résultats finaux de ces différentes branches, le système peut déduire quel choix précoce était le meilleur. Si un chemin mène au succès et un autre à l'échec, le système apprend que le point de décision où ils se sont séparés était crucial.
Les chercheurs ont construit un modèle de « vérificateur » distinct qui agit comme un juge pour ces étapes individuelles. Ils ont entraîné ce vérificateur à l'aide d'une vaste collection d'interactions enregistrées, où chaque tentative était marquée soit comme un succès, soit comme un échec. Le système recherche les moments où deux tentatives différentes partageaient le même historique jusqu'à un certain point, mais ont ensuite pris des actions différentes. Il calcule la différence entre leurs taux de réussite finaux pour créer une comparaison. Par exemple, si une action a mené à un résultat positif 80 % du temps et qu'une autre n'a mené au succès que 20 % du temps, le vérificateur apprend à attribuer un score plus élevé à la première action. Ce processus crée un flux dense de feedback, indiquant à l'agent précisément quels mouvements étaient bons et lesquels étaient mauvais, bien avant que la tâche ne soit terminée.
Crucialement, ce vérificateur n'est utilisé que durant la phase d'entraînement. Les chercheurs ont conçu un calendrier où l'influence du vérificateur est la plus forte au début, lorsque l'agent fait beaucoup de conjectures aléatoires et que les résultats finaux sont bruités. À mesure que l'agent s'améliore et que ses propres résultats finaux deviennent plus fiables, l'influence du vérificateur est progressivement réduite jusqu'à disparaître complètement. Cela garantit que l'agent final, déployé, n'a pas besoin du vérificateur pour fonctionner ; il a internalisé les leçons et peut opérer de manière indépendante. Testée sur trois benchmarks différents impliquant la navigation web, l'utilisation d'outils et la planification multi-étapes, cette approche a nettement surpassé les méthodes qui reposaient uniquement sur les scores finaux. L'agent a appris plus vite et a commis moins d'erreurs.
L'étude a également comparé cette nouvelle méthode à d'autres façons de juger les étapes intermédiaires. Certaines approches précédentes utilisaient des étiquettes simples de type oui ou non pour chaque étape, tandis que d'autres tentaient de noter l'ensemble de la tentative comme une unité unique. L'approche STEP-VERIFIER, qui utilise un système de classement plus nuancé pour comparer des paires d'actions, s'est avérée être la plus efficace. Ses scores s'alignaient beaucoup plus étroitement sur les jugements humains de ce qu'est une bonne étape. En fait, lorsque des humains ont examiné les actions de l'agent, ils étaient d'accord avec l'évaluation du vérificateur environ 81,5 % du temps, un taux bien plus élevé que celui des autres méthodes automatisées. Cela suggère que le système a réussi à capturer la logique subtile requise pour naviguer dans des tâches complexes.
L'une des découvertes les plus importantes est que le système fonctionne sans aucun effort humain supplémentaire ou nouvelle collecte de données. Il repose entièrement sur les données déjà générées lors de l'entraînement standard. Les chercheurs ont constaté que le système se concentre naturellement sur les étapes où l'agent passe le plus de temps, car ce sont les étapes où il dispose du plus de données à comparer. Cependant, ils ont également noté une limite : pour les étapes très difficiles que l'agent tente rarement, il n'y a pas assez de données pour porter un jugement fiable. Dans ces cas rares, le système est moins informé. Malgré cette limite, la méthode représente une avancée significative pour apprendre aux agents à réfléchir de manière critique sur leurs propres actions. En transformant l'histoire propre de l'agent en un enseignant, les chercheurs ont créé un moyen pour que ces systèmes apprennent de leurs erreurs en temps réel, menant à une intelligence artificielle plus capable et plus fiable.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.