🤖 AI

How can we assess human-agent interactions? Case studies in software agent design

Cet article introduit PULSE, un cadre d'évaluation centré sur l'humain qui combine les retours des utilisateurs avec des prédictions d'apprentissage automatique pour évaluer les conceptions d'agents de LLM dans le génie logiciel en conditions réelles, démontrant que de telles évaluations collaboratives produisent des informations plus robustes et révèlent des écarts significatifs par rapport aux évaluations traditionnelles basées sur des benchmarks.

Auteurs originaux : Valerie Chen, Rohit Malhotra, Xingyao Wang, Juan Michelini, Xuhui Zhou, Aditya Bharat Soni, Hoang H. Tran, Calvin Smith, Ameet Talwalkar, Graham Neubig

Publié 2026-06-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Valerie Chen, Rohit Malhotra, Xingyao Wang, Juan Michelini, Xuhui Zhou, Aditya Bharat Soni, Hoang H. Tran, Calvin Smith, Ameet Talwalkar, Graham Neubig

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un robot assistant pour aider les gens à écrire du code informatique. Pendant longtemps, la seule façon de savoir si votre robot était « bon » était de lui faire passer un test standardisé, comme un examen à choix multiples. Si le robot obtenait un score élevé, les développeurs supposaient qu'il était un employé étoile.

Mais les auteurs de cet article soutiennent que c'est comme juger un chef uniquement sur sa capacité à suivre un livre de recettes, sans jamais le voir cuisiner pour un véritable client affamé. Dans le monde réel, les humains et les agents d'IA travaillent ensemble en équipe. Parfois, l'humain doit intervenir, corriger le robot ou changer de plan. Un robot qui obtient un score parfait au test peut tout de même être frustrant avec qui travailler, tandis qu'un robot qui obtient un score légèrement inférieur peut être un pur plaisir de collaboration.

Cet article introduit une nouvelle façon de mesurer la qualité de l'entente entre ces équipes humain-robot. Ils appellent ce nouveau système PULSE.

Le Problème : L'« Examen » vs le « Vrai Travail »

Considérez les évaluations actuelles de l'IA comme un test de conduite sur une piste déserte. La voiture (l'IA) doit rester dans sa voie et s'arrêter aux feux rouges parfaitement. Si elle le fait, elle réussit.

Mais la vraie vie ressemble davantage à conduire dans les embouteillages de l'heure de pointe avec un passager. Le passager (l'humain) peut dire : « Hé, prends un autre itinéraire », ou « Attends, je dois d'abord m'arrêter à l'épicerie ». La voiture doit écouter, s'adapter et rendre le passager heureux. Les anciens tests de « piste déserte » ne mesurent pas si la voiture est agaçante pour le passager ou si le passager se sent en sécurité.

La Solution : PULSE (La « Boucle de Rétroaction »)

Les chercheurs ont construit un cadre appelé PULSE pour mesurer ce travail d'équipe du monde réel. Ils ont testé ce cadre en utilisant un agent logiciel (un robot codeur) appelé OpenHands que 15 000 personnes réelles ont utilisé pour écrire du code.

Voici comment fonctionne PULSE, en utilisant une recette simple en trois étapes :

1. La « Note de Course Partagée » (Collecte de Données)
Au lieu d'attendre la fin d'un projet pour demander : « Comment était le robot ? », ils ont demandé un avis après chaque petite tâche, tout comme vous notez un chauffeur Uber après un seul trajet.

Comment cela fonctionnait : Lorsqu'un robot terminait une petite portion de travail (comme la correction d'un bug), une fenêtre contextuelle apparaissait pour demander à l'utilisateur de lui donner de 1 à 5 étoiles.
Le Piège : La plupart des gens sont paresseux et ne veulent pas s'arrêter pour noter le robot à chaque fois. Ainsi, ils n'ont obtenu des notes que pour environ 5 % des tâches. Les 95 % restants étaient des interactions « silencieuses » où l'utilisateur continuait simplement son travail sans rien dire.

2. Le « Lecteur de Pensées » (Modèle de Prédiction)
Puisqu'ils n'avaient des notes que pour 5 % des tâches, ils avaient besoin d'un moyen de deviner ce que l'utilisateur ressentait pour les 95 % restants.

Ils ont entraîné un « Lecteur de Pensées », un modèle d'apprentissage automatique. Ce modèle observait des indices provenant de la conversation, tels que :
- L'humeur de l'utilisateur : L'utilisateur était-il en colère ou joyeux dans ses messages ?
- Les erreurs du robot : Le robot a-t-il mal compris les instructions ?
- La progression : L'utilisateur a-t-il réellement sauvegardé le code qu'il a écrit ?
En utilisant ces indices, le modèle prédisait ce que l'utilisateur aurait noté pour les tâches silencieuses.

3. Le « Super-Statisticien » (Résultats Efficaces)
C'est le tour de magie. En combinant les quelques notes réelles avec les nombreuses notes prédites, ils pouvaient calculer les résultats beaucoup plus rapidement et avec plus de certitude.

L'Analogie : Imaginez que vous vouliez savoir si un nouveau parfum de crème glacée est meilleur que l'ancien.
- Ancienne méthode (Test A/B standard) : Vous demandez à 100 personnes de goûter les deux et de donner une note. Cela prend beaucoup de temps et les résultats peuvent être flous.
- Méthode PULSE : Vous demandez à 100 personnes de goûter, mais vous avez aussi un « prédicteur de goût » qui observe comment elles lèchent la cuillère, la vitesse à laquelle elles mangent et leurs expressions faciales pour deviner la note de 1 000 autres personnes qui n'ont même pas goûté.
- Résultat : PULSE leur a donné le même niveau de certitude qu'un test standard mais avec 40 % de bruit en moins (incertitude). C'est comme obtenir une photo plus nette avec un temps d'exposition plus court.

Ce Qu'Ils Ont Découvert (Les Surprises)

Lorsqu'ils ont utilisé PULSE pour tester différents designs de robots, ils ont découvert certaines choses que les anciens « scores d'examen » avaient manquées :

Le Cerveau Compte le Plus : Le facteur principal déterminant si un humain aimait le robot était quel « cerveau » (le modèle d'IA sous-jacent) le robot utilisait. Passer à un cerveau plus intelligent faisait une énorme différence dans le bonheur de l'utilisateur.
Le « Corps » Compte Moins : Changer la façon dont le robot organisait ses pensées (comme montrer une liste de tâches ou mieux mémoriser les choses) avait un effet beaucoup plus faible sur le bonheur de l'utilisateur.
L'Examen Ment : Ce fut le plus grand choc. Ils ont comparé les évaluations humaines réelles de leurs tests contre les benchmarks d'IA standards.
- Le Résultat : Les benchmarks disaient que le Robot A était meilleur que le Robot B. Mais les humains préféraient en réalité le Robot B !
- La Leçon : Un robot peut réussir haut la main le test écrit, mais être un très mauvais partenaire dans une véritable conversation.

La Conclusion

L'article conclut que si nous voulons construire des IA qui aident réellement les humains, nous ne pouvons pas nous contenter de regarder les scores de tests. Nous devons observer comment les humains et les robots interagissent dans la vie réelle. PULSE est un outil qui permet de faire cela efficacement, en utilisant un mélange de retours réels et de prédictions intelligentes pour construire des robots avec lesquels les gens apprécient réellement travailler.

Ils ont également noté que, bien qu'ils se soient concentrés sur le codage, cette même méthode « PULSE » pourrait être utilisée pour n'importe quel robot travaillant avec des humains, comme un planificateur de voyage ou un assistant de shopping, en changeant simplement les « indices » que le Lecteur de Pensées recherche.

Résumé technique : Évaluer les interactions humain-agent via PULSE

Énoncé du problème

Les paradigmes d'évaluation actuels pour les agents alimentés par des modèles de langage étendu (LLM) reposent lourdement sur des benchmarks statiques qui mesurent la précision sous l'hypothèse d'une automatisation complète. Ces benchmarks évaluent généralement la capacité d'un agent à accomplir une tâche bien spécifiée sans intervention de l'utilisateur. Cependant, le déploiement réel d'agents implique souvent des flux de travail collaboratifs, avec l'humain dans la boucle, où les agents travaillent aux côtés de superviseurs humains. La littérature existante manque d'un protocole d'évaluation rigoureux pour ces contextes interactifs, et les tentatives antérieures de simulation d'interaction humaine restent souvent confinées à des conditions contrôlées par des benchmarks plutôt que de capturer un véritable retour utilisateur « sur le terrain ». Par conséquent, il existe une lacune dans la compréhension de la manière dont les décisions de conception spécifiques des agents impactent la satisfaction réelle de l'utilisateur et comment la performance des benchmarks corrèle avec l'expérience humaine réelle.

Méthodologie : Le cadre PULSE

Pour combler ces lacunes, les auteurs proposent PULSE (Prediction-powered User Label Synthesis and Evaluation), un cadre en trois étapes conçu pour une évaluation centrée sur l'humain et efficace des conceptions d'agents.

1. Collecte de données de feedback

Le cadre déploie un mécanisme de feedback minimalement invasif au sein d'une interface web (construite autour de l'agent open-source OpenHands). Au lieu de demander un feedback à des intervalles arbitraires, le système incite les utilisateurs à évaluer la performance de l'agent sur une échelle de 5 étoiles immédiatement après chaque « segment de travail ». Un segment de travail est défini comme la séquence d'événements allant du moment où un utilisateur envoie une commande, l'agent entre dans un état de « fonctionnement » (running), jusqu'à ce qu'il revienne à l'état « arrêté » (stopped). Cette conception ancre les évaluations dans des tâches spécifiques qui viennent de se terminer, réduisant ainsi le bruit et les jugements non ciblés.

2. Prédire la satisfaction de l'utilisateur

Étant donné que les évaluations explicites sont rares (seulement environ 5 % des interactions de l'étude ont reçu une évaluation), les auteurs entraînent un modèle d'apprentissage automatique (ML) pour prédire la satisfaction de l'utilisateur pour les trajectoires non étiquetées.

Ingénierie des caractéristiques (Feature Engineering) : À travers un processus itératif impliquant l'humain dans la boucle, 15 caractéristiques ont été identifiées et catégorisées en :
- Basées sur l'utilisateur : Messages de l'utilisateur, sentiment et nombre de messages.
- Basées sur l'agent : Type de tâche (ex: correction de bugs vs nouvelles fonctionnalités) et modes d'échec (ex: tests insuffisants, non-respect des instructions).
- Progression de la tâche : Actions Git (push, commit, reset) indiquant l'achèvement de la tâche.
Entraînement du modèle : Divers modèles de ML (Régression Logistique, Forêt Aléatoire, HistGradientBoosting) ont été entraînés sur des trajectoires étiquetées. L'étude a révélé que ces modèles basés sur des caractéristiques surpassent de manière significative les bases de référence « LLM-as-a-judge » (utilisant des modèles comme o3 et gemini-2.5-pro) pour prédire la satisfaction, atteignant une meilleure corrélation avec les évaluations humaines et des taux d'erreur plus faibles.

3. Calcul de la taille de l'effet avec l'inférence basée sur la prédiction (PPI)

Pour comparer différentes conceptions d'agents (par exemple, en variant les noyaux LLM ou les stratégies de planification), le cadre utilise l'inférence basée sur la prédiction (Prediction-Powered Inference - PPI).

Mécanisme : La PPI exploite le modèle de prédiction entraîné $f$ pour générer des pseudo-étiquettes pour les données non étiquetées. Elle construit un estimateur de la taille de l'effet qui combine la moyenne des données étiquetées avec un terme de correction dérivé de la différence entre les prédictions sur les données étiquetées et non étiquetées.
Avantage statistique : Cette approche réduit la variance de l'estimateur, permettant le calcul d'intervalles de confiance valides même avec des données étiquetées éparses. Le cadre compare la taille de l'effet « naïve » (utilisant uniquement les données étiquetées) par rapport à la taille de l'effet « augmentée » (via la PPI).

Déploiement expérimental et études de cas

Le cadre a été déployé dans un contexte de génie logiciel à grande échelle impliquant 15 000 utilisateurs et 36 000 sessions. L'étude a mené trois études de cas spécifiques pour évaluer les décisions de conception :

Noyau LLM : Comparaison de claude-3.7-sonnet, claude-4-sonnet et gpt-5.
Stratégie de planification : Comparaison d'agents qui affichent un plan de tâche structuré (TASKS.md) par rapport à ceux qui procèdent à une implémentation directe.
Gestion de la mémoire : Comparaison de stratégies de gestion de la fenêtre de contexte (réduction du max_step de 120 à 80 pour économiser les coûts).

Résultats clés

Impact de la conception de l'agent sur la satisfaction de l'utilisateur

Dominance du noyau LLM : Le choix du LLM sous-jacent a eu l'impact le plus significatif sur la satisfaction de l'utilisateur. Les utilisateurs préféraient nettement claude-4-sonnet par rapport à claude-3.7-sonnet (+5,86 %) et par rapport à gpt-5 (-7,83 %).
Effets de l'échafaudage (Scaffolding) : Les changements apportés à l'échafaudage (planification et mémoire) ont eu des effets plus faibles mais statistiquement significatifs. L'affichage d'un plan a amélioré la satisfaction d'environ 3,1 %, tandis que la réduction des étapes de mémoire a permis d'économiser des coûts sans dégrader l'expérience utilisateur.
Aperçus comportementaux : L'analyse des caractéristiques d'interaction a révélé qu'une satisfaction plus faible avec gpt-5 était corrélée à moins de messages de l'utilisateur (indiquant un désengagement précoce) et à moins de pushes de code. Inversement, l'affichage de plans a réduit les « malentendus d'intention » et a augmenté l'engagement de l'utilisateur.

Efficacité de l'évaluation

Réduction de l'intervalle de confiance : En utilisant la PPI, le cadre a réduit la largeur des intervalles de confiance de 39,5 % en moyenne par rapport aux tests A/B standards utilisant uniquement les données étiquetées. Dans plusieurs cas, cette réduction a permis de tirer des conclusions statistiquement significatives là où l'approche naïve ne le pouvait pas.
Performance du modèle : Les modèles de ML basés sur les caractéristiques ont surpassé les bases de référence « LLM-as-a-judge », améliorant la corrélation avec les résultats d'au moins 26 %.

Écarts entre benchmarks et monde réel

L'étude a mis en évidence un désalignement critique entre la performance des benchmarks et la satisfaction humaine :

Alors que gpt-5 surpassait claude-4-sonnet sur 6 des 7 benchmarks liés au code, les humains préféraient claude-4-sonnet dans 4 des 7 sous-ensembles de tâches sur le terrain.
La corrélation entre les écarts de benchmark ( $\Delta_B$ ) et les écarts de notation humaine ( $\Delta_H$ ) était faible ou négative ( $\rho = -0,18$ ) pour la comparaison claude-4 vs gpt-5, suggérant que les améliorations des benchmarks ne se traduisent pas toujours par de meilleures expériences utilisateur.

Signification et affirmations

Les auteurs affirment que PULSE fournit un cadre rigoureux et évolutif pour évaluer les interactions humain-agent, dépassant les limites des benchmarks d'automatisation complète. L'étude démontre que :

L'évaluation avec l'humain dans la boucle est essentielle : La performance des benchmarks est un indicateur imparfait de l'utilité réelle, particulièrement dans les contextes collaboratifs.
Une évaluation efficace est possible : La PPI permet d'obtenir des conclusions statistiques robustes avec beaucoup moins d'échantillons étiquetés, rendant les études humain-agent à grande échelle plus réalisables.
Priorités de conception : Pour les agents logiciels, investir dans des modèles de base plus puissants offre des rendements plus élevés en termes de satisfaction utilisateur que l'optimisation des mécanismes d'échafaudage, bien que les changements d'échafaudage (comme la visibilité de la planification) offrent toujours des bénéfices mesurables.

L'article conclut que, bien que le génie logiciel ait servi de banc d'essai principal, le cadre PULSE est généralisable à d'autres domaines où les agents et les humains collaborent, offrant une voie pour mieux aligner les systèmes d'IA avec les besoins des utilisateurs.