Why Johnny Can't Use Agents: Industry Aspirations vs. User Realities with AI Agents

Cet article examine l'écart entre le marketing de l'industrie et les réalités des utilisateurs concernant les agents d'IA en analysant 102 outils commerciaux et en menant une étude d'utilisabilité avec 31 participants, révélant que, bien que les utilisateurs soient impressionnés, ils font face à des défis importants dus à des capacités inadaptées et à un manque de compétences en collaboration méta-cognitive.

L'essentiel

Imaginez que vous venez d'acheter un majordome robot tout neuf et haute technologie. Les publicités de l'entreprise le montrent faisant tout parfaitement : planifier vos vacances entières, créer une présentation pour votre patron et rechercher votre prochaine évolution de carrière, le tout pendant que vous sirotez un café et vous détendez. Le robot est commercialisé comme un « Agent IA » – un partenaire intelligent qui prend l'initiative et exécute les tâches pour vous.

Mais lorsque vous l'allumez réellement et essayez de l'utiliser, les choses se compliquent. Vous pourriez vous retrouver confus, frustré ou incertain de savoir si le robot vous aide vraiment ou s'il ne fait qu'aggraver le chaos.

Ce document, intitulé « Pourquoi Johnny ne peut pas utiliser les Agents », examine précisément cet écart entre les promesses marketing étincelantes des agents IA et la réalité confuse de leur utilisation aujourd'hui. Les chercheurs ont posé deux questions principales :

1. Que vendent réellement les entreprises ? (Le battage médiatique)
2. Que se passe-t-il lorsque des gens ordinaires tentent de les utiliser ? (La réalité)

Voici une analyse de leurs résultats à l'aide d'analogies simples.

1. Les trois types de « Majordomes Robots » (Le battage médiatique)

Les chercheurs ont examiné 102 produits différents vendus comme « Agents IA » et les ont classés en trois catégories en fonction de ce que les entreprises disent qu'ils font :

• L'Orchestrateur (L'Agent de voyage) : Ces agents sont censés sortir, cliquer sur des boutons sur des sites web, réserver des vols et remplir des formulaires pour vous. Ils « orchestrent » une série d'actions dans le monde réel.
• Le Créateur (L'Artiste) : Ces agents sont censés créer des choses pour vous, comme des présentations, des sites web ou des documents. Ils se concentrent sur l'apparence et le format du produit final.
• Le Générateur d'Idées (Le Chercheur) : Ces agents sont censés fouiller internet, trouver des informations et vous fournir un résumé ou une recommandation. Ils sont votre bibliothécaire et analyste personnel.

2. L'expérience : Mettre « Johnny » à l'épreuve

Pour vérifier si ces robots fonctionnent réellement, les chercheurs ont recruté 31 personnes ordinaires (ils appellent ce profil « Johnny », en référence à une ancienne étude sur les raisons pour lesquelles les gens ordinaires ne pouvaient pas utiliser le chiffrement). Ces participants étaient familiers avec les chatbots, mais n'avaient jamais utilisé d'agent IA capable de contrôler un ordinateur.

Ils ont confié à « Johnny » trois tâches spécifiques :

• Orchestration : Planifier un voyage de vacances de 3 jours (réserver des vols et des hôtels).
• Création : Créer une présentation de diapositives de 10 minutes.
• Idées : Déterminer comment dépenser un budget de 2 000 $ pour le développement personnel.

Ils ont utilisé deux agents commerciaux populaires (nommés Operator et Manus) pour observer comment les humains s'en sortaient.

3. Les cinq grands problèmes (La réalité)

Même si les participants ont généralement été impressionnés par la technologie et ont souvent pu terminer les tâches, ils ont rencontré cinq obstacles majeurs qui ont rendu l'expérience frustrante.

Obstacle 1 : Le malentendu de la « télépathie »

L'analogie : Imaginez que vous engagez un nouvel assistant. Vous dites : « Fais-moi un sandwich ». Vous vous attendez à un sandwich au jambon. L'assistant vous apporte un bol de farine et un couteau parce qu'il ne savait pas que vous vouliez du jambon. Vous vous énervez, mais vous réalisez que vous n'avez pas précisé « jambon ».
La réalité : Les utilisateurs ne savaient pas quel niveau de détail fournir à l'IA. Certains pensaient devoir rédiger un manuel parfait, étape par étape, pour le robot. D'autres pensaient que le robot pouvait lire dans leurs pensées. Comme l'IA n'expliquait pas comment elle réfléchissait, les utilisateurs avaient l'impression de « parier » avec leur première commande. S'ils se trompaient, le robot prenait le mauvais chemin, et l'utilisateur se sentait piégé.

Obstacle 2 : Le saut de foi « Faites-moi confiance »

L'analogie : Vous demandez à un inconnu de tenir votre portefeuille pendant que vous attachez votre lacet. Il dit : « Je reviens tout de suite », et s'enfuit avec votre portefeuille. Vous vous sentez en insécurité.
La réalité : Les agents IA demandaient souvent des éléments sensibles (comme se connecter à votre compte Google) ou commençaient à prendre des décisions (comme réserver un hôtel) sans demander : « Voulez-vous une chambre avec piscine ou une vue ? ». Les utilisateurs avaient l'impression de devoir faire confiance aveuglément au robot, mais le robot ne gagnait pas cette confiance en expliquant ses choix ou en demandant la permission au préalable.

Obstacle 3 : Le partenaire de danse « taille unique »

L'analogie : Imaginez danser avec un partenaire qui ne connaît qu'un seul style de danse. Si vous voulez valser, il essaie de faire du breakdance. Si vous voulez vous arrêter, il continue de tourner.
La réalité : Les gens ont différents styles de travail. Certains veulent faire l'essentiel et vérifier simplement le travail de l'IA ; d'autres veulent que l'IA fasse tout. Les agents étaient trop pressés de simplement « faire le travail » sans vérifier. Si un utilisateur voulait faire une pause ou modifier le plan, l'agent n'écoutait souvent pas ou rendait difficile l'arrêt, laissant l'utilisateur avec l'impression d'avoir perdu le contrôle de la danse.

Obstacle 4 : Le « tuyau d'incendie » d'informations

L'analogie : Vous demandez à un ami votre chemin. Au lieu de dire « Tournez à gauche », il vous fait un cours de 20 minutes sur l'histoire de la rue, les schémas de circulation et la météo, pendant que vous essayez de conduire.
La réalité : Les agents étaient très bavards. Ils affichaient chaque étape qu'ils effectuaient, chaque résultat de recherche et chaque processus de pensée. Pour certains utilisateurs, cela était utile ; pour d'autres, c'était un bruit assourdissant. Il était difficile de trouver les parties importantes car les « journaux » étaient trop denses et confus.

Obstacle 5 : Le robot qui ne sait pas qu'il est coincé

L'analogie : Vous demandez à un GPS de trouver un itinéraire. Il reste coincé dans une boucle, essayant de traverser un mur, et continue de dire « Recalculer » sans jamais vous dire : « Hé, je ne peux pas passer par ici, vous devez conduire manuellement ».
La réalité : Lorsque l'IA restait coincée (comme en essayant de se connecter à un site web qui bloquait les robots), elle ne réalisait souvent pas qu'elle échouait. Elle se figeait simplement ou répétait la même action encore et encore. Elle manquait de « conscience de soi » pour dire : « Je suis coincé, aidez-moi ». Les utilisateurs devaient identifier l'erreur eux-mêmes, ce qui contredisait le but même d'avoir un agent.

Le fond du problème

Le document conclut que, bien que les agents IA soient puissants et capables de faire des choses étonnantes, ils ne sont pas encore prêts pour une utilisation grand public par des personnes ordinaires.

La technologie est comme un moteur de voiture de course qui n'a pas été installé dans une voiture avec un volant, des freins ou un tableau de bord. L'industrie vend le moteur (la capacité d'exécuter des tâches), mais les utilisateurs ont besoin de la voiture (la capacité de contrôler, de faire confiance et de comprendre le moteur).

Jusqu'à ce que ces agents puissent mieux comprendre les attentes humaines, expliquer leurs erreurs et nous permettre de reprendre le volant lorsque les choses tournent mal, « Johnny » continuera de lutter pour les utiliser efficacement.

Résumé technique

Résumé technique : Pourquoi Johnny ne peut pas utiliser d'agents : Aspirations de l'industrie face aux réalités des utilisateurs avec les agents IA

Énoncé du problème
L'article traite d'une imprécision croissante concernant la définition, les capacités et l'utilisabilité des « agents IA ». Alors que l'industrie technologique commercialise ces systèmes comme des partenaires intelligents capables d'exécution autonome et multi-étapes, il existe un manque de compréhension systématique quant à la manière dont les utilisateurs finaux interagissent réellement avec eux. Les évaluations antérieures des agents IA se sont largement concentrées sur des benchmarks techniques et des idéaux quantifiables (par exemple, les taux d'achèvement de tâches dans des environnements contrôlés), négligeant souvent les facteurs humains liés à la délégation, à la surveillance et au rattrapage. Les auteurs postulent que les capacités commercialisées divergent souvent des réalités des utilisateurs, créant des frictions qui empêchent une adoption efficace par les utilisateurs novices. Le problème central réside dans l'écart entre les aspirations de l'industrie (ce que les agents sont censés faire selon le marketing) et les réalités des utilisateurs (les défis rencontrés lors de la tentative d'utilisation de ces agents pour les tâches annoncées).

Méthodologie
La recherche adopte une approche à deux volets pour étudier le décalage entre le cadrage de l'industrie et l'expérience utilisateur :

1. Revue systématique (RQ1) : Les auteurs ont construit une taxonomie des capacités commercialisées des agents IA en analysant $N=102$ produits commerciaux issus de répertoires d'agrégateurs (par exemple, AI Agent Directory, Product Hunt) et de recherches web. Ils ont effectué une analyse qualitative inductive du contenu des supports marketing pour regrouper les cas d'usage annoncés en trois grandes catégories : Orchestration (agir dans des interfaces graphiques au nom de l'utilisateur), Création (générer des artefacts structurés tels que des diapositives ou du code) et Insight (soutenir la recherche, la synthèse et les recommandations).

2. Évaluation de l'utilisabilité (RQ2) : Les auteurs ont mené une étude d'utilisabilité en pensée à voix haute avec $N=31$ participants. Les participants étaient novices en matière de systèmes opérationnellement agentiques, mais des utilisateurs fréquents de chatbots IA génératifs. Ils ont tenté des tâches représentatives de chacune des trois catégories de la taxonomie en utilisant deux plateformes commerciales populaires opérationnellement agentiques : OpenAI Operator et Manus.

   • Tâches : Planification de vacances (Orchestration), Création de diapositives (Création) et Établissement d'un budget pour une bourse de croissance professionnelle/personnelle (Insight).
   • Procédure : Chaque session a duré environ une heure, composée de deux tentatives de tâche de 20 minutes suivies d'entretiens semi-structurés. L'étude a collecté des enregistrements d'écran et d'audio, des scores de l'Échelle d'utilisabilité du système (SUS) et des transcriptions d'entretiens.
   • Analyse : Les données ont été analysées à l'aide d'une analyse thématique réflexive pour identifier les obstacles récurrents et les défis d'utilisabilité.

Contributions principales
L'article apporte trois contributions principales au domaine de l'Interaction Homme-Machine (IHM) et de l'IA :

1. Une taxonomie des capacités commercialisées : Un cadre synthétique classant les cas d'usage des agents IA envisagés par l'industrie en Orchestration, Création et Insight, clarifiant comment l'étiquette « agent » est actuellement appliquée sur le marché commercial.
2. Identification empirique des obstacles à l'utilisabilité : Un compte rendu de cinq obstacles critiques à l'utilisabilité auxquels les utilisateurs novices sont confrontés lors de l'interaction avec des agents IA commerciaux, allant au-delà des simples métriques d'achèvement de tâches pour évaluer la qualité du processus de délégation et de collaboration.
3. Implications pour la conception et l'évaluation : Un ensemble d'implications concrètes pour la conception et l'évaluation des systèmes agentiques, incluant des axes spécifiques d'évaluation (par exemple, fréquence d'intervention, temps de récupération, taux de blocage/boucle) qui complètent les benchmarks techniques existants.

Résultats et découvertes clés
Bien que les participants aient généralement réussi à accomplir les tâches assignées et aient rapporté des scores élevés à l'Échelle d'utilisabilité du système (SUS) (indiquant une impression générale d'utilité), l'étude a révélé des points de friction significatifs entravant une utilisation optimale. Les auteurs ont identifié cinq obstacles critiques à l'utilisabilité :

1. Désalignement des modèles mentaux : Les utilisateurs ont eu du mal à comprendre les capacités de l'agent, le niveau de détail requis dans les invites et le rôle de l'agent pendant l'exécution. Cela a conduit à un « jeu de l'invite » (incertitude quant à la quantité de détails à fournir) et à une confusion concernant les mécanismes d'interaction tels que « Prendre le relais » (intervention de l'utilisateur). Les utilisateurs ont construit leurs modèles mentaux de manière réactive à partir des résultats plutôt que de manière proactive à partir des signaux du système.
2. Hypothèses de confiance prématurées : Les agents ont souvent présumé de la confiance dans des contextes sensibles (par exemple, la gestion des identifiants, la planification de voyages) sans établir de crédibilité ni confirmer l'intention de l'utilisateur. Les utilisateurs ont exprimé une méfiance concernant les hallucinations, la gestion des mots de passe et la tendance de l'agent à agir sans clarifier les préférences personnelles.
3. Inadéquation du style de collaboration : Les agents ont échoué à s'adapter à divers styles de collaboration. Certains utilisateurs souhaitaient une implication profonde et un contrôle granulaire (agissant comme des « partenaires de réflexion »), tandis que d'autres voulaient une implication minimale. Les agents avaient tendance à être des outils d'exécution trop zélés, supposant que les utilisateurs souhaitaient une surveillance minimale, et manquaient de mécanismes pour un pilotage efficace en cours de tâche ou un rattrapage après des erreurs.
4. Surcharge de communication : Les utilisateurs ont rencontré des difficultés à analyser les sorties des agents. Il existait un spectre de préférences concernant la visibilité de la progression ; certains trouvaient les journaux détaillés accablants, tandis que d'autres estimaient qu'ils manquaient de surveillance nécessaire. La surcharge de communication rendait souvent difficile l'articulation de l'intention ou l'identification de l'étape où se trouvait l'agent dans le flux de travail.
5. Comportement métacognitif faible : Les agents manquaient de la capacité d'auto-évaluer leur progression, leurs limites ou la qualité de leur sortie. Lorsque les agents rencontraient des erreurs ou des blocages, ils échouaient souvent à reconnaître l'obstruction, entraînant des boucles répétitives ou des échecs silencieux. Les utilisateurs étaient contraints de combler ces lacunes métacognitives, luttant souvent pour se remettre de modes d'échec opaques.

Signification et affirmations
L'article affirme que la transition de l'interaction basée sur le chat vers les systèmes opérationnellement agentiques modifie fondamentalement la surface d'utilisabilité. Dans les chatbots, une mauvaise invite peut entraîner une réponse textuelle sous-optimale ; dans les agents, la même ambiguïté peut déclencher des exécutions multi-étapes chronophages et gourmandes en ressources avec des effets secondaires dans le monde réel (par exemple, réserver des vols, modifier des fichiers) avant que l'utilisateur puisse intervenir.

Les auteurs soutiennent que les exigences structurelles des systèmes agentiques — délégation, surveillance, intervention et récupération — ne peuvent être résolues simplement en attendant des utilisateurs plus compétents ou des modèles plus puissants. Au contraire, la conception de ces systèmes doit aborder explicitement les obstacles identifiés en :

• Calibrant les préférences des utilisateurs concernant la proactivité et la communication.
• Améliorant l'auto-évaluation et la transparence des agents (par exemple, en exposant la confiance, en détectant les blocages).
• Prenant en charge les entrées non textuelles et les mécanismes d'itération précis.
• Redéfinissant les métriques d'évaluation pour inclure des dimensions centrées sur l'humain telles que la fréquence d'intervention et le temps de récupération.

L'étude conclut que, bien que les agents actuels montrent des promesses, des lacunes significatives en matière d'utilisabilité subsistent entre les aspirations de l'industrie et les réalités des utilisateurs finaux novices, nécessitant un changement de focus dans la conception, passant de la pure capacité à la fiabilité collaborative.