Modeling Distinct Human Interaction in Web Agents

Titre : Modélisation des Interactions Humaines Distinctes dans les Agents Web

1. Problématique

Malgré les progrès rapides des agents web autonomes basés sur les grands modèles de langage (LLM), l'intervention humaine reste cruciale pour corriger les erreurs et aligner le comportement de l'agent sur les préférences de l'utilisateur. Cependant, les systèmes actuels souffrent de deux défauts majeurs :

• Manque de compréhension contextuelle : Ils ne savent pas quand ni pourquoi un humain va intervenir. Ils peuvent soit poursuivre une tâche de manière autonome au-delà de points de décision critiques, soit demander des confirmations inutiles de manière excessive.
• Charge de surveillance : Cette absence de prévision force les utilisateurs à intervenir manuellement en cours d'exécution, augmentant la charge cognitive et réduisant l'efficacité de l'automatisation.

L'objectif central est de permettre aux agents de prédire proactivement les moments où une intervention humaine est probable, afin de s'adapter dynamiquement et de n'engager l'utilisateur que lorsque cela est strictement nécessaire.

2. Méthodologie

L'approche proposée repose sur trois piliers principaux : la collecte de données, la modélisation des styles d'interaction et l'entraînement de modèles prédictifs.

A. Création du Dataset COWCORPUS
Les auteurs ont collecté COWCORPUS, un corpus de 400 trajectoires réelles d'interaction humain-agent sur le web.

• Composition : Le dataset comprend plus de 4 200 actions intercalées (2 748 actions de l'agent et 1 476 actions humaines).
• Tâches : Il mélange 200 tâches standardisées (issues de Mind2Web) et 200 tâches "libres" (choisies par les utilisateurs), couvrant divers domaines (voyage, shopping, recherche d'information, etc.).
• Annotation : Chaque étape est annotée pour identifier les moments d'intervention (pause, reprise, reprise de contrôle totale).

B. Analyse des Styles d'Interaction
L'analyse des données a révélé que l'intervention humaine est motivée par trois besoins récurrents : la correction d'erreurs, le raffinement des préférences et la reprise de contrôle assistée. Sur cette base, les utilisateurs ont été regroupés en quatre styles distincts via un clustering (k-means) :

1. Takeover (Prise de contrôle) : Interventions rares, souvent tardives, où l'utilisateur reprend le contrôle total sans le rendre à l'agent.
2. Hands-on (Surveillance active) : Interventions fréquentes et intenses, alternant régulièrement le contrôle entre l'humain et l'agent.
3. Hands-off (Surveillance passive) : L'utilisateur n'intervient presque jamais, laissant l'agent exécuter la tâche de bout en bout.
4. Collaborative (Collaboration) : Interventions sélectives et courtes, avec une forte tendance à rendre le contrôle à l'agent immédiatement après.

C. Modélisation et Entraînement
Le problème est formulé comme une tâche de classification binaire séquentielle (étape par étape) : prédire si $y_t = 1$ (intervention) ou $0$ (continuité) étant donné l'observation multimodale (capture d'écran + arbre d'accessibilité) et l'historique des actions.

• Modèles : Utilisation de modèles multimodaux (LMM) comme Gemma-27B et LLaVA-8B.
• Stratégies d'entraînement :
  1. Un modèle général "conscient de l'intervention" (intervention-aware).
  2. Des modèles conditionnés par le style (fine-tuning spécifique pour les groupes Takeover, Hands-on, Collaborative).
• Métriques d'évaluation : Précision, Rappel, F1-score et une métrique clé appelée Perfect Timing Score (PTS). Le PTS pénalise non seulement les fausses prédictions, mais aussi leur timing (une prédiction trop précoce ou trop tardive est pénalisée selon la distance temporelle avec la vérité terrain).

3. Résultats Clés

A. Performance de Prédiction

• Les modèles propriétaires (Claude, GPT-4o, Gemini) en configuration "zero-shot" sont trop conservateurs : ils excellent à prédire l'absence d'intervention mais échouent à détecter les interventions actives (F1 très faible sur les classes positives).
• Le fine-tuning sur COWCORPUS permet aux modèles open-source (Gemma-27B, LLaVA-8B) de surpasser les modèles propriétaires.
• Gain de performance : Les modèles entraînés montrent une amélioration de 61,4 % à 63,4 % en précision de prédiction d'intervention par rapport aux modèles de base.
• Le modèle Gemma-27B fine-tunée atteint un PTS de 0,303, contre 0,293 pour Claude 4 Sonnet.

B. Étude Utilisateur en Conditions Réelles (PlowPilot)
Les auteurs ont déployé un agent web (extension Chrome nommée PlowPilot) intégrant ces modèles prédictifs.

• Protocole : 20 participants ont effectué des tâches avec un agent de base (CowPilot) puis avec l'agent amélioré (PlowPilot).
• Résultat : L'agent "conscient de l'intervention" a obtenu une augmentation de 26,5 % dans les notes de satisfaction des utilisateurs par rapport à la version de base.
• Qualité de l'interaction : Les utilisateurs ont rapporté que l'agent les interrompait moins souvent de manière inutile et qu'ils se sentaient plus en contrôle, car les demandes de confirmation étaient mieux calibrées.

4. Contributions Principales

1. COWCORPUS : Le premier dataset à grande échelle de trajectoires collaboratives humain-agent sur le web, annoté avec des styles d'interaction distincts.
2. Taxonomie des interactions : Identification et formalisation de quatre styles d'interaction (Takeover, Hands-on, Hands-off, Collaborative) qui structurent la collaboration humain-agent.
3. Modélisation de l'intervention : Démonstration que le fine-tuning sur des traces d'interaction spécifiques permet de combler l'écart d'alignement que les modèles généralistes ne peuvent pas résoudre seuls.
4. Validation empirique : Preuve que la prédiction proactive de l'intervention humaine améliore significativement l'utilité perçue et l'efficacité des agents dans des tâches réelles.

5. Signification et Impact

Ce travail marque un changement de paradigme dans la conception des agents autonomes. Au lieu d'optimiser uniquement pour l'autonomie maximale (qui conduit souvent à des erreurs ou à une surveillance excessive), il propose de concevoir des agents adaptatifs qui modèlent dynamiquement les préférences et les styles de collaboration des utilisateurs.

En anticipant les besoins d'intervention, les agents peuvent :

• Réduire la charge cognitive des utilisateurs.
• Minimiser les interruptions inutiles.
• Maintenir un équilibre optimal entre autonomie et contrôle humain.

Cela ouvre la voie à des systèmes d'IA plus collaboratifs, capables de fonctionner comme de véritables partenaires de travail plutôt que comme de simples exécutants aveugles.