💬 NLP

VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents

Le papier présente VeriOS, un agent OS fiable qui utilise un cadre d'interaction humain-agent-GUI piloté par des requêtes et un apprentissage en trois étapes pour exécuter des tâches de manière autonome dans des conditions normales tout en sollicitant activement l'intervention humaine dans des scénarios non fiables afin de prévenir les risques d'exécution excessive.

Auteurs originaux : Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

Publié 2026-04-06

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant personnel très intelligent, capable de prendre votre téléphone ou votre ordinateur et d'exécuter des tâches à votre place : envoyer un message, réserver un billet, ou modifier un paramètre. C'est ce qu'on appelle un agent OS (système d'exploitation).

Le problème, c'est que ces agents sont souvent trop confiants. Ils agissent comme des conducteurs qui rouleraient à toute vitesse même par temps de brouillard, sans jamais demander de l'aide. Si l'ordinateur plante, si une fenêtre surprise apparaît, ou si votre demande était un peu floue, l'agent risque de faire une erreur catastrophique (comme effacer vos photos au lieu de les sauvegarder).

Les chercheurs de l'article VeriOS ont créé une solution pour rendre ces agents plus prudents et plus intelligents. Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : L'Agent "Tête Brûlée"

Dans le monde réel, tout n'est pas parfait.

Côté ordinateur : Parfois, l'application bug, une fenêtre de publicité surgit, ou le système plante.
Côté humain : Parfois, vous dites "Envoie ça à Paul", mais il y a trois Paul dans vos contacts.

Les agents actuels essaient de deviner et agissent souvent trop vite, ce qui mène à des erreurs. C'est comme si un cuisinier essayait de faire un gâteau sans jamais goûter la pâte, même s'il manque un ingrédient.

2. La Solution VeriOS : L'Agent "Curieux et Prudent"

Les auteurs ont créé VeriOS-Agent, un assistant qui a appris une nouvelle règle d'or : "Quand tu n'es pas sûr, demande !"

Au lieu de continuer aveuglément, VeriOS sait identifier les moments dangereux (qu'ils appellent des "scénarios non fiables") et s'arrête pour vous poser une question claire.

Exemple : Si l'agent voit une fenêtre demandant l'accès à votre localisation, il ne cliquera pas tout de suite. Il vous dira : "Je vois une demande de localisation. Voulez-vous que je l'accepte ?"
Une fois que vous répondez, il utilise votre réponse pour finir la tâche parfaitement.

3. Comment l'ont-ils entraîné ? (La Méthode des 3 Étapes)

Pour apprendre à cet agent à être aussi prudent, les chercheurs ont utilisé une méthode d'entraînement en trois étapes, un peu comme entraîner un jeune chien de garde :

La Séparation (Découplage) : Ils ont séparé les leçons en deux catégories :
- Leçon A : "Comment reconnaître un danger ?" (Est-ce que c'est une erreur ? Est-ce que je manque d'infos ?)
- Leçon B : "Comment agir une fois qu'on a l'info ?" (Que faire une fois que l'humain a répondu ?)
L'Entraînement Mixte (SFT) : Au lieu d'apprendre les leçons A et B séparément, ils les ont mélangées. C'est comme apprendre à un élève à la fois à reconnaître un feu rouge et à appuyer sur le frein, en alternant les exercices. Cela aide l'agent à comprendre le lien logique entre le danger et l'action de demander de l'aide.
La Récompense (GRPO) : Ils ont créé un système de points. Si l'agent reconnaît bien le danger et pose la bonne question, il gagne des points. S'il agit bêtement ou pose une question inutile, il perd des points. Cela affine son instinct.

4. Les Résultats : Plus Intelligent, Pas Plus Lent

Les tests montrent que VeriOS-Agent est un vrai gagnant :

Dans les situations normales : Il est aussi rapide et efficace que les meilleurs agents existants. Il ne perd pas de temps à vous demander des choses inutiles.
Dans les situations dangereuses : Il réussit beaucoup mieux (environ 20 % de plus) que les autres. Il évite les erreurs en demandant votre avis au bon moment.

En Résumé

Imaginez que VeriOS-Agent est comme un copilote de voiture.

Les autres agents sont des pilotes autonomes qui roulent vite mais qui ne savent pas s'arrêter quand la route est glissante.
VeriOS, lui, sait quand la route est dangereuse. Il ralentit, regarde le conducteur (vous), demande : "La route est glissante, voulez-vous que je freine ou que je tourne ?", et une fois que vous avez répondu, il continue avec une précision chirurgicale.

C'est une avancée majeure pour rendre l'intelligence artificielle plus fiable et sûre dans notre quotidien, en lui apprenant l'humilité de demander de l'aide quand elle en a besoin.

Titre : VeriOS : Interaction proactive Homme-Agent-Interface Graphique (GUI) pilotée par requêtes pour des agents OS fiables

1. Problématique

Avec l'avancée des modèles de langage multimodaux (MLLM), les agents d'exploitation (OS agents) deviennent capables d'automatiser des tâches via des interfaces graphiques (GUI) sur des appareils mobiles et informatiques. Cependant, la majorité des agents existants sont conçus pour des environnements idéaux et fiables.

Dans le monde réel, les environnements d'exécution sont souvent non fiables en raison de deux facteurs principaux :

Côté environnement : Anomalies (plantages OS, déconnexions, pop-ups) et actions intrinsèquement sensibles (ex. : demandes de permissions de localisation).
Côté utilisateur : Instructions ambiguës ou situations comportant plusieurs choix plausibles.

L'exécution autonome dans ces scénarios non fiables entraîne un risque de sur-exécution (over-execution), où l'agent effectue des actions incorrectes ou dangereuses sans validation humaine. Les approches actuelles basées sur la confiance (confidence-driven) interrompent simplement la tâche lorsque le score de confiance est bas, manquant d'interprétabilité et d'efficacité.

2. Méthodologie

Pour résoudre ce problème, les auteurs proposent un cadre d'interaction piloté par requêtes (query-driven) et un agent nommé VeriOS-Agent, entraîné via un paradigme d'apprentissage en trois étapes.

A. Cadre d'interaction Homme-Agent-GUI

Contrairement aux agents autonomes purs ou aux agents qui interrompent simplement la tâche, VeriOS-Agent adopte une approche proactive :

Il exécute des tâches automatiquement dans des scénarios normaux.
Dans des scénarios non fiables, il interroge proactivement l'utilisateur pour clarifier la situation avant d'agir.
Il utilise l'historique des requêtes et des réponses humaines pour compléter la tâche de manière fiable.

B. VeriOS-Bench (Benchmark)

Les auteurs ont créé un benchmark cross-plateforme (mobile, bureau, web, tablette) contenant :

Des captures d'écran de scénarios normaux et non fiables.
Des annotations de types de scénarios (anomalies, informations manquantes, actions sensibles, choix multiples).
Des paires requête-réponse (query-answer) annotées par des experts pour simuler l'interaction humaine.

C. Paradigme d'apprentissage en trois étapes

L'entraînement repose sur le découplage et l'utilisation de méta-connaissances via deux types de connaissances :

Connaissance de scénario ( $K_{scenario}$ ) : Identifier le type de scénario et générer la requête appropriée.
Connaissance d'action ( $K_{action}$ ) : Générer l'action GUI exécutable en utilisant les paires requête-réponse.

Le processus d'entraînement se déroule ainsi :

Découplage des données : Chaque instance de données est décomposée en deux sous-instances intercalées :
- $d_1$ : Entrée (Instruction, Image) $\rightarrow$ Sortie (Type de scénario, Requête).
- $d_2$ : Entrée (Instruction, Image, Requête, Réponse humaine) $\rightarrow$ Sortie (Type de scénario, Action).
SFT (Supervised Fine-Tuning) : Entraînement intercalé (interleaved) sur les sous-instances $d_1$ et $d_2$ . Cela permet au modèle d'apprendre simultanément les liens logiques entre la formulation de la requête et la génération de l'action, évitant l'oubli catastrophique.
GRPO (Group Relative Policy Optimization) : Une étape de renforcement utilisant une fonction de récompense multidimensionnelle :
- Récompense de scénario : Valide la détection correcte du scénario et la pertinence de la requête.
- Récompense d'action : Valide la précision de l'action générée.
- L'objectif est d'optimiser la politique pour maximiser l'avantage relatif des échantillons au sein d'un groupe.

3. Contributions Clés

Méthode d'interaction : Introduction d'un paradigme où l'agent OS interroge l'homme dans les scénarios non fiables tout en restant autonome dans les scénarios normaux.
Paradigme d'apprentissage : Proposition d'une approche en trois étapes (Découplage, SFT intercalé, GRPO) pour intégrer efficacement différentes connaissances dans un seul agent.
VeriOS-Bench : Création d'un benchmark cross-plateforme avec des annotations détaillées sur les scénarios non fiables et les paires requête-réponse.
VeriOS-Agent : Développement d'un agent fiable capable d'évaluer les scénarios et d'accomplir des tâches via des requêtes humaines, surpassant les modèles de base.

4. Résultats Expérimentaux

Les expériences menées sur VeriOS-Bench montrent des performances supérieures :

Amélioration des scénarios non fiables : VeriOS-Agent améliore le taux de réussite par étape (step-wise success rate) de 19,72 % à 20,64 % par rapport aux meilleures lignes de base (baselines) dans les scénarios non fiables.
Préservation des performances normales : Contrairement à l'ajout direct de paires requête-réponse dans les prompts (qui dégrade les performances des modèles existants), VeriOS-Agent maintient des performances comparables, voire meilleures, dans les scénarios normaux.
Précision de jugement : La précision de jugement des scénarios (SJA) passe de ~46-60 % pour les agents existants à 80,21 % pour VeriOS-Agent.
Analyse des ablations :
- L'entraînement intercalé (interleaved) est supérieur aux méthodes de formation par phases ou aléatoires, car il préserve les liens logiques entre les connaissances.
- Une architecture mono-agent est préférable à un système dual-agent (un agent pour juger, un pour agir) car elle est plus efficace en ressources et apprend mieux les connexions implicites.
- Le modèle de base Qwen2.5-VL (généraliste) surpasse les modèles spécialisés (comme GUI-Owl) pour cette tâche, grâce à une meilleure compréhension du langage naturel nécessaire pour les requêtes.

5. Signification et Impact

Fiabilité et Sécurité : VeriOS-Agent adresse directement le problème critique de la sur-exécution dans des environnements réels imprévisibles, rendant l'automatisation des OS plus sûre.
Interprétabilité : L'approche "query-driven" rend le processus de décision de l'agent transparent et contrôlable par l'humain, contrairement aux boîtes noires autonomes.
Généralisation et Évolutivité : Les études OOD (Out-of-Distribution) et d'évolutivité montrent que VeriOS-Agent peut généraliser à de nouveaux types de scénarios non fiables sans oublier les connaissances précédentes, suggérant une forte capacité d'adaptation pour le déploiement à long terme.
Nouveau Standard : La création de VeriOS-Bench établit une nouvelle référence pour évaluer la fiabilité des agents OS au-delà des simples tâches d'automatisation idéales.

En résumé, VeriOS représente une avancée majeure vers des agents OS véritablement fiables, capables de naviguer intelligemment entre l'autonomie et la collaboration humaine en fonction du contexte.