💬 NLP

VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents

Het paper introduceert VeriOS, een betrouwbaar OS-agent dat via een query-gedreven mens-agent-GUI-interactie proactief mensen raadpleegt in onbetrouwbare scenario's om over-executie te voorkomen, wat resulteert in een aanzienlijke verbetering van de succesratio zonder in te leveren op prestaties in normale situaties.

Oorspronkelijke auteurs: Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

Gepubliceerd 2026-04-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, digitale assistent hebt die je telefoon of computer voor je kan bedienen. Hij kan apps openen, berichten sturen en instellingen wijzigen. Dit is wat onderzoekers een "OS-agent" noemen.

Het probleem is echter: deze slimme assistent is soms te zelfverzekerd.

Het Probleem: De "Dwaze Chauffeur"

In de echte wereld gebeuren er rare dingen. Soms crasht je telefoon, verschijnt er een raar pop-up venster, of vraag jij iets vaags ("Doe maar iets met die foto").

De huidige slimme assistenten proberen in deze situaties gewoon door te gaan, alsof er niets aan de hand is. Het is alsof een chauffeur doorrijdt in een mistige bergweg terwijl hij denkt dat het een zonnige dag is. Hij raakt de afgrond in (hij doet iets verkeerd, zoals je locatie delen zonder dat je het wilt, of een app crashen).

De Oplossing: VeriOS – De "Voorzichtige Assistent"

De onderzoekers van dit paper hebben VeriOS bedacht. Dit is een nieuwe manier om te werken met die digitale assistent.

In plaats van blindelings door te gaan, leert VeriOS-agent om stopte tekenen te herkennen en om hulp te vragen.

Hier is hoe het werkt, met een paar creatieve vergelijkingen:

1. De Vraag-Antwoord Methode (De "Vragende Chef")

Stel je voor dat je een kok bent die een recept moet volgen.

De oude manier: De kok leest "Voeg zout toe" en gooit er een hele pot tegenaan, omdat hij niet zeker weet hoeveel.
De VeriOS-methode: De kok kijkt naar de situatie. Als hij ziet dat de pot leeg is of het recept vaag is, roept hij: "Chef, moet ik nu zout doen of peper?" Hij wacht op je antwoord voordat hij iets doet.

VeriOS doet precies dit. Als hij merkt dat de situatie "onveilig" of "onduidelijk" is (bijvoorbeeld een raar pop-up venster of een vaag commando), vraagt hij jou: "Ik zie een raar venster, wil je dat ik dit sluit of open?" Pas als jij antwoordt, voert hij de actie uit.

2. De Drie-Fase Training (Het "Schoolsysteem")

Hoe leer je een computer dit slimme gedrag? De onderzoekers gebruiken een slimme trainingsmethode die bestaat uit drie stappen, alsof je iemand leert autorijden:

Fase 1: Het Splitsen van Kennis (De "Meta-Kennis")
Ze splitsen de leerstof in twee delen:
1. Situatie-inzicht: "Is dit een normale weg of een gevaarlijke bocht?"
2. Actie: "Hoe draai ik het stuur?"
  In plaats van alles door elkaar te leren, leren ze de assistent eerst om de situatie te herkennen, en daarna pas wat hij moet doen.
Fase 2: De "Wisselende" Training (Interleaved Learning)
Ze laten de assistent niet eerst 100 keer "situatie herkennen" en daarna 100 keer "sturen". Ze wisselen het af: Een situatie herkennen, dan sturen, dan weer een situatie herkennen.
Dit helpt de assistent om te begrijpen dat het herkennen van een gevaar direct gekoppeld is aan het vragen om hulp, en niet losstaat van het sturen.
Fase 3: De "Beloningssysteem" (GRPO)
De assistent krijgt punten als hij goed doet:
- +1 punt als hij goed zegt: "Dit is een gevaarlijke situatie!"
- +1 punt als hij de juiste vraag stelt.
- +1 punt als hij na jouw antwoord de juiste knop indrukt.
  Als hij fouten maakt (bijvoorbeeld door te gaan in een gevaarlijke situatie), krijgt hij geen punten. Zo leert hij snel wat belangrijk is.

3. De Nieuwe Testbaan (VeriOS-Bench)

Om te bewijzen dat hun assistent beter is, hebben ze een nieuwe testbaan gemaakt genaamd VeriOS-Bench.
Stel je voor dat ze een rijexamen hebben bedekt met valstrikken:

Een weg die plotseling wegvalt (een crash van het besturingssysteem).
Een bordje dat onduidelijk is (een vaag commando van de gebruiker).
Een gevaarlijke afslag (een gevoelige actie, zoals locatie delen).

De oude assistenten vielen hierin en vielen van de weg. VeriOS-agent zag de valstrikken, stopte, vroeg om instructies, en reed veilig verder.

Het Resultaat

De resultaten zijn indrukwekkend:

VeriOS-agent is 20% succesvoller in deze moeilijke, onzekere situaties dan de beste bestaande assistenten.
Het belangrijkste: Hij is niet trager in normale situaties. Als het weer mooi is en de weg helder, rijdt hij gewoon zo snel en efficiënt als de anderen.

Samenvatting

VeriOS is als het verschil tussen een roekeloze renner die overal doorheen rent en vaak struikelt, en een ervaren gids die weet wanneer hij moet stoppen om te kijken of de weg veilig is, en de reiziger om bevestiging vraagt voordat hij verder gaat.

Het maakt onze digitale assistenten niet alleen slimmer, maar vooral betrouwbaarder in de chaotische echte wereld.

Probleemstelling

Met de snelle vooruitgang van multimodale grote taalmodellen (MLLM's) worden besturingssysteemagenten (OS-agenten) steeds bekwaamer in het automatiseren van taken via grafische gebruikersinterfaces (GUI's) op apparaten zoals smartphones en computers. Echter, de meeste bestaande agenten zijn ontworpen voor geïdealiseerde, betrouwbare omgevingen. In de realiteit treden er vaak onbetrouwbare situaties op die leiden tot over-executie (het uitvoeren van acties zonder voldoende zekerheid), wat risico's met zich meebrengt.

De onbetrouwbaarheid ontstaat door twee hoofdfactoren:

Omgevingskant: Anomalieën veroorzaakt door OS-instabiliteit (bijv. pop-ups, verbindingen die verbroken worden, crashes) en gevoelige acties (bijv. het activeren van controles die locatiegegevens vrijgeven).
Gebruikerskant: Ambigue instructies en situaties met meerdere mogelijke keuzes.

Bestaande oplossingen, zoals vertrouwen-gedreven interactie (waarbij de agent stopt bij een lage confidence-score), missen vaak interpretatievermogen. Er is behoefte aan een agent die proactief menselijke input kan vragen wanneer dat nodig is, zonder de autonomie in normale situaties te verliezen.

Methodologie

De auteurs stellen VeriOS-Agent voor, een betrouwbare OS-agent die een query-gedreven mens-agent-GUI-interactie gebruikt. De kern van de aanpak ligt in een drie-staps leerparadigma dat meta-kennis ontkoppelt en geoptimaliseerd gebruikt via Supervised Fine-Tuning (SFT) en Group Relative Policy Optimization (GRPO).

1. VeriOS-Bench (Benchmarks)

Eerst hebben de auteurs een nieuw benchmark opgezet, VeriOS-Bench, dat cross-platform is (mobiel, desktop, web, tablet). Dit bevat:

Annotaties voor onbetrouwbare scenario's (omgevingsanomalieën, gevoelige acties, ontbrekende informatie, meerdere keuzes).
Koppels van vragen en antwoorden (query-answer pairs) tussen de agent en de mens.
Pilot-studies toonden aan dat bestaande agenten slechts 46-61% nauwkeurigheid hadden in het herkennen van deze scenario's en dat het toevoegen van vraag-antwoordgeschiedenis hun prestaties in normale scenario's zelfs verslechterde.

2. Meta-kennis Ontkoppeling

Elk datapunt in de dataset wordt ontkoppeld in twee vormen van kennis:

Scenario-kennis ( $K_{scenario}$ ): Het identificeren van het scenario (normaal vs. onbetrouwbaar) en het genereren van de juiste vraag aan de mens.
Actie-kennis ( $K_{action}$ ): Het genereren van uitvoerbare GUI-acties op basis van de vraag-antwoordgeschiedenis.

3. Het Leerparadigma

Fase 1: Interleaved Supervised Fine-Tuning (SFT):
De dataset wordt zo georganiseerd dat voor elke originele sample eerst de scenario-kennis ( $d_1$ ) en vervolgens de actie-kennis ( $d_2$ ) wordt getraind. Dit zorgt ervoor dat het model de logische connectie leert tussen het stellen van een vraag en het uitvoeren van een actie op basis van het antwoord, zonder dat de ene kennis de andere "vergeet" (catastrophic forgetting).
Fase 2: Group Relative Policy Optimization (GRPO):
Hier wordt het beleid van de agent verfijnd met een regelgebaseerd beloningssysteem:
- Scenario-beloning: Beloning voor het correct identificeren van het scenario en het stellen van de juiste vraag.
- Actie-beloning: Beloning voor het correct uitvoeren van de GUI-actie op basis van de interactiegeschiedenis.
  Dit zorgt ervoor dat de agent proactief vraagt in onbetrouwbare situaties en autonoom handelt in normale situaties.

Belangrijkste Bijdragen

VeriOS-Framework: Een nieuw interactiemodel waarbij de agent menselijke input vraagt in onbetrouwbare scenario's en autonoom werkt in normale scenario's, wat de over-executie-risico's minimaliseert.
Drie-staps Leerparadigma: Een innovatieve trainingsmethode die meta-kennis ontkoppelt en via SFT en GRPO efficiënt combineert in één agent.
VeriOS-Bench: Een uitgebreid cross-platform benchmark met annotaties voor onbetrouwbare scenario's en menselijke reacties, essentieel voor het evalueren van betrouwbare agenten.
VeriOS-Agent: Een betrouwbare OS-agent die aanzienlijk beter presteert dan bestaande baselines, met een hoge nauwkeurigheid in scenario-judgment en taakuitvoering.

Resultaten

Experimenten op VeriOS-Bench tonen de volgende resultaten aan:

Verbetering in Onbetrouwbare Scenario's: VeriOS-Agent verbetert de stap-voor-stap successrate met gemiddeld 19,72% (in sommige analyses tot 20,64%) ten opzichte van de sterkste baselines in onbetrouwbare scenario's.
Behoud van Prestaties: In normale (betrouwbare) scenario's blijft de prestatie vergelijkbaar met de baselines; er is geen sprake van degradatie.
Scenario Judgment: De agent bereikt een scenario-judgment nauwkeurigheid van 80,21%, wat aanzienlijk hoger is dan de 46-61% van bestaande MLLM-agenten.
Ablatie Studies:
- Interleaved Training: Deze methode presteert beter dan gescheiden (gephaseerde) of willekeurige training, omdat het de inherente logische relaties tussen kennissoorten behoudt.
- Single vs. Dual Agent: Een enkele agent die beide taken leert, werkt beter dan een systeem met twee gespecialiseerde agenten, omdat het de logische connecties tussen scenario-herkenning en actie-uitvoering impliciet leert.
- Scalability: De agent toont sterke generalisatie (OOD-experimenten) en schaalbaarheid; kennis van bekende scenario's helpt bij het omgaan met nieuwe, onbekende scenario's.

Betekenis

Dit paper is significant omdat het een praktische oplossing biedt voor het veiligheidsprobleem van autonome OS-agenten in de echte wereld. Door de agent de mogelijkheid te geven proactief om verduidelijking te vragen in plaats van blindelings door te gaan, wordt het risico op foutieve of schadelijke acties (zoals het onbedoeld vrijgeven van privacygegevens) drastisch verminderd. De voorgestelde methode bewijst dat het mogelijk is om een agent te trainen die zowel autonoom als collaboratief kan werken, afhankelijk van de context, zonder in te leveren op snelheid of efficiëntie in veilige situaties. Dit legt een fundament voor de ontwikkeling van echt betrouwbare AI-assistenten voor dagelijkse computer- en telefoongebruik.