💬 NLP

VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents

Das Paper stellt VeriOS-Agent vor, einen vertrauenswürdigen OS-Agenten, der durch ein abfragegesteuertes Mensch-Agent-GUI-Interaktionsframework und ein dreistufiges Lernparadigma in der Lage ist, Aufgaben autonom zu erledigen und in unzuverlässigen Szenarien proaktiv menschliche Bestätigung einzuholen, wodurch die Erfolgsrate im Vergleich zu bestehenden Baselines signifikant gesteigert wird, ohne die Leistung in normalen Situationen zu beeinträchtigen.

Ursprüngliche Autoren: Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

Veröffentlicht 2026-04-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber manchmal etwas zu eifrigen persönlichen Assistenten auf Ihrem Handy oder Computer. Dieser Assistent kann fast alles für Sie erledigen: E-Mails schreiben, Termine buchen oder Apps öffnen. Das ist toll, solange alles glatt läuft. Aber was passiert, wenn das System hakt, ein unerwartetes Fenster aufpoppt oder Sie eine Anweisung geben, die mehrdeutig ist?

Hier kommt VeriOS ins Spiel. Es ist wie ein Sicherheitsnetz für diesen digitalen Assistenten, das verhindert, dass er aus Versehen Dinge tut, die er nicht tun sollte.

Hier ist die einfache Erklärung der Idee, unterteilt in drei Teile:

1. Das Problem: Der Assistent, der zu viel tut

Stellen Sie sich vor, Ihr Assistent ist ein Koch, der Ihnen ein Essen zubereitet.

In einer perfekten Küche: Er nimmt die Zutaten, kocht und serviert. Alles läuft reibungslos.
In einer chaotischen Küche: Plötzlich ist das Licht ausgefallen (Systemabsturz), oder Sie sagen "Mach das mit dem Hähnchen", aber es gibt zwei Hähnchen auf dem Tisch (mehrdeutige Anweisung).

Bisherige Assistenten würden in solchen Situationen einfach weitermachen und vielleicht das falsche Hähnchen nehmen oder gegen die Wand laufen, weil sie denken, sie müssten einfach nur schnell fertig werden. Das nennt man im Paper "übermäßige Ausführung" (over-execution). Das kann gefährlich sein, wenn es um sensible Dinge wie das Löschen von Fotos oder das Freigeben von Standortdaten geht.

2. Die Lösung: Der Assistent, der fragt, wenn er unsicher ist

VeriOS ändert die Regel: "Wenn du unsicher bist, frag den Chef (den Menschen), bevor du etwas tust."

Das System funktioniert wie ein sehr höflicher und vorsichtiger Diener:

Szenario A (Alles normal): Der Assistent sieht, dass die Küche ordentlich ist und Ihre Anweisung klar. Er arbeitet einfach weiter, ohne Sie zu stören.
Szenario B (Unsicherer Moment): Der Assistent sieht ein rotes Warnschild (ein Pop-up-Fenster) oder versteht Ihre Anweisung nicht ganz. Statt blind weiterzumachen, hält er inne und fragt Sie: "Herr Chef, ich sehe hier ein Warnfenster. Soll ich wirklich auf 'Zustimmen' klicken, oder wollen Sie das zuerst prüfen?"

Er wartet auf Ihre Antwort, führt dann die Handlung aus und ist sicher, dass er nichts Falsches getan hat.

3. Wie lernt der Assistent das? (Der dreistufige Trainingsprozess)

Damit dieser Assistent lernt, wann er fragen muss und wann er einfach arbeiten soll, haben die Forscher ihn in drei Schritten trainiert – ähnlich wie man einen Praktikanten ausbildet:

Das Zerlegen des Wissens (Meta-Wissen):
Statt dem Assistenten alles auf einmal zu geben, teilen sie die Aufgaben auf.
- Teil 1: "Lerne, Situationen zu erkennen: Ist hier alles okay oder ist etwas schief?"
- Teil 2: "Lerne, was zu tun ist, wenn du die Antwort vom Chef hast."
  Sie vermischen diese beiden Lektionen beim Training, damit der Assistent versteht, dass das Erkennen der Situation und das Handeln eng zusammengehören.
Das Fein-Tuning (SFT):
Der Assistent übt an tausenden Beispielen. Er lernt: "Wenn ich ein Pop-up sehe, muss ich fragen. Wenn ich eine klare Liste habe, muss ich klicken."
Die Belohnung (GRPO):
Hier kommt ein cleverer Trick ins Spiel. Der Assistent bekommt Punkte:
- +1 Punkt, wenn er richtig erkennt, dass er fragen muss.
- +1 Punkt, wenn er die richtige Handlung ausführt.
- 0 Punkte, wenn er in einer gefährlichen Situation einfach weitermacht (Strafe!).
  So lernt er durch Versuch und Irrtum, dass es besser ist, kurz zu fragen, als einen Fehler zu machen.

Das Ergebnis: Ein vertrauenswürdiger Begleiter

Die Forscher haben einen neuen Test (VeriOS-Bench) entwickelt, der genau diese chaotischen Situationen simuliert. Die Ergebnisse zeigen:

Herkömmliche Assistenten machen in solchen chaotischen Situationen oft Fehler (nur ca. 50 % Erfolg).
VeriOS-Agent schafft es, in diesen schwierigen Situationen fast 80 % der Aufgaben richtig zu lösen, indem er proaktiv fragt.
Und das Beste: In normalen, ruhigen Situationen ist er genauso schnell und effizient wie die anderen. Er wird nicht langsamer, nur weil er vorsichtiger ist.

Zusammenfassend:
VeriOS ist wie ein Sicherheitsgurt für KI-Assistenten. Es sorgt dafür, dass die KI nicht blindlings Dinge tut, wenn die Welt um sie herum chaotisch wird. Stattdessen hält sie kurz an, fragt den Menschen um Rat und sorgt so dafür, dass die Technik uns nicht in Schwierigkeiten bringt, sondern uns wirklich hilft.

1. Problemstellung

Mit dem Fortschritt multimodaler Large Language Models (MLLMs) werden Betriebssystem-Agenten (OS-Agenten) zunehmend fähig, Aufgaben über grafische Benutzeroberflächen (GUIs) auf Geräten wie Smartphones und Computern zu automatisieren. Bestehende Ansätze konzentrieren sich jedoch meist auf idealisierte, vertrauenswürdige Umgebungen. In der realen Welt treten häufig unzuverlässige Szenarien auf, die zu Risiken wie einer Überausführung (Over-execution) führen können.

Diese Unzuverlässigkeit entsteht durch zwei Hauptfaktoren:

Umweltseitig: Anomalien durch OS-Instabilität (z. B. Pop-ups, Abstürze, Verbindungsabbrüche) oder sensible Aktionen (z. B. das Auslösen von Berechtigungsanfragen).
Nutzerseitig: Unklare Benutzeranweisungen oder Situationen, in denen mehrere plausible Handlungsoptionen bestehen.

Bestehende Agenten können diese Szenarien oft nicht korrekt erkennen und fragen den Nutzer nicht proaktiv um Klärung, was zu Fehlern führt. Umgekehrt führen einfache Konfidenz-basierte Interaktionen (bei denen der Agent bei niedriger Konfidenz aufgibt) oft zu mangelnder Interpretierbarkeit.

2. Methodik: VeriOS-Agent und Lernparadigma

Die Autoren schlagen ein query-getriebenes, proaktives Mensch-Agent-GUI-Interaktionsframework vor, das es dem Agenten ermöglicht, selbstständig zu entscheiden, wann er den Menschen um Bestätigung oder Klärung bitten muss.

Das Kernstück ist VeriOS-Agent, der mit einem dreistufigen Lernparadigma trainiert wird, um Meta-Wissen zu entkoppeln und zu nutzen:

A. Entkoppelung von Meta-Wissen (Meta-Knowledge Decoupling)

Jeder Datensatz im Benchmark wird in zwei Wissenskomponenten zerlegt:

Szenario-Wissen ( $K_{scenario}$ ): Identifiziert unzuverlässige Szenarien und generiert die entsprechende Abfrage (Query) an den Nutzer.
Aktions-Wissen ( $K_{action}$ ): Generiert ausführbare GUI-Aktionen basierend auf der Historie der Abfrage und der menschlichen Antwort.

Die Daten werden in zwei abgeleitete Sub-Instanzen umgewandelt:

$d_1$ : Input (Prompt, Anweisung, Screenshot) $\rightarrow$ Output (Szenartyp, Abfrage).
$d_2$ : Input (Prompt, Anweisung, Screenshot, Abfrage, Antwort) $\rightarrow$ Output (Szenartyp, Ground-Truth-Aktion).

B. Trainingsphasen

Interleaved Supervised Fine-Tuning (SFT):
Die beiden Sub-Instanzen ( $d_1$ und $d_2$ ) werden im Training verflochten (interleaved) gelernt. Das bedeutet, dass für jeden ursprünglichen Datensatz zuerst die Szenario-Erkennung und dann die Aktionsgenerierung trainiert wird. Dies ermöglicht dem Modell, die logischen Verbindungen zwischen dem Stellen von Fragen und dem Ausführen von Aktionen zu lernen.
Group Relative Policy Optimization (GRPO):
In dieser Phase wird die Policy durch eine regelbasierte Belohnungsfunktion verfeinert:
- Szenario-Belohnung ( $r_{sce}$ ): Belohnt korrekte Szenario-Erkennung und das Generieren der richtigen Abfrage.
- Aktions-Belohnung ( $r_{act}$ ): Misst die Qualität der ausführbaren Aktion (Typ und Parameter).
  Das Ziel ist es, den Agenten zu ermutigen, in unsicheren Situationen zu fragen und in normalen Situationen autonom zu handeln, ohne die Leistung im Normalbetrieb zu beeinträchtigen.

C. Interaktionsablauf

Der Agent erfasst den aktuellen Screenshot und die Anweisung. Er bestimmt den Szenartyp:

Normaler Fall: Führt direkt eine GUI-Aktion aus.
Unzuverlässiger Fall: Generiert eine „ASK"-Aktion (Frage an den Nutzer). Nach Erhalt der menschlichen Antwort ( $h_t$ ) führt der Agent eine zweite推理-Phase durch, um die finale Aktion ( $a_t$ ) basierend auf der Historie (Frage + Antwort) auszuführen.

3. VeriOS-Bench (Benchmark)

Um die Leistung zu evaluieren, wurde VeriOS-Bench entwickelt, ein plattformübergreifender Benchmark (Mobile, Desktop, Web, Tablet).

Er enthält 622 Screenshots, die unzuverlässige und normale Szenarien abdecken.
Die Daten sind annotiert mit Szenartypen, Ground-Truth-Aktionen und spezifischen Query-Answer-Paaren (Was sollte der Agent fragen? Wie antwortet der Mensch?).
Die Verteilung beträgt ca. 60 % unzuverlässige und 40 % normale Szenarien.

4. Ergebnisse

Die Experimente auf VeriOS-Bench zeigen signifikante Verbesserungen gegenüber dem Stand der Technik (Baselines wie UI-TARS, Qwen2.5-VL, GPT-4o):

Leistung in unzuverlässigen Szenarien: VeriOS-Agent verbessert die durchschnittliche schrittweise Erfolgsrate (Step-wise Success Rate) in unzuverlässigen Szenarien um 20,64 % (im Abstract wird 19,72 % genannt) gegenüber den stärksten Baselines.
Leistung in normalen Szenarien: Die Leistung in vertrauenswürdigen Szenarien bleibt unverändert oder verbessert sich leicht; es kommt zu keinem Leistungsabfall.
Szenario-Erkennung: Die Genauigkeit der Szenario-Judgment (SJA) steigt von ca. 46–61 % bei existierenden Agenten auf 80,21 % bei VeriOS-Agent.
Vergleich mit Dual-Agent-Systemen: Ein Ansatz mit zwei separaten Agenten (einer für Erkennung, einer für Aktionen) erzielte nur marginale Verbesserungen und war ressourcenaufwendiger. Der einzelne, verflochten trainierte Agent ist effizienter und leistungsfähiger.
Trainingsstrategie: Die interleaved training-Methode erwies sich als überlegen gegenüber geschüttelten (shuffled), rotierenden oder phasenweisen Trainingsmethoden, da sie die logische Abhängigkeit zwischen Szenario-Erkennung und Aktion besser erhält.

5. Wichtige Beiträge

Neues Interaktionsparadigma: Ein Framework, bei dem OS-Agenten proaktiv Menschen in unzuverlässigen Szenarien konsultieren, während sie in normalen Szenarien autonom arbeiten.
Dreistufiges Lernparadigma: Eine Methode zur Entkopplung und Wiederverwendung von Meta-Wissen (Szenario vs. Aktion) mittels SFT und GRPO, die in einem einzigen Modell integriert wird.
VeriOS-Bench: Ein umfassender, plattformübergreifender Benchmark mit Annotationen für unzuverlässige Szenarien und Mensch-Agent-Dialoghistorien.
VeriOS-Agent: Ein vertrauenswürdiger OS-Agent, der nachweislich die Erfolgsrate in kritischen Situationen drastisch erhöht, ohne die normale Leistung zu beeinträchtigen.

6. Bedeutung und Fazit

Die Arbeit adressiert ein kritisches Sicherheits- und Zuverlässigkeitsproblem bei der Automatisierung von OS-Aufgaben durch KI. Sie zeigt, dass reine Autonomie in realen, unvorhersehbaren Umgebungen riskant ist. Durch die Einführung eines proaktiven Abfrage-Mechanismus und eines spezialisierten Trainingsparadigmas gelingt es, Agenten „vertrauenswürdiger" zu machen.

Die Studie demonstriert zudem, dass die Entkopplung von Wissen (Szenario vs. Aktion) und deren interleaved Training effektiver ist als das Training separater Agenten oder das reine Hinzufügen von Dialogdaten in den Prompt (Zero-Shot), was oft zu Leistungsverschlechterungen führt. Die Ergebnisse unterstreichen die Notwendigkeit von Mensch-in-der-Schleife-Ansätzen, die intelligent und kontextsensitiv gesteuert werden, um die Robustheit von KI-Agenten im Alltag zu gewährleisten.