🤖 AI

VISTA: View-Consistent Self-Verified Training for GUI Grounding

VISTA ist ein auf GRPO basierendes Trainingsframework für das GUI-Grounding, das die Modellleistung und -robustheit verbessert, indem es Vergleichsgruppen aus mehreren zielerhaltenden Ansichten derselben Instanz konstruiert und einen selbstverifizierten Cross-View-Anker integriert, um die Koordinatengenerierung zu stabilisieren.

Ursprüngliche Autoren: Xinyu Qiu, Yunzhu Zhang, Heng Jia, Shuheng Shen, Changhua Meng, Linchao Zhu

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinyu Qiu, Yunzhu Zhang, Heng Jia, Shuheng Shen, Changhua Meng, Linchao Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man auf Schaltflächen auf einem Computerbildschirm klickt. Die Aufgabe des Roboters besteht darin, einen Befehl wie „Klicke auf die Export-Schaltfläche“ zu hören und seine Maus an die exakt richtige Stelle zu bewegen.

Das vorliegende Paper stellt eine neue Trainingsmethode namens VISTA vor, die dem Roboter dabei hilft, viel besser darin zu werden. Um zu verstehen, warum VISTA besonders ist, müssen wir zuerst das Problem betrachten, das es löst.

Das Problem: Die „Immer die gleiche Ansicht“-Falle

Zuvor haben Forscher diese Roboter mit einer Methode namens GRPO trainiert. Stellen Sie sich GRPO wie einen Lehrer vor, der einem Schüler immer wieder exakt dasselbe Foto eines Computerbildschirms zeigt und ihn fragt, die Schaltfläche zu finden.

Der einfache Fall: Wenn die Schaltfläche riesig und offensichtlich ist, bekommt der Schüler sie jedes Mal richtig. Der Lehrer denkt: „Großartig!“, aber es wird nichts Neues gelernt, da es keinen Unterschied zwischen den Versuchen gibt.
Der schwierige Fall: Wenn die Schaltfläche winzig oder versteckt ist, verfehlt der Schüler sie jedes Mal. Der Lehrer denkt: „Oh nein“, lernt aber ebenfalls nichts Neues, da jeder Versuch auf die exakt gleiche Weise misslungen ist.

In beiden Fällen kann der Lehrer dem Schüler nicht sagen, wie er sich verbessern kann, weil es keine Variation im Feedback gibt. Es ist, als würde man versuchen, Tennis zu lernen, indem man 100 Mal denselben Ball an dieselbe Stelle schlägt; man lernt nie, wie man sich an einen beweglichen Ball anpasst.

Die Lösung: VISTA (Der „Zoomen und Zuschneiden“-Lehrer)

VISTA ändert das Spiel, indem es erkennt, dass eine Schaltfläche dieselbe Schaltfläche bleibt, egal aus welcher Perspektive man sie betrachtet. Anstatt dem Roboter immer wieder denselben vollständigen Bildschirm zu zeigen, erstellt VISTA mehrere verschiedene „Crops“ (vergrößerte oder verschobene Ansichten) desselben Bildschirms und stellt sicher, dass die Ziel-Schaltfläche immer sichtbar ist.

So funktioniert VISTA, erklärt anhand einer einfachen Analogie:

1. Die „Gruppenfoto“-Analogie (Ansichtskonsistente Gruppen)

Stellen Sie sich vor, Sie versuchen einem Freund beizubringen, ein bestimmtes rotes Auto auf einem Parkplatz zu finden.

Der alte Weg: Sie zeigen ihm 8 Mal dasselbe Weitwinkelbild des gesamten Parkplatzes. Wenn er das Auto verpasst, verpasst er es 8 Mal. Wenn er es findet, findet er es 8 Mal. Es findet kein Lernen statt.
Der VISTA-Weg: Sie zeigen ihm 8 verschiedene Fotos desselben Parkplatzes. In einigen ist die Kamera herangezoomt; in anderen ist sie nach links oder rechts verschoben. Das rote Auto ist in allen Bildern vorhanden, aber seine Position im Foto verändert sich.
- In einem Foto ist das Auto leicht zu entdecken.
- In einem anderen ist es teilweise durch einen Baum verdeckt.
- In einem dritten befindet es sich direkt in der Ecke.

Nun muss der Roboter herausfinden: „Okay, das Auto ist dasselbe, aber wo ist es in diesem speziellen Bild?“ Dies zwingt den Roboter, das Konzept der Schaltfläche zu lernen, anstatt nur eine einzige Koordinate auswendig zu lernen. Dies erzeugt eine „Gruppe“ von Antworten, bei denen einige richtig und einige falsch sind, was dem Lehrer nützliche Daten zur Verbesserung des Roboters liefert.

2. Das „Sicherheitsnetz“ (Selbstverifizierter Anker)

Es besteht das Risiko bei dieser neuen Methode: Wenn der Roboter durch die seltsamen Winkel der herangezoomten Fotos verwirrt wird, könnte er anfangen, wild zu raten und häufiger zu scheitern.

Um dies zu beheben, fügt VISTA einen Selbstverifizierten Anker hinzu. Betrachten Sie dies als ein Sicherheitsnetz, das erst dann ausfährt, wenn der Roboter bereit ist.

Der Lehrer (der Computer) beobachtet die Versuche des Roboters.
Wenn der Roboter es in keinem der 8 Fotos schafft, die Schaltfläche zu finden, unternimmt der Lehrer nichts. Er erzwingt die Antwort nicht, da der Roboter noch nicht bereit ist.
Wenn der Robot jedoch es schafft, die Schaltfläche in mindestens einem der Fotos korrekt zu finden, sagt der Lehrer: „Aha! Du hast bewiesen, dass du es kannst!“
Erst dann zeigt der Lehrer dem Roboter die „perfekte Antwort“ (die exakte Mitte der Schaltfläche) als stabilisierende Orientierungshilfe, um diesen Erfolg zu festigen.

Dies verhindert, dass der Roboter gezwungen wird, Antworten zu kopieren, die er noch nicht versteht, während es ihm gleichzeitig einen Schub gibt, wenn er zeigt, dass er dazu fähig ist.

Die Ergebnisse

Das Paper hat diese Methode auf mehreren Benchmarks getestet (wie ScreenSpot-Pro, ein schwieriger Test für das Finden kleiner Schaltflächen).

Vor VISTA: Die Roboter (speziell die Qwen3-VL Modelle) bekamen etwa 55 % der schwierigen Klicks richtig.
Nach VISA: Sie sprangen auf 63 % bis 67 % (je nach Modellgröße).

Das Paper stellt zudem fest, dass die Roboter dadurch „robuster“ wurden. Selbst wenn der Bildschirm während des Tests zugeschnitten oder aus einem seltsamen Winkel betrachtet wurde, war der Roboter weniger wahrscheinlich verwirrt oder neigte weniger dazu, seine Antwort zu „flippen“.

Zusammenfassung

VISTA ist eine intelligentere Art, eine KI darauf zu trainieren, auf Schaltflächen zu klicken. Anstatt die KI immer wieder an demselben statischen Bild üben zu lassen, lässt sie an vielen verschiedenen „Ansichten“ desselben Bildes üben. Sie gibt der KI den „Spickzettel“ (die perfekte Antwort) nur dann, wenn die KI bereits bewiesen hat, dass sie das Rätsel aus eigener Kraft lösen kann. Dies macht die KI intelligenter, anpassungsfähiger und besser darin, Schaltflächen auf unordentlichen, realen Computerbildschirmen zu finden.

Technisches Resümee: VISTA (View-Consistent Self-Verified Training) für GUI-Grounding

1. Problemstellung

GUI-Grounding beinhaltet das Mapping einer natürlichen Sprachanweisung und eines Screenshots auf eine präzise Klick-Koordinate. Während jüngere Arbeiten GRPO (Group Relative Policy Optimization) für diese Aufgabe unter Verwendung regelbasierter „Point-in-Box“-Belohnungen angewendet haben, identifizieren die Autoren einen kritischen Fehlermodus: Belohnungs-Degenerierung (Reward Degeneracy).

In Standard-GRPO wird eine Gruppe von Rollouts aus einer einzigen, festen Screenshot-Ansicht gesampelt. Dies führt zu zwei problematischen Szenarien:

All-Fail-Gruppen: Bei schwierigen Instanzen verfehlen alle gesampelten Rollouts das Ziel, was zu einer Gruppe mit Null-Belohnungen führt.
All-Success-Gruppen: Bei einfachen Instanzen treffen alle Rollouts das Ziel, was zu einer Gruppe mit vollen Belohnungen führt.

In beiden Fällen kollabieren der Gruppenmittelwert ( $\mu$ ) und die Standardabweichung ( $\sigma$ ), wodurch der relative Vorteil ( $A$ ) für alle Samples zu Null wird. Dies eliminiert das Lernsignal. Die Autoren stellen fest, dass in der Fixed-View-GRPO weniger als 5 % der Trainingsgruppen „informativ“ sind (also eine Mischung aus Erfolgen und Misserfolgen enthalten). Da GUI-Koordinaten zudem eng an die Screenshot-Geometrie gekoppelt sind, kann eine Vorhersage, die in einer Ansicht korrekt ist, nach einem Crop inkorrekt sein, selbst wenn das Ziel weiterhin sichtbar bleibt. Standard-GRPO versäumt es, diese geometrischen Sensitivitäten aufzuzeigen, da es die Eingabeansicht innerhalb einer Vergleichsgruppe nicht variiert.

2. Methodik: VISTA

Das Paper schlägt VISTA (View-Consistent Self-Verified Training) vor, ein GRPO-basiertes Framework, das darauf ausgelegt ist, informative Vergleichsgruppen zu konstruieren und die Koordinatengenerierung zu stabilisieren. Es besteht aus zwei primären Komponenten:

A. View-Consistent Group Rollout

Anstatt mehrere Completions aus einem einzigen festen Screenshot zu sampeln, konstruiert VISTA jede GRPO-Gruppe aus mehreren zielerhaltenden Ansichten (target-preserving views) derselben GUI-Instanz.

Zielerhaltende Crops: Für eine gegebene Aufgabe $(I, q, B)$ generiert das System $K$ gecropte Ansichten. Jeder Crop garantiert, dass die Ziel-Bounding-Box $B$ vollständig enthalten ist.
Exaktes Remapping: Die Koordinaten der Ziel-Box werden geometrisch auf den neuen gecropten Koordinatenrahmen umgemappt.
Gruppenkonstruktion: Das Modell generiert $n$ Completions pro Ansicht (wobei $K \times n = G$ , die Gesamtgruppengröße).
Vorteil: Dies stellt sicher, dass die Gruppe semantisch äquivalente Eingaben enthält (gleiche Instruktion und Ziel), aber geometrisch unterschiedliche Screenshots. Dies erhöht die Wahrscheinlichkeit, innerhalb einer Gruppe gemischte Ergebnisse (einige Treffer, einige Fehlversuche) zu beobachten, und stellt so nicht-null relative Vorteile wieder her.

B. Self-Verified Cross-View Anchor

Während Multi-View-Rollouts die Exploration verbessern, können sie Instabilitäten in der Koordinatengenerierung verursachen, insbesondere bei ambivalenten Ansichten. Um dies zu adressieren, ohne zu einer unbedingten unüberwachten SFT (Supervised Fine-Tuning) zurückzukehren, führt VISTA einen selbstverifizierten Anker (self-verified anchor) ein.

Konditionale Aktivierung: Eine Oracle-Antwort (das Zentrum der umgemappten Ziel-Box) wird nur dann als Trainingssignal eingeführt, wenn die aktuelle Policy bereits mindestens einen Maximum-Reward-Rollout innerhalb der Gruppe produziert hat.
Ausschluss der Baseline: Die Oracle-Antwort wird bei der Berechnung des Gruppenmittelwerts ( $\mu_m$ ) und der Standardabweichung ( $\sigma_m$ ) ausgeschlossen. Sie wird als separates überwachtes Signal behandelt.
Mechanismus:
- Wenn die Gruppe „selbstverifiziert“ ist (enthält einen erfolgreichen Modell-Rollout), wird der Anker mit einem positiven Vorteil aktiviert, der aus der modellbasierten Baseline abgeleitet ist.
- Wenn die Gruppe eine „All-Fail“-Gruppe ist (kein Modell-Rollout erfolgreich), wird der Anker nicht aktiviert. Dies verhindert, dass das Modell von einem Oracle lernt, wenn es noch nicht die Fähigkeit demonstriert hat, die Instanz zu lösen, wodurch verhindert wird, dass das Lernsignal in unbedingte Imitation kollabiert.

C. Trainingsziel

Die finale Loss-Funktion kombiniert den Standard-geclippten GRPO-Objective für modellgenerierte Rollouts mit einem advantagegewichteten überwachten Loss für den Anker (wenn aktiv):
$\mathcal{L}_{VISTA} = -\frac{1}{G+1} \left[ \sum \ell_{clip} + \lambda_a \ell_{anchor} \right] + \beta \mathcal{L}_{KL}$
Der Anchor-Loss wird nur berechnet, wenn die Gruppe selbstverifiziert ist, wodurch sichergestellt wird, dass das überwachte Signal das Training erst stabilisiert, wenn die Policy bereits Kompetenz gezeigt hat.

3. Wesentliche Beiträge

View-Consistent Group Rollout: Eine neuartige Strategien zur Gruppenkonstruktion, die aus mehreren zielerhaltenden Ansichten derselben Instanz sampelt, statt aus einer einzigen festen Ansicht. Dies erhöht den Anteil informativer Gruppen signifikant (von <5 % auf ~20 %) und stellt die Reward-Varianz wieder her.
Self-Verified Cross-View Anchor: Ein konditionale Stabilisierungsmechanismus, der Oracle-Guidance nur injiziert, wenn das Modell bereits in mindestens einer Ansicht innerhalb der Gruppe erfolgreich war. Dies verhindert, dass der Anker die GRPO-Baseline verschiebt oder uninformative „All-Fail“-Gruppen überwacht.
Umfassende Validierung: Umfangreiche Experimente über fünf Benchmarks (ScreenSpot-Pro, ScreenSpot-V2, MMBench-L2, OSWorld-G-R, OSWorld-G) und mehrere Modellskalen (4B bis 30B+).

4. Experimentelle Ergebnisse

Das Paper berichtet über konsistente Verbesserungen bei den Qwen3-VL-Backbones (4B, 8B, 30B-A3B) und Qwen3.5-initialisierten Modellen.

ScreenSpot-Pro Performance: VISTA verbessert die Genauigkeit auf diesem anspruchsvollen Benchmark, der durch kleine Ziele und dichte Interfaces gekennzeichnet ist, signifikant.
- Qwen3-VL 4B: Verbesserung von 55,5 auf 63,4.
- Qwen3-VL 8B: Verbesserung von 52,7 auf 65,8.
- Qwen3-VL 30B-A3B: Verbesserung von 53,7 auf 67,0.
- Qwen3.5 35B-A3B: Verbesserung von 71,7 auf 72,9 (im Vergleich zu Standard-GRPO).
Robustheit: VISTA zeigt eine höhere Worst-View-Genauigkeit und eine geringere Prediction-Flip-Rate im Vergleich zu Standard-GRPO, was auf eine bessere Stabilität unter geometrischen Perturbationen hindeutet.
Ablationsstudien:
- Das Entfernen des View-Consistent-Crops (Verwendung von Standard-GRPO) senkt die Performance.
- Das Entfernen des Self-Verified-Gates (Verwendung von unbedingter Oracle-Injektion) verschlechtert die Performance massiv (z. B. Senkung von ScreenSpot-Pro von 64,3 auf 57,8 in einer Ablation), was die Notwendigkeit der konditionalen Aktivierung bestätigt.
- Die Kombination beider Komponenten liefert die besten Ergebnisse.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass VISTA einen fundamentalen Flaschenhals bei der Anwendung von GRPO auf GUI-Grounding adressiert: den Mangel an informativen relativen Vorteilen aufgrund von view-invarianter Belohnungs-Degenerierung.

Verschiebung des Design-Fokus: Die Autoren argumentieren, dass der Schlüssel zur Verbesserung von GUI-Grounding mittels RL nicht nur darin liegt, wie man einen Klick belohnt, sondern wie man die Vergleichsgruppe konstruiert. Durch die Variation der View-Geometrie bei gleichzeitiger Erhaltung der Semantik zwingt VISTA die Policy dazu, eine robuste Koordinatengenerierung zu lernen, anstatt spezifische Pixel-Lokationen auswendig zu lernen.
Stabilität ohne Imitation: Der Self-Verified Anchor ermöglicht es dem Modell, von Ground-Truth-Guidance zu profitieren, ohne den RL-Prozess in unbedingtes Imitationslernen zu verwandeln, was die Exploration unterdrücken könnte.
Generalisierbarkeit: Die Methode erweist sich über verschiedene Modellskalen und Backbones hinweg als effektiv, was darauf hindeutet, dass die view-konsistente Gruppenkonstruktion ein generalisierbares Trainingssignal für GUI-Grounding-Aufgaben ist.

Die Autoren kommen zu dem Schluss, dass VISTA sowohl die Genauigkeit als auch die Robustheit verbessert, insbesondere bei schwierigen Instanzen, bei denen Standard-GRPO kein Lernsignal liefert. Sie räumen Einschränkungen hinsichtlich gemischter Actionable/Refusal-Datensätze und der Sensitivität der Optimierung gegenüber aggressivem Cropping ein, was auf zukünftige Arbeiten in adaptivem Scheduling hindeutet.