💬 NLP

Learning GUI Grounding with Spatial Reasoning from Visual Feedback

Dieser Beitrag stellt GUI-Cursor vor, ein Modell, das GUI-Verankerung als interaktive Suchaufgabe neu definiert, indem es visuelles Feedback von einem gerenderten Cursor und Verstärkungslernen nutzt, um die Einschränkungen der Koordinatenvorhersage bei Vision-Language-Modellen zu überwinden und dadurch überlegene Leistung in der räumlichen Schlussfolgerung und bei agentischen Aufgaben mit weniger Trainingsdaten erzielt.

Ursprüngliche Autoren: Yu Zhao, Wei-Ning Chen, Huseyin Atahan Inan, Samuel Kessler, Lu Wang, Lukas Wutschitz, Fangkai Yang, Chaoyun Zhang, Pasquale Minervini, Saravan Rajmohan, Robert Sim

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yu Zhao, Wei-Ning Chen, Huseyin Atahan Inan, Samuel Kessler, Lu Wang, Lukas Wutschitz, Fangkai Yang, Chaoyun Zhang, Pasquale Minervini, Saravan Rajmohan, Robert Sim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „blinde Architekt"

Stellen Sie sich vor, Sie sind ein Architekt, der einem Roboter sagen muss, wo er einen bestimmten Ziegelstein auf einer riesigen, komplexen Wand (dem Computerbildschirm) platzieren soll. Die Wand ist riesig, und die Ziegelsteine sind winzig.

Lange Zeit versuchten Forscher, Roboter dazu zu bringen, dies zu tun, indem sie sie aufforderten, die genauen Koordinaten (wie „Zeile 45, Spalte 12") in einem einzigen Wurf zu erraten. Das Papier argumentiert, dass dies so ist, als würde man den Architekten bitten, den Ort zu erraten, ohne jemals die Wand oder den Ziegelstein gesehen zu haben. Selbst die intelligentesten KI-Modelle scheitern hier oft, weil sie gut darin sind zu erkennen, was Dinge sind, aber schlecht darin herauszufinden, wo sie sich genau auf einem hochauflösenden Bildschirm befinden. Sie sind „räumlich blind".

Die Lösung: Die „Schnitzeljagd" (GUI-CURSOR)

Die Autoren, Yu Zhao und sein Team, beschlossen, die KI nicht mehr sofort die Antwort erraten zu lassen. Stattdessen verwandelten sie die Aufgabe in eine Schnitzeljagd.

Sie führten eine neue Methode namens GUI-CURSOR ein. Anstatt nur zu sagen „Der Button ist bei (500, 500)", erhält die KI einen virtuellen Mauszeiger. Sie muss diesen Zeiger schrittweise über den Bildschirm bewegen, bis sie das Ziel findet.

So funktioniert die „Schnitzeljagd":

Der Zug: Die KI schaut auf den Bildschirm und sagt: „Ich denke, das Ziel ist dort drüben", und bewegt den Zeiger.
Das Feedback: Der Computer zeigt der KI ein neues Bild, auf dem der Zeiger nun an dieser neuen Stelle sitzt.
Die Prüfung: Die KI schaut sich das neue Bild an und fragt sich: „Ist der Zeiger auf dem richtigen Button? Nein? Okay, ich muss nach links bewegen."
Die Wiederholung: Sie bewegt sich weiter und prüft immer wieder, bis sie sagt: „Ja, ich bin darauf!" und stoppt.

Das Geheimnis: Lernen aus Fehlern

Das Papier erklärt, dass dieser Prozess durch Bestärkungslernen (Reinforcement Learning) angetrieben wird. Stellen Sie sich das wie das Trainieren eines Hundes vor.

Wenn der Hund den Zeiger näher zum Ziel bewegt, bekommt er einen „Leckerbissen" (eine Belohnung).
Wenn der Hund in die falsche Richtung bewegt, zu früh stoppt oder im Kreis läuft, bekommt er ein „Nein" (eine Strafe).

Die Autoren erstellten einen speziellen Satz von Regeln (eine Belohnungsfunktion), um der KI beizubringen, wie man effizient jagt:

Geben Sie nicht zu früh auf: Wenn Sie aufhören, bevor Sie dort sind, ist das eine Strafe.
Gehen Sie nicht im Kreis: Wenn Sie zu einem Ort bewegen, an dem Sie bereits waren, ist das eine Strafe.
Laufen Sie nicht weg: Wenn Sie sich weiter vom Ziel entfernen, ist das eine Strafe.

Warum dies besser funktioniert

Das Papier behauptet, dass diese Methode aus zwei Hauptgründen überlegen ist:

Visuelle Feedback-Schleife: Auf die alte Weise errat die KI eine Zahl und sah nie, ob sie richtig lag. Auf diese neue Weise sieht die KI, wo ihre Vermutung gelandet ist. Es ist der Unterschied zwischen dem Erraten eines Ortes auf einer Karte und dem tatsächlichen Gehen dorthin, um zu sehen, ob Sie den Schatz gefunden haben. Dies hilft der KI, die Verbindung zwischen „Zahlen" und „visuellen Stellen" zu lernen.
Besseres räumliches Verständnis: Die Autoren testeten die KI an einem einfachen Spiel: „Ist ein schwarzer Punkt innerhalb eines roten Kastens?" Sie stellten fest, dass Standard-KI-Modelle bei dieser einfachen Aufgabe überraschend schlecht sind und oft scheitern, es sei denn, der Kasten befindet sich genau in der Mitte des Bildschirms. Die KI, die mit der „Schnitzeljagd"-Methode trainiert wurde, wurde jedoch viel besser darin, obwohl sie das Spiel nicht explizit beigebracht bekommen hatte. Es scheint, dass das Lernen, einen Zeiger zu bewegen, der KI beibringt, Raum und Distanz besser zu verstehen.

Die Ergebnisse: Schneller, intelligenter und günstiger

Das Team testete ihre neue KI (GUI-CURSOR) gegen andere Top-Modelle.

Genauigkeit: Sie schlug die bisherigen besten Modelle auf schwierigen, hochauflösenden Bildschirmen.
Effizienz: Sie lernte, 95 % der Probleme in nur zwei Zügen zu lösen.
Dateneinsparung: Sie erzielte diese Ergebnisse mit nur 8.000 Trainingsbeispielen, wohingegen der vorherige Spitzenreiter 64.000 benötigte. Es ist so, als würde man Autofahren lernen, indem man ein paar Stunden auf einer kleinen Strecke übt, anstatt tagelang zu fahren.

Zusammenfassung

Das Papier schlägt vor, dass wir die KI nicht zwingen sollten, ein „Ein-Wurf-Rater" für Computerkoordinaten zu sein, sondern sie stattdessen zu einem „neugierigen Entdecker" machen sollten. Indem wir der KI eine virtuelle Maus geben und ihr erlauben, sich zu bewegen, hinzusehen und sich selbst zu korrigieren, lernt die KI, das Layout des Bildschirms viel besser zu verstehen. Dies macht sie schlauer beim Finden von Buttons und Symbolen, und überraschenderweise wird die KI dadurch auch besser im Verständnis grundlegender räumlicher Beziehungen im Allgemeinen.

Technische Zusammenfassung: Erlernen von GUI-Grounding mit räumlichem Denken durch visuelles Feedback

Problemstellung

Das Grounding von Graphical User Interfaces (GUI) ist die Aufgabe, eine natürliche Sprachanweisung einer spezifischen Pixelkoordinate auf einem Bildschirm zuzuordnen, um eine Aktion auszuführen (z. B. einen Klick). Obwohl sich Vision-Language-Modelle (VLMs) in jüngster Zeit weiterentwickelt haben, versagen sie häufig bei der Vorhersage genauer numerischer Koordinaten auf hochauflösenden GUIs mit komplexen Layouts. Dieses Versagen resultiert aus einem Mangel an spatial semantic alignment (räumlicher semantischer Ausrichtung): Das Modell hat Schwierigkeiten, sein Verständnis eines visuellen Elements implizit auf diskrete Koordinatentokens abzubilden.

Bestehende Ansätze betrachten GUI-Grounding typischerweise als Ein-Schritt-Vorhersageproblem, bei dem das Modell Koordinaten direkt aus einem Screenshot generiert. Eine kritische Einschränkung dieses Paradigmas ist das Fehlen einer visuellen Feedbackschleife. Das Modell wird nur am finalen numerischen Output überwacht und erhält keine Informationen darüber, wo seine Vorhersage tatsächlich auf dem Bildschirm landet. Folglich entwickelt das Modell keine robuste Ausrichtung zwischen seinen numerischen Vorhersagen und ihren entsprechenden Positionen auf dem Bildschirm, was zu schwachen Fähigkeiten im räumlichen Denken führt.

Methodik: GUI-CURSOR

Um diese Einschränkungen zu adressieren, schlagen die Autoren GUI-CURSOR vor, das GUI-Grounding von einer statischen Ein-Schritt-Aufgabe in eine dynamische, interaktive Suchaufgabe umformuliert.

1. Interaktive Suchumgebung

Anstatt sofort eine finale Koordinate vorherzusagen, steuert das Modell einen virtuellen Cursor auf dem GUI-Bild. Der Prozess läuft als Sequenz von Schritten ab:

Beobachtung: In jedem Schritt $t$ beobachtet das Modell den GUI-Screenshot mit dem Cursor an seiner aktuellen Position $(x_t, y_t)$ .
Schlussfolgerung & Aktion: Das Modell generiert eine Antwort, die einen Denkprozess (Analyse des Ziels, der aktuellen Cursorposition und der räumlichen Beziehungen) enthält, gefolgt von einer Aktion. Die Aktion ist entweder eine neue Koordinate $(x_{t+1}, y_{t+1})$ , um den Cursor zu bewegen, oder ein STOP-Befehl, wenn der Cursor korrekt positioniert ist.
Visuelles Feedback: Die Umgebung rendert den Cursor an der neuen Position und liefert einen aktualisierten Screenshot für den nächsten Schritt. Dieses explizite visuelle Feedback ermöglicht es dem Modell, seine Vorhersagen zu überprüfen und sein räumliches Verständnis schrittweise zu verfeinern.

2. Training mit Reinforcement Learning

Das Modell wird in dieser interaktiven Umgebung mit Group Relative Policy Optimization (GRPO) trainiert. Das Trainingsziel basiert auf einer benutzerdefinierten trajektorienbasierten Belohnungsfunktion ( $R_T$ ), die sowohl die finale Genauigkeit als auch das Suchverhalten steuert.

Die Belohnungsfunktion besteht aus:

Positionsbelohnung ( $r_p$ ): Eine dichte Belohnung basierend auf dem Abstand zwischen der finalen Cursorposition und dem Ziel-Bounding-Box, unter Berücksichtigung sowohl der Nähe zum Rand als auch der Zentrierung innerhalb der Box.
Trajektorien-Strafen: Um degenerierte Strategien zu verhindern (z. B. sofortiges Stoppen ohne Bewegung, Hin- und Herbewegen oder Wegbewegen vom Ziel), führen die Autoren vier spezifische Strafen ein:
- Falsches-Stoppen-Strafe ( $r_{FS}$ ): Bestraft das Stoppen, wenn sich der Cursor außerhalb des Ziels befindet.
- Falsche-Bewegung-Strafe ( $r_{FM}$ ): Bestraft das weitere Bewegen, nachdem der Cursor bereits in die Zielbox eingetreten ist.
- Falsche-Richtung-Strafe ( $r_{FD}$ ): Bestraft Bewegungen, die die Distanz zum Ziel im Vergleich zur initialen Vorhersage erhöhen.
- Wiederholte-Position-Strafe ( $r_{RP}$ ): Bestraft das Vorhersagen derselben Koordinate mehr als einmal.

3. Cursor-zentrierte Fokussierung (CCF)

Um hochauflösende Bilder effizient zu verarbeiten, ohne unverhältnismäßige Rechenkosten zu verursachen, führen die Autoren eine zweistufige Strategie ein:

Training: Bilder werden auf eine handhabbare Auflösung heruntergerechnet (z. B. 1920×1080).
Inferenz: Für Bilder, die größer als die Trainingsauflösung sind, führt das Modell zunächst eine grobe Vorhersage auf dem gesamten Bild durch. Anschließend schneidet es einen Bereich zu, der auf dieser Vorhersage zentriert ist (unter Beibehaltung der Trainingsauflösung), und führt innerhalb dieser fokussierten Ansicht feingranulare Bewegungen durch. Dies balanciert Trainingseffizienz mit Inferenzgenauigkeit.

Hauptbeiträge

Neuformulierung von GUI-Grounding: Die Arbeit verschiebt das Paradigma von der statischen Koordinatenvorhersage zu einem dynamischen, interaktiven Prozess, bei dem das Modell durch visuelles Feedback eine Koordinaten-räumliche Ausrichtung erlernt.
GUI-CURSOR-Modell: Die Einführung eines GUI-Grounding-Modells, das durch Reinforcement Learning in einer interaktiven Umgebung trainiert wird und eine dichte, trajektorienbewusste Belohnungsfunktion nutzt, die rationale Suchverhalten erzwingt.
Verbessertes räumliches Denken: Umfassende Evaluierungen zeigen, dass das Erlernen von GUI-Grounding durch die Bewegung eines Cursors nicht nur die Grounding-Genauigkeit verbessert, sondern auch allgemeine Fähigkeiten im räumlichen Denken, die auf Out-of-Distribution-Domänen verallgemeinerbar sind.

Experimentelle Ergebnisse

Die Autoren evaluierten GUI-CURSOR auf mehreren Benchmarks, darunter ScreenSpot-Pro, OSWorld-G, UI-Vision und ScreenSpot-v2, unter Verwendung der Basis-Modelle Qwen2.5-VL-7B und UI-TARS-1.5-7B.

Grounding-Leistung: GUI-CURSOR übertraf konsistent starke Baselines (einschließlich überwachter Fine-Tuning-Methoden wie SeeClick, UGround und RL-basierter Methoden wie GTA1). Bemerkenswerterweise übertraf GUI-CURSOR (basierend auf UI-TARS-1.5-7B) auf dem herausfordernden Benchmark ScreenSpot-Pro das führende Modell GTA1 um 8,1 %, trotz der Verwendung deutlich weniger Trainingsdaten (8K vs. 64K).
Agentische Aufgaben: Bei Online-Evaluierungen agenter Aufgaben auf OSWorld erreichte GUI-CURSOR höhere Erfolgsquoten mit weniger Aktionsschritten im Vergleich zu GTA1 und demonstrierte damit Effektivität in realistischen, diversen Szenarien.
Räumliches Denken:
- Cursor-in-Box-Test: Ein benutzerdefinierter Test zeigte, dass Standard-VLMs (selbst feinabgestimmte) Schwierigkeiten mit einfacher räumlicher Klassifizierung haben (Bestimmung, ob sich ein Cursor innerhalb einer Box befindet) und starke Zentrier-Bias aufweisen. GUI-CURSOR erreichte ohne explizites Training für diese Klassifizierungsaufgabe signifikant höhere F1-Scores, was darauf hindeutet, dass seine Grounding-Fähigkeit auf einem robusteren räumlichen Verständnis beruht.
- Verallgemeinerung: Auf Benchmarks wie SPHERE und SpatialMQA zeigte GUI-CURSOR Verbesserungen beim Schlussfolgern und Kombinieren von Fähigkeiten, was darauf hindeutet, dass das interaktive Trainingsparadigma die Fähigkeiten im räumlichen Denken über den GUI-Bereich hinaus verbessert.
Effizienz: Das Modell lernt, adaptiv nur bei schwierigen Beispielen (z. B. kleine Ziele) mehr Schritte durchzuführen und löst 95 % der Fälle innerhalb von zwei Schritten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die primäre Bedeutung dieser Arbeit darin liegt zu demonstrieren, dass visuelle Feedbackschleifen essenziell sind, um numerische Vorhersagen in VLMs mit der räumlichen Realität abzugleichen. Durch die Neuformulierung von Grounding als Suchaufgabe lernt das Modell, über räumliche Beziehungen nachzudenken und seine Trajektorie zu korrigieren, anstatt sich auf einen einmaligen Ratschlag zu verlassen.

Die Autoren behaupten, dass dieser Ansatz:

Das inhärente Problem der räumlichen semantischen Ausrichtung bei Ein-Schritt-Vorhersagen löst.
Die Dateneffizienz verbessert und State-of-the-Art-Ergebnisse mit weniger Trainingsdaten erzielt.
Eine robustere Fähigkeit zum räumlichen Denken kultiviert, die auf Out-of-Distribution-Aufgaben verallgemeinerbar ist, was nahelegt, dass die Fähigkeit, interaktiv nach Zielen zu suchen, eine fundamentale Komponente des räumlichen Verständnisses in multimodalen Agenten ist.

Die Arbeit schließt, dass das Erlernen von GUI-Grounding durch die Bewegung eines Cursors eine überlegene Strategie zur Entwicklung von Agenten ist, die komplexe digitale Schnittstellen effektiv navigieren und damit interagieren können.