Technische Zusammenfassung: HyperClick – Verbesserung des vertrauenswürdigen GUI-Grundierens durch selbst-kritisches Bestärkendes Lernen

Problemstellung

Autonome Graphical User Interface (GUI)-Agenten sind auf GUI-Grundierung angewiesen – die Fähigkeit, natürliche Sprachanweisungen auf präzise Pixelkoordinaten von Bildschirmelementen abzubilden –, um Benutzerbefehle auszuführen. Obwohl jüngste Fortschritte im überwachten Feinabstimmen (SFT) und im Bestärkenden Lernen (RL) die Genauigkeit der Grundierung verbessert haben, besteht eine kritische Lücke in der Zuverlässigkeit: Aktuelle Modelle zeigen häufig Übervertrauen. Ihre Vertrauenssignale (sei es probabilistische Token-Wahrscheinlichkeiten oder verbalisierte Selbsteinschätzungen) stimmen schlecht mit der tatsächlichen Korrektheit der Grundierung überein. Diese Fehlausrichtung führt dazu, dass Agenten Fehler mit hohem Vertrauen begehen, was in der realen Automatisierung besonders gefährlich ist, da ein einziger Zwischenfehler zum vollständigen Scheitern der Aufgabe führen kann. Bestehende Methoden optimieren primär die Lokalisierungsgenauigkeit, vernachlässigen jedoch weitgehend, ob das Vertrauen des Modells die Qualität seiner Vorhersagen korrekt widerspiegelt.

Methodik: HyperClick-Rahmenwerk

Um das Problem des Übervertrauens zu adressieren, schlagen die Autoren HyperClick vor, ein Rahmenwerk, das das vertrauenswürdige GUI-Grundieren durch Selbst-kritisches Bestärkendes Lernen (SCRL) verbessert. Im Gegensatz zu früheren Ansätzen, die Grundierung als binäre Klassifikationsaufgabe behandeln, integriert HyperClick die Vertrauensschätzung explizit in den Entscheidungsprozess.

1. Problemformulierung

Die Aufgabe wird als Klick-Formulierung definiert, wobei das Policy-Modell einen einzelnen Punkt $\hat{p} = (\hat{x}, \hat{y})$ vorhersagt, der das Zentrum des Ziel-UI-Elements darstellt. Das Modell wird trainiert, sowohl die Koordinaten als auch eine verbalisierte Vertrauensbewertung auszugeben.

2. Vertrauensmodellierung (Räumliches Vertrauensziel)

Anstatt sich auf Token-Ebene-Wahrscheinlichkeiten zu verlassen (die durch Tokenisierung verfälscht sein können), konstruiert HyperClick ein begrenztes räumliches Vertrauensziel auf Basis einer Gaußschen Fehleranalyse.

• Zielkonstruktion: Für eine Ground-Truth-Bounding-Box $b$ mit dem Zentrum $\mu$ erzeugt ein Gaußscher Kernel einen Vertrauenswert $C(\hat{p})$ für jeden vorhergesagten Punkt $\hat{p}$.
• Einschränkungen: Das Vertrauen wird auf 0 gesetzt, wenn der Punkt außerhalb der Bounding-Box liegt. Innerhalb der Box nimmt der Wert basierend auf der Entfernung vom Zentrum ab.
• Adaptive Varianz: Um unterschiedliche Elementgrößen zu handhaben, wird die Standardabweichung ($\sigma$) der Gaußschen Verteilung an die Box-Abmessungen skaliert ($\sigma = \alpha \cdot \text{size}$). Dies stellt sicher, dass kleinere Elemente eine höhere Präzision erfordern (schärfere Peaks), während größere Elemente breitere Bereiche mit hohem Vertrauen zulassen.

3. Trainingsziel und Belohnungen

Die Policy wird mittels Group Relative Policy Optimization (GRPO) mit einer zusammengesetzten Belohnungsfunktion $R = R_{format} + R_{correctness} + R_{confidence}$ optimiert:

• Format-Belohnung ($R_{format}$): Erzwingt eine strikte Ausgabetemplate <point>[x,y]</point><confidence>conf</confidence>, um die Parsbarkeit sicherzustellen und zu lange Completions zu verhindern.
• Korrektheits-Belohnung ($R_{correctness}$): Eine binäre Belohnung (1 oder 0), die angibt, ob der vorhergesagte Punkt innerhalb der Ground-Truth-Bounding-Box liegt.
• Vertrauens-Ausrichtungs-Belohnung ($R_{confidence}$): Eine $L_2$-Einschränkung, die die vom Modell generierte verbalisierte Vertrauensbewertung $\hat{c}$ mit dem räumlichen Vertrauensziel $C(\hat{x}, \hat{y})$ ausrichtet. Dies belohnt das Modell dafür, korrekten und präzisen Klicks ein hohes Vertrauen und inkorrekten oder unpräzisen Klicks ein niedriges Vertrauen zuzuweisen.

Hauptbeiträge

1. Systematische Analyse von Übervertrauen: Die Autoren evaluieren systematisch bestehende allgemeine und GUI-spezifische Modelle am ScreenSpot-Pro-Benchmark und stellen fest, dass aktuelle Agenten ihren Vorhersagen signifikant übermäßig vertrauen, wobei die Vertrauenswerte die tatsächliche Genauigkeit weit übertreffen.
2. HyperClick-Rahmenwerk: Sie führen ein neuartiges SCRL-Rahmenwerk ein, das die Grundierungsgenauigkeit und die Vertrauensausrichtung gemeinsam optimiert. Indem das Modell trainiert wird, Unsicherheit neben seiner Klickvorhersage offenzulegen, ermöglicht HyperClick eine vertrauensbasierte Enthaltung, sodass Agenten bei Unsicherheit vom Handeln absehen können.
3. Dualer Belohnungsmechanismus: Die Arbeit schlägt einen spezifischen dualen Belohnungsmechanismus vor, der binäre Korrektheit mit einem begrenzten räumlichen Vertrauensziel kombiniert, und zeigt, dass dieser Ansatz hochvertrauenswürdige Fehler effektiv reduziert, ohne die Grundierungsleistung zu beeinträchtigen.

Experimentelle Ergebnisse

Die Autoren evaluierten HyperClick auf vier herausfordernden Benchmarks: ScreenSpot, ScreenSpot-V2, ScreenSpot-Pro und MMBench-GUI.

• Leistung: HyperClick (basierend auf Qwen2.5-VL-3B und 7B) behält eine wettbewerbsfähige oder überlegene Grundierungsgenauigkeit im Vergleich zu State-of-the-Art-SFT- und RL-Baselines über mobile, Desktop- und Web-Plattformen hinweg bei. Bemerkenswert sind signifikante Verbesserungen bei hochauflösenden, komplexen Benchmarks wie ScreenSpot-Pro.
• Vertrauensausrichtung: Zuverlässigkeitsdiagramme auf ScreenSpot-Pro zeigen eine drastische Reduktion des Expected Calibration Error (ECE). Während Baseline-Modelle (z. B. UI-TARS, Qwen2.5-VL) ECE-Werte von etwa 0,48–0,63 aufweisen (was auf schwerwiegendes Übervertrauen hindeutet), reduziert HyperClick-7B den ECE auf 0,249.
• Ablationsstudien:
  • Die Kombination aller drei Belohnungskomponenten (Format, Korrektheit, Vertrauen) liefert die besten Ergebnisse (93,7 % Genauigkeit auf ScreenSpot-V2), wohingegen die alleinige Verwendung der Vertrauensausrichtung zu Belohnungshacking führt.
  • Der adaptive Varianzparameter $\alpha$ ist entscheidend; $\alpha = 1/4$ bietet den optimalen Kompromiss zwischen Konzentration und Streuung.
  • Das Rahmenwerk generalisiert gut und verbessert die Leistung, wenn es auf andere Baselines wie MiMo-VL angewendet wird.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass vertrauenswürdiges GUI-Grundieren eine Voraussetzung für zuverlässige autonome Agenten ist. Indem sie über einfache Genauigkeitsmetriken hinausgeht und die Vertrauens-Qualitäts-Ausrichtung einschließt, adressiert HyperClick eine fundamentale Einschränkung aktueller GUI-Agenten: die Unfähigkeit, zwischen zuverlässigen und unzuverlässigen Aktionen zu unterscheiden.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu sichererer GUI-Automatisierung. Indem Agenten durch kalibrierte verbalisierte Vertrauenswerte „wissen, was sie nicht wissen", unterstützt das Rahmenwerk eine selektive Enthaltung und verhindert die Ausbreitung von Fehlern in mehrstufigen Aufgaben. Die Arbeit kommt zu dem Schluss, dass sich die aktuelle Arbeit zwar auf das Grundieren konzentriert, die Prinzipien der Vertrauensausrichtung jedoch für zukünftige Erweiterungen in die GUI-Planung unerlässlich sind, wo unzuverlässige Entscheidungsfindung kaskadierende negative Auswirkungen haben kann. Die Autoren betonen, dass ihr Ansatz bezüglich des Vertrauenssignals modellagnostisch ist und über verschiedene VLM-Architekturen hinweg skalierbar ist.