🤖 AI

Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding

Dieses Paper schlägt Quality-Aware Self-Distillation vor, eine Methode, welche die Performance des GUI-Grounding durch die Kombination von Soft Correctness-Aware Gating und Teacher-Probability Scaling verbessert, um die Degradation von Teacher-Signalen bei der On-Policy Self-Distillation zu mildern, wenn von Studenten generierte Präfixe von den Ground-Truth-Koordinaten abweichen.

Ursprüngliche Autoren: Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei Chu, Ninghao Liu

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei Chu, Ninghao Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, eine bestimmte Schaltfläche auf einem Computerbildschirm zu finden, basierend auf einem Sprachbefehl wie „Klicke auf das Einstellungs-Zahnrad“. Dies nennt man GUI Grounding. Der Roboter muss einen Screenshot betrachten, das Bild verstehen und dann die exakten X- und Y-Koordinaten dieser Schaltfläche ausschreiben.

Das Problem ist, dass dies unglaublich schwierig ist: Bildschirme haben hohe Auflösungen, Schaltflächen sind winzig und es gibt viele Dinge, die sich ähnlich sehen. Wenn der Roboter einen winzigen Fehler am Anfang macht (z. B. die falsche Zeile errät), kann er in eine völlig falsche Antwort abdriften.

Das Problem: Der „naive“ Tutor

Um den Roboten zu trainieren, nutzen Forscher eine Methode namens Self-Distillation (Selbst-Destillation). Stellen Sie sich das wie einen superintelligenten „Lehrer“-KI vor, der einer „Schüler“-KI beim Lernen hilft.

In einem Standard-Setup (genannt Naive OPSD) versucht der Schüler, die Frage zu beantworten. Während der Schüler seine Antwort eintippt, schaut der Lehrer auf das, was der Schüler bisher geschrieben hat, und sagt: „Okay, basierend auf dem, was du bisher getippt hast, ist hier die nächste beste Vermutung.“

Hier liegt der Haken: Wenn der Schüler beginnt, die falschen Koordinaten einzutippen (z. B. wenn er denkt, die Schaltfläche sei auf der linken Seite des Bildschirms, sie aber eigentlich auf der rechten Seite ist), ist der Lehrer gezwert, mitzuspielen. Der Lehrer sieht den falschen Pfad des Schülers und generiert eine „plausible“ Fortsetzung dieses falschen Pfades.

Analogie: Stellen Sie sich vor, ein Schüler zeichnet eine Karte zu einem Schatz, aber er zeichnet versehentlich die Straße direkt in einen Sumpf. Ein naiver Lehrer könnte, der den Weg in den Sumpf sieht, sagen: „Okay, da du in den Sumpf gehst, ist der nächste Schritt, zu schwimmen.“ Der Lehrer ist zwar hilfreich, aber er hilft dem Schüler dabei, sich nur noch weiter zu verirren. Das Signal des Lehrers wird „unzuverlässig“, weil es einen Fehler verstärkt.

Die Lösung: Der „qualitätsbewusste“ Tutor

Die Autoren schlagen eine neue Methode vor, die Quality-Aware Self-Distillation (Qualitätsbewusste Selbst-Destillation) heißt. Anstatt blind dem Rat des Lehrers zu folgen, prüft der Schüler: „Ist der Rat des Lehrers tatsächlich noch in der Lage, das Ziel zu erreichen?“

Sie verwenden zwei kluge Werkzeuge, um den Lernprozess zu korrigieren:

1. Das „Soft Correctness Gate“ (Die Ampel)

Das System prüft die nächste Vermutung des Lehrers gegen den tatsächlichen Ort der Zielschaltfläche (die „Ground Truth“ bzw. die echte Position).

Die Prüfung: „Wenn der Schüler gerade nach links zeigt und der Lehrer eine Zahl vorschlägt, die den Cursor auf die rechte Seite des Bildschirms führen würde – ist das überhaupt möglich?“
Das Ergebnis:
- Grünes Licht: Wenn die Vermutung des Lehrers noch innerhalb des möglichen Bereichs des Ziels liegt, hört der Schüler voll zu.
- Gelbes Licht: Wenn die Vermutung des Lehrers unmöglich ist (sie ist bereits zu weit daneben), ignoriert der Schüler den Lehrer nicht komplett (was zu hart wäre). Stattdessen dreht er die Lautstärke leiser. Er sagt: „Okay, ich höre dich, aber ich werde nur halb so viel von dem hören, was du sagst.“
Warum „Soft“? Selbst wenn der Lehrer falsch liegt, kann er noch nützliche Informationen darüber enthalten, wie man sich von dem Fehler erholt. Das Signal komplett wegzuwerfen, ist so, als würde man einen Lehrer für eine einzige falsche Vermutung entlassen; die Lautstärke zu senken ist wie zu sagen: „Sei leiser, aber rede weiter.“

2. Das „Teacher-Probability Scaling“ (Der Konfidenz-Meter)

Selbst wenn die Vermutung des Lehrers die „Grünes Licht“-Prüfung besteht, fragt das System: „Wie sicher ist sich der Lehrer?“

Wenn der Lehrer zu 99 % sicher ist („Ich bin mir absolut sicher, dass dies die nächste Zahl ist“), hört der Schüler sehr genau zu.
Wenn der Lehrer nur zu 51 % sicher ist („Ich denke, es ist das, aber es könnte auch das sein“), hört der Schüler eher beiläufig zu.
Die Analogie: Stellen Sie sich einen Wettervorhersager vor. Wenn er sagt: „Es wird regnen, ich bin mir zu 99 % sicher“, nehmen Sie einen Regenschirm mit. Wenn er sagt: „Es könnte regnen, ich bin mir zu 50/50 sicher“, halten Sie nur den Mantel bereit. Diese Methode skaliert das Lerngewicht basierend auf diesem Konfidenzniveau.

Die Magie der Kombination

Die Autoren fanden ein überraschendes Ergebnis: Die Verwendung nur eines dieser Werkzeuge funktioniert nicht gut.

Wenn man nur die Ampel verwendet, könnte man versehentlich einen Lehrer zum Schweigen bringen, der eigentlich recht hat, aber nur etwas unsicher ist.
Wenn man nur den Konfidenz-Meter verwendet, hört man vielleicht zu genau einem Lehrer zu, der zwar sehr sicher, aber völlig falsch liegt (weil er einen voller Selbstvertrauen in den Sumpf führt).

Zusammen sind sie perfekt: Die Ampel filtert den unmöglichen Rat heraus, und der Konfidenz-Meter stellt sicher, dass man dem Rat zuhört, der sowohl möglich als auch sicher ist.

Die Ergebnisse

Die Forscher haben ihre Methode auf sechs verschiedenen Benchmarks getestet (wie verschiedene Videospiele oder Testfahrten für den Roboter).

Die neue Methode schlug alle bisherigen „starken“ Lehrer.
Sie verbesserte die Genauigkeit des Roboters im Vergleich zu Standard-Trainingsmethoden erheblich.
Sie bewies, dass in Aufgaben, bei denen man physisch prüfen kann, ob eine Antwort „auf dem Weg“ liegt (wie bei Koordinaten), man die KI dazu bringen kann, klüger zu entscheiden, welchem Rat sie vertrauen soll.

Zusammenfassung

Dieses Paper lehrt uns, dass wir beim Training einer KI, Dinge auf einem Bildschirm zu finden, nicht einfach zulassen sollten, dass die KI blind ihrem Lehrer kopiert. Wir brauchen ein System, das prüft:

Ist dieser Rat überhaupt möglich? (Wenn nicht, drehe die Lautstärke leiser).
Ist der Lehrer sicher? (Wenn ja, drehe die Lautstärke lauter).

Durch dies lernt die KI schneller und macht weniger Fehler, indem sie effektiv „den richtigen Lehrer zur richtigen Zeit vertraut“.

Technisches Resümee: Vertraue dem richtigen Lehrer: Qualitätsbewusste Selbst-Distillation für GUI-Grounding

1. Problemstellung

GUI-Grounding erfordert von Vision-Language-Modellen (VLMs), spezifische Benutzeroberflächenelemente in hochauflösenden Screenshots zu identifizieren und präzise Bildschirmkoordinaten vorherzusagen. Diese Aufgabe ist besonders anspruchsvoll aufgrund der geringen Größe, der visuellen Ähnlichkeit und der dichten Anordnung der Ziel-Elemente.

Bestehende Post-Training-Methoden stehen vor erheblichen Einschränkungen in diesem koordinatensensitiven Bereich:

Supervised Fine-Tuning (SFT): Behandelt annotierte Koordinaten als harte Ziele, liefert wenig Information über die finale Antwort hinaus und versäumt es, die Unsicherheit oder das „dunkle Wissen“ (Dark Knowledge) des Lehrers bezüglich plausibler Koordinaten-Token zu nutzen.
Reinforcement Learning (z. B. GRPO): Optimiert Aufgabenergebnisse, stützt sich jedoch auf spärliche Belohnungen (Sparse Rewards) und mehrere Durchläufe (Rollouts), was eine schwache Anleitung für feingranulare Lokalisierung bietet.
Naive On-Policy Self-Distillation (OPSD): Obwohl vielversprechend für die Bereitstellung dichter Token-Ebene-Signale des Lehrers, ist naive OPSD für GUI-Grounding ungeeignet. Bei OPSD wird der Lehrer auf Präfixen abgefragt, die vom Studenten generiert wurden. Wenn der Student ein falsches Präfix generiert (eine falsche räumliche Hypothese), können die nachfolgenden Logits des Lehrers eine plausible Fortsetzung dieser falschen Koordinate sein, anstatt ein Signal zum tatsächlichen Ziel zu liefern. Dies führt zu unzuverlässigen Lehrersignalen, die die Leistung verschlechtern.

2. Methodik: Qualitätsbewusste Selbst-Distillation

Die Autoren schlagen die Qualitätsbewusste Selbst-Distillation vor, eine Methode, die die Koordanten-Token-Supervision durch die Nutzung der räumlichen Verifizierbarkeit von GUI-Grounding kalibriert. Der Ansatz kombert zwei komplementäre Mechanismen: Soft Correctness-Aware Gating und Teacher-Probability Scaling.

2.1 Konstruktion privilegierter Informationen

In Anlehnung an vorangegangene Arbeiten (GUI-SD) konstruiert die Methode einen privilegierten Lehrer-Input $(x^+, I^+)$ , bei dem die Zielregion visuell hervorgehoben und aufgabenirrelevante Regionen mittels layout-erhaltender regionaler Maskierung unterdrückt werden. Der Student ist auf den ursprünglichen Input $(x, I)$ konditioniert, während der Lehrer auf den privilegierten Input $(x^+, I^+)$ konditioniert ist, um Signale zu generieren.

2.2 Soft Correctness-Aware Gating

Dieser Mechanismus adressiert das Problem, dass der Lehrer plausible, aber falsche Fortsetzungen basierend auf einem fehlerhaften Studenten-Präfix liefert.

Verifizierung: Für eine Koordinaten-Token-Position $t$ prüft die Methode, ob das top-prädizierte Koordinaten-Token des Lehrers ( $d^*_t$ ) unter Berücksichtigung des aktuellen Studenten-generierten Präfixes noch zu einer gültigen Koordinate innerhalb des Ground-Truth-Bounding-Box-Intervalls ( $B_{a(t)}$ ) vervollständigt werden kann.
Binärer Indikator: Ein binärer Indikator $h_t$ wird auf 1 gesetzt, wenn eine Vervollständigung möglich (kompatibel) ist, und auf 0 (inkompatibel), falls nicht.
Soft Gating: Anstatt inkompatible Signale vollständig zu verwerfen (Hard Gating), wendet die Methode ein Soft Gate $g_t = \alpha + (1-\alpha)h_t$ $g_{t} = α + (1 - α) h_{t}$ an.
- Wenn kompatibel ( $h_t=1$ ), ist $g_t = 1$ .
- Wenn inkompatibel ( $h_t=0$ ), ist $g_t = \alpha$ (in Experimenten auf 0,5 gesetzt).
- Dies gewichtet unzuverlässige Signale ab, anstatt sie ganz zu eliminieren, wodurch potenziell nützliche Korrektursignale erhalten bleiben, während der negative Einfluss reduziert wird.

2.3 Teacher-Probability Scaling

Correctness Gating allein berücksichtigt nicht die Konfidenz des Lehrers. Zwei Signale können beide das Gate passieren, aber eines kann hochkonfident sein, während das andere nahe einer Entscheidungsgrenze liegt.

Skalierungsfaktor: Die Methode nutzt die Wahrscheinlichkeit der Top-Koordinaten-Token-Vorhersage des Lehrers, $p_t = P^t_T(d^*_t)$ , als Skalierungsfaktor.
Mechanismus: Ein höheres $p_t$ (höhere Konfidenz) führt zu einem stärkeren Distillationsgewicht, während ein niedrigeres $p_t$ (höhere Unsicherheit) das Signal abschwächt. Dies stellt sicher, dass selbst räumlich kompatible Signale entsprechend ihrer Zuverlässigkeit gewichtet werden.

2.4 Gewichtete Reverse-KL-Zielfunktion

Die endgültige Verlustfunktion kombiniert diese Faktoren in ein Token-Ebene-Gewicht $w_t$ :
$w_t = (1 - r_t) + r_t \cdot g_t \cdot \lambda \cdot p_t$
Wobei $r_t$ ein Indikator für Koordinaten-Token ist, $\lambda$ ein Skalierungskoeffizient (gesetzt auf 3) und $g_t$ das Soft Gate.

Nicht-Koordinaten-Token werden mit dem Gewicht 1 destilliert.
Kompatible Koordinaten-Token werden mit $\lambda p_t$ gewichtet.
Inkompatible Koordinaten-Token werden mit $\alpha \lambda p_t$ gewichtet.

3. Kernbeiträge

Qualitätsbewusste Selbst-Distillation: Eine neuartige Methode für GUI-Grounding, die Lehrersignale basierend auf ihrer Zuverlässigkeit (räumliche Kompatibilität) und Gewissheit (Wahrscheinlichkeit) kalibriert, anstatt alle Lehrersignale als gleichermaßen vertrauenswürdig zu behandeln.
Empirische Untersuchung der Signalzuverlässigkeit: Die Arbeit nutzt die räumlich verifizierbare Natur von GUI-Grounding, um empirisch zu untersuchen, wie unzuverlässige Lehrersignale in der On-Policy Selbst-Distillation behandelt werden sollten, und zeigt auf, dass eine Strategie der sanften Abgewichtung einer harten Verwerfung oder blinden Imitation überlegen ist.
Komplementäre Mechanismen: Die Autoren zeigen, dass weder Soft Gating noch Probability Scaling allein die Leistung verbessern; ihre Kombination ist notwendig. Gating unterdrückt unzuverlässige Signale, während Scaling die Stärke der verbleibenden zuverlässigen Signale kalibriert.

4. Experimentelle Ergebnisse

Die Experimente wurden auf sechs GUI-Grounding-Benchmarks (ScreenSpot-Pro, ScreenSpot-v2, UIEG, OSWorld-G, OSWorld-G-R und MMG) unter Verwendung von Qwen3.5-9B als Backbone durchgeführt.

Leistung: Die vorgeschlagene Methode erreichte eine Makro-Durchschnittsgenauigkeit von 72,23 und übertraf damit die stärkste Baseline (GUI-SD) um 2,16 Punkte.
Vergleiche: Sie übertraf signifikant SFT (+4,14 Punkte) und GRPO (+6,37 Punkte) sowie Naive-OPSD und die Vision-PV-Only Baseline.
Ablationsstudien:
- Synergie der Komponenten: Die Verwendung von nur Gating oder nur Scaling führte zu einer geringeren Leistung als die Baseline, was deren komplementäre Rollen bestätigt.
- Gating-Stärke: Soft Gating ( $\alpha=0,5$ ) übertraf Hard Gating ( $\alpha=0$ ), was darauf hindeutet, dass das vollständige Verwerfen von fehlgeschlagenen Gate-Signalen wertvolle Korrekturhilfe entfernt.
- Skalierungskoeffizient: Ein Skalierungskoeffizient von $\lambda=3$ lieferte optimale Ergebnisse und balancierte die Unterdrückung unzuverlässiger Signale mit der Notwendigkeit einer ausreichenden Supervision auf zuverlässigen Tokens.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die räumliche Verifizierbarkeit ein kritisches, untergenutztes Signal zur Verbesserung der Zuverlässigkeit von Lehrersignalen in der Selbst-Distillation ist. Im Gegensatz zu allgemeinen Token-Vorhersageaufgaben, bei denen die Zuverlässigkeit über indirekte Proxys (Entropie, Perplexität) abgeleitet wird, ermöglicht GUI-Grounding eine direkte Verifizierung, ob eine Vorhersage angesichts der Ground-Truth-Constraints noch machbar ist.

Die Autoren argumenten, dass ihre Methode einen Wechsel von „blinder Imitation“ zu „vertrauenswürdiger Imitation“ darstellt. Durch die sanfte Abgewichtung und Skalierung von Lehrersignalen basierend auf ihrer Kompatibilität mit der Zielregion und der Konfidenz des Lehrers mildert die Methode das Risiko ab, falsche räumliche Hypothesen zu verstärken, während sie gleichzeitig die dichten, feingranularen Lernsignale bewahrt, die die Selbst-Distillation effektiv machen. Die Arbeit legt nahe, dass für Aufgaben mit verifizierbaren Constraints zuverlässigkeitsbewusste Distillationsstrategien die Modellleistung signifikant steigern können, ohne komplexe Reinforcement-Learning-Setups zu erfordern.