🤖 AI

Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding

Dit artikel stelt Quality-Aware Self-Distillation voor, een methode die de prestaties van GUI-grounding verbetert door zachte foutcorrectie-gestuurde gating en teacher-waarschijnlijkheidsschaalvergroting te combineren om de degradatie van teacher-signalen bij on-policy zelf-distillatie te beperken wanneer door de student gegenereerde prefixen afwijken van de grondwaarheid-coördinaten.

Oorspronkelijke auteurs: Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei Chu, Ninghao Liu

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei Chu, Ninghao Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een specifieke knop op een computerscherm te vinden op basis van een spraakcommando zoals "Klik op het instellingen-tandwiel." Dit wordt GUI Grounding genoemd. De robot moet naar een screenshot kijken, de afbeelding begrijpen en vervolgens de exacte X- en Y-coördinaten van die knop uittypen.

Het probleem is dat dit ongelooflijk moeilijk is: schermen hebben een hoge resolutie, knoppen zijn minuscuul en er zijn veel dingen die op elkaar lijken. Als de robot een kleine fout maakt in het begin (bijvoorbeeld door de verkeerde rij te raden), kan het een volledig foutief antwoord in een spiraal naar beneden veroorzaken.

Het Probleem: De "Naïve" Tutor

Om de robot te leren, gebruiken onderzoekers een methode genaamd Self-Distillation. Zie dit als het hebben van een superintelligente "Teacher" AI die helpt bij het trainen van een "Student" AI.

In een standaardopstelling (genaamd Naive OPSD) probeert de Student een antwoord te formuleren. Terwijl de Student de coördinaten uittypelt, kijkt de Teacher naar wat de Student tot nu toe heeft geschreven en zegt: "Oké, gebaseerd op wat je tot nu toe hebt getypt, is dit de volgende beste gok."

Hier zit de crux: Als de Student de verkeerde coördinaten begint te typen (bijvoorbeeld: de Student denkt dat de knop aan de linkerkant van het scherm zit, terwijl deze eigenlijk aan de rechterkant zit), is de Teacher gedwongen om mee te gaan in het verhaal. De Teacher ziet het foutieve pad van de Student en genereert een "plausibele" voortzetting van dat foutieve pad.

Analogie: Stel je voor dat een student een kaart tekent naar een schat, maar per ongeluk een weg naar een moeras tekent. Een naïeve leraar die de weg naar het moeras ziet, zou kunnen zeggen: "Oké, aangezien je de weg naar het moeras neemt, is de volgende stap om te zwemmen." De leraar is behulpzaam, maar helpt de student juist verder de mist in te gaan. Het signaal van de leraar wordt "onbetrouwbaar" omdat het een fout versterkt.

De Oplossing: De "Quality-Aware" Tutor

De auteurs stellen een nieuwe methode voor genaamd Quality-Aware Self-Distillation. In plaats van blindelings het voorbeeld van de Teacher te volgen, controleert de Student: "Is het advies van de Teacher nog wel mogelijk om het doel te bereiken?"

Ze gebruiken twee slimme instrumenten om het leerproces te verbeteren:

1. De "Soft Correctness Gate" (Het Verkeerslicht)

Het systeem controleert de volgende gok van de Teacher tegenover de werkelijke locatie van de doelknop (de "Ground Truth").

De Controle: "Als de Student momenteel naar links wijst, en de Teacher suggereert een getal dat de cursor aan de rechterkant van het scherm zou laten landen, is dat dan überhaupt mogelijk?"
Het Resultaat:
- Groen Licht: Als de gok van de Teacher nog binnen het mogelijke bereik van het doel valt, luistert de Student volledig.
- Geel Licht: Als de gok van de Teacher onmogelijk is (het is al te ver uit koers), negeert de Student de Teacher niet volledig (wat te hard zou zijn). In plaats daarvan draait de Student het volume omlaag. Het zegt: "Oké, ik hoor je wel, maar ik ga maar voor de helft naar je luisteren."
Waarom "Soft"? Zelfs als de Teacher fout zit, kan deze nog steeds nuttige informatie bevatten over hoe te herstellen van de fout. Het signaal volledig weggooien is als een leraar ontslaan voor één slechte gok; het volume omlaag draaien is als zeggen: "Wees wat stiller, maar blijf wel praten."

2. De "Teacher-Probability Scaling" (De Vertrouwensmeter)

Zelfs als de gok van de Teacher de "Groene Licht"-controle passeert, vraagt het systeem: "Hoe zeker is de Teacher?"

Als de Teacher 99% zeker is ("Ik weet absoluut zeker dat dit het volgende getal is"), luistert de Student heel nauwlettend.
Als de Teacher slechts 51% zeker is ("Ik denk dat het dit is, maar het kan ook dat"), luistert de Student meer nonchalant.
De Analogie: Stel je een weerman voor. Als hij zegt: "Het gaat regenen, ik ben voor 99% zeker," dan pak je een paraplu. Als hij zegt: "Het kan regenen, ik ben 50/50 zeker," dan houd je je jas alleen bij de hand. Deze methode schaalt het leergewicht op basis van dat vertrouwensniveau.

De Magie van de Combinatie

De onderzoekers ontdekten een verrassende uitkomst: Het gebruik van slechts één van deze instrumenten werkt niet goed.

Als je alleen de Traffic Light gebruikt, kun je per ongeluk een leraar de mond snoeren die eigenlijk gelijk heeft, maar gewoon een beetje onzeker is.
Als je alleen de Confidence Meter gebruikt, luister je misschien te nauwlettend naar een leraar die zeer zelfverzekerd is, maar volledig naast de pot slaat (omdat die leraar je met veel zelfvertrouwen het moeras in leidt).

Samen zijn ze perfect: De Traffic Light filtert het onmogelijke advies eruit, en de Confidence Meter zorgt ervoor dat je beter luistert naar het advies dat zowel mogelijk als zeker is.

De Resultaten

De onderzoekers hebben hun methode getest op zes verschillende benchmarks (zoals verschillende videogames of testritten voor de robot).

De nieuwe methode versloeg alle eerdere "sterke" docenten.
Het verbeterde de nauwkeurigheid van de robot aanzienlijk vergeleken met standaard trainingsmethoden.
Het bewees dat in taken waarbij je fysiek kunt controleren of een antwoord "op koers" ligt (zoals bij coördinaten), je een AI kunt leren om slimmer te zijn over welk advies het moet vertrouwen.

Samenvatting

Dit artikel leert ons dat wanneer we een AI trainen om dingen op een scherm te vinden, we niet blindelings de leraar moeten laten kopiëren. We hebben een systeem nodig dat controleert:

Is dit advies überhaupt mogelijk? (Zo niet, draai het volume omlaag).
Is de leraar zelfverzekerd? (Zo ja, draai het volume omhoog).

Door dit te doen, leert de AI sneller en maakt het minder fouten, waardoor het effectief "de juiste leraar op het juiste moment vertrouwt".

Technische Samenvatting: Vertrouw de Juiste Docent: Kwaliteitsbewuste Zelf-distillatie voor GUI Grounding

1. Probleemstelling

Graphical User Interface (GUI) grounding vereist dat Vision-Language Models (VLM's) specifieke interface-elementen identificeren in hoge-resolutie screenshots en precieze schermcoördinaten voorspellen. Deze taak is bijzonder uitdagend vanwege de kleine omvang, visuele gelijkenis en de dichte ordening van doel-elementen.

Bestaande post-training methoden kampen met aanzienlijke beperkingen in dit coördinaat-gevoelige domein:

Supervised Fine-Tuning (SFT): Behandelt geannoteerde coördinaten als harde targets, wat weinig informatie biedt buiten het uiteindelijke antwoord en er niet in slaagt de onzekerheid van de docent of de "dark knowledge" met betrekking tot plausibele coördinaat-tokens te benutten.
Reinforcement Learning (bijv. GRPO): Optimaliseert taakresultaten maar vertrouwt op ijle (sparse) beloningen en meerdere rollouts, wat zwakke begeleiding biedt voor fijnmazige lokalisatie.
Naïeve On-Policy Self-Distillation (OPSD): Hoewel veelbelovend voor het bieden van dichte token-niveau signalen van de docent, is naïeve OPSD niet geschikt voor GUI grounding. Bij OPSD wordt de docent bevraagd op prefixes gegenereerd door de student. Als de student een incorrecte prefix genereert (een foutieve ruimtelijke hypothese), kunnen de daaropvolgende logits van de docent een plausibele voortzetting worden van dat foutieve coördinaat, in plaats van een signaal naar het werkelijke doel. Dit leidt tot onbetrouwbare docent-signalen die de prestaties verslechteren.

2. Methodologie: Kwaliteitsbewuste Zelf-distillatie

De auteurs stellen Kwaliteitsbewuste Zelf-distillatie voor, een methode die coördinaat-token supervisie kalibreert door gebruik te maken van de ruimtelijke verifieerbaarheid van GUI grounding. De aanpak combineert twee complementaire mechanismen: Soft Correctness-Aware Gating en Teacher-Probability Scaling.

2.1 Constructie van Geprivilegieerde Informatie

In navolging van eerder werk (GUI-SD), construeert de methode een geprivilegieerde docent-input $(x^+, I^+)$ waarbij de doelregio visueel is geaccentueerd en taakonrelevante regio's zijn onderdrukt via layout-behoudende regionale masking. De student is geconditioneerd op de originele input $(x, I)$ , terwijl de docent is geconditioneerd op de geprivilegieerde input $(x^+, I^+)$ om signalen te genereren.

2.2 Soft Correctness-Aware Gating

Dit mechanisme adresseert het probleem waarbij de docent plausibele maar incorrecte voortzettingen geeft op basis van een gebrekkige student-prefix.

Verificatie: Voor een coördinaat-token positie $t$ controleert de methode of de top-voorspelde coördinaat-token van de docent ( $d^*_t$ ) nog steeds kan worden voltooid tot een geldig coördinaat binnen het grondwaarheid bounding box-interval ( $B_{a(t)}$ ) gegeven de huidige door de student gegenereerde prefix.
Binaire Indicator: Een binaire indicator $h_t$ wordt op 1 gezet als voltooiing mogelijk is (compatibel) en op 0 anders (incompatibel).
Soft Gating: In plaats van incompatibele signalen volledig te verwerpen (hard gating), past de methode een soft gate toe: $g_t = \alpha + (1-\alpha)h_t$ $g_{t} = α + (1 - α) h_{t}$ .
- Als compatibel ( $h_t=1$ ), dan is $g_t = 1$ .
- Als incompatibel ( $h_t=0$ ), dan is $g_t = \alpha$ (gesteld op 0.5 in experimenten).
- Dit verlaagt het gewicht van onbetrouwbare signalen in plaats van ze volledig te elimineren, waardoor potentieel nuttige corrigerende informatie behouden blijft terwijl de negatieve invloed wordt verminderd.

2.3 Teacher-Probability Scaling

Correctheid-gating alleen houdt geen rekening met de zekerheid van de docent. Twee signalen kunnen beide de gate passeren, maar de één kan zeer zelfverzekerd zijn terwijl de ander zich nabij een beslissingsgrens bevindt.

Scaling Factor: De methode gebruikt de waarschijnlijkheid van de top coördinaat-token voorspelling van de docent, $p_t = P^t_T(d^*_t)$ , als een scaling factor.
Mechanisme: Een hogere $p_t$ (hogere zekerheid) resulteert in een sterker distillatie-gewicht, terwijl een lagere $p_t$ (hogere onzekerheid) het signaal verzacht. Dit zorgt ervoor dat zelfs ruimtelijk compatibele signalen worden gewogen volgens hun betrouwbaarheid.

2.4 Weighted Reverse-KL Objective

De definitieve verliesfunctie combineert deze factoren in een token-niveau gewicht $w_t$ :
$w_t = (1 - r_t) + r_t \cdot g_t \cdot \lambda \cdot p_t$
Waarbij $r_t$ een indicator is voor coördinaat-tokens, $\lambda$ een schalingscoëfficiënt is (gesteld op 3), en $g_t$ de soft gate is.

Niet-coördinaat tokens worden gedistilleerd met gewicht 1.
Compatibele coördinaat-tokens worden gewogen door $\lambda p_t$ .
Incompatibele coördinaat-tokens worden gewogen door $\alpha \lambda p_t$ .

3. Belangrijkste Bijdragen

Kwaliteitsbewuste Zelf-distillatie: Een nieuwe methode voor GUI grounding die docent-signalen kalibreert op basis van hun betrouwbaarheid (ruimtelijke compatibiliteit) en zekerheid (waarschijnlijkheid), in plaats van alle docent-signalen als even betrouwbaar te behandelen.
Empirische Studie van Signaalbetrouwbaarheid: Het artikel maakt gebruik van de ruimtelijk verifieerbare aard van GUI grounding om empirisch te bestuderen hoe onbetrouwbare docent-signalen behandeld moeten worden in on-policy zelf-distillatie, waarbij wordt aangetoond dat een soft down-weighting strategie superieur is aan hard verwerpen of blinde imitatie.
Complementaire Mechanismen: De auteurs demonstreren dat noch soft gating, noch probability scaling alleen de prestaties verbetert; hun combinatie is noodzakelijk. Gating onderdrukt onbetrouwbare signalen, terwijl scaling de kracht van de resterende betrouwbare signalen kalibreert.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op zes GUI grounding benchmarks (ScreenSpot-Pro, ScreenSpot-v2, UIEG, OSWorld-G, OSWorld-G-R, en MMG) met behulp van Qwen3.5-9B als backbone.

Prestaties: De voorgestelde methode behaalde een macro-gemiddelde nauwkeurigheid van 72.23, waarmee het de sterkste baseline (GUI-SD) met 2.16 punten overtrof.
Vergelijkingen: Het presteerde aanzienlijk beter dan SFT (+4.14 punten) en GRPO (+6.37 punten), evenals Naive-OPSD en de Vision-PV-Only baseline.
Ablatie-studies:
- Component Synergie: Het gebruik van enkel gating of enkel scaling resulteerde in lagere prestaties dan de baseline, wat hun complementaire rollen bevestigt.
- Gating Sterkte: Soft gating ( $\alpha=0.5$ ) presteerde beter dan hard gating ( $\alpha=0$ ), wat suggereert dat het volledig verwerpen van gefaalde-gate signalen waardevolle corrigerende begeleiding verwijdert.
- Scaling Coëfficiënt: Een scaling coëfficiënt $\lambda=3$ leverde optimale resultaten op, waarbij een balans werd gevonden tussen het onderdrukken van onbetrouwbare signalen en de noodzaak van voldoende supervisie op betrouwbare tokens.

5. Betekenis en Claims

Het artikel claimt dat ruimtelijke verifieerbaarheid een cruciaal, onderbenut signaal is voor het verbeteren van de betrouwbaarheid van docent-signalen in zelf-distillatie. In tegen tegenover algemene token-voorspellings-taken waar betrouwbaarheid indirect wordt afgeleid (entropie, perplexiteit), staat GUI grounding directe verificatie toe van of een voorspelling nog steeds haalbaar is gegeven de grondwaarheid-restricties.

De auteurs betogen dat hun methode een verschuiving vertegenwoordigt van "blinde imitatie" naar "betrouwbare imitatie". Door docent-signalen zacht te down-weighten en te schalen op basis van hun compatibiliteit met de doelregio en de zekerheid van de docent, mitigeert de methode het risico op het versterken van incorrecte ruimtelijke hypothesen, terwijl de dichte, fijnmazige leer-signalen behouden blijven die zelf-distillatie effectief maken. Het werk suggereert dat voor taken met verifieerbare restricties, betrouwbaarheid-bewuste distillatiestrategieën de prestaties van modellen aanzienlijk kunnen verbeteren zonder complexe reinforcement learning-opstellingen te vereisen.