Riepilogo Tecnico: Fidarsi dell'Insegnante Giusto: Auto-Distillazione Consapevole della Qualità per il GUI Grounding

1. Definizione del Problema

Il grounding delle interfacce grafiche (GUI) richiede che i modelli Vision-Language (VLM) identifichino elementi dell'interfaccia specifici in screenshot ad alta risoluzione e prevedano coordinate spaziali precise. Questo compito è particolarmente impegnativo a causa delle dimensioni ridotte, della somiglianza visiva e della disposizione densa degli elementi target.

I metodi di post-training esistenti affrontano limitazioni significative in questo dominio sensibile alle coordinate:

• Supervised Fine-Tuning (SFT): Tratta le coordinate annotate come target rigidi, fornendo poca informazione oltre alla risposta finale e fallendo nel sfruttare l'incertezza dell'insegnante o la "conoscenza oscura" (dark knowledge) relativa ai token di coordinate plausibili.
• Reinforcement Learning (es. GRPO): Ottimizza gli esiti del compito, ma si affida a ricompense sparse e a molteplici rollout, offrendo una guida debole per la localizzazione fine.
• Naive On-Policy Self-Distillation (OPSD): Sebbene promettente per fornire segnali densi a livello di token dall'insegnante, la Naive OPSD è inadatta al GUI grounding. Nella OPSD, l'insegnante viene interrogato su prefissi generati dallo studente. Se lo studente genera un prefisso errato (un'ipotesi spaziale sbagliata), i successivi logit dell'insegnante possono diventare una continuazione plausibile di quella coordinata sbagliata piuttosto che un segnale verso il target reale. Ciò porta a segnali dell'insegnante inaffidabili che degradano le prestazioni.

2. Metodologia: Auto-Distillazione Consapevole della Qualità

Gli autori propongono l'Auto-Distillazione Consapevole della Qualità, un metodo che calibra la supervisione dei token di coordinate sfruttando la verificabilità spaziale del GUI grounding. L'approccio combina due meccanismi complementari: il Soft Correctness-Aware Gating e lo Teacher-Probability Scaling.

2.1 Costruzione dell'Informazione Privilegiata

Seguendo il lavoro precedente (GUI-SD), il metodo costruisce un input privilegiato per l'insegnante $(x^+, I^+)$ dove la regione target è evidenziata visivamente e le regioni irrilevanti per il compito sono soppresse tramite una maschera regionale che preserva il layout. Lo studente è condizionato dall'input originale $(x, I)$, mentre l'insegnante è condizionato dall'input privilegiato $(x^+, I^+)$ per generare i segnali.

2.2 Soft Correctness-Aware Gating

Questo meccanismo affronta il problema dell'insegnante che fornisce continuazioni plausibili ma errate basate su un prefisso errato dello studente.

• Verifica: Per una posizione di un token di coordinata $t$, il metodo controlla se il token di coordinata predetto dall'insegnante come top-1 ($d^*_t$) può ancora essere completato in una coordinata valida all'interno dell'intervallo del bounding box della ground-truth ($B_{a(t)}$) dato l'attuale prefisso generato dallo studente.
• Indicatore Binario: Un indicatore binario $h_t$ è impostato a 1 se il completamento è possibile (compatibile) e 0 altrimenti (incompatibile).
• Soft Gating: Invece di scartare interamente i segnali incompatibili (hard gating), il metodo applica un gate morbido $g_t = \alpha + (1-\alpha)h_t$.
  • Se compatibile ($h_t=1$), $g_t = 1$.
  • Se incompatibile ($h_t=0$), $g_t = \alpha$ (impostato a 0.5 negli esperimenti).
  • Questo riduce il peso dei segnali inaffidabili invece di eliminarli, preservando le informazioni correttive potenzialmente utili e riducendo l'influenza negativa.

2.3 Teacher-Probability Scaling

Il solo correctness gating non tiene conto della fiducia dell'insegnante. Due segnali possono superare entrambi il gate, ma uno può essere altamente sicuro mentre l'altro è vicino a un confine decisionale.

• Fattore di Scaling: Il metodo utilizza la probabilità dell'insegnante della previsione del top coordinate-token, $p_t = P^t_T(d^*_t)$, come fattore di scala.
• Meccanismo: Una $p_t$ più alta (maggiore fiducia) si traduce in un peso di distillazione più forte, mentre una $p_t$ più bassa (maggiore incertezza) ammorbidisce il segnale. Ciò assicura che anche i segnali spazialmente compatibili siano pesati in base alla loro affidabilità.

2.4 Obiettivo Weighted Reverse-KL

La funzione di perdita finale combina questi fattori in un peso a livello di token $w_t$:
$$w_t = (1 - r_t) + r_t \cdot g_t \cdot \lambda \cdot p_t$$
Dove $r_t$ è un indicatore per i token di coordinata, $\lambda$ è un coefficiente di scala (impostato a 3), e $g_t$ è il soft gate.

• I token non appartenenti alle coordinate vengono distillati con peso 1.
• I token di coordinata compatibili sono pesati da $\lambda p_t$.
• I token di coordinata incompatibili sono pesati da $\alpha \lambda p_t$.

3. Contributi Chiave

1. Auto-Distillazione Consapevole della Qualità: Un nuovo metodo per il GUI grounding che calibra i segnali dell'insegnante in base alla loro affidabilità (compatibilità spaziale) e certezza (probabilità), invece di trattare tutti i segnali dell'insegnante come ugualmente affidabili.
2. Studio Empirico dell'Affidabilità del Segnale: Il documento utilizza la natura spazialmente verificabile del GUI grounding per studiare empiricamente come i segnali inaffidabili dell'insegnante debbano essere trattati nell'auto-distillazione on-policy, dimostrando che una strategia di declassamento morbido (soft down-weighting) è superiore all'eliminazione netta o all'imitazione cieca.
3. Meccanismi Complementari: Gli autori dimostrano che né il gating morbido né lo scaling della probabilità da soli migliorano le prestazioni; la loro combinazione è necessaria. Il gating sopprime i segnali inaffidabili, mentre lo scaling calibra la forza dei segnali affidabili rimanenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su sei benchmark di GUI grounding (ScreenSpot-Pro, ScreenSpot-v2, UIEG, OSWorld-G, OSWorld-G-R e MMG) utilizzando Qwen3.5-9B come backbone.

• Prestazioni: Il metodo proposto ha raggiunto una precisione media macro di 72.23, superando il baseline più forte (GUI-SD) di 2.16 punti.
• Confronti: Ha superato significativamente SFT (+4.14 punti) e GRPO (+6.37 punti), così come la Naive-OPSD e il baseline Vision-PV-Only.
• Studi di Ablazione:
  • Sinergia dei Componenti: L'uso del solo gating o del solo scaling ha portato a prestazioni inferiori rispetto al baseline, confermando i loro ruoli complementari.
  • Forza del Gating: Il soft gating ($\alpha=0.5$) ha superato l'hard gating ($\alpha=0$), suggerendo che scartare completamente i segnali con gate fallito rimuove una guida correttiva preziosa.
  • Coefficiente di Scaling: Un coefficiente di scaling $\lambda=3$ ha prodotto i risultati ottimali, bilanciando la soppressione dei segnali inaffidabili con la necessità di una supervisione sufficiente sui token affidabili.

5. Significato e Rivendicazioni

Il documento sostiene che la verificabilità spaziale è un segnale critico, sottoutilizzato, per migliorare l'affidabilità del segnale dell'insegnante nella auto-distillazione. A differenza dei compiti generali di predizione di token dove l'affidabilità è inferita attraverso proxy indiretti (entropia, perplexity), il GUI grounding permette la verifica diretta se una predizione rimane fattibile date le restrizioni della ground-truth.

Gli autori sostengono che il loro metodo rappresenti un passaggio dall' "imitazione cieca" all' "imitazione affidabile". Ammorbidendo il peso e scalando i segnali dell'insegnante in base alla loro compatibilità con la regione target e alla fiducia dell'insegnante, il metodo mitiga il rischio di rinforzare ipotesi spaziali errate, preservando al contempo i segnali di apprendimento densi e fini che rendono efficace l'auto-distillazione. Il lavoro suggerisce che per compiti con vincoli verificabili, le strategie di distillazione consapevole dell'affidabilità possono migliorare significamente le prestazioni del modello senza richiedere complessi setup di reinforcement learning.