Zoom Consistency: A Free Confidence Signal in Multi-Step Visual Grounding Pipelines

1. Il Problema

I pipeline di grounding visivo (localizzazione di elementi nell'interfaccia utente) su GUI ad alta risoluzione utilizzano comunemente approcci multi-step basati sullo "zoom-in". In un tipico processo a due passaggi:

1. Un Modello Linguistico Visivo (VLM) prevede una posizione iniziale ($\hat{p}_1$) sullo screenshot completo.
2. Viene estratta una porzione (crop) centrata su $\hat{p}_1$, ridimensionata e rielaborata dal VLM per ottenere una previsione più precisa ($\hat{p}_2$).
3. La previsione finale viene mappata indietro alle coordinate originali.

Il limite attuale: Le previsioni intermedie (in particolare la relazione tra la previsione del secondo passaggio e il centro del crop) vengono solitamente scartate dopo il rimappaggio delle coordinate. Non viene sfruttato alcun segnale di "fiducia" (confidence) derivante da questi passaggi intermedi per valutare la qualità della previsione senza costi computazionali aggiuntivi.

2. Metodologia: Zoom Consistency

Gli autori introducono e formalizzano il concetto di Zoom Consistency (Coerenza dello Zoom), un segnale di fiducia geometrico e gratuito.

• Definizione: La coerenza dello zoom ($c$) è definita come la distanza euclidea tra la previsione del secondo passaggio ($\hat{p}_2$) e il centro del crop ($m = (500, 500)$ nello spazio normalizzato $1000 \times 1000$):
  $$c = \|\hat{p}_2 - m\|_2$$
• Logica: Se la previsione iniziale ($\hat{p}_1$) è accurata, l'elemento target si trova vicino al centro del crop. Di conseguenza, il modello al secondo passaggio dovrebbe prevedere una posizione vicina al centro, risultando in un valore di $c$ basso. Se $\hat{p}_1$ è errato, il target è spostato dal centro e il modello deve correggere prevedendo lontano dal centro, risultando in un $c$ alto.
• Proprietà Teoriche:
  • Stimatore Lineare dell'Errore: Sotto condizioni idealizzate (target visibile nel crop e previsione step-2 perfetta), $c$ è uno stimatore lineare dell'errore spaziale dello step-1 ($c = \|\varepsilon_1\| / r$, dove $r$ è il rapporto di zoom).
  • Comparabilità Cross-Modello: A differenza delle log-probabilità o dell'incertezza a livello di token, che richiedono calibrazione specifica per ogni modello, la Zoom Consistency è una quantità geometrica nello stesso spazio di coordinate. Questo permette di confrontare direttamente modelli con architetture diverse (es. VLM specialisti vs generalisti) senza alcuna calibrazione.
  • Modalità di Fallimento: La relazione lineare si rompe se il target è fuori dal crop, se lo step-2 ha un proprio errore significativo, o a causa del clipping ai bordi dell'immagine.

3. Contributi Chiave

1. Formalizzazione Teorica: Definizione della Zoom Consistency e dimostrazione che è un stimatore lineare dell'errore spaziale (Proposizione 1) e che è comparabile tra modelli diversi senza calibrazione (Proposizione 2).
2. Validazione Empirica: Analisi su 1.581 campioni del benchmark ScreenSpot-Pro utilizzando due modelli distinti:
   • KV-Ground-8B: Un modello specializzato per il grounding GUI.
   • Qwen3.5-27B: Un VLM generico.
     I risultati mostrano una correlazione negativa significativa tra la Zoom Consistency e l'accuratezza (più basso è $c$, più alta è la probabilità di correttezza).
3. Applicazione di Routing: Dimostrazione pratica dell'uso di questo segnale per instradare le richieste tra un modello specialista e uno generalista, derivando la condizione matematica esatta per cui tale routing migliora le prestazioni rispetto all'uso del solo modello più forte (Teorema 1).

4. Risultati Sperimentali

• Correlazione con l'Accuratezza:
  • Per KV-Ground-8B: AUC = 0.60, $\rho$ di Spearman = -0.14 ($p < 10^{-6}$).
  • Per Qwen3.5-27B: $\rho$ di Spearman = -0.11 ($p = 0.0003$).
  • I campioni con la coerenza più bassa ($c < 30$) hanno un'accuratezza dell'87.1%, contro il 75.6% per i campioni con coerenza più alta ($c \ge 250$).
• Separazione delle Classi: Il segnale separa chiaramente i casi in cui entrambi i modelli sono corretti (media $c \approx 197$) dai casi in cui almeno uno è errato (media $c \approx 290$).
• Routing Cross-Modello:
  • Utilizzando la Zoom Consistency per scegliere tra KV-Ground-8B e Qwen3.5-27B, il sistema ha catturato il 16.5% del "margine oracolo" (i casi in cui solo il modello più debole era corretto).
  • Accuratezza Finale: Il metodo di routing ha raggiunto l'80.9% di accuratezza, superando il modello specialista KV-Ground-8B da solo (80.1%) di +0.8 punti percentuali.
  • Sebbene il miglioramento assoluto sia modesto e non statisticamente significativo al livello convenzionale ($p=0.19$), la direzione è coerente e dimostra la fattibilità del concetto.

5. Significato e Implicazioni

• Segnale "Gratuito": La Zoom Consistency non richiede passaggi forward aggiuntivi, training, o accesso ai pesi interni del modello. È un sottoprodotto naturale dei pipeline di zoom esistenti.
• Indipendenza dal Modello: Permette di confrontare e combinare modelli eterogenei (specialisti vs generalisti) in modo oggettivo, superando le limitazioni dei punteggi di probabilità che variano in base al vocabolario e alla temperatura.
• Applicazioni Future: Oltre al routing, il segnale può essere utilizzato per:
  • Early Stopping: Decidere se fermare un pipeline di zoom multi-step se la coerenza è già alta.
  • Monitoraggio della Qualità: Rilevare drift distribuzionale o fallimenti sistematici in batch di inferenza.
  • Apprendimento Attivo: Selezionare campioni ad alta incertezza (alta coerenza) per l'annotazione umana.
  • Agenti GUI: Bloccare azioni irreversibili quando la fiducia è bassa.

In sintesi, il paper dimostra che l'architettura stessa dei pipeline di zoom contiene informazioni preziose sulla fiducia del modello, offrendo un metodo semplice ed efficace per migliorare l'affidabilità dei sistemi di grounding visivo senza costi computazionali aggiuntivi significativi.