Riepilogo Tecnico: Quantificazione dell'Incertezza per Agenti di Utilizzo del Computer

Definizione del Problema

Gli agenti per l'utilizzo del computer trasformano le predizioni di modelli visivo-linguistici (VLM) in azioni GUI eseguibili, nello specifico coordinate di clic a singolo step. A differenza della classificazione passiva, una predizione errata in questo contesto innesca un'azione involontaria sul sistema ospite. Di conseguenza, una quantificazione dell'incertezza (UQ) affidabile è essenziale per meccanismi di deployment critici come il rifiuto dell'errore, la calibrazione, la classificazione della severità dell'errore e la definizione di regioni di sicurezza spaziale.

Tuttavia, le prove esistenti sulla UQ post-hoc per questi agenti sono frammentate. Gli studi precedenti valutano tipicamente coppie modello-dataset isolate o specifiche famiglie di UQ, lasciando incerto se le classifiche dei metodi UQ rimangano stabili quando l'architettura dell'agente, la geometria del benchmark o l'interfaccia osservabile (ad esempio, interni a pesi aperti rispetto ad API a codice chiuso) cambiano. La domanda centrale affrontata è: Quando la UQ generalizza negli agenti per l'utilizzo del computer?

Metodologia: Il Benchmark ARGUS

Gli autori introducono ARGUS (Assessing Regime-wise Generalization of Uncertainty Scoring), un benchmark unificato cross-regime progettato per valutare la trasferibilità dei metodi di UQ post-hoc.

Setup Sperimentale

• Regimi: Un regime è definito dalla combinazione di un agente, un dataset e un'interfaccia di modello osservabile.
• Modelli:
  • Panel a pesi aperti (Open-weight): 4 agenti VLM (Qwen2.5-VL-7B, Qwen2.5-VL-72B-AWQ, UI-TARS-1.5-7B, POINTS-GUI-G-8B).
  • Panel a codice chiuso (Closed-source): 3 vendor di frontiera (GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro) tramite sola API.
• Dataset: 4 benchmark di grounding GUI a singolo step (SCREENSPOT-V2, SCREENSPOT-PRO, OSWORLD-G, UI-VISION-EG).
• Metodi UQ:
  • A pesi aperti: 27 metodi appartenenti a 7 famiglie (Logit, Sampling, Hybrid, Density/Probe, Attention, Verbalised, VLM-native). Questi utilizzano segnali interni come logit, stati nascosti e mappe di attenzione.
  • A codice chiuso: Un sottoinsieme armonizzato di 8 metodi compatibili con interfacce solo API (escludendo i metodi che richiedono stati interni).
• Metriche di Valutazione:
  • Rilevamento dell'Errore: AUROC (clic errati come positivi).
  • Esecuzione Selettiva: PRR (qualità del rifiuto normalizzata dall'oracle) e AURC.
  • Calibrazione: ECE e punteggio Brier (dopo regressione isotonica).
  • Severità Graduata: AUSE (errore di sparsificazione solo sui miss su distanza normalizzata).
  • Trasferimento: Correlazione di rango di Spearman ($\rho$) tra le classifiche dei metodi UQ attraverso diversi regimi.
  • Copertura Spaziale: Raggio del disco di click conforme e gap di copertura.

Protocollo

Il benchmark utilizza una rigorosa divisione 80/20 tra calibrazione e test ripetuta su 50 seed. I probe appresi e gli stimatori di densità sono addestrati solo sulla partizione di calibrazione. Tutti i parametri principali sono calcolati sui record di test tenuti separati. Per i modelli a codice chiuso, i metodi che richiedono segnali interni non disponibili vengono rimossi invece di essere sostituiti da proxy, per garantire un confronto equo.

Risultati Chiave

1. Trasferimento Selettivo delle Classifiche UQ

La scoperta principale è che le classifiche UQ mostrano una generalizzazione selettiva:

• Stabilità all'interno di Modelli Fissi: Le classifiche sono altamente stabili tra i dataset per un modello fisso. Ad esempio, nel modello POINTS-GUI-G, il trasferimento cross-dataset ha raggiunto uno Spearman $\rho = 0.969$. La media del trasferimento su tutti i 120 accoppiamenti a pesi aperti è stata $\rho = 0.705$.
• Instabilità tra Classi di Modello: Le classifiche degradano significamente quando si passa tra classi di modelli diverse (ad esempio, da VLM vanilla ad agenti specialistici per GUI).
• Instabilità tra Interfacce: Il trasferimento da modelli a pesi aperti a API a codice chiuso è statisticamente indistinguibile dallo zero. Sul sottoinsieme condiviso di 8 metodi, il trasferimento medio cross-tier è stato $\rho = +0.08$ (il 95% CI include lo zero). Ciò implica che le raccomandazioni UQ per i modelli a pesi aperti non possono essere estrapolate ai vendor a codice chiuso.

2. Affidabilità Dipendente dal Regime

Nessuna singola famiglia di UQ domina tutti i regimi. La "migliore" famiglia dipende dalla specifica configurazione:

• A pesi aperti: I metodi Density/Probe (ad esempio, SAPLMA, SEP, Mahal-RMD) sono la famiglia più stabile tra modelli e dataset.
• A codice chiuso: I metodi di auto-valutazione Verbalised (ad esempio, Verbalised-1S/2S) e i metodi Hybrid (ad esempio, CCP) offrono le prestazioni migliori. In particolare, Verbalised-1S ha raggiunto un AUROC di 0.966 su Gemini per SCREENSPOT-V2, guidato da una distribuzione dei punteggi fortemente bimodale.
• Transizioni di Modello: Il passaggio da agenti vanilla a quelli specialistici causa una perdita di AUROC in tutti i dataset per le famiglie Attention, Verbalised e VLM-native. Al contrario, i metodi Density/Probe rimangono relativamente stabili.

3. Divergenza degli Obiettivi

Il rilevamento binario dell'errore (AUROC) e la classificazione della severità del miss (AUSE) spesso selezionano metodi differenti tra i migliori. Nel panel a pesi aperti, il miglior metodo per AUROC e AUSE concordava in soli 2 casi su 16 celle. Ciò indica che un punteggio efficace nell'identificare se si è verificato un errore non è necessariamente efficace nel classificare quanto grave sia l'errore.

4. Limitazioni della Copertura Spaziale

La discriminazione a livello di punteggio è insufficiente per il deployment. Sebbene i dischi di click conformi (utilizzando punteggi UQ plug-in) possano ridurre i raggi del 40–60% rispetto alle baseline fisse, la copertura può degradare in caso di mismatch tra calibrazione-test o tra interfacce. Ad esempio, la copertura a codice chiuso ha mostrato una sottocopertura sistematica su certi vendor, suggerendo che la previsione conforme marginalmente valida richiede una attenta validazione delle assunzioni di scambiabilità.

Contributi

1. Benchmark Cross-Regime: ARGUS fornisce la prima valutazione unificata della UQ post-hoc per il grounding GUI eseguibile attraverso interfacce a pesi aperti e solo API, coprendo 27 metodi e 4 dataset.
2. Analisi del Trasferimento di Rango: Il paper quantifica dove le classifiche dei metodi UQ generalizzano (modello fisso, dataset variabile) e dove falliscono (cambio di classe di modello o di interfaccia).
3. Protocollo Armonizzato: Un protocollo rigoroso per il confronto solo API che evita sostituzioni proxy per segnali interni non disponibili, garantendo una valutazione cross-tier equa.
4. Affidabilità Dipendente dal Regime: Evidenza che la classe del modello, l'osservabilità dell'API e la geometria del fallimento spaziale alterano fondamentalmente quali famiglie di UQ sono affidabili.
5. Valutazione del Deployment: Valutazione completa della UQ per il rifiuto, la calibrazione, la classificazione della severità e la copertura spaziale conforme, accompagnata dal rilascio del pacchetto Python argus-uq con record per ogni elemento e script di analisi.

Significato e Rivendicazioni

Il paper sostiene che la qualità dell'incertezza non è una proprietà intrinseca di un metodo UQ, ma dipende congiuntamente dal metodo, dal modello, dalla geometria del dataset, dall'interfaccia osservabile e dall'obiettivo di deployment.

Gli autori sottolineano che il "trasferimento selettivo" è il principio regolatore:

• Non estrapolare: Le raccomandazioni UQ per i modelli a pesi aperti non dovrebbero essere estrapolate ai vendor a codice chiuso; devono essere riclassificate sul partizione di calibrazione target.
• Non assumere l'universalità: Un metodo che classifica bene gli errori per un agente GUI potrebbe fallire per un altro.
• Non fare affidamento solo sui punteggi: Un alto AUROC non garantisce la copertura spaziale; le regioni conformi devono essere validate per i gap di copertura.

Il lavoro conclude che il deployment richiede un panel di UQ consapevole del regime (un piccolo insieme di metodi candidati) piuttosto che un singolo punteggio universale, con la selezione finale validata sulla specifica partizione di calibrazione target. Gli autori rilasciano argus-uq per facilitare questo processo di selezione consapevole del regime.