Sintesi Tecnica: Benchmarking dell'Inferenza di Interazione Visiva UI2App

Definizione del Problema

Sebbene i Large Language Models (LLM) e i Vision-Language Models (VLM) abbiano dimostrato una crescente competenza nella generazione di pagine web da linguaggio naturale o singoli screenshot, gli approcci esistenti soffrono di limitazioni significative. I paradigmi guidati dal testo si affidano a prompt complessi che faticano a specificare con precisione layout visivi dettagliati e coerenza visiva tra le pagine. Al contrario, i paradigmi guidati dall'immagine (screenshot-to-code) si sono concentrati ampiamente sulla fedeltà visiva — misurando quanto l'output renderizzato si avvicini a un'immagine di riferimento — trascurando l'inferenza dell'interazione.

Gli attuali benchmark producono spesso artefatti che sono visivamente corretti ma comportamentalmente inerti, delle "facciate congelate". Essi non riescono a valutare se l'applicazione generata possa recuperare comportamenti dinamici, gestione dello stato e interazioni tra le pagine basandosi esclusivamente su evidenze visive statiche. Esiste un divario critico nella misurazione della capacità di un modello di inferire la logica di interazione mancante (ad esempio, persistenza dello stato tra le rotte, operazioni CRUD sui dati) senza specifiche esplicite testuali o basate su dimostrazioni.

Metodologia

Il Benchmark UI2App

Gli autori introducono UI2App, il primo benchmark mirato specificamente all'inferenza dell'interazione: la capacità di recuperare il comportamento di un'applicazione solo da screenshot, senza alcuna guida testuale o comportamentale.

• Costruzione del Dataset: Il benchmark comprende 327 screenshot organizzati in 45 set di screenshot coerenti per stato. Questi set rappresentano applicazioni web eseguibili e multi-rota attraverso quattro categorie: Content, Admin, Transaction e Specialty.
• Fonte: Gli screenshot sono curati da progetti open-source su GitHub, filtrati per licenze permissive, validità strutturale e buildabilità.
• Definizione del Task: Ai modelli vengono forniti un set di $M$ screenshot (da 4 a 14 per task) che catturano rotte o stati visivi distinti. Non vengono fornite tracce di azione o descrizioni di interazione. Il modello deve generare codice sorgente (React + TypeScript) per un'applicazione eseguibile che riproduca gli screenshot e i loro comportamenti impliciti.

Protocollo di Valutazione

La valutazione è una pipeline end-to-end che punteggia gli artefatti lungo quattro dimensioni:

1. Eseguibilità (EXEC): Misura se il codice compila e si renderizza.
   • EXEC@1: Tasso di successo al primo tentativo (one-shot).
   • EXEC@3: Tasso di successo dopo fino a tre round di auto-debugging utilizzando il feedback degli errori di build.
2. Raggiungibilità della Navigazione (NRS): La frazione di rotte degli screenshot di input raggiungibili dalla rotta home tramite la navigazione visibile nell'app generata.
3. Fedeltà Visiva (VFS): Una metrica di matching a livello di blocco, priva di giudizio umano, che confronta il DOM renderizzato con il riferimento. Media quattro sotto-metriche: Dimensione, Testo, Posizione e Colore.
4. Punteggio di Inferenza dell'Interazione (IIS): Il contributo principale. L'IIS quantifica quanto bene un modello inferisce e realizza le interazioni implicite negli screenshot.
   • Tassonomia: Le interazioni sono categorizzate in sette tipi (Toggle, Expand/Collapse, Operazioni su Liste, CRUD Dati, Validazione Form, Notifiche, Stato Cross-Route).
   • Ambito: Le interazioni sono pesate in base alla complessità della gestione dello stato: S1 (stato UI), S2 (stato dati) e S3 (persistenza cross-route).
   • Punteggio: A differenza dei precedenti benchmark che confrontano l'output contro una singola traccia di riferimento, l'IIS utilizza un protocollo basato su rubrica. Valuta se l'applicazione generata realizza i criteri funzionali dell'interazione (trigger, transizione di stato, risultato), accogliendo implementazioni diverse ma semanticamente equivalenti.

Contributi Chiave

1. Benchmark UI2App: Un dataset di 45 set di applicazioni multi-rota e coerenti per stato, progettati per testare l'inferenza dell'interazione da input puramente d'immagine, andando oltre la semplice ricostruzione visiva statica.
2. Punteggio di Inferenza dell'Interazione (IIS): Una metrica innovativa basata su una tassonomia di interazione e un peso basato sull'ambito. Valuta i comportamenti inferiti in base alla correttezza funzionale e alla complessità della gestione dello stato, piuttosto che sul matching con una singola traccia di esecuzione ground-truth.
3. Valutazione Comprensiva: Il paper stabilisce le prime baseline per l'inferenza dell'interazione basata solo su immagini, valutando sei modelli VLM di frontiera (tra cui Claude Sonnet 4.6, Gemini 3.1 Pro, GPT-5.4, Kimi K2.5, Qwen3.5 e GLM-4.6V) e una scala di crescita di Qwen2.5-VL.

Risultati Sperimentali

La valutazione di sei modelli di frontiera rivela un marcato disallineamento di capacità tra la ricostruzione visiva e la realizzazione dell'interazione:

• Fedeltà Visiva $\neq$ Inferenza dell'Interazione: Il modello leader nella Fedeltà Visiva (Gemini 3.1 Pro Preview, VFS=78.1) si classifica quarto nell'IIS (7.5). Al contrario, il leader dell'IIS (Claude Sonnet 4.6, IIS=39.3) si classifica secondo nel VFS (75.7). Il leader dell'IIS è 5,2 volte più avanti del leader del VFS nell'inferenza dell'interazione.
• Collo di Bottiglia dello Stato Cross-Route: La sfida più significativa è lo S3 (persistenza dello stato cross-route). Tre dei sei modelli hanno ottenuto esattamente zero in questa dimensione. Anche il miglior modello (Claude) ha raggiunto solo 21.6/100 nelle interazioni S3.
• Applicazioni Admin: Le applicazioni di tipo Admin si sono rivelate un collo di bottiglia costante, producendo il valore medio di IIS più basso (9.4) tra tutti i modelli.
• Comportamento di Scaling: All'interno della famiglia Qwen2.5-VL, è stata osservata una "transizione di fase" tra i 32B e i 72B di parametri, dove l'eseguibilità e la fedeltà visiva sono aumentate bruscamente. Tuttavia, lo scaling dei parametri da solo non ha saturato il requisito di inferenza dell'interazione.
• Modalità di Fallimento: L'analisi ha mostrato che, sebbene alcuni modelli (es. GPT-5.4) siano migliorati significativamente tramite l'auto-debugging per gli errori di build, ciò non si è tradotto in una migliore inferenza dell'interazione. I fallimenti nell'interazione derivavano spesso da contenitori di stato mancanti (es. CartContext) o codice morto dove gli elementi UI erano renderizzati ma gli handler non erano collegati.

Significato e Rivendicazioni

Il paper sostiene che inferire un comportamento di interazione completo da screenshot statici rimane una sfida di frontiera chiave per i modelli vision-language.

• Disaccoppiamento delle Capacità: I risultati dimostrano che la fedeltà visiva è un povero indicatore della realizzazione dell'interazione. Un modello può produrre una replica perfetta a livello di pixel che è però funzionalmente inerte.
• Oltre il Seguire le Specifiche: A differenza dei benchmark in cui l'interazione è esplicitamente specificata tramite testo o video, UI2App richiede al modello di eseguire l'inferenza dell'interazione — ovvero recuperare il comportamento mancante dalle sole tracce visive. Questo rappresenta uno spostamento dal "seguire le specifiche" all' "inferenza delle affordance latenti".
• Direzione Futura: Gli autori sostengono che UI2App fornisca un banco di prova necessario per spingere i modelli verso capacità di inferenza più forti, affrontando specificamente il divario nella persistenza dello stato cross-route e nella gestione dello stato complesso che i modelli attuali non riescono a inferire.

Il paper conclude che, sebbene i modelli si siano evoluti nella generazione di codice, la capacità di sintetizzare applicazioni interattive ed eseguibili da evidenze visive statiche senza una guida comportamentale esplicita non è ancora risolta, con la gestione dello stato cross-route che rappresenta il collo di bottiglia più pervasivo.