💻 computer science

DiffSpot: Can VLMs Spot Fine-Grained Visual Differences in Web Interfaces?

Questo articolo introduce DiffSpot, un benchmark guidato dal codice che dimostra come anche i modelli visione-linguaggio più avanzati faticino a rilevare differenze visive fini nelle interfacce web, ottenendo tassi di richiamo bassi anche per modifiche semplici e mostrando che la difficoltà di rilevamento varia significativamente in base alla proprietà CSS piuttosto che all'entità del cambiamento in pixel o alla distanza semantica.

Autori originali: Linhao Zhang, Aiwei Liu, Yuan Liu, Xiao Zhou

Pubblicato 2026-05-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Linhao Zhang, Aiwei Liu, Yuan Liu, Xiao Zhou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere due foto quasi identiche di una pagina web. In una foto, un pulsante è blu; nell'altra, è un blu leggermente più chiaro. O forse il testo è solo un po' più grassetto. Per un essere umano, individuarlo potrebbe richiedere un secondo di strabuzzare gli occhi. Ma per un'Intelligenza Artificiale (IA) che "vede" le immagini, questo è come cercare di trovare un singolo granello di sabbia che ha cambiato colore su una spiaggia.

Questo articolo, intitolato DiffSpot, introduce un nuovo test per valutare quanto siano bravi i moderni modelli di IA a individuare queste minuscole, specifiche modifiche sui siti web. Ecco la spiegazione in termini semplici:

1. Il Problema: L'IA è Grande nel Quadro Generale, Pessima nei Dettagli

I modelli IA attuali (chiamati Modelli Linguistici-Visivi o VLM) sono come brillanti critici d'arte. Possono guardare un'immagine e dirti: "È una giornata di sole in spiaggia con una famiglia che gioca". Sono eccellenti nel comprendere la storia generale.

Tuttavia, faticano con il "carattere minuto". Se chiedi loro: "È cambiato il colore di quel pulsante specifico, da blu scuro a blu chiaro?", spesso non lo notano. Potrebbero dire: "No, tutto sembra uguale", oppure potrebbero inventare un cambiamento che non è avvenuto (come affermare che il testo è cambiato quando non è così).

2. La Soluzione: Costruire un Gioco "Trova le Differenze" con Regole

I ricercatori volevano testare questa capacità, ma non potevano semplicemente chiedere agli esseri umani di trovare differenze su siti web casuali. Gli esseri umani sono biased; notano le cose grandi e ovvie ma mancano quelle sottili. Inoltre, trovare due pagine web che siano esattamente identiche tranne che per un minuscolo dettaglio è quasi impossibile sul vero internet.

Quindi, il team ha costruito DiffSpot, una suite di test su misura. Pensala come un designer di livelli di videogiochi che costruisce un perfetto puzzle "trova le differenze" da zero.

Come l'hanno costruito: Invece di fare screenshot e sperare nel meglio, hanno iniziato dal codice informatico (HTML/CSS) che costruisce una pagina web.
La "Mutazione": Hanno preso un pezzo di codice, modificato solo un minuscolo parametro (come rendere un pulsante il 5% più chiaro) e poi rigenerato l'immagine.
Il "Cancello di Ancoraggio" (Grounding Gate): Questo è un passo di controllo qualità. A volte, modificare una riga di codice rovina accidentalmente l'intero layout della pagina. I ricercatori hanno usato un "guardiano" digitale per verificare: Il cambiamento è avvenuto esattamente dove volevamo noi, e da nessun'altra parte? Se il cambiamento si riversava su altre parti della pagina, scartavano quel caso di test.

Il risultato è un dataset di 4.400 coppie di immagini. Alcune hanno un cambiamento minuscolo e specifico (come un font che diventa leggermente più grassetto), e altre non hanno assolutamente alcun cambiamento.

3. Il Test: Mettere 13 IA Top alla Sfida

Hanno preso 13 dei modelli IA più intelligenti disponibili oggi (inclusi modelli di Google, OpenAI, Anthropic e altri) e li hanno invitati a guardare queste coppie ed elencare le differenze. Non hanno dato all'IA alcun indizio o esempio; è stato un "test alla cieca".

I Risultati: L'IA Fatica
Persino i migliori modelli IA non sono riusciti a individuare la maggior parte dei cambiamenti.

Il Punteggio: Il modello con le prestazioni migliori ha trovato solo circa il 41% dei cambiamenti reali. Ciò significa che ha mancato circa 6 cambiamenti su ogni 10.
La Modalità Difficile: Quando i cambiamenti erano molto sottili (il livello "Difficile"), i modelli sono andati ancora peggio, trovando meno del 23% dei cambiamenti.
Il Problema delle Allucinazioni: Alcuni modelli erano così ansiosi di trovare una differenza che hanno inventato cose. Affermavano che un pulsante aveva cambiato colore quando non era così. Altri erano così cauti da dire "nessun cambiamento" anche quando ce n'era uno.

4. La Scoperta Sorprendente: Riguarda Cosa è Cambiato, Non Dove

I ricercatori si aspettavano che la difficoltà dipendesse dal tipo di sito web (ad esempio, forse i siti di e-commerce sono più difficili di quelli di notizie). Si sbagliavano.

Il "Cosa" Conta: La difficoltà dipendeva interamente da quale proprietà era stata modificata.
- Se l'IA doveva individuare un cambiamento nel testo o nella posizione (spostare un elemento), se la cavava.
- Se l'IA doveva individuare un cambiamento nei gradienti (mescolanze di colore) o nell'interlinea (spazio tra le righe di testo), si è comportata terribilmente, anche se la differenza visiva era enorme.
Il "Dove" Non Conta: Non importava se il cambiamento era su un sito finanziario o su un blog di viaggi. La capacità dell'IA di individuare il cambiamento era coerente su tutti i temi.

5. Perché Questo Importa (Secondo l'Articolo)

L'articolo conclude che, sebbene l'IA stia migliorando nella comprensione generale delle immagini, è ancora "cieca" ai dettagli specifici e fini che compongono un'interfaccia utente.

La dimensione dei pixel non è la risposta: Potresti pensare: "Se il cambiamento è abbastanza grande, l'IA lo vedrà". Lo studio ha dimostrato che non è vero. Anche grandi cambiamenti di pixel in certe categorie (come i gradienti) sono stati ignorati, mentre minuscoli cambiamenti in altre (come il testo) sono stati rilevati.
La "Magia" manca: L'IA non sta solo fallendo nel vedere i pixel; sta fallendo nel comprendere il concetto del cambiamento (ad esempio, "questo testo è più grassetto").

In Sintesi:
DiffSpot è un rigoroso test "trova le differenze" per l'IA. Rivela che anche i modelli IA più intelligenti di oggi sono come una persona che cerca di leggere un menu in una stanza buia: possono dirti che c'è un ristorante, ma non possono dirti in modo affidabile se il prezzo della zuppa è cambiato di qualche centesimo. L'articolo dimostra che affinché l'IA padroneggi davvero le interfacce web, deve diventare molto migliore nel notare i minuscoli, specifici dettagli.

Riepilogo Tecnico: DiffSpot

Enunciato del Problema

I modelli visione-linguaggio (VLM) hanno raggiunto progressi significativi nell'allineamento immagine-testo di alto livello e nel ragionamento guidato dal linguaggio. Tuttavia, la loro capacità di percepire differenze visive fini rimane limitata. Questa limitazione è critica per i sistemi che operano su interfacce web renderizzate, come agenti GUI e strumenti di progettazione, i quali devono verificare non solo che uno schermo è cambiato, ma esattamente quale proprietà visiva è cambiata, dove è cambiata e se il cambiamento è stato confinato all'elemento previsto.

I benchmark esistenti per i VLM mancano in larga misura di un regime dedicato di "trova la differenza" per le interfacce web. Gli approcci attuali affrontano due colli di bottiglia:

Scarsità di Dati: Le pagine web reali raramente forniscono screenshot prima/dopo quasi identici che differiscono per una sola piccola proprietà UI, con una copertura bilanciata tra elementi, proprietà e livelli di difficoltà.
Bias di Annotazione: L'etichettatura umana è selettiva e dipendente dall'attenzione, sovrarappresentando spesso cambiamenti salienti o semanticamente significativi, mentre trascura differenze visive sottili a livello di proprietà.

Metodologia: La Pipeline DiffSpot

Gli autori introducono DiffSpot, un benchmark guidato dal codice per compiti di "trova la differenza" a scopo aperto su interfacce web. L'idea centrale è spostare la costruzione delle differenze dallo spazio immagine allo spazio codice. Poiché le interfacce web sono artefatti programmatici generati da HTML/CSS, le differenze visive possono essere definite e controllate prima che avvenga il rendering.

La pipeline di costruzione consta di cinque fasi:

Cura del Corpus:
- I semi sono tratti dal Chrome User Experience Report e dai domini Majestic Top-1M (2M domini).
- Gli URL vengono espansi tramite sitemap e filtrati per impronte digitali della struttura HTML per garantire l'unicità strutturale.
- Le pagine vengono renderizzate in Chromium headless (viewport 1280×800) e accoppiate con HTML autonomi rigenerati da un LLM per rimuovere le dipendenze di terze parti.
- Le coppie vengono filtrate per similarità CLIP (≥0,70) per garantire che l'HTML rigenerato corrisponda alla struttura visiva originale.
Mutazione Programmatica:
- Il sistema applica mutazioni atomiche e localizzate a una singola proprietà CSS di un singolo elemento target.
- Vengono definiti 13 operatori di proprietà CSS distribuiti su quattro famiglie: Tipografia (font_weight, font_size, letter_spacing, line_height, text), Colore (color, opacity, gradient), Layout (position, spacing, justify) e Forma (border, rounded).
- Le mutazioni vengono eseguite tramite scambi di classi Tailwind CSS o sovrascritture di stili inline.
- Stratificazione della Difficoltà: Ogni operatore è diviso in livelli Facile, Medio e Difficile in base all'entità del cambiamento (ad esempio, passaggi della scala Tailwind per proprietà discrete, offset in em per proprietà continue).
Validazione del Gate di Grounding:
- Per garantire che la mutazione corrisponda a un cambiamento visivo pulito e localizzato, un "gate di grounding" convalida il risultato renderizzato.
- Verifica tre predicati:
  1. Efficacia: Il cambiamento di pixel all'interno del bounding box (bbox) target è diverso da zero.
  2. Località: Il cambiamento di pixel al di fuori del bbox target è zero (nessuna contaminazione da riflow del layout).
  3. Risoluzione del Selettore: L'elemento target deve risolversi correttamente nel DOM.
- Solo le coppie che superano tutti i predicati vengono conservate.
Rifinitura e Filtraggio:
- I record strutturati di mutazione vengono convertiti in descrizioni in linguaggio naturale utilizzando un LLM.
- I filtri di contenuto rimuovono i casi con troncamento del testo, overflow del viewport o problemi di rendering del font.
Campionamento Stratificato e Controllo "No-Diff":
- Il dataset finale contiene 4.400 coppie di immagini:
  - 3.900 coppie "has-diff": 100 coppie per cella su 13 operatori × 3 livelli di difficoltà.
  - 500 coppie "no-diff": Screenshot identici renderizzati due volte per misurare i tassi di allucinazione.

Configurazione della Valutazione

Modelli: Sono stati valutati 13 VLM all'avanguardia in modalità zero-shot, inclusi API proprietarie (Gemini 3.1 Pro, GPT-5.4, Claude Opus 4.7) e modelli open-weight (Kimi K2.5, Qwen3.5-VL, GLM-4.6V, InternVL3.5).
Compito: I modelli ricevono screenshot prima/dopo e vengono invitati a elencare tutte le differenze visive osservate senza esempi o suggerimenti.
Metriche:
- Accuratezza: (VP + VN) / Totale.
- Recall: Percentuale di mutazioni vere identificate (suddivisa per livello di difficoltà).
- Accuratezza No-Diff (Specificità): Percentuale di coppie invariate correttamente identificate come prive di cambiamenti (1 - tasso di allucinazione).
Valutazione: Le risposte sono valutate da un giudice LLM (gpt-oss-120b) utilizzando una rubrica di equivalenza dell'effetto visivo che tollera la parafrasi. Controlli di robustezza con altri due giudici hanno confermato la stabilità del ranking.

Risultati Chiave

1. Soffitto Basso sulla Percezione Fine

Anche il modello con le prestazioni migliori, Gemini 3.1 Pro, ha raggiunto solo un Recall del 40,7% sui cambiamenti visivi reali.

Il Recall per il livello Difficile è stato inferiore al 23% per ogni modello valutato.
Sette dei 13 modelli sono rimasti al di sotto del 30% di accuratezza complessiva.
Alcuni modelli (ad esempio InternVL3.5) hanno appena superato la banale baseline "sempre-no-diff", indicando un fallimento nel rilevare i cambiamenti piuttosto che una semplice scarsa precisione.

2. Modi di Fallimento Specifici per Proprietà

Le prestazioni dipendono fortemente da cosa è cambiato, non da dove è apparso.

Operatori ad Alto Recall: justify (87,0% per Gemini 3.1 Pro), text (70,3% per Claude Opus 4.7) e opacity (58,3% per Kimi K2.5) sono rilevati più facilmente.
Operatori a Basso Recall: gradient (massimo 26,7%), line_height (mediana 4,0%) e rounded (mediana 13,3%) rimangono estremamente difficili.
Indipendenza dal Dominio: Il Recall è variato minimamente tra 15 domini sorgente (massima differenza 7,1 punti percentuali), mentre la variazione tra operatori è stata significativa. Ciò suggerisce che il divario di capacità è specifico per la proprietà, non specifico per il dominio.

3. L'Entità Visiva Non Predice la Difficoltà

Il documento dimostra che né l'entità dei pixel né la distanza CLIP predicono in modo affidabile le prestazioni del modello:

Cambiamento di Pixel: Gli operatori con grandi cambiamenti di pixel (ad esempio gradient, line_height) spesso hanno un recall basso, mentre quelli con piccoli cambiamenti di pixel (ad esempio text, position) hanno un recall alto. Correlazione $r \approx -0,08$ .
Distanza CLIP: Le distanze degli embedding CLIP sono compresse e mostrano una correlazione vicina allo zero con il recall ( $r \approx +0,06$ ).
Conclusione: I modelli faticano a percepire e nominare specifiche proprietà visive a livello CSS, piuttosto che semplicemente fallire nel rilevare grandi differenze di immagine.

4. Trade-off Sensibilità-Ritenzione

Le coppie "no-diff" hanno rivelato un trade-off critico:

Segnalatori Aggressivi: Modelli come GLM-4.6V-Flash hanno allucinato cambiamenti nel 24,2% delle coppie no-diff.
Eccessivamente Conservativi: Modelli come InternVL3.5 non hanno riportato quasi nulla, raggiungendo il 100% di specificità ma un recall vicino allo zero.
Frontiera di Pareto: Solo tre modelli closed-source (Gemini 3.1 Pro, Claude Opus 4.7, GPT-5.4) hanno raggiunto la regione "accurata e contenuta" (Recall ≥30%, allucinazione ≤5%). Nessun modello open-weight ha raggiunto questo equilibrio.

5. Scalabilità e Ragionamento

Modalità di Ragionamento: Per la famiglia Qwen3-VL, il passaggio alla modalità "Thinking" ha migliorato le prestazioni in modo significativo solo alla scala maggiore (235B parametri), non a 30B.
Scalabilità: L'aumento della sola dimensione dei parametri (ad esempio, da Qwen3-VL 30B a 235B in modalità Instruct) non ha migliorato le prestazioni, suggerendo che la scala senza specifici aggiustamenti architetturali o di addestramento è insufficiente per questo compito.

Significato e Affermazioni

Il documento afferma che DiffSpot è il primo benchmark per il "trova la differenza" a scopo aperto su interfacce web renderizzate. La sua rilevanza risiede in:

Cambiamento Metodologico: Il passaggio da coppie di immagini annotate da umani a mutazioni programmatiche guidate dal codice garantisce una verità fondamentale controllata, bilanciata e priva di bias.
Precisione Diagnostica: Rivela che i VLM attuali sono fragili nella percezione visiva fine, con prestazioni fortemente dettate dalla specifica proprietà CSS che viene mutata.
Rilevanza Pratica: Il benchmark affronta direttamente le esigenze degli agenti GUI e degli strumenti di progettazione, evidenziando che i modelli attuali non possono verificare in modo affidabile i cambiamenti UI localizzati.
Rigore Valutativo: Includendo controlli "no-diff", separa la vera sensibilità visiva dalle allucinazioni, esponendo un trade-off sensibilità-ritenzione che le metriche aggregate spesso nascondono.

Gli autori concludono che il rilevamento di differenze visive fini sulle interfacce web è "lontano dall'essere risolto", con anche i modelli più forti che mancano circa tre cambiamenti visivi reali su cinque, in particolare negli scenari di livello difficile.