💻 computer science

DiffSpot: Can VLMs Spot Fine-Grained Visual Differences in Web Interfaces?

Dit artikel introduceert DiffSpot, een door code gestuurde benchmark die aantoont dat zelfs de meest geavanceerde vision-language-modellen moeite hebben om fijne visuele verschillen in webinterfaces te detecteren, met een lage recall zelfs bij eenvoudige wijzigingen, en die laat zien dat de moeilijkheid van detectie aanzienlijk varieert per CSS-eigenschap in plaats van per pixelgrootte of semantische afstand.

Oorspronkelijke auteurs: Linhao Zhang, Aiwei Liu, Yuan Liu, Xiao Zhou

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Linhao Zhang, Aiwei Liu, Yuan Liu, Xiao Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee bijna identieke foto's van een webpagina hebt. Op de ene foto is een knop blauw; op de andere is het een iets lichtere blauwtint. Of misschien is de tekst net een klein beetje dikker gedrukt. Voor een mens kan het vinden hiervan een seconde knijpen kosten. Maar voor een Kunstmatige Intelligentie (KI) die afbeeldingen "ziet", is dit als proberen een enkele zandkorrel te vinden die van kleur is veranderd op een strand.

Dit artikel, getiteld DiffSpot, introduceert een nieuwe test om te zien hoe goed moderne KI-modellen zijn in het opsporen van deze kleine, specifieke wijzigingen op websites. Hier is de uitleg in eenvoudige termen:

1. Het Probleem: KI is geweldig in het grote geheel, slecht in de details

Huidige KI-modellen (zogenaamde Vision-Language Models of VLM's) zijn als briljante kunstkritici. Ze kunnen naar een foto kijken en je vertellen: "Dit is een zonnige dag op het strand met een gezin dat speelt." Ze zijn uitstekend in het begrijpen van het algemene verhaal.

Ze worstelen echter met de "kleine lettertjes". Als je ze vraagt: "Is de kleur van die specifieke knop veranderd van donkerblauw naar lichtblauw?", dan missen ze dit vaak. Ze kunnen zeggen: "Nee, alles ziet er hetzelfde uit," of ze kunnen een verandering verzinnen die niet heeft plaatsgevonden (zoals zeggen dat de tekst is veranderd terwijl dat niet zo is).

2. De Oplossing: Het bouwen van een "Vind het Verschil"-spel met regels

De onderzoekers wilden dit vermogen testen, maar ze konden niet zomaar mensen vragen om verschillen op willekeurige websites te vinden. Mensen zijn bevooroordeeld; ze merken grote, voor de hand liggende dingen op, maar missen subtiele. Bovendien is het bijna onmogelijk om op het echte internet twee webpagina's te vinden die exact hetzelfde zijn, behalve dan één klein detail.

Dus bouwde het team DiffSpot, een op maat gemaakt testpakket. Denk hierbij aan een ontwerper van videospel-niveaus die een perfecte "vind het verschil"-puzzel van scratch bouwt.

Hoe ze het bouwden: In plaats van screenshots te maken en te hopen op het beste, begonnen ze met de computercode (HTML/CSS) die een webpagina bouwt.
De "Mutatie": Ze namen een stukje code, veranderden slechts één kleine instelling (zoals het maken van een knop 5% lichter), en genereerden vervolgens opnieuw de afbeelding.
De "Grounding Gate": Dit is een kwaliteitscontrole-stap. Soms verpest het veranderen van één regel code per ongeluk de hele paginalay-out. De onderzoekers gebruikten een digitale "poortwachter" om te controleren: Is de verandering precies gebeurd waar we wilden, en nergens anders? Als de verandering oversloeg naar andere delen van de pagina, gooiden ze die testcase weg.

Het resultaat is een dataset van 4.400 paren afbeeldingen. Sommigen hebben een kleine, specifieke verandering (zoals een lettertype dat iets dikker wordt), en sommigen hebben helemaal geen verandering.

3. De Test: 13 Top-KI's op de proef stellen

Ze namen 13 van de slimste KI-modellen van vandaag (inclusief modellen van Google, OpenAI, Anthropic en anderen) en vroegen hen om naar deze paren te kijken en de verschillen op te sommen. Ze gaven de KI geen hints of voorbeelden; het was een "blinde test".

De Resultaten: De KI Worstelt
Zelfs de beste KI-modellen slaagden er niet in om de meerderheid van de veranderingen op te sporen.

De Score: Het best presterende model vond slechts ongeveer 41% van de daadwerkelijke veranderingen. Dat betekent dat het ongeveer 6 van de 10 veranderingen miste.
De Hard Mode: Wanneer de veranderingen zeer subtiel waren (het "Hard"-niveau), deden de modellen het nog slechter, met minder dan 23% van de veranderingen gevonden.
Het Hallucinatie-probleem: Sommige modellen waren zo enthousiast om een verschil te vinden dat ze dingen verzinselden. Ze beweerden dat een knop van kleur veranderde terwijl dat niet zo was. Anderen waren zo voorzichtig dat ze "geen verandering" zeiden, zelfs toen er wel een was.

4. De Verrassende Ontdekking: Het gaat om Wat er veranderde, niet Waar

De onderzoekers verwachtten dat de moeilijkheidsgraad zou afhangen van het type website (bijvoorbeeld dat winkelwebsites misschien moeilijker zijn dan nieuwswebsites). Ze hadden het mis.

Het "Wat" telt: De moeilijkheid hing volledig af van welke eigenschap er veranderde.
- Als de KI een verandering in tekst of positie (het verplaatsen van een item) moest opsporen, deed het het redelijk.
- Als de KI een verandering in verlopen (kleurovergangen) of regelafstand (ruimte tussen tekstregels) moest opsporen, presteerde het vreselijk, zelfs als het visuele verschil groot was.
Het "Waar" maakt niet uit: Het maakte niet uit of de verandering op een financiële website of een reizenblog stond. Het vermogen van de KI om de verandering op te sporen was consistent over alle onderwerpen.

5. Waarom Dit Belangrijk Is (Volgens het Artikel)

Het artikel concludeert dat, hoewel KI beter wordt in het algemeen begrijpen van afbeeldingen, het nog steeds "blind" is voor de specifieke, fijnmazige details waar een gebruikersinterface uit bestaat.

Pixelgrootte is niet het antwoord: Je zou kunnen denken: "Als de verandering groot genoeg is, zal de KI het zien." De studie toonde aan dat dit niet waar is. Zelfs grote pixelveranderingen in bepaalde categorieën (zoals verlopen) werden gemist, terwijl kleine veranderingen in andere (zoals tekst) werden opgepikt.
De "Magie" ontbreekt: De KI faalt niet alleen in het zien van de pixels; het faalt in het begrijpen van het concept van de verandering (bijvoorbeeld "deze tekst is dikker").

Samenvattend:
DiffSpot is een strenge "vind het verschil"-test voor KI. Het onthult dat zelfs de slimste KI-modellen van vandaag lijken op een persoon die probeert een menu te lezen in een donkere kamer: ze kunnen je vertellen dat er een restaurant is, maar ze kunnen niet betrouwbaar vertellen of de prijs van de soep met een paar cent is veranderd. Het artikel bewijst dat KI, om webinterfaces echt te beheersen, veel beter moet worden in het opmerken van de kleine, specifieke details.

Technische Samenvatting: DiffSpot

Probleemstelling

Vision-language modellen (VLM's) hebben aanzienlijke vooruitgang geboekt in hoog-niveau beeld-tekstuitlijning en taalgeleid redeneren. Hun vermogen om fijnmazige visuele verschillen waar te nemen, blijft echter beperkt. Deze beperking is kritiek voor systemen die werken op gerenderde webinterfaces, zoals GUI-agenten en ontwerptools, die niet alleen moeten verifiëren dat een scherm is gewijzigd, maar ook exact welke visuele eigenschap is gewijzigd, waar deze is gewijzigd, en of de wijziging beperkt bleef tot het beoogde element.

Bestaande benchmarks voor VLM's missen grotendeels een toegewijd "spot-the-difference"-regime voor webinterfaces. Huidige benaderingen stuiten op twee knelpunten:

Data-schaarste: Echte webpagina's bieden zelden bijna-identieke voor/na-schermopnames die slechts verschillen door één kleine UI-eigenschap, met een gebalanceerde dekking over elementen, eigenschappen en moeilijkheidsgraden.
Annotatie-bias: Menselijke labeling is selectief en afhankelijk van aandacht, wat vaak leidt tot een oververtegenwoordiging van opvallende of semantisch betekenisvolle veranderingen, terwijl subtiele, eigenschapsniveau visuele verschillen worden gemist.

Methodologie: De DiffSpot-pijplijn

De auteurs introduceren DiffSpot, een code-gedreven benchmark voor open-ended spot-the-difference-taken op webinterfaces. De kerninzicht is om de constructie van verschillen te verplaatsen van beeldruimte naar code-ruimte. Omdat webinterfaces programmatieke artefacten zijn die worden gegenereerd vanuit HTML/CSS, kunnen visuele verschillen worden gedefinieerd en gecontroleerd voordat het renderen plaatsvindt.

De constructiepijplijn bestaat uit vijf fasen:

Corpus-curatie:
- Zaden worden gehaald uit het Chrome User Experience Report en Majestic Top-1M-domeinen (2 miljoen domeinen).
- URL's worden uitgebreid via sitemaps en gefilterd op HTML-structuurfingerprints om structurele uniciteit te waarborgen.
- Pagina's worden gerenderd in headless Chromium (1280×800 viewport) en gekoppeld aan zelfstandige HTML die door een LLM is geregenereerd om afhankelijkheden van derden te verwijderen.
- Paren worden gefilterd op CLIP-ähnelijkheid (≥0,70) om te waarborgen dat de geregenereerde HTML overeenkomt met de originele visuele structuur.
Programmatische mutatie:
- Het systeem past atomische, gelokaliseerde mutaties toe op één CSS-eigenschap van één doel-element.
- Er zijn 13 CSS-eigenschapsoperatoren gedefinieerd over vier families: Typografie (font_weight, font_size, letter_spacing, line_height, text), Kleur (color, opacity, gradient), Lay-out (position, spacing, justify) en Vorm (border, rounded).
- Mutaties worden uitgevoerd via Tailwind CSS-class-swaps of inline-style-overschrijvingen.
- Moeilijkheidsstratificatie: Elke operator is onderverdeeld in Easy, Medium en Hard niveaus, gebaseerd op de omvang van de verandering (bijvoorbeeld Tailwind-schaalstappen voor discrete eigenschappen, em-offsets voor continue eigenschappen).
Grounding Gate-validatie:
- Om te waarborgen dat de mutatie overeenkomt met een schone, gelokaliseerde visuele verandering, valideert een "grounding gate" het gerenderde resultaat.
- Het controleert drie predicaten:
  1. Effectiviteit: Pixelverandering binnen de doel-bounding box (bbox) is niet-nul.
  2. Lokaal: Pixelverandering buiten de doel-bbox is nul (geen vervuiling door layout-reflow).
  3. Selector-resolutie: Het doel-element moet correct worden opgelost in de DOM.
- Alleen paren die aan alle predicaten voldoen, worden behouden.
Polijsten en filteren:
- Gestructureerde mutatieregisters worden omgezet in natuurlijke taalbeschrijvingen met behulp van een LLM.
- Contentfilters verwijderen gevallen met teksttruncatie, viewport-overflow of problemen met lettertype-rendering.
Stratified sampling en No-Diff-controle:
- De uiteindelijke dataset bevat 4.400 beeldparen:
  - 3.900 "has-diff"-paren: 100 paren per cel over 13 operatoren × 3 moeilijkheidsniveaus.
  - 500 "no-diff"-paren: Identieke schermopnames twee keer gerenderd om hallucinatiepercentages te meten.

Evaluatieopzet

Modellen: 13 toonaangevende VLM's werden zero-shot geëvalueerd, waaronder propriëtaire API's (Gemini 3.1 Pro, GPT-5.4, Claude Opus 4.7) en open-weight modellen (Kimi K2.5, Qwen3.5-VL, GLM-4.6V, InternVL3.5).
Taak: Modellen ontvangen voor/na-schermopnames en worden gevraagd om alle waargenomen visuele verschillen te vermelden, zonder voorbeelden of hints.
Metrieken:
- Nauwkeurigheid: (TP + TN) / Totaal.
- Recall: Percentage van ware mutaties geïdentificeerd (opgesplitst per moeilijkheidsniveau).
- No-Diff-nauwkeurigheid (Specificiteit): Percentage van onveranderde paren die correct als onveranderd zijn geïdentificeerd (1 - hallucinatiepercentage).
Beoordeling: Antwoorden worden geëvalueerd door een LLM-judge (gpt-oss-120b) met behulp van een rubric voor visuele effect-equivalentie die parafraseren toelaat. Robuustheidstests met twee andere judges bevestigden de stabiliteit van de rangschikking.

Belangrijkste Resultaten

1. Laag plafond voor fijnmazige waarneming

Zelfs het best presterende model, Gemini 3.1 Pro, behaalde slechts 40,7% Recall op ware visuele veranderingen.

Hard-tier Recall lag voor elk geëvalueerd model onder de 23%.
Zeven van de 13 modellen vielen onder de 30% algehele nauwkeurigheid.
Sommige modellen (bijvoorbeeld InternVL3.5) bleven nauwelijks boven de triviale "altijd-no-diff"-baseline, wat wijst op een falen in het detecteren van veranderingen in plaats van slechts een slechte precisie.

2. Eigenschap-specifieke faalmodi

Prestaties zijn sterk afhankelijk van wat is veranderd, niet van waar het verscheen.

Hoge Recall-operatoren: justify (87,0% voor Gemini 3.1 Pro), text (70,3% voor Claude Opus 4.7) en opacity (58,3% voor Kimi K2.5) worden gemakkelijker gedetecteerd.
Lage Recall-operatoren: gradient (max 26,7%), line_height (mediaan 4,0%) en rounded (mediaan 13,3%) blijven extreem moeilijk.
Domeinonafhankelijkheid: Recall varieerde minimaal over 15 bron-domeinen (maximaal verschil 7,1 pp), terwijl variatie over operatoren significant was. Dit suggereert dat de capaciteitskloof eigenschap-specifiek is, niet domein-specifiek.

3. Visuele grootte voorspelt moeilijkheid niet

Het artikel toont aan dat noch pixelgrootte noch CLIP-afstand betrouwbaar de modelprestaties voorspellen:

Pixelverandering: Operatoren met grote pixelveranderingen (bijvoorbeeld gradient, line_height) hebben vaak een lage recall, terwijl die met kleine pixelveranderingen (bijvoorbeeld text, position) een hoge recall hebben. Correlatie $r \approx -0,08$ .
CLIP-afstand: CLIP-embedding-afstanden zijn gecomprimeerd en tonen een bijna-nul correlatie met recall ( $r \approx +0,06$ ).
Conclusie: Modellen worstelen met het waarnemen en benoemen van specifieke CSS-niveau visuele eigenschappen, in plaats van simpelweg te falen in het detecteren van grote beeldverschillen.

4. Trade-off tussen sensitiviteit en terughoudendheid

De "no-diff"-paren onthulden een kritieke trade-off:

Agressieve rapporteurs: Modellen zoals GLM-4.6V-Flash hallucineerden veranderingen in 24,2% van de no-diff-paren.
Te conservatief: Modellen zoals InternVL3.5 rapporteerden bijna niets, met 100% specificiteit maar een recall dicht bij nul.
Pareto-grens: Slechts drie gesloten-bronmodellen (Gemini 3.1 Pro, Claude Opus 4.7, GPT-5.4) bereikten het gebied van "nauwkeurig en terughoudend" (Recall ≥30%, hallucinatie ≤5%). Geen enkel open-weight model behaalde deze balans.

5. Schaling en redenering

Redeneringsmodus: Voor de Qwen3-VL-familie verbeterde het schakelen naar "Thinking"-modus de prestaties significant alleen bij de grotere schaal (235B parameters), niet bij 30B.
Schaling: Het vergroten van de parametergrootte alleen (bijvoorbeeld Qwen3-VL van 30B naar 235B in Instruct-modus) verbeterde de prestaties niet, wat suggereert dat schaal zonder specifieke architecturale of trainingsaanpassingen ontoereikend is voor deze taak.

Betekenis en Claims

Het artikel claimt dat DiffSpot de eerste benchmark is voor open-ended spot-the-difference op gerenderde webinterfaces. De betekenis hiervan ligt in:

Methodologische verschuiving: De overstap van handmatig geannoteerde beeldparen naar code-gedreven, programmatische mutatie zorgt voor gecontroleerde, gebalanceerde en bias-vrije ground truth.
Diagnostische precisie: Het onthult dat huidige VLM's broos zijn in fijnmazige visuele waarneming, waarbij prestaties zwaar worden bepaald door de specifieke CSS-eigenschap die wordt gemuteerd.
Praktische relevantie: De benchmark adresseert direct de behoeften van GUI-agenten en ontwerptools, en benadrukt dat huidige modellen niet betrouwbaar gelokaliseerde UI-wijzigingen kunnen verifiëren.
Evaluatie-rigor: Door "no-diff"-controles op te nemen, wordt ware visuele sensitiviteit ontkoppeld van hallucinatie, waardoor een trade-off tussen sensitiviteit en terughoudendheid wordt blootgelegd die geaggregeerde metrieken vaak verbergen.

De auteurs concluderen dat fijnmazige visuele verschildetectie op webinterfaces "ver van opgelost" is, waarbij zelfs de sterkste modellen ongeveer drie van elke vijf ware visuele veranderingen missen, met name in hard-tier scenario's.