Technische Samenvatting: Het Blootleggen van de Kloof tussen Menselijke en VLM-scenewaarneming door middel van Contradictorische Semantische Saliëntie

Probleemstelling

Het evalueren of grote Vision-Language Models (VLM's) overeenstemmen met menselijke waarneming bij hoog-niveau semantisch scenebegrip blijft een aanzienlijke uitdaging. Hoewel diepe neurale netwerken (DNN's) op benchmarktaken vaak vergelijkbare nauwkeurigheid bereiken als mensen, vertrouwen ze vaak op verschillende perceptiestrategieën, zoals een overmatige afhankelijkheid van lokale texturen, subtiele pixelpatronen of ruimtelijke relaties die niet overeenkomen met een holistische menselijke waarneming. Traditionele "white-box" interpretabiliteitsmethoden (bijvoorbeeld op gradiënten gebaseerde methoden of attentiekaarten) zijn vaak niet toepasbaar op gesloten-bronarchitecturen en slagen er niet in causale kenmerken te isoleren. Bovendien kunnen passieve metrieken geen onderscheid maken tussen correlatie en causaliteit in scenebegrip. Er is een kritieke behoefte aan een black-box, modelonafhankelijk kader om objectbelang systematisch te kwantificeren en de causale impact van visuele elementen op scenebeschrijvingen te meten.

Methodologie: Contradictorische Semantische Saliëntie (CSS)

De auteurs stellen Contradictorische Semantische Saliëntie (CSS) voor, een black-box, modelonafhankelijk kader dat is ontworpen om het belang van objecten in scenewaarneming te kwantificeren door de semantische verschuiving te meten die wordt veroorzaakt door hun causale ablatie.

1. Generatie van Contradictorische Stimuli

De CSS-pijplijn omvat drie fasen om hoog-trouwheid contradictorische afbeeldingen te genereren:

• Generatie van Objectlijsten: Een grote VLM (GPT-4o) genereert een lijst met objectnamen voor een gegeven scene, waarbij achtergrondelementen (bijvoorbeeld lucht, zee) expliciet worden uitgesloten om disproportionele semantische verschuivingen of hallucinaties te voorkomen.
• Segmentatie & Masker-voorverwerking: Het SOTA tekst-gestuurde segmentatiemodel, SAM3, genereert segmentatiemaskers. Een vierstaps voorverwerkingspijplijn zorgt voor masker kwaliteit: het verwijderen van duplicaten (IoU > 95%), het samenvoegen van ruimtelijk nabije maskers met identieke labels (afstand < 30 pixels) om structurele clusters als eenheid te behandelen, het verwerpen van maskers die meer dan 30% van het afbeeldingsoppervlak innemen om contextinstorting te voorkomen, en het toepassen van dilatie voor volledige dekking.
• Afbeelding Inpainting: Het state-of-the-art generatieve model Nano Banana 2 wordt gebruikt om de doelobjecten te verwijderen, waardoor artefactvrije contradictorische afbeeldingen worden gegenereerd. Rigoureuze menselijke validatie (14 annotators) zorgt ervoor dat de doelobjecten succesvol worden geablatieerd zonder verstorende artefacten in te brengen.

2. Meten van Semantische Verschuiving

Voor elk object $o$ in een scene $I$ wordt de CSS-score berekend door de semantische representaties van de oorspronkelijke beschrijving en de beschrijving van de contradictorische afbeelding waarbij $o$ is verwijderd ($I_{do(o=\emptyset)}$) te vergelijken.

• Generatie van Beschrijvingen: De doel-VLM genereert $N=5$ onafhankelijke beschrijvingen voor zowel de feitelijke als de contradictorische condities.
• Embedding & Similariteit: Zins-embeddings worden geëxtraheerd met behulp van het open-source model Jasper. De CSS-score wordt gedefinieerd als één minus de gemiddelde paarsgewijze cosinus-similariteit tussen de feitelijke en contradictorische beschrijvingssets:
  $$CSS(o) = 1 - \frac{1}{N^2} \sum_{j=1}^{N} \sum_{k=1}^{N} \frac{E(d_j) \cdot E(d'_k)}{\|E(d_j)\| \|E(d'_k)\|}$$
• Interpretatie: Een hogere CSS-score geeft een grotere semantische verschuiving aan, wat impliceert dat het geablatieerde object kritischer was voor het begrip van de scene. Deze scores worden gemapt naar segmentatiemaskers om een top-down saliëntiekaart te creëren.

3. Menselijke Baseline en Dataset

Om een menselijke baseline te vestigen, gebruikten de auteurs de OSIE-dataset (700 complexe natuurlijke scenes). Ze filterden scenes om 3–6 doelobjecten te bevatten, wat resulteerde in 307 feitelijke scenes en 1.306 contradictorische varianten.

• Psychofysica-studie: Een grootschalige studie werd uitgevoerd met 227 onafhankelijke deelnemers via Prolific, waarbij 16.289 geldige tekstuele beschrijvingen werden verzameld.
• Experimenteel Ontwerp: Een tussen-proefpersonen-ontwerp zorgde ervoor dat geen enkele deelnemer meerdere varianten van dezelfde scene zag. Deelnemers kregen de instructie om een zinnetje te geven als beschrijving van de scene, wat de prompt voor VLM's nabootste.
• Grondwaarheid: Menselijke consensus werd vastgesteld door de gemiddelde paarsgewijze similariteit van een vaste subset van menselijke antwoorden te berekenen om te dienen als de "grondwaarheid" voor het evalueren van modelalignatie.

Belangrijkste Resultaten

1. Alomvattende Perceptuele Kloof

Rigoureuze statistische analyse onthult een systematische divergentie tussen menselijke cognitie en VLM-prestaties:

• Top-1 Nauwkeurigheid: Terwijl mens-mens consistentie 73% bereikte bij het identificeren van het meest kritieke object, vielen alle 19 geëvalueerde VLM's (inclusief open-source en gesloten-bronmodellen zoals GPT-5, Claude en Gemini) significant tekort, variërend van 57% tot 65%.
• Rangcorrelatie: De gemiddelde Kendall's $\tau$ (ordinaal alignement van objectbelang) voor menselijke consensus was 0,58, terwijl modelscores varieerden van 0,37 tot 0,51.
• Universeel Falen: Elke geëvalueerde VLM faalde erin mens-mens consistentieniveaus te bereiken bij het voorspellen van het meest kritieke object of het rangschikken van het algehele objectbelang.

2. Divergentie in Perceptuele Biases

De studie identificeerde specifieke biases die deze kloof aandrijven:

• Overmatige Afhankelijkheid van Laag-niveau Attributen: Modellen vertonen een significant sterkere Grootte-bias (afhankelijkheid van objectoppervlak), Centrum-bias (afhankelijkheid van het afbeeldingscentrum) en Laag-niveau Saliëntie-bias (afhankelijkheid van contrast/kleur) in vergelijking met mensen.
• Onderbenutting van Top-down Priors: In tegenstelling tot mensen, die consistent Mensen (Persoon-bias) prioriteren in scenebegrip, slagen modellen er niet in deze prioritering te repliceren en vertrouwen ze minder op menselijke figuren om afbeeldingen te beschrijven.
• Primaire Drijver: Statistische analyse isoleert Grootte-bias als de dominante factor die de semantische divergentie verklaart. De correlatie tussen de divergentie in Grootte-bias ($\Delta r$) en de kloof in Top-1 Nauwkeurigheid ($\Delta Acc$) is 0,6130 ($p < 0,05$), significant hoger dan andere biases.

3. Beperkingen van White-box Methoden

Het artikel vergelijkt CSS met traditionele white-box interpretabiliteitsmethoden (Raw Attention, Grad-CAM, AGCAM) op een open-source VLM. De resultaten tonen een opmerkelijk lage correlatie (negatieve Kendall's $\tau$) tussen deze passieve attentiekaarten en de causale CSS-metriek. White-box kaarten waren vaak rommelig, spaarzaam of gericht op semantisch irrelevante gebieden, wat hun ontoereikendheid bevestigt voor het interpreteren van complexe VLM-architecturen.

Betekenis en Claims

Het artikel claimt de eerste systematische kwantificering te bieden van de semantische alignatiekloof tussen moderne VLM's en menselijke waarnemers in de context van natuurlijke scenewaarneming.

• Methodologische Bijdrage: Het introduceert CSS als een nieuw, black-box kader dat de beperkingen van white-box interpretabiliteit en passieve metrieken overwint, waardoor het isoleren van causale kenmerken in gesloten-bronmodellen mogelijk wordt.
• Empirische Bijdrage: Het vestigt een uitgebreide benchmarkdataset bestaande uit 16.289 menselijke antwoorden over 307 scenes en 1.306 contradictorische varianten, en biedt een robuuste baseline voor toekomstig AI-mens alignatieonderzoek.
• Theoretisch Inzicht: Het werk toont aan dat, ondanks het schalen van parameters en trainingsdata, moderne VLM's nog steeds terugvallen op overdreven, laag-niveau visuele kenmerken (specifiek Grootte-bias) in plaats van top-down semantische priors (zoals de aanwezigheid van mensen). Dit suggereert dat "supermenselijke" redeneercapaciteiten in VLM's de kloof in fundamentele perceptuele alignatie niet noodzakelijk overbruggen en soms mismatches kunnen verergeren door over-inferentie of hallucinatie.
• Veiligheidsimplicaties: De auteurs merken op dat het identificeren van deze biases cruciaal is voor AI-veiligheid, met name in hoog-risico omgevingen (bijvoorbeeld autonoom rijden) waar het negeren van kleine maar semantisch kritieke objecten ten gunste van grote achtergrondelementen catastrofale gevolgen kan hebben.

Het artikel concludeert dat hoewel VLM's een opkomende alignatie tonen in geïsoleerde taken, een alomvattende kloof blijft bestaan in holistisch scenebegrip, gedreven door een onnatuurlijke afhankelijkheid van ruimtelijke dominantie (Grootte-bias).