Would you still call this Dax? Novel Visual References in VLMs and Humans

De kern

Stel je voor dat je een robot een nieuw woord leert voor een nieuw object. Je laat de robot een afbeelding zien van een vreemd, gloeiend wezen en zegt: "Dit is een Dax." Vervolgens laat je de robot afbeeldingen zien van de Dax die er iets anders uitzien: de een is wazig, de ander staat ondersteboven, de ene heeft een andere kleur en de andere heeft een extra arm.

De vraag die dit artikel stelt is: Op welk punt zegt de robot: "Dat is geen Dax meer"? En nog belangrijker: maakt de robot dezelfde beoordeling als een mens zou doen?

Hier is een eenvoudige uitsplitsing van wat de onderzoekers hebben gevonden:

1. De "Dax"-test (De opzet)

De onderzoekers creëerden een enorme dataset genaamd NVRD (Novel Visual References Dataset). Zie dit als een enorme kunstgalerie met 90 unieke, verzonnen objecten.

• Sommige objecten lijken op echte dingen (een stoel), maar krijgen een nepnaam (zoals "blomwich").
• Sommige zijn hybriden (een broodrooster met de kop van een zwijn).
• Sommige zijn totaal vreemd en bestaan niet in de echte wereld.

Voor elk object maakten ze 20 versies die progressief "slechter" of meer vervormd werden. Ze testten vijf verschillende AI-modellen (de "robots") en 2.400 mensen om te zien hoe zij reageerden wanneer het object veranderde.

2. Het probleem van "Oude Kennis"

De eerste grote bevinding is dat AI moeite heeft wanneer het al weet wat iets is.

• De menselijke analogie: Als je een mens een foto van een echte hond laat zien en het een "Dax" noemt, zullen ze waarschijnlijk zeggen: "Nee, dat is een hond." Ze hebben een sterk geheugen dat honden een specifieke naam hebben.
• Het AI-resultaat: De AI-modellen gedroegen zich vergelijkbaar. Wanneer het object iets vertrouwds was (zoals een stoel), weigerde de AI de nieuwe naam "Dax" te leren en bleef het "stoel" noemen. Echter, wanneer het object totaal nieuw en vreemd was, accepteerde de AI de nieuwe naam zonder problemen.

3. De "Vorm vs. Textuur" Bias

De onderzoekers begonnen vervolgens de objecten te vervormen. Ze veranderden de kleur, voegden ruis toe of veranderden de vorm van het object volledig.

• De menselijke analogie: Mensen zijn als beeldhouwers. Als je een kleistatuut van een Dax neemt en het gezicht vervormt of een arm afbreekt, zeggen wij: "Dat is niet meer dezelfde Dax!" We geven veel om de vorm. Als je hem alleen blauw verft of eruit laat zien als een schilderij, zeggen we nog steeds: "Ja, dat is nog steeds een Dax."
• Het AI-resultaat: De AI-modellen waren het eens met de mensen over waarop het aankwam (vorm). Ze gaven ook het meeste om de vorm. Als de vorm veranderde, stopte de AI met het object een Dax te noemen. Als alleen de kleur of textuur veranderde, vond de AI het prima.

4. De "Te Gulzige" Robot

Dit is de meest cruciale bevinding. Hoewel de AI en de mensen het eens waren over wat belangrijk was (vorm), waren ze het oneens over hoeveel verandering te veel was.

• De menselijke analogie: Mensen zijn streng. Als je de nek van een Dax uitrekt tot hij op een giraffe lijkt, zeggen wij: "Nee, dat is niet dezelfde Dax."
• Het AI-resultaat: De AI-modellen waren te gul. Ze bleven het object een "Dax" noemen, zelfs wanneer het uitgerekt, vervormd of voorzien van extra onderdelen was. Ze waren bereid om een veel grotere variatie aan vreemdheid te accepteren dan mensen.

De analogie: Stel je voor dat een mens en een robot een spel spelen waarbij je moet raden of twee afbeeldingen hetzelfde dier zijn.

• Mens: "Dat is een kat. En dat... is een kat met een heel lange staart. Nog steeds een kat. Maar dat? Dat is een kat met een kop van een hond. Nee, dat is geen kat."
• Robot: "Dat is een kat. Dat is een kat met een lange staart. Dat is een kat met een kop van een hond. Dat is een kat met een boom die eruit groeit. Ja, dat is nog steeds een kat."

5. Waarom dit ertoe doet (volgens het artikel)

Het artikel concludeert dat hoewel AI beter wordt in het aanleren van nieuwe dingen, het niet over dezelfde "gezond verstand"-grenzen beschikt als mensen.

Als een mens en een AI in de echte wereld over een nieuw object proberen te communiceren, denkt de mens misschien: "Dat is te beschadigd om hetzelfde ding te zijn," terwijl de AI volhard in: "Nee, het is nog steeds hetzelfde ding." Deze mismatch kan het in de toekomst moeilijk maken voor hen om effectief samen te werken.

Kortom: De AI kan nieuwe woorden leren, maar is te bereid om de definitie van die woorden op te rekken, vooral wanneer het object er erg anders uitziet dan het origineel.

Technische samenvatting

Probleemstelling

Vision-language modellen (VLM's), net als menselijke leerlingen, worden na hun initiële training vaak blootgesteld aan nieuwe visuele concepten. De mechanismen waarmee deze modellen nieuwe visuele referenties aan taal koppelen — vooral wanneer die referenties in strijd zijn met de voorkennis uit de pre-training — blijven echter onderbelicht. Terwijl bestaand onderzoek de visuele augmentaties van bekende concepten heeft onderzocht, ontbreekt het aan benchmarks voor "echt nieuwe" concepten (open-ended stimuli die vanaf nul zijn geconstrueerd). De auteurs vragen zich af: Hoe categoriseren modellen nieuwe stimuli na blootstelling? Hoe goed koppelen ze deze aan nonce-namen (verzonnen namen)? Generaliseren ze verder dan identieke instanties, en hoe verhoudt dit gedrag zich tot menselijke leerlingen?

Methodologie

Om deze vragen te beantwoorden, introduceren de auteurs de Novel Visual References Dataset (NVRD) en voeren zij een vergelijkende evaluatie uit van VLM's tegenover menselijke oordelen.

1. De Novel Visual References Dataset (NVRD)

• Samenstelling: De dataset bevat 19.176 afbeeldingen verspreid over 90 visuele concepten. Deze concepten zijn onderverdeeld in drie typen:
  • Bekende entiteiten: Vertrouwde objecten (bijv. een lamp) die een nonce-naam hebben gekregen om de koppeling te testen wanneer dit in strijd is met de voorkennis.
  • Samengestelde entiteiten: Hybriden van bestaande objecten (bijv. vorm-vorm of vorm-textuur combinaties).
  • Volledig nieuwe entiteiten: Objecten die niet bestaan of niet lijken op reële voorwerpen.
• Perturbaties (Verstoringen): Elke basisafbeelding wordt onderworpen aan maximaal 20 niveaus van gecontroleerde visuele perturbaties over 11 assen. Deze omvatten:
  • Lage-niveau bewerkingen: Gaussische ruis, schaling, pixelatie, JPEG-compressie en kleurverschuivingen.
  • Hoge-niveau bewerkingen: Textuurverschuivingen, achtergrondwijzigingen, degradatie van artistieke stijl, vormdeformatie, toevoeging van onderdelen en verwijdering van onderdelen.
• Generatie: De afbeeldingen werden gegenereerd met Gemini-3 Pro Image en Gemini-2.5 Flash, gevolgd door een tweefasige geautomatiseerde kwaliteitscontrole en handmatige validatie.

2. Experimentele Opzet
De studie evalueert drie open-source modellen (Qwen-2 VL 7B, Idefics-3 8B, Molmo-2 8B) en twee closed-source modellen (GPT-4o Mini, Gemini-2.5 Flash) met behulp van drie prompting-paradigma's onder in-context learning (ICL) instellingen:

• Naamgeneratie: Modellen krijgen een basisafbeelding met een nonce-woord getoond en een geperturbeerde afbeelding met een tekst met een invulveld, om te zien of ze het nonce-woord genereren.
• Token-waarschijnlijkheden: Modellen worden bevraagd over de log-waarschijnlijkheid die wordt toegewezen aan het nonce-woord versus "vanilla" (vertrouwde) labels, om werkelijke acquisitie versus recentheidseffecten te meten.
• Dual-Image Likert-schaal beoordeling: Modellen (en mensen) krijgen een basisafbeelding met een nonce-label en een geperturbeerde afbeelding te zien, en moeten vervolgens de mate van overeenstemming (1–7 schaal) beoordelen of beide afbeeldingen dezelfde naam delen.

3. Menselijke Studie
Om een baseline vast te stellen, verzamelden de auteurs 2.400 oordelen van 30 Engelstalige proefpersonen via Prolific. De deelnemers voerden dezelfde dual-image Likert-schaal taak uit op een subset van NVRD, waarbij de focus lag op hoge-niveau perturbaties.

Belangrijkste Resultaten

• Acquisitie versus Voorkennis: Modellen kunnen nieuwe visuele referenties in-context verwerven, maar dit vermogen is aanzienlijk verminderd wanneer de nieuwe stimuli in strijd zijn met de voorkennis van concepten (bijv. bekende objecten met nieuwe namen). Dit weerspient de "mutual exclusivity" bias die wordt waargenomen bij menselijk woordleren, waarbij leerlingen weerstand bieden tegen het toepassen van nieuwe labels op objecten die al een bestaande naam hebben.
• Gevoeligheid voor Perturbaties: Modellen vertonen een vormbias (shape bias), vergelijkbaar met mensen. Ze zijn het meest gevoelig voor structurele perturbaties (vormdeformatie, toevoeging/verwijdering van onderdelen), wat resulteert in een steile daling van de overeenstemming naarmate deze verstoringen toenemen. Daarentegen hebben lage-niveau bewerkingen (kleurverschuivingen, ruis, schaling) minimale impact op de oordelen van de modellen, waarbij de scores hoog blijven (sterke overeenstemming).
• Overgeneralisatie: Hoewel modellen en mensen een gecorreleerde gevoeligheid voor type perturbaties vertonen (beiden rangschikken structurele veranderingen als meer identiteitsbedreigend dan textuur of kleur), overgeneraliseren modellen significant. Modellen hebben de neiging om geleerde labels uit te breiden naar zwaar geperturbeerde stimuli die mensen zouden verwerpen. Bijvoorbeeld: mensen beoordelen vorm-gedeformeerde objecten als "oneens" (scores <3) bij matige perturbatieniveaus, terwijl modellen vaak in de "neutrale" tot "eens" range blijven (scores 4–6).
• Adversariële Divergentie: In een ablatie-studie waarbij modellen werden gevraagd om hetzelfde label toe te kennen aan volkomen verschillende objecten, stemden modellen vaak in (scores van 3 of hoger), terwijl mensen consequent oneens waren. Dit suggere \text{t dat modellen een breder patroon van "instemmen met alles" kunnen hebben in bepaalde contexten, wat verschilt van hun genuanceerde gevoeligheid in de hoofdtaak.}

Bijdragen en Betekenis

Het paper draagt bij met de NVRD als een corpus en benchmark voor het bestuderen van visueel conceptleren bij zowel mensen als machines. De betekenis ligt in:

1. Het overbruggen van de kloof: Het breidt de studie van visuele biases (vorm versus textuur) uit van bekende objecten naar werkelijk nieuwe, open-ended concepten.
2. Mens-Model Vergelijking: Het biedt een directe, kwantitatieve vergelijking van hoe VLM's en mensen nieuwe concepten generaliseren, waarbij wordt aangetoond dat hoewel modellen een menselijke gevoeligheids-hiërarchie delen, ze de discriminerende strengheid missen om zwaar verstoorde stimuli te verwerpen.
3. Implicaties voor Interactie: De bevindingen benadrukken een kritieke mismatch voor betrouwbare mens-agent interactie. Als agenten nieuwe labels over-generaliseren terwijl mensen dat niet doen, kunnen ze moeite hebben met het behouden van gedeelde referenten in evoluerende omgevingen.

De auteurs concluderen dat NVRD dient als een instrument om deze cognitieve hiaten te onderzoeken en de ontwikkeling van vision-language systemen te stimuleren die kunnen leren en communiceren over nieuwe concepten met de gronding en gevoeligheid die bij menselijke leerlingen wordt waargenomen.