Would you still call this Dax? Novel Visual References in VLMs and Humans

L'essenziale

Immagina di insegnare a un robot una parola del tutto nuova per un oggetto del tutto nuovo. Gli mostri l'immagine di una strana creatura luminosa e dici: "Questo è un Dax". Poi, inizi a mostrare al robot immagini di quel Dax che appaiono leggermente diverse: uno è sfocato, uno è sottosopra, uno ha un colore diverso e uno ha un braccio in più.

La domanda che questo articolo pone è: a che punto il robot dice: "Quello non è più un Dax"? E, cosa più importante, il robot esprime lo stesso giudizio di un essere umano?

Ecco una semplice suddivisione di ciò che i ricercatori hanno scoperto:

1. Il test del "Dax" (L'impostazione)

I ricercatori hanno creato un enorme dataset chiamato NVRD (Novel Visual References Dataset). Immaginalo come una gigantesca galleria d'arte con 90 oggetti unici e inventati.

• Alcuni oggetti somigliano a cose reali (una sedia), ma ricevono nomi falsi (come "blomwich").
• Altri sono ibridi (un tostapane con la testa di un cinghiale).
• Altri sono totalmente alieni e non esistono nel mondo reale.

Per ogni oggetto, hanno creato 20 versioni che diventavano progressivamente "peggiori" o più distorte. Hanno testato cinque diversi modelli di IA (i "robot") e 2.400 esseri umani per vedere come reagivano quando l'oggetto cambiava.

2. Il problema della "Conoscenza Pregressa"

La prima grande scoperta è che l'IA fatica quando sa già cos'è qualcosa.

• L'analogia umana: Se mostri a un essere umano l'immagine di un cane vero e lo chiami "Dax", probabilmente dirà: "No, quello è un cane". Ha una memoria forte del fatto che i cani abbiano un nome specifico.
• Il risultato dell'IA: I modelli di IA si sono comportati in modo simile. Quando l'oggetto era qualcosa di familiare (come una sedia), l'IA si rifiutava di imparare il nuovo nome "Dax" e continuava a chiamarlo "sedia". Tuttavia, quando l'oggetto era totalmente nuovo e strano, l'IA accettava felicemente il nuovo nome.

3. Il pregiudizio "Forma vs Tessitura"

I ricercatori hanno poi iniziato a deformare gli oggetti. Hanno cambiato il colore, aggiunto rumore o completamente rimodellato l'oggetto.

• L'analogia umana: Gli esseri umani sono come scultori. Se prendi una statua di argilla di un Dax e le schiacci il volto o le rompi un braccio, diciamo: "Questo non è più lo stesso Dax!". Ci interessa profondamente la forma. Se lo dipingi solo di blu o lo fai sembrare un dipinto, diciamo ancora: "Sì, è ancora un Dax".
• Il risultato dell'IA: I modelli di IA erano d'accordo con gli umani su questo! Anche loro davano molta importanza alla forma. Se la forma cambiava, l'IA smetteva di chiamarlo Dax. Se cambiava solo il colore o la tessitura, l'IA non aveva problemi.

4. Il robot "Troppo Generoso"

Questa è la scoperta più critica. Sebbene l'IA e gli umani concordassero su cosa fosse importante (la forma), discordevano su quanto cambiamento fosse eccessivo.

• L'analogia umana: Gli esseri umani sono severi. Se allunghi il collo di un Dax finché non sembra una giraffa, diciamo: "No, questo non è un Dax".
• Il risultato dell'IA: I modelli di IA erano troppo generosi. Continuavano a chiamare l'oggetto "Dax" anche quando veniva allungato, deformato o gli venivano aggiunte parti extra. Erano disposti ad accettare una gamma di stranezze molto più ampia rispetto agli esseri umani.

L'analogia: Immagina che un essere umano e un robot stiano giocando a un gioco in cui bisogna indovinare se due immagini rappresentano lo stesso animale.

• Umano: "Quello è un gatto. E quello... è un gatto con una coda molto lunga. Ancora un gatto. Ma quello? Quello è un gatto con la testa di un cane. No, quello non è un gatto."
• Robot: "Quello è un gatto. Quello è un gatto con una coda lunga. Quello è un gatto con la testa di un cane. Quello è un gatto con un albero che cresce da esso. Sì, è ancora un gatto."

5. Perché questo è importante (secondo l'articolo)

L'articolo conclude che, sebbene l'IA stia migliorando nel imparare nuove cose al volo, non possiede gli stessi confini di "buon senso" che hanno gli esseri umani.

Se un essere umano e un'IA stanno cercando di comunicare riguardo a un nuovo oggetto nel mondo reale, l'umano potrebbe pensare: "È troppo danneggiato per essere la stessa cosa", mentre l'IA insiste: "No, è ancora la stessa cosa". Questa discrepanza potrebbe rendere difficile la collaborazione efficace tra loro in futuro.

In breve: L'IA può imparare nuove parole, ma è troppo disposta a dilatare la definizione di quelle parole, specialmente quando l'oggetto appare molto diverso dall'originale.

Sommario tecnico

Problema

I modelli vision-language (VLM), come gli apprendenti umani, sono frequentemente esposti a nuovi concetti visivi dopo il loro addestramento iniziale. Tuttavia, i meccanismi attraverso i quali questi modelli mappano nuovi riferimenti visivi al linguaggio — in particolare quando tali riferimenti contraddicono la conoscenza pregressa derivante dal pre-training — rimangono poco esplorati. Mentre la ricerca esistente ha esaminato le aumentazioni visive di concetti familiari, manca una serie di benchmark per concetti "veramente nuovi" (stimoli open-ended costruiti da zero). Gli autori si chiedono: Come categorizzano i modelli gli stimoli nuovi dopo l'esposizione? Quanto bene li mappano su nomi nonce (nomi inventati)? Generalizzano oltre le istanze identiche e come si confronta questo comportamento con quello degli apprendenti umani?

Metodologia

Per affrontare queste domande, gli autori introducono il Novel Visual References Dataset (NVRD) e conducono una valutazione comparativa tra i VLM e il giudizio umano.

1. Il Novel Visual References Dataset (NVRD)

• Composizione: Il dataset contiene 19.176 immagini che spaziano su 90 concetti visivi. Questi concetti sono categorizzati in tre tipi:
  • Entità note: Oggetti familiari (ad esempio, una lampada) a cui vengono assegnati nomi nonce per testare la mappatura quando questa contraddice la conoscenza pregressa.
  • Entità composte: Ibridi di oggetti esistenti (ad esempio, combinazioni forma-forma o forma-trama).
  • Entità completamente nuove: Oggetti che non esistono o non somigliano a oggetti del mondo reale.
• Perturbazioni: Ogni immagine base è soggetta a fino a 20 livelli di perturbazioni visive controllate attraverso 11 assi. Questi includono:
  • Modifiche di basso livello: Rumore gaussiano, scalatura, pixelazione, compressione JPEG e variazioni di colore.
  • Modifiche di alto livello: Cambiamenti di trama, cambiamenti dello sfondo, degradazione dello stile artistico, deformazione della forma, aggiunta di parti e rimozione di parti.
• Generazione: Le immagini sono state generate utilizzando Gemini-3 Pro Image e Gemini-2.5 Flash, seguite da una pipeline di controllo della qualità automatizzata a due stadi e validazione manuale.

2. Configurazione Sperimentale
Lo studio valuta tre modelli open-source (Qwen-2 VL 7B, Idefics-3 8B, Molmo-2 8B) e due modelli closed-source (GPT-4o Mini, Gemini-2.5 Flash) utilizzando tre paradigmi di prompting in contesti di in-context learning (ICL):

• Generazione del nome: Ai modelli viene mostrata un'immagine base con una parola nonce e un'immagine perturbata con una didascalia con spazio vuoto per vedere se generano la parola nonce.
• Probabilità dei token: Ai modelli viene chiesta la log-probabilità assegnata alla parola nonce rispetto a etichette "vanilla" (familiari) per misurare l'acquisizione genuina rispetto agli effetti di recenza.
• Valutazione Likert su doppia immagine: A modelli (e umani) viene mostrata un'immagine base etichettata con una parola nonce e un'immagine perturbata, e viene chiesto di valutare l'accordo (scala 1–7) su se entrambe le immagini condividano lo stesso termine.

3. Studio Umano
Per stabilire un baseline, gli autori hanno raccolto 2.400 giudizi da 30 parlanti nativi inglesi tramite Prolific. I partecipanti hanno eseguito lo stesso compito di valutazione Likert su doppia immagine su un sottoinsieme di NVRD, concentrandosi sulle perturbazioni di alto livello.

Risultati Chiave

• Acquisizione vs. Conoscenza Pregressa: I modelli possono acquisire nuovi riferimenti visivi in-context, ma questa capacità è significativamente ridotta quando i nuovi stimoli contraddicono la conoscenza concettuale pregressa (ad esempio, oggetti noti a cui vengono dati nuovi nomi). Questo rispecchia il bias di "mutua esclusività" osservato nell'apprendimento delle parole negli umani, dove gli apprendenti resistono all'applicazione di nuovi nomi a oggetti che hanno già nomi esistenti.
• Sensibilità alle Perturbazioni: I modelli mostrano un bias della forma, similmente agli umani. Sono più sensibili alle perturbazioni strutturali (deformazione della forma, aggiunta/rimozione di parti), mostrando un netto declino dell'accordo all'aumentare di queste distorsioni. Al contrario, le modifiche di basso livello (variazioni di colore, rumore, scalatura) hanno un impatto minimo sui giudizi dei modelli, con valutazioni che rimangono alte (forte accordo).
• Sovrageneralizzazione: Mentre modelli e umani mostrano una sensibilità correlata ai tipi di perturbazione (entrambi classificano i cambiamenti strutturali come più minacciosi per l'identità rispetto a trama o colore), i modelli sovrageneralizzano significativamente. I modelli tendono a estendere le etichette apprese a stimoli pesantemente perturbati che gli umani rifiutano. Ad esempio, gli umani valutano gli oggetti con deformazione della forma come "in disaccordo" (punteggi <3) a livelli moderati di perturbazione, mentre i modelli spesso rimangono nell'intervallo "neutro" o "accordo" (punteggi 4–6).
• Divergenza Avversaria: In uno studio di ablazione in cui ai modelli è stato chiesto di assegnare la stessa etichetta a oggetti completamente diversi, i modelli hanno frequentemente concordato (assegnando punteggi di 3 o superiori), mentre gli umani hanno costantemente disaccordo. Ciò suggerisce che i modelli possano avere un pattern più ampio di "accordo con tutto" in determinati contesti, distinto dalla loro sensibilità sfumata nel compito principale.

Contributi e Significato

Il documento contribuisce con l'NVRD come corpus e benchmark per studiare l'apprendimento dei concetti visivi sia negli esseri umani che nelle macchine. La sua importanza risiede in:

1. Colmare il divario: Estende lo studio dei bias visivi (forma vs. trama) dai oggetti familiari a concetti veramente nuovi e open-ended.
2. Confronto Umano-Modello: Fornisce un confronto diretto e quantitativo su come i VLM e gli umani generalizzano nuovi concetti, rivelando che, sebbene i modelli condividano gerarchie di sensibilità simili a quelle umane, mancano del rigore discriminativo necessario per rifiutare stimoli pesantemente distorti.
3. Implicazioni per l'Interazione: I risultati evidenziano un disallineamento critico per un'interazione affidabile uomo-agente. Se gli agenti sovrageneralizzano le nuove etichette mentre gli umani no, potrebbero avere difficoltà a mantenere riferenti condivisi in ambienti in evoluzione.

Gli autori concludono che l'NVRD funge da strumento per sondare questi gap cognitivi e incoraggiare lo sviluppo di sistemi vision-language capaci di apprendere e comunicare su nuovi concetti con il radicamento e la sensibilità osservati negli apprendenti umani.