The Visual Iconicity Challenge: Evaluating Vision-Language Models on Sign Language Form-Meaning Mapping

Riepilogo Tecnico: La Sfida dell'Iconicità Visiva

Enunciato del Problema
I Modelli Visivo-Linguistici (VLM) sono sempre più capaci di elaborare dati multimodali, eppure la loro capacità di ancorare le forme visive al significato semantico rimane una prova critica del loro allineamento con segnali centrati sull'uomo. Le lingue dei segni offrono un banco di prova naturale unico per questo problema a causa della natura pervasiva dell'iconicità—la somiglianza non arbitraria tra la forma visiva di un segno (configurazione della mano, movimento, luogo) e il suo significato. Mentre ricerche precedenti hanno esplorato il simbolismo fonetico nei modelli basati solo su testo e la descrizione di immagini statiche nei VLM, manca una valutazione sistematica di quanto bene i VLM percepiscano la struttura visuo-spaziale dinamica delle lingue dei segni e la mappino sul significato concettuale. Nello specifico, non è chiaro se i modelli possano distinguere tra segni arbitrari e iconici, inferire il significato dalla sola forma visiva (trasparenza) o replicare la sensibilità umana all'iconicità graduata.

Metodologia
Gli autori introducono la Sfida dell'Iconicità Visiva, un benchmark basato su video derivato dalla Lingua dei Segni Olandese (NGT). Il dataset è composto da 96 video di segni isolati (64 iconici, 32 arbitrari), annotati manualmente con caratteristiche fonologiche di verità fondamentale, tipi di iconicità e punteggi di iconicità valutati da umani (scala 1–7).

Il framework di valutazione valuta 17 VLM all'avanguardia (inclusi 11 modelli open-source e 6 proprietari) attraverso tre compiti complementari:

1. Predizione della Forma Fonologica: Un compito di classificazione multiclasse in cui i modelli predicono cinque parametri fonologici discreti dal video: configurazione della mano, luogo, forma del percorso, ripetizione del percorso e lateralità.
2. Trasparenza: Un compito open-set e closed-set (10 scelte) che richiede ai modelli di inferire il gloss lessicale (significato) di un segno basandosi esclusivamente sulla sua forma visiva, minimizzando la dipendenza da prior testuali.
3. Valutazioni di Iconicità Graduata: Un compito di regressione in cui i modelli assegnano un punteggio da 1 a 7 che rappresenta il grado di somiglianza tra la forma del segno e il suo significato.

Lo studio valuta i modelli sia in setting zero-shot che few-shot (4-shot). Sono stati stabiliti baseline umani utilizzando un firmante sordo (madrelingua della Lingua dei Segni Turca, non madrelingua della NGT) e partecipanti udenti ignari delle lingue dei segni. Gli autori analizzano inoltre la correlazione tra l'accuratezza della predizione fonologica e le prestazioni di iconicità/trasparenza per testare l'ipotesi che la competenza sulla forma sia alla base della mappatura del significato.

Contributi Chiave

• Creazione del Benchmark: L'introduzione della Sfida dell'Iconicità Visiva, il primo benchmark diagnostico su larga scala per l'iconicità delle lingue dei segni nei VLM, caratterizzato da annotazioni fonologiche dense e baseline umane.
• Baseline Umane: Raccolta di dati sulle prestazioni da parte di umani ignari delle lingue dei segni e di un firmante sordo per i compiti di fonologia e trasparenza, fornendo limiti superiori e inferiori per la valutazione dei modelli.
• Valutazione Sistematica: La prima valutazione zero- e few-shot su larga scala di diversi VLM sulla mappatura forma-significato nelle lingue dei segni, rivelando bias specifici e modalità di fallimento.
• Rilascio delle Risorse: Disponibilità pubblica del codice di valutazione, delle annotazioni e delle baseline umane per garantire la riproducibilità.

Risultati

• Predizione Fonologica: I modelli generalmente riflettono i pattern di acquisizione umana, trovando il luogo e la lateralità più facili da prevedere rispetto alla configurazione della mano e alla forma del percorso. Sebbene i modelli grandi (ad es. Gemini 3.1 Pro, GPT-5.4) raggiungano un'accuratezza moderata (fino a 0.73 media), rimane un divario significativo rispetto alle baseline umane (0.79). Il prompting few-shot produce guadagni modesti, principalmente per i modelli più piccoli.
• Trasparenza: Le prestazioni sono basse in generale. Nell'identificazione open-set, il miglior modello (Gemini 3.1 Pro) raggiunge solo 29% di accuratezza, ben al di sotto della baseline del firmante sordo umano (59%). Anche nelle impostazioni a 10 scelte, le prestazioni rimangono limitate, suggerendo una difficoltà fondamentale nell'ancorare la forma visiva al significato lessicale senza forti prior testuali.
• Valutazioni di Iconicità: I modelli mostrano una correlazione da moderata a forte con le valutazioni umane di iconicità (Spearman's $\rho$ fino a 0.774 per Gemini 3.1 Pro). Tuttavia, i modelli esibiscono un bias sistematico: mentre gli umani preferiscono segni iconici basati sull'azione, la maggior parte dei modelli open-source mostra una preferenza inversa per i segni basati sull'oggetto. I modelli closed-source mostrano meno di questa inversione.
• Correlazioni: Esiste una forte correlazione positiva ($\rho = .769$) tra l'accuratezza della predizione della forma fonologica di un modello e la sua capacità di valutare l'iconicità, suggerendo che la sensibilità alle proprietà corporee strutturate è un prerequisito per la mappatura forma-significato.
• Impatto del Ragionamento: Abilitare la "modalità pensiero" (chain-of-thought) in Qwen3-VL-32B ha migliorato significativamente la sua calibrazione della scala ($\kappa_w$), avvicinando le prestazioni dei modelli open a quelle dei modelli closed.

Significato e Affermazioni
Il paper afferma che la Sfida dell'Iconicità Visiva convalida con successo i compiti diagnostici per sondare i VLM sulla struttura ancorata visivamente. I risultati indicano che, sebbene i VLM attuali possano distinguere i segni iconici da quelli arbitrari e allinearsi ai pattern umani di difficoltà fonologica, falliscono nell'inferire il significato lessicale dalla sola forma visiva ed esibiscono un bias statico basato sull'oggetto che inverte le preferenze umane per i segni basati sull'azione.

Gli autori concludono che il ragionamento esplicito (modalità pensiero) può ridurre il divario di calibrazione tra modelli open e closed. Sostengono che colmare il divario tra le prestazioni dei modelli e i segnali centrati sull'uomo richiede un pre-addestramento più ricco su dati di gesti/segni e una migliore codifica della posa dinamica, piuttosto che affidarsi esclusivamente a caratteristiche visive statiche. Lo studio posiziona questi compiti diagnostici come essenziali per comprendere i limiti dell'ancoraggio multimodale attuale in lingue visuo-spaziali complesse e temporalmente estese.