💬 NLP

SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models

Questo articolo introduce SIGNPOST-Bench, un benchmark controfattuale controllato composto da 25.555 varianti di immagini per valutare come i modelli linguistici multimodali di grandi dimensioni risolvano i conflitti tra indizi visivi e testuali, rivelando che gli interventi testuali avversari degradano significativamente l'accuratezza della geolocalizzazione ed espongono distinti comportamenti di arbitraggio attraverso i 20 modelli valutati.

Autori originali: Sirun Li, Minghao Liu, Ling Dai, Yong Li, Haoxin Lyu, Junting Zhou, Fan Zhang

Pubblicato 2026-08-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Sirun Li, Minghao Liu, Ling Dai, Yong Li, Haoxin Lyu, Junting Zhou, Fan Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero: "Dove è stata scattata questa foto?". Hai due indizi per aiutarti. Il primo è la scena visiva: l'architettura, gli alberi, le auto e il modo in cui la luce colpisce gli edifici. Il secondo è il testo scritto sui cartelli, sulle vetrine o sui cartelloni pubblicitari nell'immagine. Di solito, questi indizi concordano. Un cartello con scritto "Parigi" si trova su un edificio che sembra trovarsi a Parigi. Ma cosa succede quando non concordano? Cosa succede se la foto mostra una capanna di legno nella neve tra le montagne, ma un luminoso cartello al neon nella finestra grida "Benvenuti nel deserto del Sahara"?

Questo è il mondo dei Modelli di Linguaggio di Grandi Dimensioni Multimodali (MLLM). Sono computer IA super intelligenti che possono "vedere" le immagini e "leggere" il testo contemporaneamente. Gli scienziati li stanno istruendo per combinare questi indizi per fare supposizioni sul mondo. Ma c'è una grande domanda: quando gli indizi visivi e quelli testuali lottano tra loro, a quale dei due l'IA si fida? Ignora il cartello confuso e guarda la neve? O crede ciecamente al cartello dimenticando la neve? Finora, non avevamo un buon modo per testare questo specifico tipo di confusione.

Entra in gioco SIGNPOST-Bench, un nuovo esperimento progettato da ricercatori per giocare a una partita a "ingannare l'IA". Hanno preso migliaia di foto del mondo reale e hanno creato un set speciale di versioni "controfattuali" per ciascuna di esse. Pensa a questo come a un laboratorio di fotoritocco dove prendono una foto originale e ne creano quattro nuove copie:

Il Vuoto: Hanno cancellato completamente il testo.
Il Simile: Hanno sostituito il cartello con un altro che ha ancora senso per quel luogo (ad esempio, cambiando "Benvenuti in Michigan" in "Benvenuti a Detroit").
Il Casuale: Hanno appeso un cartello che non ha nulla a che vedere con il posto (ad esempio, "Benvenuti sulla Luna").
L'Avversario: Questo è il trucco. Hanno sostituito il cartello con una bugia che indica un luogo specifico e diverso (ad esempio, cambiando "Benvenuti in Michigan" in "Benvenuti a New York").

I ricercatori hanno poi chiesto a 20 diversi modelli di IA di sette grandi aziende tecnologiche di indovinare la posizione per tutte e cinque le versioni di ogni foto. Volevano vedere se l'IA riusciva a scorgere la bugia o se sarebbe stata ingannata dal nuovo cartello.

I risultati sono stati piuttosto rivelatori. Quando l'IA guardava le foto originali, era piuttosto brava a indovinare la posizione. Ma quando hanno introdotto le bugie Avversarie, i modelli si sono confusi. In media, la precisione dell'IA è diventata 4,8 volte inferiore. Invece di sbagliare di circa 282 chilometri, l'IA ora sbagliava di 1.347 chilometri.

Ancora più interessante, l'IA non è solo diventata peggio; è stata depistata. Quando il cartello diceva "New York", l'IA non ha solo indovinato casualmente; ha effettivamente spostato la sua risposta più vicina a New York. Infatti, per ogni singolo modello testato, la presenza del testo in conflitto ha trascinato la risposta verso la bugia. Circa il 6,5% - 20,1% delle volte, la risposta dell'IA finiva a meno di 50 chilometri dalla posizione falsa indicata dal cartello.

Lo studio ha anche scoperto che essere "intelligenti" nel leggere i cartelli o nel vedere le immagini non garantiva l'essere bravi a individuare un conflitto. Alcuni modelli che erano eccellenti nell'indovinare le posizioni con foto pulite e oneste erano in realtà peggiori nell'ignorare le bugie rispetto ad alcuni modelli più piccoli. Si scopre che essere in grado di leggere un cartello non significa sapere quando ignorarlo se contraddice il resto dell'immagine.

Infine, i ricercatori hanno provato a "istruire" l'IA, chiedendole specificamente di prestare attenzione ai conflitti. Sebbene questo abbia aiutato l'IA a rendersi conto che qualcosa non andava bene nel 49% dei casi, non ha effettivamente aiutato l'IA a indovinare la posizione corretta in modo migliore. L'IA sapeva di essere confusa, ma non riusciva comunque a capire come risolvere l'enigma.

In breve, questo articolo dimostra che gli attuali modelli di IA sono ancora molto facilmente imbrogliabili quando testo e immagini non concordano. Tendono a fidarsi troppo del testo, anche quando si tratta di una bugia palese. I ricercatori hanno costruito questo nuovo test "SIGNPOST-Bench" per aiutare i futuri sviluppatori di IA a capire esattamente dove i loro modelli stanno fallendo, in modo che possano insegnare loro a essere migliori detective, capaci di sapere quando fidarsi dei propri occhi e quando mettere in discussione i cartelli.

Sintesi Tecnica: SIGNPOST-Bench

Problematica

I Modelli Linguistici Multimodali (MLLM) si affidano sempre più sia al contesto visivo che al testo presente nelle scene per formulare previsioni fondate in scenari del mondo reale. Mentre i benchmark esistenti valutano l'OCR, il riconoscimento visivo e le capacità multimodali generali, essi raramente isolano come i modelli arbitrino tra le prove visive e testuali quando queste entrano in conflitto. In contesti naturali, indizi architettonici o del terreno possono suggerire una località, mentre insegne o indirizzi ne suggeriscono un'altra. I metodi di valutazione attuali spesso riportano solo esiti discreti finali (ad esempio, corretto/errato) senza rivelare quale fonte di evidenza abbia guidato la decisione o misurando l'entità e la direzione degli spostamenti delle previsioni in uno spazio di output condiviso. Di conseguenza, una forte prestazione su input allineati non garantisce la capacità di un modello di scegliere in modo affidabile tra segnali visivi e testuali contrastanti.

Metodologia

Gli autori introducono SIGNPOST-Bench (Scene Image Geo-localization with Noisy Perturbation on Observed Sign Text), un benchmark controfattuale controllato progettato per valutare la risoluzione dei conflitti testo-visione attraverso la geolocalizzazione visiva.

Costruzione del Benchmark

L'unità centrale del benchmark è un quintupletto controfattuale derivato da una singe immagine sorgente. Ogni quintupletto consiste di cinque varianti generate tramite interventi sintetici e localizzati sul testo della scena, progettati per preservare il contenuto non testuale circostante:

Original (Originale): L'immagine sorgente non modificata con il testo nativo della scena.
Blank (Vuoto): Porzioni selezionate di testo della scena vengono rimosse, fungendo da baseline con ablazione del testo.
Similar (Simile): Il testo è sostituito con alternative compatibili con il contesto geografico o la lingua del ground-truth (ad esempio, "Welkom to Flanders" invece di "Welkom to Holland").
Random (Casuale): Il testo è sostituito con testo non correlato ma leggibile, senza un target geografico designato.
Adversarial (Avversario): Il testo è sostituito con un segnale geograficamente contrastante. Se il testo è geocodificabile, definisce un target iniettato ( $y_{trap}$ ) distinto dal ground-truth.

Il benchmark comprende 5.111 gruppi controfattuali e 25.555 varianti di immagini tratti da quattro dataset: IM2GPS3K, YFCC4K, Google Street View e Baidu Street View. Il testo della scena è categorizzato in una tassonomia basata sull'identificabilità geografica: T1 (Portatile), T2 (Culturale) e T3 (Geo-specifico).

Protocollo di Valutazione

Lo studio valuta 20 MLLM di sette provider (Google, OpenAI, Anthropic, Alibaba, Moonshot, ByteDance, xAI) attraverso tutte e cinque le condizioni. La valutazione impiega tre metriche diagnostiche primarie:

Weighted Localization Accuracy (WLA - Accuratezza di Localizzazione Pesata): Misura la qualità della previsione rispetto al ground-truth utilizzando un decadimento esponenziale basato sulla distanza geodetica.
Text Bias Score (TBS - Punteggio di Bias del Testo): Misura la variazione accoppiata nell'errore di localizzazione causata dal testo modificato rispetto alla baseline Blank ( $TBS = D_{edited} - D_{blank}$ ). Un TBS positivo indica che il testo ha degradato le prestazioni.
Trap-Fit Rate (TFR - Tasso di Adeguamento alla Trappola): Misura la frazione di previsioni Avversarie che cadono entro un raggio di 50 km dal target iniettato, indicando se il modello è stato "intrappolato" dal testo contrastante.

Inoltre, viene proposto un Multimodal Conflict Robustness Score (MCRS - Punteggio di Robustezza al Conflitto Multimodale), che decompone la prestazione in un Punteggio di Capacità (C) (prestazione su Original/Blank) e un Punteggio di Robustezza al Conflitto (R) (ritenzione delle prestazioni sotto testo Random/Adversarial, penalizzata dall'aumento dell'errore e dal seguire la trappola).

Risultati Chiave

Degradazione delle Prestazioni: Il testo della scena contrastante degrada sostanzialmente la localizzazione. In tutti i modelli, l'errore di localizzazione mediano è aumentato di 4,8 volte (da 282 km a 1.347 km) confrontando le immagini Original con le varianti Adversarial. La WLA media è scesa del 36,6%.
Spostamenti Diretti: Il conflitto non aumenta semplicemente l'errore casuale; induce spostamenti diretti. Per i campioni avversari geocodificabili, tra il 6,5% e il 20,1% delle previsioni tra i modelli è caduto entro 50 km dal target iniettato. Ogni modello valutato ha mostrato un valore medio positivo di Trap Distance Reduction (TDR), confermando che le previsioni si sono spostate verso il target geografico iniettato piuttosto che diventare semplicemente meno accurate.
Effetti Distinti dei Tipi di Testo:
- Le sostituzioni Similar (testo compatibile) hanno generalmente ridotto l'errore rispetto alla baseline Blank, mostrando che i modelli utilizzano l'allineamento semantico.
- Le sostituzioni Random e Adversarial hanno aumentato significativamente l'errore.
- Il testo T3 (Geo-specifico) ha fornito le prestazioni più elevate sugli input allineati, ma ha anche indotto la maggiore degradazione (calo proporzionale del 42,2%) in caso di conflitto, suggerendo un compromesso tra utilità e vulnerabilità.
Capacità vs. Robustezza: La prestazione di localizzazione su input puliti (Capability Score) non predice completamente la robustezza al testo contrastante. I modelli con alta WLA sulle immagini Original non hanno necessariamente mantenuto un'alta WLA nelle condizioni Adversarial. Ad esempio, Qwen3-VL-30B ha mostrato una robustezza maggiore rispetto a Seed-2.0-Pro nonostante una minore capacità originale.
Consapevolezza del Conflitto: Esperimenti di probing mirati con Gemini-2.5-Flash e GPT-4o-mini hanno rivelato che l'accuratezza della rilevazione del conflitto (CDA) non correla in modo affidabile con un miglioramento delle prestazioni di localizzazione. Anche quando i modelli identificavano il conflitto, spesso continuavano a seguire il testo iniettato.

Significato e Rivendicazioni

Il documento rivendica tre contributi primari:

Formulazione: Formula la risoluzione del conflitto testo-visione in uno spazio di coordinate continuo, consentendo la misurazione sia della degradazione della localizzazione che degli spostamenti diretti verso i target geografici iniettati, una capacità assente nei benchmark a task discreti.
Costruzione del Benchmark: Fornisce SIGNPOST-Bench, un framework su larga scala e controllato con 25.555 varianti di immagini che permette confronti all'interno della stessa scena tra testo nativo, rimozione del testo e sostituzioni compatibili, non correlate e contrastanti.
Risultati Empirici: Stabilisce che il testo della scena contrastante è un modo di fallimento sistematico per gli attuali MLLM. I risultati dimostrano che i modelli sono suscettibili di essere "intrappolati" dal testo contrastante, spostando le previsioni verso i target iniettati. Fondamentalmente, il documento sostiene che la prestazione di localizzazione su input puliti non è un proxy sufficiente per la robustezza al conflitto, evidenziando una lacuna nell'allineamento attuale dei modelli in cui i nomi di luoghi espliciti nel testo possono prevalere su prove visive meno dirette.

Gli autori posizionano SIGNPOST-Bench come un framework riproducibile per diagnosticare come gli MLLM arbitrino tra evidenze multimodali contrastanti, andando oltre l'accuratezza aggregata per analizzare specifici modi di fallimento nell'interpretazione del testo della scena.