Technische Samenvatting: SIGNPOST-Bench

Probleemstelling

Multimodale Large Language Models (MLLM's) vertrouwen steeds vaker op zowel visuele context als scène-tekst om gegronde voorspellingen te doen in realistische scenario's. Hoewel bestaande benchmarks OCR, visuele herkenning en algemene multimodale capaciteiten evalueren, isoleren zij zelden hoe modellen arbitreren tussen visueel en tekstueel bewijs wanneer deze bronnen met elkaar in conflict zijn. In natuurlijke scènes kunnen architecturale of terreinindicatoren een locatie suggereren, terwijl borden of adressen een andere locatie suggereren. Huidige evaluatiemethoden rapporteren vaak alleen de uiteindelijke discrete uitkomsten (bijv. correct/incorrect) zonder te onthullen welke bewijsbron de beslissing heeft gedreven of de omvang en richting van voorspellingsverschuivingen in een gedeelde outputruimte te meten. Bijgevolg garandeert sterke prestatie op uitgelijnde inputs niet dat een model in staat is om betrouwbaar te kiezen tussen concurrerende visuele en tekstuele aanwijzingen.

Methodologie

De auteurs introduceren SIGNPOST-Bench (Scene Image Geo-localization with Noisy Perturbation on Observed Sign Text), een gecontroleerde counterfactuele benchmark ontworpen om de resolutie van tekst–visuele conflicten te evalueren via visuele geolocatie.

Constructie van de Benchmark

De kernunit van de benchmark is een counterfactuele quintuplet afgeleid van een enkele bronafbeelding. Elk quintuplet bestaat uit vijf varianten gegenereerd via synthetische, gelokaliseerde scène-tekstinterventies die ontworig zijn om de omliggende niet-tekstuele inhoud te behouden:

1. Original: De ongewijzigde bronafbeelding met de originele scène-tekst.
2. Blank: Geselecteerde scène-tekstsegmenten zijn verwijderd, wat dient als een tekst-geablateerde baseline.
3. Similar: Tekst is vervangen door alternatieven die compatibel zijn met de grondwaarheid van de geografische context of taal (bijv. "Welkom in Vlaanderen" in plaats van "Welkom in Nederland").
4. Random: Tekst is vervangen door ongerelateerde, leesbare tekst zonder een aangewezen geografisch doel.
5. Adversarial: Tekst is vervangen door een geografisch conflicterende aanwijzing. Als de tekst geocodeerbaar is, definieert dit een geïnjecteerd doel ($y_{trap}$) dat verschilt van de grondwaarheid.

De benchmark bestaat uit 5.111 counterfactuele groepen en 25.555 beeldvarianten afkomstig van vier datasets: IM2GPS3K, YFCC4K, Google Street View en Baidu Street View. Scène-tekst wordt gecategoriseerd in een taxonomie op basis van geografische identificeerbaarheid: T1 (Draagbaar), T2 (Cultureel) en T3 (Geografisch Specifiek).

Evaluatieprotocol

De studie evalueert 20 MLLM's van zeven providers (Google, OpenAI, Anthropic, Alibaba, Moonshot, ByteDance, xAI) over alle vijf de condities. De evaluatie maakt gebruik van drie primaire diagnostische metrieken:

• Weighted Localization Accuracy (WLA): Meet de kwaliteit van de voorspelling ten opzichte van de grondwaarheid met behulp van exponentiële verval op basis van de geodetische afstand.
• Text Bias Score (TBS): Meet de gepaarde verandering in lokalisatiefout veroorzaakt door de bewerkte tekst ten opzichte van de Blank-baseline ($TBS = D_{edited} - D_{blank}$). Een positieve TBS geeft aan dat de tekst de prestaties heeft verslechterd.
• Trap-Fit Rate (TFR): Meet het fractie van de Adversarial voorspellingen die binnen een straal van 50 km van het geïnjecteerde doel vallen, wat aangeeft of het model "gevangen" is door de conflicterende tekst.

Daarnaast wordt een Multimodal Conflict Robustness Score (MCRS) voorgesteld, die de prestaties ontleedt in een Capability Score (C) (prestaties op Original/Blank) en een Conflict Robustness Score (R) (behoud van prestaties onder Random/Adversarial tekst, bestraft door fouttoename en het volgen van de 'trap').

Belangrijkste Resultaten

• Prestatieverslechtering: Conflicterende scène-tekst verslechtert de lokalisatie aanzienlijk. Over alle modellen heen nam de mediane lokalisatiefout met een factor 4,8 toe (van 282 km naar 1.347 km) bij het vergelijken van Original afbeeldingen met Adversarial varianten. De gemiddelde WLA daalde met 36,6%.
• Gerichte Verschuivingen: Het conflict zorgt niet enkel voor een toename van willekeurige fouten; het induceert gerichte verschuivingen. Voor geocodeerbare adversariële samples viel 6,5% tot 20,1% van de voorspellingen over alle modellen heen binnen 50 km van het geïnjecteerde doel. Elk geëvalueerde model vertoonde een positieve gemiddelde gepaarde Trap Distance Reduction (TDR), wat bevestigt dat voorspellingen verschoven naar het geïnjecteerde geografische doel in plaats van simpelweg minder accuraat te worden.
• Distinctieve Effecten van Teksttypen:
  • Similar vervangingen (compatibele tekst) verminderden over het algemeen de fout vergeleken met de Blank baseline, wat aantoont dat modellen semantische uitlijning benutten.
  • Random en Adversarial vervangingen verhoogden de fout aanzienlijk.
  • T3 (Geografisch Specifieke) tekst leverde de hoogste prestaties op uitgelijnde inputs, maar veroorzaakte ook de grootste degradatie (42,2% proportionele daling) onder conflict, wat wijst op een afruil tussen nut en kwetsbaarheid.
• Capability vs. Robustness: Prestaties bij lokalisatie met schone input (Capability Score) voorspelt niet volledig de robuustheid tegen conflicterende tekst. Modellen met een hoge WLA op Original afbeeldingen waren niet noodzakelijkerwijs in staat om een hoge WLA te behouden onder Adversarial condities. Zo toonde Qwen3-VL-30B bijvoorbeeld een hogere robuustheid dan Seed-2.0-Pro, ondanks een lagere oorspronkelijke capability.
• Conflictbewustzijn: Gerichte probing-experimenten met Gemini-2.5-Flash en GPT-4o-mini toonden aan dat de nauwkeurigheid van expliciete conflictdetectie (CDA) niet betrouwbaar correleert met verbeterde lokalisatieprestaties. Zelfs wanneer modellen het conflict identificeerden, volgden ze vaak nog steeds de geïnjecteerde tekst.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. Formulering: Het formuleert tekst–visuele conflictresolutie in een continue coördinatenruimte, wat de meting van zowel lokalisatiedegradatie als gerichte verschuivingen naar geïnjecteerde geografische doelen mogelijk maakt, een capaciteit die ontbreekt in discrete-task benchmarks.
2. Benchmark Constructie: Het biedt SIGNPOST-Bench, een grootschalig, gecontroleerd framework met 25.555 beeldvarianten die binnen-scène vergelijkingen mogelijk maakt tussen natuurlijke tekst, tekstverwijdering en compatibele, ongerelateerde en conflicterende vervangingen.
3. Empirische Bevindingen: Het stelt vast dat conflicterende scène-tekst een systematische foutmodus is voor huidige MLLM's. De resultaten laten zien dat modellen vatbaar zijn om door conflicterende tekst "gevangen" te worden, waarbij voorspellingen verschuiven naar geïnjecteerde doelen. Cruciaal is dat het artikel stelt dat lokalisatieprestaties met schone input geen voldoende proxy is voor conflict-robuustheid, wat wijst op een gat in de huidige model-alignment waarbij expliciete plaatsnamen in tekst minder directe visuele bewijzen kunnen overstemmen.

De auteurs positioneren SIGNPOST-Bench als een reproduceerbaar framework voor het diagnosticeren van hoe MLLM's arbitreren tussen conflicterend multimodaal bewijs, waarbij zij verder gaan dan geaggregeerde accuratesse om specifieke foutmodi in scène-tekst interpretatie te analyseren.