Technische Samenvatting: SSMNBench

Probleemstelling

Hoewel Multimodale Grote Taalmodellen (MLLM's) aanzienlijke vooruitgang hebben geboekt in enkelvoudige beeldperceptie, blijft hun vermogen om te redeneren over complexe, vanuit verschillende perspectieven bekeken mensgerichte scènes grotendeels onverifieerd. Bestaande multi-view benchmarks evalueren modellen doorgaans met een vaste "bag of frames" en rapporteren een enkele end-to-end nauwkeurigheidsmetriek. Deze methodologie combineert twee verschillende cognitieve vermogens:

1. Robuustheid tegen visuele afleiding: Het vermogen om een enkele informatieve view te identificeren wanneer redundante views aanwezig zijn.
2. Echte Cross-View Fusie: Het vermogen om gefragmenteerde, complementaire bewijslast uit meerdere views te integreren wanneer één enkele view niet volstaat.

Consequent falen huidige benchmarks in het diagnosticeren of modelprestaties voortkomen uit afleiding door redundante informatie of uit een onvermogen om gefragmenteerde geometrische aanwijzingen te synthetiseren. Bovendien belonen standaardevaluaties vaak modellen die vertrouwen op semantische priors of ongehinderde enkelvoudige frames, in plaats van werkelijke 3D ruimtelijke integratie uit te voeren.

Methodologie: SSMNBench

Om deze hiaten aan te pakken, introduceren de auteurs SSMNBench, een diagnostische benchmark bestaande uit 3.300 handmatig gecureerde vraag-antwoord (QA) paren over 11 diverse taken. De benchmark is geconstrueerd via een rigoureuze pipeline die bestaat uit datacollectie van dichte, door occlusie zware multi-view datasets (bijv. Core4D, M3GYM, Harmony4D), expert-annotatie en gestructureerde distractor-generatie.

Kern van de Evaluatie-taxonomie

De centrale innovatie van SSMNBench is de categorisering van taken in twee verschillende typen op basis van de epistemische relatie tussen visuele input en semantisch begrip:

1. Single-View Sufficiency (SVS): Taken waarbij ten minste één view (de "Golden View") alle noodzakelijke bewijslast bevat om de vraag te beantwoorden. Deze taken testen of een model in staat is een informatieve view te identificeren en te benutten zonder afgeleid te worden door aanvullende redundante gezichtspunten.
   • Taken: Fijnmazige actieherkenning, Mens-Mens/Object contact, Relatieve zelf-pose vergelijking, Anatomische gewrichtsarticulatie.
2. Multi-View Necessity (MVN): Taken waarbij geen enkele view voldoende bewijs bevat; het model moet complementaire aanwijzingen uit verschillende views fuseren om occlusies, diepte-ambiguïteiten of viewpoint-afhankelijke verschijningen op te lossen.
   • Taken: Distinctieve mensentelling (met/zonder attributen), Relatieve cross-persoon pose, Relatieve afstandschatting, Globale oriëntatie identificatie, Globale dieptevolgorde.

Experimenteel Protocol

De benchmark maakt gebruik van een systematische view-perturbatiestrategie om de robuustheid van modellen te testen:

• SVS Instellingen: Normaal (alleen Golden View), +1, +2, +3 (toevoegen van redundante views).
• MVN Instellingen: Normaal (minimale noodzakelijke subset), -1 (verwijderen van een kritieke view), +1, +2 (toevoegen van extra views).

Evaluatiemetriek: Distraction Decay ($\delta_{dis}$)

Naast standaard nauwkeurigheid stellen de auteurs Distraction Decay ($\delta_{dis}$) voor om de kwetsbaarheid van een model voor contextverzadiging te kwantificeren. Deze metriek meet de gemiddelde prestatiedaling wanneer aanvullende (redundante) views worden geïntroduceerd. Een hoge $\delta_{dis}$ geeft aan dat de cross-attention van het model wordt gekaapt door irrelevante visuele ruis, terwijl een lage waarde wijst op effectieve selectieve aandacht.

Belangrijkste Resultaten

De auteurs hebben 17 state-of-the-art MLLM's geëvalueerd (inclusief propriëtaire modellen zoals GPT-5.2, Gemini-2.5, en open-source modellen zoals Qwen en InternVL). De bevindingen onthullen significante beperkingen in huidige architecturen:

1. Prestatiekloof: Er bestaat een substantiële kloof tussen MLLM's en menselijke perceptie. Menselijke evaluatoren behalen >87% nauwkeurigheid, terwijl top propriëtaire modellen pieken op slechts ~47,5% (SVS) en ~42,4% (MVN).
2. Universele Afleiding-degradatie: In tegenstelling tot de aanname dat meer views het redeneren ondersteunen, degradeert het toevoegen van redundante views consequent de prestaties in SVS-taken. Modellen worstelen om de "Golden View" te isoleren van de distractoren.
3. Capaciteitsparadox: Modellen met een hogere capaciteit vertonen vaak een grotere kwetsbaarheid voor visuele afleiding (hogere $\delta_{dis}$) vergeleken met kleinere modellen. Dit suggereert dat parameter-rijke modellen agressief proberen patronen te extraheren uit alle visuele tokens, waardoor ze gevoeliger zijn voor irrelevante ruis.
4. Niet in staat tot Fusie: In MVN-taken falen modellen in het integreren van gefragmenteerde geometrische bewijslast. Interessant genoeg presteren sommige modellen in de "-1" instelling (het verwijderen van een view) even goed als of zelfs beter dan in de volledige context-setting. Dit duidt op een overmatige afhankelijkheid van monoculaire priors uit 2D pre-training; de introductie van conflicterende multi-view data triggert representatieconflicten die de modellen niet kunnen oplossen via geometrische triangulatie.
5. Resolutiegevoeligheid: Hoge inputresolutie (1080p) is cruciaal voor fijnmazige perceptie en de robuustheid tegen afleiding. Het comprimeren van frames om een vast totaal tokenbudget te behouden, verhoogt de distraction decay aanzienlijk.

Foutanalyse

Handmatige foutanalyse op 660 instanties categoriseert fouten in:

• Beeldniveau-fouten (33,1% Ruimtelijke Analyse Fout): Modellen falen in het afleiden van 3D-relaties, diepte of contactgrenzen binnen enkelvoudige frames.
• View-niveau-fouten (67,2% Conflict Fusie Fout): Modellen detecteren conflicterende aanwijzingen over verschillende views maar falen in de synthese, waarbij ze vaak verankeren op één "geprefereerde" view en anderen negeren, of hallucinaties vertonen wat betreft interacties door slechte grenslokalisatie.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen aan het veld van multimodale AI:

• Nieuwe Evaluatie-taxonomie: SSMNBench is de eerste diagnostische framework die expliciet de robuustheid van een model tegen visuele afleiding (SVS) loskoppelt van zijn vermogen tot cross-view fusie (MVN).
• Uitgebreide Benchmark: Het biedt een rigoureuze, door experts geannoteerde dataset van 3.300 QA-paren gericht op dichte, door occlusie zware, mensgerichte begrip, waarmee de kloof tussen laag-niveau geometrische datasets en hoog-niveau semantisch redeneren wordt gedicht.
• Systematische Diagnostische Bevindingen: Door gecontroleerde view-perturbaties en de $\delta_{dis}$ metriek te introduceren, onthult dit werk dat huidige MLLM's vertrouwen op "meervoudige enkelvoudige beeld semantische middeling" en view-voorkeuren in plaats van echte 3D cross-view synthese.

De auteurs concluderen dat SSMNBench dient als een rigoureus diagnostisch platform om fundamentele kwetsbaarheden in huidige architecturen bloot te leggen, met als doel de ontwikkeling van toekomstige multimodale systemen te stimuleren die in staat zijn tot echt cross-view begrip in complexe, real-world omgevingen.