Technische Samenvatting: Decision-State Probing in Multimodale Taalmodellen

Probleemstelling

Multimodale Taalmodellen (MLLM's) worden voornamelijk geëvalueerd via extern observeerbaar gedrag, zoals het selecteren van de juiste beeld-tekst match of het accuraat beantwoorden van visuele vragen. Ho'ewel benchmarks zoals MMBench en MM-Vet deze outputs effectief meten, stelt het artikel dat correct extern gedrag geen interne stabiliteit garandeert. Een model kan consistent de juiste bijschrift selecteren (strikte-correct gedrag), terwijl de interne beslissingstoestand aanzienlijke instabiliteit of "stressgevoeligheid" vertoont wanneer het wordt blootgesteld aan gestructureerde semantische perturbaties. Dit creëert een evaluatieblind vlek waarbij alleen op gedrag gebaseerde metrieken succes rapporteren, terwijl een verborgen intern signaal van beslissingstoestand-stressgevoeligheid wordt gemaskeerd.

Methodologie: S3E Framework

De auteurs introduceren S3E (Structured Semantic Stress Evaluation), een framework ontworpen om de ontkoppeling tussen extern gedrag en interne beslissingstoestanden te analyseren.

1. Evaluatieprotocol

• Positief-verankerde A/B Gedwongen Keuze: De evaluatie presenteert een afbeelding, een positief bijschrift ($c^+$) dat door de afbeelding wordt ondersteund, en een kandidaat-bijschrift ($c$). Het model moet kiezen welk bijschrift beter bij de afbeelding past.
• Orde-balancering: Om positiebias te elimineren, worden trials geëvalueerd in zowel de originele ($[c^+, c]$) als de verwisselde ($[c, c^+]$) optievolgorde.
• Strikte-correct Filtering: De analyse conditioneert op "strikte-correct" trials, waarbij het model het positieve bijschrift $c^+$ selecteert in beide optievolgordes tegenover de kandidaat. Dit zorgt ervoor dat de interne analyse zich richt op gevallen waar het externe gedrag stabiel en correct is.

2. Kandidaat-condities

Het framework maakt gebruik van een "base–preserve–stress" substraat afgeleid van publieke benchmarks (Winoground, SugarCrepe, ARO):

• Positief ($c^+$): Het gouden standaard-bijschrift, ondersteund door de afbeelding.
• Preserve ($c_{pres}$): Een betekenis-behoudende herschrijving van $c^+$ (test de interne stabiliteit van correcte herformuleringen).
• Lexicaal ($c_{lex}$): Een onderscheidend betekenis-behoudend oppervlakte-controle (test gewone woordniveau-variatie).
• Stress ($c_{stress}$): Een betekenis-veranderende kandidaat die semantisch conflict introduceert (object, attribuut, relatie of compositionele veranderingen).
• Random ($c_{rand}$): Een generiek mismatch-bijschrift van een ander bronitem.

3. Decision-State Probing

• Extractiepunt: Verborgen toestanden worden geëxtraheerd op het pre-answer decision state, direct voordat het model de gedwongen-keuze token genereert.
• Metriek: De auteurs gebruiken een positief-verankerde cosinusafstand. Voor een kandidaat-conditie $k$ is de score $S^{(m,\ell)}_{i,o,k}$ gedefinieerd als $1 - \cos(h^{(m,\ell)}_{i,o,k}, h^{(m,\ell)}_{i,o,+})$, waarbij $h^{(m,\ell)}_{i,o,+}$ de verborgen toestand is voor het positieve bijschrift.
• Control-Genormaliseerd Contrast: De primaire metriek is de excess displacement (overschot aan verplaatsing) van de stress-conditie relatief aan de controles:
  • $\Delta_{lex} = S_{stress} - S_{lex}$ (Semantische stress vs. lexicale variatie).
  • $\Delta_{pres} = S_{stress} - S_{pres}$ (Semantische stress vs. betekenis-behoudende herformulering).
  • $\Delta_{rand} = S_{stress} - S_{rand}$ (Semantische stress vs. generieke mismatch).

4. Diagnostisch Profiel

Resultaten worden gerapporteerd over vier dimensies (CA, SO, SI, BE):

• CA (Compression–Anisotropy): Effectieve rang en variantieconcentratie.
• SO (Structural Organization): Layerwise drift en peak-layer lokalisatie.
• SI (Selectivity–Identifiability): Specificiteit van het stress-signaal tegenover controles.
• BE (Behavioral Exposure): Accuraatheid en strikte-correct rates.

Belangrijkste Resultaten

De studie werd uitgevoerd op vijf open-source modellen: Qwen3VL (2B, 4B, 8B), Gemma3-4B, en InternVL3-2B.

1. Bestaan van Verborgen Stressgevoeligheid: Over alle geteste modellen heen produceerde semantische stress consistent een positieve selected-layer excess displacement ($\Delta_{lex}$) ten opzichte van de lexicale controles, zelfs wanneer het model de correcte gedwongen keuze maakte.

   • Voor Qwen3VL-8B was de gepaarde gestandaardiseerde effectgrootte ($d_p$) 2.85 met een $\Delta_{lex}$ van 0.1293.
   • Voor Gemma3-4B was $\Delta_{lex}$ 0.0093 met een $d_p$ van 5.45.
   • Betrouwbaarheidsintervallen voor $\Delta_{lex}$ sloten nul uit voor alle runs met hoge ondersteuning.

2. Schaal Elimineert de Kloof Niet: Het vergroten van de model schaal (Qwen3VL 2B $\to$ 8B) heeft de gedrag-interne ontkoppeling niet doen instorten. Sterker nog, het semantische-specifieke contrast groeide met de schaal (0.0190 $\to$ 0.1293), wat suggereert dat grotere modellen mogelijk sterkere of meer identificeerbare stress-specifieke beslissingstoestand-structuren vertonen, zelfs wanneer ze extern correct zijn.

3. Specificiteit van het Signaal:

   • Het effect is semantisch-specifiek: $\Delta_{lex}$ was consistent positief, wat aangeeft dat de verplaatsing niet louter te wijten is aan lexicale of oppervlakte-variatie.
   • Het effect is niet een generieke mismatch: $\Delta_{rand}$ (stress vs. random negatief) was model-afhankelijk en vaak negatief of nabij nul, wat bevestigt dat random negatieven dienen als een sterker raw-mismatch referentiepunt in plaats van het primaire semantische baseline.

4. Layer Lokalisatie: De stress-respons was gelokaliseerd tot specifieke "peak" layers (geïdentificeerd via een E3 stress-specificiteitsprofiel), maar was ook zichtbaar via een vooraf gespecificeerde top-half layer check, wat suggereert dat de respons niet beperkt is tot één geïsoleerde laag.

Betekenis en Claims

Het artikel doet bescheiden, afgebakende claims over de bevindingen:

• Diagnostische Lens, Geen Falenscertificaat: De auteurs stellen expliciet dat S3E een afgebakend diagnostisch doel is, en geen certificaat van downstream falen, hallucinatie of veiligheid. De aanwezigheid van excess displacement onder strikte-correct gedrag duidt op "beslissingstoestand-stressgevoeligheid", maar betekent niet noodzakelijkerwijs dat het model zal falen in vrije generatie of downstream taken.
• Onvoldoende van Gedwongen Keuze Correctheid: De primaire conclusie is dat gedwongen keuze correctheid alleen niet voldoende is als certificaat van een invariante interne beslissingsgeometrie. Een model kan gedragsmatig robuust zijn terwijl het intern gevoelig is voor semantische stress.
• Interpretatie van het Signaal: De waargenomen verplaatsing wordt geïnterpreteerd als een signaal van hoe de pre-answer beslissingsgeometrie van het model verandert wanneer een kandidaat semantisch conflict introduceert. Dit signaal blijft standhouden tegenover controles voor lexicale variatie, antwoordmarge en oppervlakte-overlap.
• Beperkingen: De auteurs erkennen dat het substraat Engels-centrisch is en afgeleid is van publieke benchmarks, wat de generaliseerbaarheid kan beperken. Ze merken ook op dat de analyse afhankelijk is van white-box toegang (verborgen toestanden), wat de toepasbaarheid op closed-source modellen beperkt. De metriek $\Delta_{lex}$ is een geometrische respons in de pre-answer state en moet niet worden verward met kalibratie of toekomstig gedragsfalen zonder verder bewijs.

Samenvattend biedt S3E een methode om "verborgen stress" in MLLM's te detecten, waarbij wordt aangetoond dat interne beslissingstoestanden instabiel kunnen zijn, zelfs wanneer externe outputs correct lijken, wat de weg vrijmaakt voor toekomstig werk aan layer-neutrale schattingen en robuustheidstests.