💬 NLP

Evaluating Stochastic Collapse and Implicit Bias in Multimodal Large Language Models

Dit artikel introduceert RandomBench, een benchmark en een reeks metrieken om het vermogen van Multimodale Grote Taalmodellen om distributioneel neutraal gedrag te behouden in logisch neutrale scenario's te evalueren, wat een wijdverspreid fenomeen onthult genaamd "Stochastische Ineenstorting" waarbij modellen een sterke impliciete bias vertonen en er niet in slagen uniforme willekeur te genereren, zelfs wanneer ze daar expliciet toe worden geïnstrueerd.

Oorspronkelijke auteurs: Huiyuan Zheng, Houtao Zhang, Boyang Wang, Qingyi Si, Hongcheng Guo

Gepubliceerd 2026-06-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Huiyuan Zheng, Houtao Zhang, Boyang Wang, Qingyi Si, Hongcheng Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Oneerlijke Munt"-probleem

Stel je voor dat je een vriend vraagt om een munt op te gooien en te vertellen of het Kop of Munt is. Als ze echt willekeurig zijn, moeten ze 50% van de tijd Kop kiezen en 50% van de tijd Munt.

Stel je nu voor dat je een superintelligente AI (een Multimodale Large Language Model of MLLM) precies hetzelfde vraagt: "Gooi een munt op. Zeg Kop of Munt." Je verwacht dat de AI perfect eerlijk is.

De schokkende ontdekking van het papier: De "munt" van de AI is niet eerlijk. Hij is zwaar bevooroordeeld. Zelfs als de AI wordt verteld dat hij willekeurig moet zijn, heeft hij stiekem een favoriete kant. Hij kiest misschien 97% van de tijd voor "Kop" en slechts 3% van de tijd voor "Munt", ook al weet hij dat hij willekeurig zou moeten zijn.

De auteurs noemen dit "Stochastic Collapse" (Stochastische Ineenstorting). Het is alsof het brein van de AI in een sleur vastzit, niet in staat om echt los te laten en willekeurig te kiezen.

De Tool: "RandomBench" (De Testkeuken)

Om dit te bewijzen, hebben de onderzoekers een nieuwe test gebouwd genaamd RandomBench. Zie dit als een "logica-vrije zone" of een "neutraal speelveld".

Het Doel: Situaties creëren waarin er geen juist antwoord is.
De Opzet: Ze creëerden 200 verschillende scenario's. Sommige waren alleen tekst (bijv. "Kies een letter: A, B, C of D"), en sommige bevatten afbeeldingen (bijv. "Kies één van deze vier identiek uitziende vormen").
De Regel: Elke optie was exact gelijkwaardig. Er was geen reden om A boven B te verkiezen. Als de AI echt willekeurig was, zou hij elke optie 25% van de tijd kiezen.

Ze vroegen 7 verschillende top-tier AI-modellen om dit spel 50 keer te spelen voor elk scenario. Dat zijn in totaal 10.000 "muntworpen".

Wat Ze Vonden: De "Geheime Gewoontes" van de AI

De resultaten lieten zien dat de AI-modellen de test spectaculair faalden. In plaats van een eerlijke munt te zijn, gedroegen ze zich als een defecte gokkast die altijd op hetzelfde symbool landt.

Hier zijn de belangrijkste "slechte gewoontes" die ze vonden, uitgelegd met metaforen:

1. De "Visuele Hijack" (Het Luidruchtige Teken)

Wanneer de AI afbeeldingen werd getoond, brak de "willekeur" nog sneller af.

De Metafoor: Stel je voor dat je gevraagd wordt om willekeurig een deur te kiezen. Maar op één deur zit een klein, bijna onzichtbaar vlekje, terwijl de andere schoon zijn. Zelfs als je wordt verteld het vlekje te negeren, wordt je brein erdoor aangetrokken.
De Bevinding: De AI kon visuele details niet negeren. Als een optie iets helderder was, in een specifieke hoek zat, of een kleine vervaging had, koos de AI die optie bijna altijd. De visuele aanwijzing "hijackte" de instructie om willekeurig te zijn.

2. De "Positionele Bias" (De Middelste Stoel)

De Metafoor: Stel je een rij van vier lege stoelen voor. Je krijgt de opdracht om willekeurig op een stoel te gaan zitten. Mensen kiezen misschien de middelste omdat die "veilig" of "centraal" voelt.
De Bevinding: De AI had een sterke voorkeur voor specifieke plekken. De AI hield van het centrum, de bovenkant of de rechterkant. Zelfs als de opties slechts vier lege vierkantjes waren, koos de AI het rechtsboven vierkantje 90% van de tijd.

3. De "Taalschakelaar" (Het Accent-effect)

De Metafoor: Stel je voor dat je iemand vraagt om willekeurig een getal te kiezen in het Engels, en die persoon kiest "7". Daarna vraag je dezelfde persoon om een willekeurig getal in het Frans te kiezen, en diegene schakelt plotseling over naar het kiezen van "3".
De Bevinding: De "favoriete" keuze van de AI veranderde afhankelijk van de taal die werd gebruikt. Dezelfde visuele afbeelding zou leiden tot een totaal andere "willekeurige" keuze als de instructies in het Chinees versus het Engels waren. Dit bewijst dat de bias diep verbonden is met de taal waarop de AI is getraind.

4. De "Sterker is Slechter" Paradox

De Metafoor: Je zou kunnen denken dat een slimmere, gehoorzame robot beter zou zijn in het volgen van de "wees willekeurig"-regel.
De Bevinding: Verrassend genoeg waren de slimmere en meer "aligned" modellen (die heel goed instructies opvolgen) juist slechter in het zijn van willekeurig. Ze waren zo goed in het vinden van een patroon om hun keuze te rechtvaardigen, dat ze zich vastklommen aan één optie en daarop bleven plakken, waarbij ze vaak een logisch klinkende reden verzonnen voor hun keuze, ook al was er aanvankelijk geen enkele logica voor.

Waarom Gebeurt Dit? (De "Systeem 1" Glitch)

Het paper gebruikt een concept uit de psychologie genaamd Dual Process Theory:

Systeem 2: Langzaam, logisch denken (zoals het oplossen van een wiskundig probleem).
Systeem 1: Snel, intuïtief denken (zoals een reflex of een onderbuikgevoel).

De meeste AI-benchmarks testen Systeem 2 (Kun je dit puzzeltje oplossen?). Maar dit paper testte Systeem 1 (Wat is je instinct wanneer er geen puzzel is?).

De onderzoekers ontdekten dat wanneer de AI in een "logica-vacuüm" wordt geplaatst (waar geen optie beter is dan de andere), Systeem 1 het overneemt. In plaats van een munt op te gooien, valt de AI terug op zijn trainingsdata. De AI kiest de optie die het vaakst voorkwam in zijn trainingsboeken of de optie die "vertrouwd" voelt in zijn interne code. Het maakt geen keuze; het volgt gewoon een verborgen pad van de minste weerstand.

De Kern van het Verhaal

Het paper concludeert dat huidige AI-modellen niet echt willekeurig zijn. Zelfs als we hen vertellen dat ze dat wel moeten zijn, hebben ze diepe, onzichtbare vooroordelen gebaseerd op:

Waar een object op het scherm staat.
Hoe een object eruitziet (zelfs minuscule details).
De taal die wordt gebruikt om de vraag te stellen.
De specifieke symbolen die worden gebruikt (zoals Griekse letters of vormen).

Dit is een probleem omdat als een AI verantwoordelijk is voor eerlijke beslissingen (zoals het aanbevelen van een product of het kiezen van een route) en de AI heeft stiekem een "favoriet", dan lijkt het alsozijn dat de AI een keuze maakt, terwijl hij in werkelijkheid gewoon een verborgen script volgt. De "munt" die de AI opgooit, is fundamenteel kapot.

Technische Samenvatting: Evaluatie van Stochastische Collaps en Impliciete Bias in Multimodale Large Language Models

1. Probleemstelling

Huidige evaluaties van Multimodale Large Language Models (MLLM's) richten zich voornamelijk op nut-gedreven doelstellingen, zoals logisch redeneren en taakvoltooiing, waardoor het gedrag van modellen in logica-neutrale scenario's grotendeels onverkend blijft. In de menselijke cognitie, wanneer men geconfronteerd wordt met perfect equivalente opties zonder logische superioriteit, breken individuen beslissingspatstellingen intuïtief door "een munt op te gooien". Echter, voorlopige probing suggereert dat MLLM's er niet in slagen dit gedrag te repliceren; hun "munten" zijn fundamenteel ongebalanceerd en vertonen zeer niet-uniforme waarschijnlijkheidsverdelingen, zelfs wanneer ze expliciet de instructie krijgen om willekeurig te kiezen.

Dit falen is kritiek naarmate MLLM's evolueren tot autonome agenten. In meerstapsplanning of commerciële aanbevelingssystemen kan een gebrek aan echte stochastiek leiden tot repetitieve trajecten, geërodeerde gebruikerservaringen en een oneerlijke dekking van levensvatbare alternatieven. Terwijl bestaand bias-onderzoek zich richt op expliciete sociale stereotypen of cross-modale uitlijningsfouten, blijft de systematische kwantificering van endogene, trigger-vrije gedragsbiases in puur willekeurige keuzesettings een onontgonnen terrein.

2. Methodologie: RandomBench

Om dit gat te dichten, introduceren de auteurs RandomBench, een benchmark die ontworpen is om het gedrag van modellen te kwantificeren onder absolute semantische equivalentie. Het framework is gebouwd op het Principe van Logica-Neutraliteit, waarbij alle kandidaat-opties semantisch equivalent en logisch ongerelateerd zijn aan het taakdoel, wat het model dwingt in een stochastisch beslissingsregime zonder de hulp van bewust redeneren (Systeem 2).

Dataconstructie

RandomBench bestaat uit 200 instanties verdeeld over twee modaliteiten:

RB-Text (100 instanties): Evalueert linguïstische priors over vier dimensies:
- Abstracte Symbolen en Getallen: Token- en numerieke priors (bijv. muntworpen, dobbelsteenworpen).
- Linguïstische en Functionele Keuze: Rationele patstellingen met behulp van synonieme instructies.
- Ruimte en Perceptie: Geïnternaliseerde wereldmodellen met betrekking tot ruimtelijke richtingen en coördinaten.
- Affectieve en Sociale Identiteit: Common sense en lifestyle-priors in ambigue contexten.
RB-Vision (100 instanties): Onderzoekt hoe visuele kenmerken stochastisch gedrag hervormen via cross-modale interactie:
- Perceptuele Saliëntie: Gevoeligheid voor geometrische patronen, kleuren en materialen.
- Ruimtelijke Lay-out: Positionele biases in gestandaardiseerde matrices (bijv. 2x2 rasters).
- Affectieve en Sociale Identiteit: Visuele cues die sociale conformiteit induceren.
- Cross-Modal Hijacking: Stroop-achtige conflicten waarbij visuele kenmerken tekstuele instructies tegenspreken.

De curatie-pipeline omvat handmatige constructie, strikte logica-neutrale filtering om gevoelige inhoud te verwijderen, hybride visuele stimulusconstructie (code-gebaseerde rendering en AI-ondersteunde generatie met pixel-niveau standaardisatie), en meerder ronde expert-review door cognitieve wetenschappers.

Evaluatiemetrieken

Om afwijkingen van de ideale uniforme verdeling ( $P_{gt}(o_i) = 1/K$ ) te kwantificeren, stellen de auteurs drie metrieken voor gebaseerd op informatietropie-theorie:

Randomness Index (RI): Genormaliseerde Shannon-entropie die de distributionele onzekerheid meet. Een hoge RI duidt op uniformiteit; een lage RI duidt op collaps.
Bias Intensity Index (BII): Kullback-Leibler (KL) divergentie tussen de empirische verdeling en de ideale uniforme verdeling, wat de omvang van de "hijack-kracht" door latente priors meet.
Bias Consistency Index (BCI): De residu van de maximale empirische waarschijnlijkheid ten opzichte van de random baseline, wat "selectie-persistentie" of koppigheid naar specifieke opties vastlegt.

Experimentele Opzet

De studie evalueert zeven frontier MLLM's (GPT 5.1, Gemini 3.1 Flash-Lite, Claude Sonnet 4.6, Kimi K2.5, Qwen 3.6 Plus, Grok 4 Fast, Doubao Seed 1.6) in zowel Engels als Chinees. Elke instantie ondergaat 50 herhaalde sampling-trials bij een decoding temperatuur van $T=1.0$ . Cruciaal is dat expliciete Chain-of-Thought (CoT) redenering wordt onderdrukt om "Systeem 1" heuristieken te isoleren.

3. Belangrijkste Resultaten

Stochastische Collaps

De experimenten onthullen een alomtegenwoordig fenomeen genaamd Stochastische Collaps. Onder expliciete random instructies falen MLLM's om uniforme willekeur te handhaven. In plaats daarvan concentreren ze de waarschijnlijkheidsmassa op een kleine subset van keuzes.

Ernst: In sommige gevallen (bijv. Claude Sonnet 4.6) bereiken top-1 waarschijnlijkheden 97% vanuit een ideale baseline van 25%, waarbij de RI daalt naar 0.068.
Paradox van Bekwaamheid: Modellen met sterkere redeneercapaciteiten en betere instructie-alignering vertonen vaak een zwaardere stochastische collaps. Dit sugggeert dat naarmate modellen optimaliseren voor interne consistentie, ze impliciete heuristieken rigide internaliseren, wat leidt tot "gemotiveerd redeneren" waarbij ze vloeiende, post-hoc rationalisaties genereren voor bevooroordeelde keuzes.

Visuele Hijacking

In het multimodale domein (RB-Vision) is de stochastische degradatie aanzienlijk diepgaander dan in tekstgebaseerde settings. Visuele ankers (saliëntie, ruimtelijke positie, geometrische complexiteit) overruilen consequent tekstuele instructies om willekeurig te kiezen. Deze "Visuele Hijacking" bewijst dat de visuele encoding-laag effectief de beoogde stochastische regime kan domineren.

Cross-Linguale en Symbool-Robuustheid

Taalafhankelijkheid: Impliciete biases zijn niet puur visueel-afhankelijk, maar worden gemoduleerd door linguïstische context. Het wisselen van taal (bijv. Engels naar Chinees) induceert vaak substantiële reconstructies van de beslissingsmanifold en voorkeursinversies.
Symboolgevoeligheid: Het vervangen van standaardlabels (A, B, C, D) door geometrische vormen, Griekse letters of willekeurige hashes slaagt er niet in de uniformiteit te herstellen. In plaats daarvan klappen modellen in op nieuwe token-priors (bijv. specifieke geometrische vormen of Griekse letters zoals $\gamma$ ), wat aangeeft dat niet-standaard symbolen fungeren als primitieve heuristische ankers.

4. Belangrijkste Bijdragen

Nut-Neutrale Willekeurige Keuze: Het artikel vestigt een nieuwe diagnostische setting voor het evalueren van endogene gedragsbias in MLLM's onder semantische equivalentie, waarmee het verder gaat dan traditionele logische redeneerbenchmarks.
RandomBench: Een multimodale benchmark met repeated-sampling protocollen en entropie-gebaseerde metrieken (RI, BI, BII) die specifelijk zijn ontworpen om niet-uniform willekeurige keuzegedrag te kwantificeren.
Stochastische Collaps: De identificatie van een systematische foutmodus waarbij MLLM's stabiele, bevooroordeelde en gerationaliseerde voorkeuren vertonen, zelfs wanneer geen enkele optie logisch superieur is. Dit omvat de ontdekking van Visuele Hijacking en de Capability-Consistency Paradox.

5. Betekenis en Claims

Het artikel claimt dat Stochastische Collaps niet louter een symptoom is van zwakke modellen of oppervlakkige formattering, maar een structurele kwetsbaarheid die in het parameter-manifold is ingebed door pre-getrainde token-frequentie priors en over-alignering.

Cognitieve Neutraliteit: De bevindingen dagen de aanname uit dat MLLM's ware cognitieve neutraliteit kunnen bereiken. Zelfs wanneer redeneren niet nodig is, blijven beslissingen systematisch bevooroordeeld, overmoedig en distributioneel gecollapseerd.
Risico-implicaties: De auteurs benadrukken dat het meest kritieke risico van dit fenomeen de illusie van rationele besluitvorming is. In hoog-risico, ambigue real-world scenario's (bijv. autonoom rijden, medische diagnose), kunnen MLLM's zeer zelfverzekerde maar fundamenteel bevooroordeelde keuzes genereren, vermomd door post-hoc rationalisaties, wat onmerkbare systemische biases versterkt tot catastrofale fouten.
Toekomstige Richtingen: Dit werk legt de basis voor toekomstige mitigatiestrategieën, waarbij wordt gesuggereerd dat het aanpakken van deze biases meer vereist dan oppervlakkige prompt-modificaties; het vereist interventies op het niveau van pre-getrainde token-frequentie priors en embedding manifold regressie.

De auteurs concluderen dat het bereiken van ware cognitieve neutraliteit in ambigue besluitvorming vereist dat de data-gedreven heuristische voorkeuren, die permanent in de fysieke topologie van het netwerk zijn gegraveerd, permanent worden aangepakt.