Edu-MMBias: A Three-Tier Multimodal Benchmark for Auditing Social Bias in Vision-Language Models under Educational Contexts

Probleemstelling

Met de toenemende integratie van Vision-Language Models (VLMs) in het onderwijs (bijvoorbeeld voor automatische scoring, gepersonaliseerd leren en intelligente tutor-systemen), is er een kritieke noodzaak om de eerlijkheid van deze systemen te waarborgen. Bestaande evaluaties van bias in AI richten zich voornamelijk op tekstuele input, waardoor de visuele modality grotendeels onbewaakt blijft. Dit creëert een "ongereguleerd kanaal" voor latente sociale vooroordelen. Visuele attributen (zoals etniciteit, kleding die op sociaaleconomische status wijst, of gezondheidssignalen) kunnen sterkere en minder gecontroleerde vormen van bias introduceren dan tekst alleen. Er ontbreekt momenteel een systematisch raamwerk om deze multimodale bias in educatieve contexten te diagnosticeren.

Methodologie: Edu-MMBias Framework

Het paper introduceert Edu-MMBias, een systematisch auditraamwerk dat is gebaseerd op het drie-componentenmodel van attitudes uit de sociale psychologie (cognitie, affectie en gedrag). Het framework test VLMs op drie hiërarchische niveaus:

1. Cognitieve Dimensie (Implicit Association):

   • Gebaseerd op de Implicit Association Test (IAT).
   • In plaats van reactietijden (die modellen niet hebben), wordt de zelfgerapporteerde zekerheid (confidence) van het model gebruikt als proxy.
   • Het model ziet een studentenprofiel en moet een keuze maken tussen samengestelde labels (bijv. "Vrouw/Onderwijs" vs. "Man/Onderwijs"). Een hogere zekerheid bij stereotiepe koppelingen duidt op cognitieve bias.

2. Affectieve Dimensie (Affect Misattribution):

   • Gebaseerd op de Affect Misattribution Procedure (AMP).
   • Het model ziet eerst een studentenprofiel (de "prime") en vervolgens een neutraal, abstract beeld (de "stimulus").
   • Het model wordt gevraagd om alleen de neutrale afbeelding te evalueren. Als de emotie van de eerste afbeelding (bijv. armoede of ziekte) de beoordeling van de neutrale afbeelding beïnvloedt, duidt dit op een onderbewuste affectieve bias.

3. Gedragsdimensie (Resume Audit):

   • Gebaseerd op auditstudies.
   • Het model krijgt twee kandidaten met identieke kwalificaties, maar verschillend in één sociale attribuut (bijv. ras of SES), en moet een keuze maken in een educatief scenario (bijv. wie krijgt een beurs?).
   • Dit meet de daadwerkelijke discriminatie in besluitvorming.

Data Constructie en Validatie:

• Generatiepijplijn: Er wordt een gespecialiseerde generatiepijplijn gebruikt om "vervuilingsbestendige" studentenprofielen te synthetiseren met DALL-E 3.
• AI Zelfcorrectie: GPT-5.2 voert een audit uit op gegenereerde afbeeldingen om inconsistenties en artefacten te detecteren en suggereert iteratieve verbeteringen.
• Human-in-the-loop: Menselijke experts verifiëren de data om sociale authenticiteit te garanderen (resultaat: 1.350 gevalideerde afbeeldingen).
• Neutrale Stimuli: Een "AI Jury" (bestaande uit meerdere VLMs) valideert neutrale afbeeldingen via een strikt consensusprotocol om ervoor te zorgen dat deze geen inherente emotionele lading hebben.
• Dataset: Het totaal omvat 9.700 testsamples over vijf categorieën: Geslacht, Ras, Sociaaleconomische Status (SES), Hobbies en Gezondheid.

Belangrijkste Resultaten

De audit onthult complexe en soms tegenintuïtieve patronen:

• Visuele Input als "Backdoor": De overgang van tekst-only naar visuele input (VLM) veroorzaakt een significante heropleving van latente bias. Bias-maatstaven (Cognitive Bias Severity en Behavioral Bias Severity) stijgen drastisch bij visuele input, wat aangeeft dat visuele cues de tekstuele veiligheidsmechanismen (alignment safeguards) omzeilen.
• Compenserende Class Bias: Modellen vertonen geen "pro-rijk" bias, maar juist een sterke positieve associatie met studenten van lage of midden-inkomensgroepen. Dit lijkt een "compenserend" effect te zijn, maar vormt een cognitieve vervorming die objectieve neutraliteit ondermijnt.
• Gezondheids- en Raciaal Stereotypering: Ondanks de compensatie voor SES, houden modellen diepe, ingeburgerde stereotypen vast over gezondheid (bijv. "excellent health" wordt geassocieerd met academisch potentieel) en ras.
• Decoupling van Affect en Gedrag: Er is een opmerkelijke disconnectie tussen de affectieve en gedragslagen. Modellen tonen een "positiviteitsschild" (ze lijken emotioneel neutraal of positief), maar dit vertaalt zich niet naar eerlijke beslissingen. De affectieve bias is gekoppeld aan de cognitieve bias, maar de veiligheidsfilters maskeren de expliciete negativiteit zonder de onderliggende cognitieve vervormingen op te lossen.
• Schalingswetten: Bias neemt niet lineair toe met modelgrootte. Sommige modellen (zoals de Qwen3-VL serie) vertonen een niet-monotone "omgekeerde U-vorm" curve, waarbij bias toeneemt bij 8B parameters en afneemt bij 32B, wat suggereert dat grotere parameterruimtes nodig zijn voor robuustere veiligheidsalignments.

Belangrijkste Bijdragen

1. Identificatie van een Blinde Vlek: Het paper benadrukt dat bestaande educatieve bias-benchmarks de visuele modality negeren, terwijl visuele attributen een ongeregelde route vormen voor bias.
2. Edu-MMBias Framework: Een systematisch auditraamwerk dat sociale psychologie integreert met een generatieve pijplijn om bias te traceren van perceptie (cognitie) via emotie (affect) tot besluitvorming (gedrag).
3. Empirische Bevindingen: Het onthullen van systematische misalignments, waarbij visuele input stereotypen activeert die in tekst-only modus onderdrukt zijn, en het aantonen dat huidige "safety tuning" bias vaak maskeert in plaats van oplost.

Significantie en Implicaties

De bevindingen van Edu-MMBias hebben ernstige implicaties voor de inzet van AI in het onderwijs:

• Risico voor Hoge Stakes Beslissingen: Het gebruik van VLMs voor autonome beslissingen (zoals toelatingen of grading) is momenteel te riskant vanwege de onvoorspelbaarheid en de aanwezigheid van verborgen visuele bias.
• Noodzaak voor Specifieke Alignments: Algemene tekstuele alignments zijn ontoereikend. Er zijn gespecialiseerde strategieën nodig om visuele bias te adresseren en de kloof tussen neutrale representatie en eerlijke besluitvorming te dichten.
• Aanbeveling: De auteurs pleiten voor een "Human-in-the-loop" benadering, waarbij AI slechts als ondersteunend hulpmiddel fungeert onder strikt menselijk toezicht om systematische marginalisatie van kwetsbare groepen te voorkomen.

Het paper concludeert dat zonder deze specifieke audits, educatieve AI-systemen risico lopen om bestaande ongelijkheden te versterken of nieuwe, subtielere vormen van discriminatie te introduceren via visuele kanalen.