Physics-based phenomenological characterization of cross-modal bias in multimodal models

Deze position paper introduceert een fysiek gebaseerd fenomenologisch raamwerk om systematische cross-modale bias in multimodale grote taalmodellen te analyseren en aan te pakken, waarbij dynamische attractorpatronen worden gebruikt om te tonen dat multimodale invoer modale dominantie kan versterken in plaats van te mitigeren.

De kern

De "Onzichtbare Voorkeur" van AI: Waarom een Foto meer telt dan een Stem

Stel je voor dat je een superintelligente robot hebt die zowel kan kijken als kan luisteren. Je geeft hem een video van een persoon die boos schreeuwt, maar met een glimlachend gezicht. Wat doet de robot? Kijkt hij naar het gezicht of luistert hij naar de stem?

Volgens dit nieuwe onderzoek van onderzoekers uit Zuid-Korea en Australië, is het antwoord vaak: hij negeert de stem en kijkt alleen naar het gezicht. En dat is niet omdat hij "dom" is, maar omdat de manier waarop hij zijn hersenen (de software) heeft opgebouwd, hem dwingt om één zintuig te laten winnen.

Hier is wat de paper in gewone taal uitlegt, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Luie" Robot

Moderne AI-modellen (zoals Qwen en Gemma) zijn ontworpen om alles tegelijk te doen: tekst lezen, beelden zien en geluid horen. Het idee is dat ze dan slimmer worden, net als mensen die kijken én luisteren.

Maar de onderzoekers ontdekten iets verrassends: soms maakt het toevoegen van een tweede zintuig (zoals geluid) de beslissingen niet beter, maar juist slechter.

• De Analogie: Stel je voor dat je een groep vrienden hebt die een raadsel moeten oplossen. Eén vriend is een expert in puzzels (de video), en de andere is een expert in geluid (de audio). Als ze samenwerken, zou je denken dat ze het perfect doen. Maar in plaats daarvan luistert de expert in puzzels niet naar de geluidsexpert. Hij blijft gewoon zijn eigen antwoord geven, alsof de andere vriend er niet eens is. Soms zelfs zo erg dat de geluidsexpert de oplossing verstoort!

2. De Oorzaak: Een Verkeerd Orkest

Waarom gebeurt dit? De onderzoekers kijken niet naar de "woorden" die de AI gebruikt (zoals traditionele onderzoekers doen), maar naar de beweging van de AI. Ze vergelijken het met een orkest.

• De Analogie: Een Transformer (de technologie achter deze AI) is als een groot orkest. De violen zijn de tekst, de trompetten de beelden.
  • In een goed orkest spelen ze samen (cross-attention).
  • In deze AI-modellen bleek dat de trompetten (beelden) zo hard spelen dat de violen (geluid) niet gehoord worden. De dirigent (de software) laat de trompetten de melodie bepalen, ongeacht wat de violen zeggen.
  • De onderzoekers noemen dit "cross-modal bias": de modellen hebben een ongezonde voorkeur voor één manier van waarnemen.

3. Het Experiment: De Emotie-Test

Om dit te bewijzen, gaven ze de AI's een test met acteurs die emoties lieten zien (blij, boos, verdrietig).

• Ze gaven de AI soms alleen een video (gezicht).
• Soms alleen audio (stem).
• Soms beide.

Het resultaat was grappig en zorgwekkend:
Wanneer ze de AI een boze stem gaven met een neutraal gezicht, keek de AI naar het neutrale gezicht en zei: "Hij is neutraal." De AI negeerde de boze stem volledig.
Bovendien ontdekten ze een hiërarchie van fouten. Als de AI niet zeker weet wat hij moet zeggen, kiest hij altijd voor een "veilige" optie (vaak "neutraal"), net zoals iemand die in paniek raakt en naar de grond staart in plaats van te kijken.

4. De Oplossing: De "Fysieke" Bril

De onderzoekers gebruiken een nieuwe manier om naar AI te kijken, genaamd "Fysiek-gebaseerde fenomenologie". Dat klinkt ingewikkeld, maar het is eigenlijk heel simpel:

• De Oude Manier (Cognitief): "Wat denkt de AI? Wat betekent dit woord?" (Alsof je vraagt aan een robot: "Wat voel je?")
• De Nieuwe Manier (Fysiek): "Hoe beweegt de AI?" (Alsof je kijkt naar de trillingen van een snaar of de stroming van water).

Ze hebben een wiskundig model gemaakt dat de AI ziet als een systeem van oscillatoren (ronddraaiende wieltjes of slingers).

• De Vergelijking: Stel je voor dat elke modality (beeld, geluid) een slinger is. Als de slingers goed gekoppeld zijn, zwaaien ze in harmonie. Als ze slecht gekoppeld zijn, gaat één slinger razendsnel en de andere stilstaan.
• De onderzoekers ontdekten dat als je de "koppeling" (de aandacht die de AI aan beide zintuigen schenkt) verhoogt, de slingers eindelijk samen gaan bewegen. Dan wordt de AI eerlijker en accurater.

Waarom is dit belangrijk?

Dit onderzoek is een waarschuwing. We denken dat AI eerlijker wordt als we meer data toevoegen (meer zintuigen). Maar dit onderzoek laat zien dat zonder de juiste instellingen, meer data alleen maar de voorkeur van de AI versterkt.

Als we AI gebruiken voor medische diagnoses (bijvoorbeeld: een röntgenfoto + een artsverslag), en de AI negeert de foto omdat hij te veel naar de tekst kijkt, kan dat gevaarlijk zijn.

De kernboodschap:
Om eerlijke en slimme AI te maken, moeten we niet alleen kijken naar wat de AI zegt, maar naar hoe hij zijn interne "orkest" dirigeert. We moeten zorgen dat de trompetten en de violen echt samen spelen, en niet dat één instrument de hele show overneemt.

Technische samenvatting

Probleemstelling

Hoewel Multimodale Grootte Taalmodellen (MLLMs) grote vooruitgang boeken in het begrijpen, redeneren en genereren van content, vertonen ze vaak subtiele maar systematische vertekeningen (bias) die niet worden gevangen door traditionele aggregate prestatie-metrics.

• Modale Dominantie: Bestaande onderzoeken tonen aan dat MLLMs vaak beslissingen baseren op één dominante modale (bijv. tekst of beeld), terwijl andere modaliteiten (zoals audio of visuele details) worden genegeerd of zelfs als ruis fungeren die de prestaties verergeren.
• Beperking van Bestaande Benaderingen: Traditionele cognitivistische of symbolische analyses (die zich richten op embeddings of representatieniveaus) en metafysische benaderingen kunnen de onderliggende dynamische oorzaken van deze bias niet adequaat karakteriseren.
• Fairness: Deze vertekeningen raken het concept van algoritmische eerlijkheid, vooral in niet-comparatieve contexten waar willekeur en ondoorzichtigheid ontstaan zonder expliciete groepsvergelijkingen.

Methodologie

De auteurs hanteren een tweeledige aanpak: een empirische diagnostische analyse en een theoretisch fysiek-simulatie model.

1. Empirische Diagnostische Analyse

• Modellen: Twee architectonisch verschillende MLLMs werden getest: Qwen2.5-Omni en Gemma 3n.
• Dataset: CREMA-D (een dataset met video's en audio van acteurs die emoties uiten).
• Experiment: Zero-shot emotie-classificatie onder drie inputcondities:
  1. Gecombineerd video (gezicht) + audio (stem).
  2. Alleen video (audio vervangen door stilte).
  3. Alleen audio (video vervangen door lege frames).
• Perturbatie-strategie: Systematische prompt-perturbatie waarbij subsets van emotielabels werden verwijderd om te observeren hoe het model zijn fouten herverdeelt. Dit onthult "fout-attraktoren" (error attractors).
• Visualisatie: Gebruik van gerichte grafieken en Sankey-diagrammen om de hiërarchie van fouten en de afhankelijkheid van de inputmodale te visualiseren.

2. Fysiek-Surrogaatmodel (Physics-based Surrogate)

• Concept: Ontwikkeling van een multi-oscillator dynamisch model dat de transformer-dynamica (zelf-attentie en cross-attentie) nabootst.
• Fysica: Het model beschouwt token-representaties als een systeem van gekoppelde fase-oscillatoren.
  • Twee groepen oscillatoren (X en Y) vertegenwoordigen twee verschillende modaliteiten.
  • Interacties worden gemodelleerd via zelf-attentie (intra-groep) en cross-attentie (inter-groep).
  • De connectiviteit volgt een Watts-Strogatz-netwerk (kleine-wereld topologie).
• Taak: Voorspelling van het chaotische Lorenz-systeem (butterfly effect). Oscillatoren in groep X worden aangedreven door de x-component en groep Y door de y-component van het Lorenz-systeem. De taak is het voorspellen van de z-component.
• Analyse: Gebruik van "Dynamical SHAP" (SHapley Additive exPlanations) om de bijdrage van elke modale aan de voorspelling te kwantificeren en de prestaties te evalueren via Normalized Mean Squared Error (NMSE).

Belangrijkste Resultaten

Empirische Bevindingen:

• Gestructureerde Foutpatronen: Fouten zijn niet willekeurig; ze volgen een hiërarchisch patroon. Bij Qwen2.5 en Gemma 3n is "Neutraal" (Neutral) de dominante fout-attraktor.
• Modale Reinforcement: Het toevoegen van een tweede modale (bijv. audio bij video) leidt niet tot een correctie van de bias, maar versterkt vaak de dominantie van de sterkste modale.
  • Bij Qwen2.5 lijken fouten in de "Video+Audio" conditie sterk op die van "Video-only", terwijl "Audio-only" een ander patroon vertoont.
  • Bij Gemma 3n is de bias voor "Audio-only" extreem sterk (veel "Neutraal"), maar deze wordt volledig onderdrukt zodra video-informatie aanwezig is, waardoor het model zich gedraagt alsof het alleen video ziet.
• Conclusie: Multimodaliteit mitigeert bias niet automatisch; het kan de dominantie van één modale "vergrendelen".

Fysieke Dynamische Bevindingen:

• Rol van Attentie: Er is een directe relatie tussen de sterkte van de zelf-attentie ($\beta_{self}$) en cross-attentie ($\beta_{cross}$) en de balans tussen modaliteiten.
  • Bij lage attentie-niveaus wordt de voorspelling gedomineerd door één modale (X), wat leidt tot hoge fouten (hoge NMSE).
  • Bij hoge attentie-niveaus (bijv. $\beta = 100$) worden de bijdragen van beide modaliteiten gelijk ($\phi(X) \approx \phi(Y)$), wat leidt tot de hoogste voorspellingsnauwkeurigheid en een correcte reproductie van de attractor-structuur.
• Dynamische SHAP: De analyse toont aan dat onbalans in de interactiedynamica (cross-attentie) leidt tot systematische bias, zelfs als de inputdata objectief even waardevol is.

Kernbijdragen

1. Nieuw Kader: Introductie van een fenomenologische, op fysica gebaseerde benadering om bias in MLLMs te analyseren. In plaats van te kijken naar symbolische representaties van externe realiteit, focust dit op de "fysieke entiteiten" (dynamische interacties) die het systeem tijdens inferentie ervaart.
2. Surrogaatmodel: Ontwikkeling van een multi-oscillator model dat transformer-dynamica (zelf- en cross-attentie) vertaalt naar een fysiek systeem, waardoor complexe bias-mechanismen kwantificeerbaar worden.
3. Diagnostische Tool: Het aantonen dat gestructureerde fout-attraktoren en perturbatie-analyses effectieve tools zijn om systematische bias te detecteren die door standaard nauwkeurigheidsmetrieken onzichtbaar blijven.
4. Empirisch Bewijs: Het leveren van bewijs dat multimodale input in huidige modellen vaak leidt tot versterking van modale dominantie in plaats van integratie.

Significantie en Implicaties

• Uitdaging voor Fairness: Het paper benadrukt dat "eerlijkheid" in AI niet alleen gaat over het vermijden van discriminatie tussen groepen, maar ook over het vermijden van interne willekeur en ondoorzichtigheid in hoe modellen beslissingen nemen.
• Architecturale Inzichten: De resultaten suggereren dat de huidige pretrainings- en fusieschema's van MLLMs structurele neigingen hebben die de interactie-dynamica naar één modale kunnen kantelen (door verschillen in schaal, token-aantallen of normalisatie).
• Toekomstige Richting: Om bias te verminderen, is het cruciaal om de niveaus van zelf- en cross-attentie te optimaliseren om een gebalanceerd gebruik van multimodale input te garanderen.
• Filosofische Shift: De auteurs pleiten voor een verschuiving van cognitivistische (symbolische) verklaringen naar een op dynamica gebaseerde, fenomenologische verklaring om de complexe, niet-lineaire aard van moderne AI-systemen beter te begrijpen.

Kortom, dit paper biedt een nieuwe lens om multimodale bias te bekijken: niet als een fout in de data of het label, maar als een emergente eigenschap van de onderliggende dynamische interacties binnen het transformer-model.