Spatial correspondences of Audiovisual Stimuli on Double Flash Illusion Perception and its Cognitive Modeling

Deze studie toont aan dat de kwetsbaarheid voor de Sound-Induced Flash Illusie toeneemt naar de periferie van het gezichtsveld toe door een toegenomen integratiekader in een Bayesiaans model, terwijl ruimtelijke congruentie tussen auditieve en visuele prikkels geen invloed heeft op dit integratieproces.

De kern

🎬 De "Geluid-Induceerde Flits Illusie": Waarom je oren je ogen in de periferie voor de gek houden

Stel je voor dat je in een donkere kamer zit. Je ziet één kort flitsje licht. Maar op datzelfde moment hoor je twee korte piepjes. Wat zie je?
Voor de meeste mensen is het antwoord verrassend: ze zien twee flitsjes. Je brein heeft het geluid gebruikt om het beeld te "herschrijven". Dit fenomeen heet de Sound-Induced Flash Illusion (SIFI). Het is alsof je oren een regisseur zijn die de film in je hoofd herschrijft, zelfs als je ogen zeggen dat er maar één scène was.

De onderzoekers van dit artikel (Yabo Zheng en Lihan Chen van de Peking University) wilden weten: Hoe werkt dit precies op verschillende plekken in je gezichtsveld? En: Is het belangrijk of het geluid en het licht precies op dezelfde plek komen?

Hier zijn de drie belangrijkste ontdekkingen, vertaald naar alledaagse taal:

1. De "Rand-effect" van je gezichtsveld 🌍

Stel je je gezichtsveld voor als een grote, ronde schijf.

• Het midden (de fovea): Dit is het scherpe puntje waar je recht naar kijkt. Hier is je visuele resolutie als een 8K-camera.
• De randen (periferie): Dit is wat je ziet als je recht vooruitkijkt maar naar de zijkanten kijkt. Hier is je visuele resolutie als een wazige, oude TV.

Wat vonden ze?
Als je een flitsje ziet in het midden, is je brein tamelijk koppig. Het geluid probeert je te misleiden, maar je ziet meestal wat er echt is.
Maar als je een flitsje ziet in de uiterste randen van je gezichtsveld (ver weg van het midden), is je brein veel makkelijker te misleiden. Hier "luistert" je brein veel harder naar je oren.

De analogie:
Stel je voor dat je een gesprek voert in een drukke bar.

• In het midden (waar je naar kijkt) is het gesprek helder. Je kunt makkelijk zeggen: "Ik hoorde één persoon praten," zelfs als er twee mensen naast elkaar fluisteren.
• In de randen (uit het ooghoekje) is het beeld wazig. Je brein denkt dan: "Ik weet niet precies wat ik zie, maar ik hoor wel duidelijk twee stemmen. Laten we maar aannemen dat er twee mensen waren." Je brein geeft de audio meer gewicht omdat het beeld zo onzeker is.

2. Het geheim: Het is niet "onzekerheid", maar "prioriteit" 🧠

De onderzoekers dachten eerst: "Misschien is het zo dat we in de randen slechter zien, en daarom vertrouwen we meer op geluid." (Dit noemen ze de onzekerheids-hypothese).

Maar toen ze een slim computermodel (Bayesiaanse modellering) gebruikten, bleek het iets anders te zijn.
Het bleek niet dat je brein in de randen "verward" raakt. Het is dat je brein bewust kiest om in de randen meer gewicht te geven aan geluid.

De analogie:
Stel je voor dat je brein een manager is die beslissingen neemt.

• Als het beeld in het midden is, zegt de manager: "Het beeld is scherp, ik vertrouw de visuele afdeling 100%."
• Als het beeld in de rand is, zegt de manager niet: "Oh nee, ik zie het niet goed." Nee, hij zegt: "In dit gebied is het geluid de expert. Laten we de audio-afdeling het zeggenschap geven."
  Het is dus een strategische keuze van je brein, geen foutje.

3. Het maakt niet uit of het geluid en licht op dezelfde plek zijn 🎧

In het derde experiment keken ze of het geluid en het licht op dezelfde kant moesten zitten (bijv. licht links, geluid links) of dat het ook werkte als ze tegenover elkaar zaten (licht links, geluid rechts).

Het resultaat: Het maakte niet uit.
Of het geluid nu uit je linkeroor, rechteroor of beide oren kwam, de illusie bleef even sterk. Je brein koppelt het geluid en het licht samen, ongeacht of ze ruimtelijk precies op elkaar liggen.

De analogie:
Stel je voor dat je een film kijkt. Als de acteur op het scherm spreekt, hoor je de stem uit de luidsprekers. Het maakt niet uit of de luidspreker precies achter de acteur hangt of een meter ernaast; je brein zegt gewoon: "Dat geluid hoort bij dat beeld." Je brein is zo goed in het koppelen van zintuigen dat de exacte positie van het geluid niet de illusie verstoort.

🏁 Conclusie: Wat betekent dit voor ons?

Dit onderzoek laat zien dat onze waarneming van de wereld niet statisch is. Het is een dynamisch spelletje waarbij je brein constant afwegingen maakt:

1. Waar kijk ik naartoe? In het midden vertrouw ik mijn ogen. In de randen vertrouw ik mijn oren.
2. Hoeveel gewicht geef ik aan wat ik hoor? In de periferie is dat gewicht veel zwaarder.

Dit helpt ons begrijpen waarom we in het donker of in de periferie soms dingen horen die er niet zijn, of waarom we geluiden "zien" waar ze niet zijn. Het is je brein dat probeert een coherent verhaal te maken van een chaotische wereld, en in de randen van je zicht kiest het ervoor om vooral naar de oren te luisteren.

Kortom: Je brein is een slimme regisseur die in de verte (periferie) de audio-afdeling meer regie geeft dan in het centrum.

Technische samenvatting

Titel: Ruimtelijke correspondenties van audiovisuele stimuli op de dubbele flits-illusie (SIFI)

1. Probleemstelling en Onderzoeksvraag

De studie richt zich op een cruciale, maar onopgeloste kwestie binnen de multisensorische integratie: hoe beïnvloeden de fysieke ruimtelijke kenmerken van stimuli de mate van integratie tussen zien en horen? Specifiek wordt de Sound-Induced Flash Illusion (SIFI) onderzocht, waarbij het waargenomen aantal visuele flitsen wordt gemanipuleerd door conflicterende auditieve piepjes (bijv. één flits met twee piepjes wordt waargenomen als twee flitsen).

Hoewel bekend is dat SIFI optreedt, zijn de resultaten inconsistent over de invloed van visuele excentriciteit (hoe ver een stimulus van het centrum van het gezichtsveld verwijderd is) en ruimtelijke congruentie (of de geluiden en flitsen op dezelfde locatie plaatsvinden).

• De kernvraag: Is de kwetsbaarheid voor de illusie uniform over het gezichtsveld, of neemt deze toe in de periferie? Is dit te wijten aan een toename van visuele onzekerheid in de periferie, of aan een verandering in de weging (weighting) van de auditieve informatie?
• De tweede vraag: Heeft de ruimtelijke incongruentie tussen auditieve en visuele stimuli (bijv. geluid links, flits rechts) een meetbaar effect op de integratie?

2. Methodologie

De auteurs voerden drie experimenten uit, waarbij ze gebruikmaakten van een strikt gecontroleerde SIFI-paradigma met voorafgaande cues om de ruimtelijke aandacht te standaardiseren.

• Experiment 1 (Ruimtelijke Excentriciteit):

  • Design: Binnenproefpersoonsontwerp met visuele stimuli op 5 locaties: centraal (0°), nabije periferie (±7°) en verre periferie (±21°).
  • Stimuli: Flitsen (1 of 2) gepaard met piepjes (0, 1 of 2) met verschillende Stimulus Onset Asynchronies (SOA: -120ms tot +120ms).
  • Doel: Replicatie van de illusie en mapping van de gevoeligheid over een breder spectrum dan gebruikelijk (tot 21°).

• Experiment 2 (Uitgebreide Excentriciteit & Bayesiaanse Modellering):

  • Design: Uitbreiding van het gezichtsveld tot ±60° (in stappen van 15°) met behulp van een gebogen "audio-screen".
  • Analyse: Toepassing van Hiërarchische Bayesiaanse Modellering (met PyMC5) om twee hypotheses te testen:
    1. Visuele Onzekerheid Hypothese: De illusie neemt toe omdat visuele precisie afneemt in de periferie.
    2. Ruimtelijke Weeg-factor Hypothese: De hersenen geven auditieve informatie intrinsiek meer gewicht in de periferie, ongeacht de visuele precisie.
  • Modelvergelijking: Vijf modellen werden vergeleken met de WAIC (Widely Applicable Information Criterion) om het beste voorspellende model te selecteren.

• Experiment 3 (Ruimtelijke Congruentie):

  • Design: Manipulatie van de ruimtelijke relatie tussen auditieve en visuele stimuli. Geluiden werden gepresenteerd ipsilateraal (zelfde kant), contralateraal (tegenovergestelde kant) of binauraal (beide kanten) ten opzichte van de visuele flits.
  • Doel: Bepalen of ruimtelijke mismatch de integratie vermindert.

3. Belangrijkste Resultaten

• Ruimtelijke Modulatie (Exp 1 & 2):

  • Er werd een duidelijke Gaussische verdeling gevonden: de kwetsbaarheid voor de SIFI nam progressief toe van het centrum naar de periferie.
  • In de verre periferie (21° en 60°) werd de illusie significant sterker waargenomen dan in het centrale gezichtsveld.
  • Cruciaal: De unimodale visuele prestatie (alleen flitsen zien zonder geluid) bleef constant over alle locaties. Dit weerlegt de aanname dat de toename van de illusie simpelweg het gevolg is van slechtere visuele resolutie in de periferie.

• Mechanisme (Bayesiaanse Modellering):

  • Het model dat de beste fit bood (laagste WAIC) was het "Weight Model".
  • Dit model toonde aan dat de toename van de illusie in de periferie wordt gedreven door een toename van de integratie-weighing (prior probability) voor audiovisuele stimuli die van dezelfde bron komen.
  • De visuele onzekerheid ($\sigma_v$) bleek niet significant te variëren met de excentriciteit in dit model. De hersenen "vertrouwen" auditieve informatie dus meer in de periferie dan in het centrum, wat leidt tot een hogere kans op fusie van de signalen.

• Ruimtelijke Congruentie (Exp 3):

  • Er was geen significant effect van ruimtelijke incongruentie. Of het geluid nu links, rechts of binauraal werd gepresenteerd ten opzichte van de flits, de grootte van de illusie bleef gelijk.
  • Dit suggereert dat de integratie in dit paradigma niet afhankelijk is van strikte ruimtelijke overeenkomst op het niveau van de stimuluspresentatie, maar eerder een robuust, automatisch proces is dat wordt gestuurd door de excentriciteit van het visuele veld.

4. Bijdragen en Significatie

• Oplossing van een wetenschappelijke controverse: De studie lost de inconsistentie in eerdere literatuur op door aan te tonen dat de "excentriciteitseffect" wel degelijk bestaat, maar pas duidelijk wordt bij grotere hoeken (>15°) en alleen onder strikte aandachtcontrole.
• Computational Insight: Door middel van Bayesiaanse modellering wordt het mechanisme van multisensorische integratie verfijnd. Het bewijs wijst erop dat de hersenen niet alleen reageren op visuele onzekerheid, maar dat er een intrinsieke, ruimtelijk specifieke weging bestaat waarbij perifere visuele gebeurtenissen een hogere a priori kans hebben om als auditief veroorzaakt te worden geïnterpreteerd.
• Neurofysiologische Implicaties: De bevindingen ondersteunen theorieën over vroege cross-modale connectiviteit (bijv. tussen auditieve cortex en perifere representaties in de visuele cortex), wat suggereert dat multisensorische integratie een automatisch, bottom-up proces is dat wordt gemoduleerd door de receptieve veldarchitectuur van de primaire zintuigen.
• Praktische Toepassing: De resultaten bieden een empirisch kader voor het ontwerp van toekomstige multisensorische experimenten en toepassingen (zoals VR of AR), waarbij de locatie van stimuli in het gezichtsveld een kritieke factor is voor de perceptie van illusies en integratie.

Conclusie:
De studie concludeert dat de ruimtelijke locatie van visuele stimuli de audiovisuele integratie fundamenteel beïnvloedt via een verandering in de informatieweighting, niet door visuele onzekerheid. Ruimtelijke incongruentie tussen zintuigen heeft daarentegen weinig tot geen invloed op de sterkte van de Sound-Induced Flash Illusion.