Serial dependence generalizes across the senses

Dit onderzoek toont aan dat seriële afhankelijkheid in de numerieke perceptie niet beperkt is tot één zintuig, maar zich over de zintuigen heen uitstrekt en wordt gemoduleerd door cross-modale aandacht, wat wijst op een centrale rol van een functioneel multisensorisch netwerk in plaats van uitsluitend laag- of hoog-niveau mechanismen.

De kern

Titel: Waarom je brein je verleden niet loslaat: Een reis door de zintuigen

Stel je voor dat je brein niet werkt als een fototoestel dat elke seconde een nieuwe, perfecte foto maakt van de wereld. Nee, je brein is meer als een slimme, maar soms een beetje verwarde, regisseur die een film draait. Deze regisseur houdt ervan om scènes te "mixen". Wat je net hebt gezien of gehoord, kleurt nog steeds je huidige ervaring. Dit fenomeen noemen wetenschappers seriële afhankelijkheid.

In dit onderzoek kijken drie onderzoekers (Fornaciai, Togoli en collega's) naar een heel specifieke vraag: Hoe werkt dit "mixen" tussen verschillende zintuigen?

Stel je voor dat je net een rijtje flitsende lampjes hebt gezien (visueel) en daarna een rijtje piepende geluiden hoort (auditief). Vraagt het zich af: Beïnvloedt het rijtje lampjes hoe ik het rijtje geluiden waarneem? Of zijn onze ogen en oren twee volledig gescheiden kamers in het huis van ons brein, die nooit met elkaar praten?

Hier is wat ze hebben ontdekt, vertaald in een verhaal:

1. De "Kleefkracht" van het Verleden

Onze hersenen willen graag dat de wereld stabiel en rustig aanvoelt. Om dat te doen, "lijmen" ze nieuwe informatie een beetje vast aan wat we net hebben ervaren. Als je net een groot aantal lampjes zag, lijkt het volgende rijtje er ook iets groter uit te zien. Dit is de "seriële afhankelijkheid".

2. De Grote Ontdekking: Oren en Ogen praten wél met elkaar

Vroeger dachten wetenschappers dat dit "lijmen" alleen binnen één zintuig gebeurde. Dat je ogen alleen beïnvloed werden door vorige beelden, en oren alleen door vorige geluiden.

Maar in dit onderzoek hebben ze bewezen dat dit niet zo is. Het is alsof je brein een centrale postkantoor heeft waar alle post (zowel visueel als auditief) samenkomt.

• Het experiment: Deelnemers keken naar rijtjes flitsen of luisterden naar rijtjes geluiden.
• Het resultaat: Als je net een rijtje geluiden had gehoord, veranderde dat hoe je het volgende rijtje flitsen zag (en andersom). De "kleefkracht" springt over van oor naar oog!

3. De Rol van de "Aandacht-Regisseur"

Maar wacht, het is nog interessanter. Het brein is niet altijd even "lijmig". Het hangt af van waar je je aandacht op richt.

• Situatie A (Eén zintuig): Als je alleen naar de flitsen kijkt en het geluid negeert, helpt het geluid je brein nog steeds om de flitsen te "verdraaien". Het geluid is als een onzichtbare gast die toch de kamer binnenkomt en de sfeer beïnvloedt.
• Situatie B (Twee zintuigen): Als je allebei moet opletten (zowel op de flitsen als op de geluiden), gebeurt er iets raars: de "binnenlandse" lijmen (oog op oog, oor op oor) verdwijnen bijna, maar de "grensoverschrijdende" lijmen (oog op oor) blijven sterk.

De metafoor: Stel je voor dat je in een drukke bar bent.

• Als je alleen naar de band kijkt (uni-sensory), hoor je misschien nog wel het geruis van de bar (het andere zintuig) en beïnvloedt dat je ervaring.
• Maar als je ook nog eens moet luisteren naar de band én tegelijkertijd een gesprek moet voeren (multi-sensory), dan is je brein zo druk dat het alleen nog maar "relevante" informatie combineert. Het negeert de eigen echo's (oog op oog) en focust zich op het samenvoegen van de verschillende bronnen (oog en oor samen) om een duidelijk beeld te krijgen.

4. Waar gebeurt dit in het brein? (De EEG-metingen)

De onderzoekers hebben ook gekeken naar de elektrische activiteit in de hersenen (EEG). Ze wilden weten: Gebeurt dit terwijl we het nog zien, of pas nadat we erover nadenken?

Het antwoord is verrassend: Het gebeurt terwijl het nog gebeurt.
De signalen in de hersenen veranderen al tijdens het kijken naar het stimulus, lang voordat je een beslissing neemt. Dit betekent dat het niet gaat om een "nabespreking" of een foutje in je geheugen. Het is een fundamenteel onderdeel van hoe je je wereld ervaart. Je brein bouwt je realiteit direct op uit een mix van het verleden en het heden, en dat gebeurt op een niveau dat dieper is dan alleen de zenuwen in je oog of oor, maar hoger dan je bewuste gedachten.

Conclusie: Een Slimme Multitasker

Dit onderzoek laat zien dat ons brein geen verzameling van losse zintuigen is, maar een geïntegreerd team.

• Het kan informatie van verschillende zintuigen (zien en horen) samenvoegen om een stabiel beeld van de wereld te houden.
• Het is slim genoeg om te beslissen wanneer het deze informatie moet mixen en wanneer het moet filteren, afhankelijk van wat je moet doen.

Kortom: Je brein is geen statische camera, maar een dynamische regisseur die het verleden en heden, en zien en horen, constant mixt om je een vloeiende, stabiele ervaring van de wereld te geven. En ja, soms betekent dat dat je waarneming niet 100% klopt met de werkelijkheid, maar dat is de prijs die we betalen voor een rustig en samenhangend leven.

Technische samenvatting

Probleemstelling

De perceptie van de mens is niet een lineaire weergave van de externe wereld, maar vertoont systematische vertekeningen. Een bekend fenomeen is seriële afhankelijkheid (serial dependence): waarnemingen in het heden worden aangetrokken door stimuli uit het recente verleden, waardoor ze meer lijken op wat eerder werd waargenomen.

De kernvraag in het veld is of dit fenomeen het resultaat is van:

1. Lage-niveau mechanismen: Sensitieve, modality-specifieke (bijv. alleen visueel of alleen auditief) stabilisatiemechanismen die ruis in het zintuiglijke signaal gladstrijken.
2. Hoge-niveau mechanismen: Beslissingsprocessen (post-perceptueel) die abstracte representaties manipuleren.
3. Midden-niveau mechanismen: Een geïntegreerd multisensory netwerk dat werkt op het niveau van object- of gebeurtenisrepresentaties, maar nog binnen het perceptuele stadium.

Tot nu toe was het onduidelijk of seriële afhankelijkheid overdraagbaar is tussen verschillende zintuigen (bijv. van auditief naar visueel). Als het een lage-niveau mechanisme is, zou het niet over modaliteiten heen moeten werken. Als het een hoge-niveau beslissingsmechanisme is, zou het wel overdraagbaar moeten zijn, maar pas na de perceptie.

Methodologie

De auteurs voerden drie complementaire experimenten uit om seriële afhankelijkheid voor numerositeit (het aantal gebeurtenissen) te onderzoeken in visie en auditie, gecombineerd met psychofysica en elektro-encefalografie (EEG).

• Deelnemers: In totaal 91 proefpersonen verdeeld over drie experimenten.
• Stimuli: Sequenties van korte visuele flitsen of auditieve tonen (beeps).
• Experiment 1: Een discriminatietaak met drie stimuli per trial: een irrelevante inducer (7 of 20 gebeurtenissen), een constante referentie (12 gebeurtenissen) en een variabele probe.
  • Voorwaarde 1 (Uni-sensory): Deelnemers oordelen alleen visuele stimuli; de inducer kan visueel of auditief zijn.
  • Voorwaarde 2 (Multi-sensory): Deelnemers moeten zowel visuele als auditieve stimuli vergelijken (referentie en probe zijn van verschillende modaliteiten).
• Experiment 2: Een schattingsopdracht waarbij multi-sensory stimuli (gelijktijdig visueel en auditief) en uni-sensory stimuli worden afgewisseld. Een cue (A of V) bepaalde vooraf welke modaliteit de proefpersoon moest aandacht geven. Dit testte of aandacht per trial de seriële afhankelijkheid moduleert.
• Experiment 3: Replicatie van Experiment 1 met toegevoegde EEG-opnames om de neurale signatuur van het effect te identificeren en te bepalen op welk verwerkingsstadium het optreedt.

Data-analyse:

• Gedrag: Berekening van het punt van subjectieve gelijkheid (PSE) en de seriële afhankelijkheidsindex (verschil in PSE tussen hoge en lage inducers).
• EEG: Analyse van Event-Related Potentials (ERPs) tijd-gekoppeld aan de referentiestimulus. Gebruik van cluster-based non-parametrische tests voor multiple comparison correctie. Correlatie tussen neurale contrasten en gedragsmatige effecten.

Belangrijkste Resultaten

1. Overdraagbaarheid tussen modaliteiten:

   • In een eenvoudige uni-sensory taak (alleen visuele oordelen) was er een sterk seriële afhankelijkheidseffect, zowel wanneer de inducer visueel was (binnen-modaliteit) als auditief (kruis-modaliteit).
   • In de multi-sensory taak (waarbij beide modaliteiten aandacht vereisten) verdween het binnen-modaliteitseffect (visueel-visueel of auditief-auditief), terwijl het kruis-modaliteitseffect (auditief-visueel of visueel-auditief) juist sterk aanwezig en significant bleef.

2. De rol van aandacht:

   • Experiment 2 toonde aan dat alleen het aandachtige component van een multi-sensory stimulus een seriële afhankelijkheidseffect veroorzaakt op de volgende stimulus.
   • Bij congruente stimuli (beide modaliteiten hebben hetzelfde aantal) werd de selectiviteit voor de modaliteit van de volgende stimulus versterkt (binnen-modaliteitseffect).
   • Bij incongruente stimuli (verschillende aantallen) domineerde het gekuiste component, wat leidde tot sterke kruis-modaliteitseffecten.

3. Neurale signatuur (Experiment 3):

   • EEG-resultaten toonden aan dat het effect van de inducer op de referentiestimulus zichtbaar is in de ERP-amplitudes tijdens de perceptuele verwerking van de referentie, vaak al in de eerste helft van de stimuluspresentatie (bijv. 200-600 ms na onset).
   • Dit gebeurt voordat een beslissing kan worden genomen (aangezien de stimulusreeks nog niet volledig is afgespeeld).
   • Er was een significante correlatie tussen de grootte van de neurale modulatie (ERP-contrast) en de sterkte van het gedragsmatige bias-effect.
   • De timing en aard van de effecten suggereren dat het fenomeen plaatsvindt op een perceptueel niveau, niet op een beslissingsniveau.

Bijdragen en Conclusies

• Generalisatie: Seriële afhankelijkheid is niet beperkt tot één zintuig; het kan overdragen tussen visie en auditie, mits de stimuli een vergelijkbare ruimtelijk-temporele structuur hebben.
• Aandacht als poort: Het effect wordt dynamisch gereguleerd door taak-gerichte aandacht. In complexe multi-sensory taken worden binnen-modaliteitseffecten onderdrukt ten gunste van kruis-modaliteitseffecten, wat suggereert dat het brein relevante informatie uit verschillende bronnen integreert voor stabiliteit.
• Locatie van het mechanisme: De EEG-data weerleggen zowel het puur lage-niveau (sensitief) model als het puur hoge-niveau (beslissings) model. Het effect treedt op tijdens de perceptuele verwerking, maar vereist een geïntegreerde representatie.

Significantie

De studie biedt bewijs voor een functioneel midden-niveau multisensory netwerk dat verantwoordelijk is voor seriële afhankelijkheid. Dit netwerk stabiliseert onze waarneming van de wereld door informatie uit verschillende zintuigen te integreren en te gebruiken om huidige percepties te beïnvloeden. Dit mechanisme lijkt adaptief te zijn: het zorgt voor consistentie en continuïteit in een ruisige omgeving, zelfs ten koste van een kleine afname in gedragsprestatie (nauwkeurigheid). De bevindingen veranderen het fundamentele begrip van hoe het brein perceptuele stabiliteit bereikt, van een lokaal, modality-specifiek proces naar een dynamisch, interactief multisensory proces.