📄 animal behavior and cognition

Multisensory Continuous Psychophysics: Perceived Visual Object Location is Improved by Auditory Cues

Deze preregistreerde studie toont aan dat continue psychofysica gecombineerd met Kalman-filteranalyse effectief onthult hoe auditieve signalen sensorische ruis significant verminderen en de precisie van zowel handmatige als oculaire tracking van visuele objecten verbeteren, met name onder condities van hoge visuele onzekerheid.

Oorspronkelijke auteurs: Jörges, B., Kim, J.-J., Harris, L. R.

Gepubliceerd 2026-06-08

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jörges, B., Kim, J.-J., Harris, L. R.

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een videogame speelt waarbij je je ogen en je controller gericht moet houden op een bewegend doelwit, zoals een drone of een zwerm vliegen, in een prachtige virtuele weide. Normaal gesproken, als het scherm mistig wordt, verlies je je grip op waar het doelwit zich bevindt. Maar wat als je het doelwit in de buurt zou kunnen horen zoemen?

Deze studie is als een high-tech versie van dat spel, ontworpen om te zien hoe onze hersenen combineren wat we zien met wat we horen. De onderzoekers gebruikten een nieuwe manier van testen genaamd "Continuous Psychophysics". In plaats van je te vragen om te gokken "links of rechts" in een reeks snelle, afzonderlijke vragen (zoals een meerkeuzequiz), vraagt deze methode je om het object constant te volgen, zoals een kat die een laserpointer achtervolgt. Dit geeft een veel vloeienderder, natuurlijker beeld van hoe jouw hersenen in real-time werken.

Zo hebben ze het experiment opgezet:

De Mistige Weide: Ze creëerden vier niveaus van "mist" in de virtuele wereld. Dit varieerde van een kristalheldere dag tot een dikke, ondoordringbare mist waarbij je het doelwit helemaal niet meer kon zien.
De Geluidscue: Soms maakte het doelwit een geluid; op andere momenten was het stil.
Het Volgen: Twee groepen mensen (30 in elke groep) probeerden het doelwit te volgen met een controller (hun handen), terwijl hun oogbewegingen werden geregistreerd.

Wat ze vonden:

Beschouw je brein als een detective die een mysterie probeert op te lossen. Wanneer de mist dik is (lage zichtbaarheid), heeft de detective heel weinig visueel bewijs. Echter, wanneer het geluid aanwezig is, is het alsof de detective plotseling een cruciale aanwijzing krijgt van een getuige.

Geluid helpt in de mist: Wanneer de mist zwaar was, maakte het hebben van het geluid een enorm verschil. De deelnemers waren veel beter in het raden waar het doelwit was, zelfs als ze het niet konden zien. Het geluid fungeerde als een vangnet dat de gaten opvulde die door de ontbrekende visuele aanwijzingen waren ontstaan.
De "Ruis"-meter: De onderzoekers gebruikten een speciaal wiskundig hulpmiddel (een Kalman-filter) om te fungeren als een ruismeter. Ze wilden weten hoe "ruizig" of verward de zintuigen van de hersenen waren. Ze ontdekten dat wanneer geluid werd toegevoegd, de interne "ruis" van de hersenen aanzienlijk afnam. Het was alsof het geluid de statische ruis op een radio zachter draaide, waardoor het signaal duidelijker werd, of iemand nu met de handen of de ogen volgde.
Handen en ogen werken samen (maar verschillend): Over het algemeen, als iemand goed was in het volgen met de handen, waren ze ook goed in het volgen met de ogen. Ze leken dezelfde "spier" van aandacht te gebruiken. Echter, toen de onderzoekers specifiek naar het voordeel van het geluid keken, verbrak deze connectie. Het geluid hielp de handen en de ogen op unieke manieren die niet direct aan elkaar gekoppeld waren.

De Kernboodschap:

Deze studie laat zien dat deze nieuwe "continue" manier van testen uitstekend is voor het begrijpen van hoe we zintuigen combineren. Het bewijst dat onze hersenen slim genoeg zijn om geluid te gebruiken om ons zicht te verscherpen, vooral wanneer alles wazig wordt. Door wiskunde te gebruiken om de "ruis" in onze zintuigen te meten, bevestigden de onderzoekers dat geluid ons niet alleen afleidt; het maakt het signaal juist schoner, waardoor het helpt objecten nauwkeuriger te lokaliseren wanneer onze ogen niet voldoende zijn.

Technische Samenvatting: Multisensorische Continue Psychofysica

Probleem en Motivatie
Traditionele psychofysische ontwerpen vertrouwen vaak op discrete proeven, wat de studie van dynamische perceptuele processen kan beperken. Continue Psychofysica, een paradigma dat continue stimuli koppelt aan continue responsen, biedt een veelbelovend alternatief om deze beperkingen te overwinnen. Hoewel eerder werk, zoals Tonelli et al. (2025), het nut van deze aanpak heeft vastgesteld, blijft er een behoefte aan een rigoureuze evaluatie van de toepasbaarheid ervan op multisensorische integratie. Specifiek is het onduidelijk hoe goed dit paradigma de interactie tussen visuele en auditieve signalen in dynamische trackingtaken vastlegt, en of het effectief de sensorische ruis van de motorische uitvoering kan onderscheiden. Deze studie beoogt de reikwijdte van Continue Psychofysica uit te breiden door multisensorische integratie te onderzoeken, terwijl tegelijkertijd de rol van oogbewegingen wordt onderzocht en geavanceerde computationele modellering wordt toegepast.

Methodologie
De studie maakte gebruik van een vooraf geregistreerd ontwerp met twee cohorten deelnemers ( $n = 30$ elk) die ondergedompeld waren in een virtuele realiteit (VR) "weide"-omgeving. De kernopdracht vereiste dat deelnemers continu een bewegend doelwit volgden met behulp van een controller, terwijl hun oogbewegingen werden geregistreerd. Twee verschillende experimentele condities werden gehanteerd:

Experiment 1: Het volgen van een enkele drone.
Experiment 2: Het volgen van een zwerm vliegen.

Het experimentele ontwerp manipuleerde twee primaire factoren:

Visuele Betrouwbaarheid: Vier niveaus van mist werden toegepast, variërend van een volledig helder zicht tot ondoordringbare mist waarbij geen visuele aanwijzingen over de positie van het doelwit beschikbaar waren.
Auditieve Signalen: De aanwezigheid of afwezigheid van geluidssignalen uitgezonden door het bewegende object.

Om de gedragsgegevens te analyseren, gebruikten de auteurs een Kalman-filter om de onderliggende sensorische ruisparameters te schatten die het trackinggedrag aansturen. Dit maakte het mogelijk om de sensorische onzekerheid te scheiden van de motorische responscharacteristics.

Belangrijkste Resultaten
De analyse leverde verschillende cruciale bevindingen op met betrekking tot de interactie tussen sensorische modaliteiten en de aard van de trackingprestaties:

Multisensorische Versterking: De maximale correlatie tussen de stimulus en de respons van de deelnemer was significant hoger wanneer auditieve signalen aanwezig waren, met name onder condities van hoge visuele onzekerheid (dikke mist).
Trackingvertraging: In tegen tegenstelling tot de correlatie bleef de trackingvertraging ongevoelig voor alle niveaus van visuele mist, wat suggereert dat de temporele lag in de respons robuust is tegen veranderingen in visuele betrouwbaarheid.
Schatting van Sensorische Ruis: De Kalman-filteranalyse leverde sterk bewijs dat de sensorische ruis lager was wanneer geluid aanwezig was vergeleken met wanneer geluid afwezig was. Deze reductie in ruis werd waargenomen bij zowel handmatige (controller) als oculaire (oogbeweging) tracking, waarbij het effect het meest uitgesproken was in condities van hoge visuele onzekerheid.
Correlatie tussen Modaliteiten: Exploratieve analyses toonden sterke correlaties aan tussen handmatige en oculaire tracking over alle gemeten metrieken (maximale correlatie, trackingvertraging en sensorische precisie). Echter, wanneer het specifieke "multisensorische voordeel" werd geïsoleerd (de verbetering verkregen door het toevoegen van geluid), verdwenen deze correlaties grotendeels voor de maximale correlatie en de trackingvertraging, terwijl ze substantieel bleven voor de sensorische precisie. Bovens, hoewel algemene gedragsmatige tracking sterk correleerde met onderliggende sensorische ruis, was deze relatie zwakker bij het analyseren van het specifieke voordeel dat door de toegevoegde auditieve signalen werd verkregen.

Betekenis en Claims
Het artikel concludeert dat Continue Psychofysica een uitstekend geschikt instrument is voor het onderzoeken van multisensorische integratie. De studie benadrukt specifiek de waarde van het combineren van dit gedragsparadigma met Kalman-filteranalyse om sensorische onzekerheid direct uit gedragsgegevens te schatten. Door aan te tonen dat auditieve signalen de geschatte sensorische ruis verminderen, zelfs wanneer visuele informatie wordt gedegradeerd, valideert de studie het vermogen van het paradigma om de genuanceerde mechanismen van multisensorische verwerking te vangen. De auteurs kaderen deze resultaten bescheiden als een uitbreiding van het veld dat door Tonelli et al. (2025) is geïnitieerd, waarbij de nadruk wordt gelegd op het nut van de methode voor het karakteriseren van hoe de hersenen conflicterende of onzekere sensorische input in real-time integreren.

Meer zoals dit