🤖 AI

Simulating Human Audiovisual Search Behavior

Dit artikel introduceert Sensonaut, een resource-rationaal computationeel model van belichaamde audiovisuele zoektochten dat simuleert hoe mensen adaptief een balans vinden tussen tijd, inspanning en nauwkeurigheid onder onzekerheid, en valideert het vermogen ervan om menselijke zoekgedragingen en fouten te reproduceren tegenover nieuwe experimentele data.

Oorspronkelijke auteurs: Hyunsung Cho, Xuejing Luo, Byungjoo Lee, David Lindlbauer, Antti Oulasvirta

Gepubliceerd 2026-02-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hyunsung Cho, Xuejing Luo, Byungjoo Lee, David Lindlbauer, Antti Oulasvirta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je 's nachts op een drukke, lawaaierige parkeerplaats staat. Je moet je auto vinden, die piept, maar er staan tientallen andere auto's, waarvan sommige vergelijkbare piepjes maken, en sommige staan voor andere auto's geparkeerd waardoor je het zicht geblokkeerd wordt. Je blijft niet gewoon stilstaan en wachten op het perfecte moment; je draait actief je hoofd, loopt een paar stappen en maakt misschien zelfs een rondje om een beter perspectief te krijgen. Je weegt voortdurend de inspanning van het bewegen af tegen het voordeel van dichter bij het antwoord komen.

Dit artikel introduceert Sensonaut, een computerprogramma dat ontworpen is om precies te simuleren hoe mensen dit soort puzzels oplossen. Het is niet zomaar een kaart; het is een "digitaal brein" dat leert zoeken zoals een mens dat doet.

Hier is een overzicht van hoe het werkt, met behulp van eenvoudige analogieën:

1. Het kernidee: De "Slimme Shopper"

Zie Sensonaut als een zeer slimme, maar ietwat luie shopper.

Het doel: Een specifiek item (het doelwit) vinden in een rommelige winkel (de omgeving).
Het probleem: De shopper kan niet alles in één keer zien (sommige items zijn verborgen) en de winkel is luidruchtig (auditieve afleidingen).
De strategie: De shopper heeft een regel: "Beweeg niet tenzij het de energie waard is."
- Als ze een geluid horen en een vorm zien die er juist uitziet, kunnen ze het misschien direct pakken.
- Als ze in verwarring zijn, draaien ze hun hoofd (een goedkope, energiezuinige beweging) om beter te kunnen luisteren.
- Als draaien van het hoofd niet genoeg is, zullen ze erheen lopen (een duurdere, energieverslindende beweging) om van dichterbij een beter beeld te krijgen.

Het artikel noemt dit "Resource-Rationality" (bron-rationaliteit). Dit betekent dat het model niet probeert perfect te zijn; het probeert efficiënt te zijn. Het balanceert de kosten van bewegen (tijd en energie) tegen de beloning van het vinden van het doelwit.

2. Hoe het "Digitale Brein" denkt

Het model gebruikt een wiskundig kader dat een POMDP (Partially Observable Markov Decision Process) wordt genoemd. Laten we dat vertalen naar alledaagse termen:

De "Fog of War" (Mist van de oorlog): Het model weet nooit precies waar het doelwit zich bevindt. Het heeft alleen een "belief map" (overtuigingskaart)—een mentale gok van waar het doelwit zich zou kunnen bevinden.
Twee zintuigen:
- Oren (Audio): Zoals een radar die in alle richtingen werkt maar vaag is wat betreft afstand. Het vertelt het model: "Het geluid komt ongeveer uit die richting," maar het kan niet aangeven of het object 2 meter of టు 10 meter afstand is.
- Ogen (Visueel): Zoals een camera met een hoge definitie die alleen werkt wanneer je recht naar iets kijkt. Het geeft een scherp, helder beeld, maar als een auto achter een andere auto staat, ziet de camera niets.
De Update-loop: Elke keer dat het model zijn hoofd draait of een stap zet, krijgt het nieuwe gegevens. Het combineert deze nieuwe gegevens met de oude gok om de "belief map" bij te werken. Als de nieuwe gegevens overeenkomen met de gok, wordt de overtuiging sterker (de mist klaart op). Als de gegevens verwarrend zijn, blijft de overtuiging wazig.

3. Leren door vallen en opstaan

Het model begon niet uit te gaan van kennis over hoe men zoekt. De onderzoekers gebruikten een techniek genaamd Reinforcement Learning (versterkend leren).

Stel je voor dat je een hond leert een trucje. Als de hond de bal vindt, krijgt hij een traktatie (positieve beloning). Als hij tegen een muur aanloopt of te lang doet over de taak, krijgt hij een milde schok of geen traktatie (straf/kosten).
Sensonaut speelde duizenden virtuele spelletjes in een parkeergarage. Het leerde dat:
- Je hoofd draaien goedkoop is en vaak het probleem oplost.
- Lopen duur is, dus doe het alleen als je echt vastzit.
- Als je voor 90% zeker bent, ga dan ergens voor staan en stop met zoeken. Verspil geen tijd aan proberen 100% zekerheid te bereiken.

4. Werkt het? (De Menselijke Test)

De onderzoekers testten Sensonaut tegen echte mensen in een Virtual Reality (VR) parkeergarage. Ze creëerden lastige scenario's:

De "Rug"-test: Het doelwit bevond zich achter de persoon.
De "Drukte"-test: Er waren veel auto's aanwezig.
De "Imposter"-test: Er waren auto's die er precies hetzelfde uitzagen en klonken als het doelwit (afleiders).

De resultaten:

Gedrag komt overeen: Net als mensen deed Sensonaut er langer over om doelwitten te vinden die zich achter hen of achter andere auto's bevonden.
Inspanning komt overeen: Wanneer de taak moeilijk was, draaiden zowel mensen als het model hun hoofd vaker. Wanneer de taak makkelijk was, bewogen ze weinig.
Fouten komen overeen: Dit is het meest interessante deel. Het model maakte dezelfde fouten als mensen.
- Voorbeeld: Als een doelwit achter een muur verborgen was, maar een "nep" doelwit zichtbaar was in dezelfde richting, gaven zowel mensen als het model soms op en kozen ze het nep-doelwit, denkend: "Dat zal het wel zijn."
- Voorbeeld: Als twee auto's ver uit elkaar stonden maar perfect op één lijn lagen, kozen beiden soms de verkeerde omdat de afstand moeilijk in te schatten was.

5. Waarin het verschilt

Het model is geen perfecte kloon.

Lopen: Mensen nemen soms een kleine, verkennende stap om even om een hoekje te kijken. Sensonaut is wat rigider; het loopt alleen als het absoluut noodzakelijk is, omdat het de "kosten" van het lopen heel strikt berekent.
Precisie: Mensen kunnen hun hoofd in elke gewenste mate draaien (bijv. 15 graden). Het model draait in vaste blokken van 30 graden, net als een robot.

Samenvatting

Het artikel beweert dat Sensonaut een succesvolle simulatie is van hoe mensen zoeken naar zaken met behulp van zowel zicht als geluid. Het bewijst dat menselijk zoekgedrag niet willekeurig is; het is een berekend spel van "is deze beweging de energie waard?". Door dit te begrijpen, zeggen de auteurs dat we betere interfaces kunnen bouwen (zoals autosystemen of VR-games) die anticiperen op waar een gebruiker naar zal kijken en hoe diegene zal bewegen, waardoor technologie natuurlijker aanvoelt en minder frustrerend is.

Het model is beschikbaar als open-source software, wat betekent dat andere onderzoekers deze "digitale shopper" kunnen gebruiken om hun eigen ontwerpen te testen voordat ze worden gebouwd.

Technische Samenvatting: Simulatie van Menselijk Audiovisueel Zoekgedrag

Probleemstelling

Het lokaliseren van doelwitten in de ruimte met behulp van auditieve en visuele aanwijzingen is een fundamentele uitdaging in Human-Computer Interaction (HCI), met name in ubiquitaire en immersieve omgevingen (bijv. het vinden van een auto op een parkeerplaats of een spreker in een virtuele vergadering). Huidige computationele modellen van audiovisueel zoeken lijden onder twee primaire beperkingen:

Isolatie van Perceptie en Actie: Bestaande modellen behandelen sensorische lokalisatie (bijv. binauraal horen) en cognitieve besluitvorming vaak als gescheiden processen. Ze slagen er niet in te vatten hoe mensen adaptief beweging (hoofdrotatie, lokomotie) coördineren met sensorische strategieën om perceptuele ambiguïteiten zoals ruis, occlusie (afdekking) en voor-achterverwarring op te lossen.
Gebrek aan Middelenbeperkingen: Traditionele "ideale waarnemer"-modellen (bijv. Bayesiaanse inferentie) gaan uit van optimale, uitputtende zoekstrategieën die de fysieke kosten (tijd, inspanning, risico op botsing) die mensen ervaren negeren. Ze houden geen rekening met de afwegingen die mensen maken tussen nauwkeurigheid en de kosten van het verzamelen van informatie.

Het artikel betoogt dat een computationeel model nodig is dat sensorische inferentie verenigt met resource-rationale besluitvorming onder partiële observeerbaarheid om gebruikersgedrag, zoektijd, inspanning en foutmodi te voorspellen.

Methodologie

Het Sensonaut-model

De auteurs introduceren Sensonaut, een computationeel model van belichaamd audiovisueel zoeken. De kernveronderstelling is dat mensen hun lichaam en sensorische systemen inzetten om efficiënt hun kansen op het lokaliseren van een doelwit te verbeteren, waarbij ze tijd en inspanning afwegen tegenover perceptuele beperkingen.

1. Formeel Kader (POMDP):
De taak wordt geformaliseerd als een Partially Observable Markov Decision Process (POMDP):

Toestand ( $S$ ): Verborgen locatie van het doelwit (polaire coördinaten), positie/koers van de agent, en de scène-indeling (distractoren/occluders).
Acties ( $A$ ): Discrete belichaamde acties: turn_left (naar links draaien), turn_right (naar rechts draaien), move_forward (vooruit bewegen), stay (stilstaan), en commit (besluiten).
Observaties ( $O$ ): De agent werkt niet direct op ruwe sensorische data, maar opereert op een posterior geloofverdeling ( $b_t$ ) over potentiële doelwitlocaties. Deze overtuiging wordt stap-voor-stap bijgewerkt op basis van ruisige auditieve en visuele aanwijzingen.
Beloning ( $R$ ): Gedefinieerd als Nut ( $U$ ) minus Kosten ( $C$ ).
- Nut: Positieve beloning voor het correct identificeren van het doelwit binnen de tolerantie; straf voor fouten.
- Kosten: Straffen voor fysieke inspanning (hoofdbewegingen, lokomotie), tijd (wachten) en botsingen.
Doelstelling: Het leren van een beleid ( $\pi$ ) dat het verwachte netto nut maximaliseert: $\pi^* = \arg\max_\pi E[\sum \gamma^t (U(b_t, a_t) - C(a_t))]$ .

2. Multisensorische Perceptie en Geloofswijziging:
Het model houdt een geloofverdeling bij over een egocentrisch polair rooster ( $R \times \Theta$ ).

Auditieve Waarschijnlijkheid: Gebaseerd op Interaural Time Differences (ITD). Gemodelleerd als een Gaussische verdeling over azimuthoeken, onafhankelijk van afstand. Het biedt omnidirectionele bewijslast, zelfs wanneer het doelwit wordt afgeschermd.
Visuele Waarschijnlijkheid: Biedt hoogprecisie, kijkafhankelijke bewijslast. Het houdt rekening met occlusie (alleen het dichtstbijzijnde object in een gezichtslijn is zichtbaar) en kenmerkovereenkomst. Visuele bewijslast wordt over de tijd geaccumuleerd met behulp van een exponentieel voortschrijdend gemiddelde om hoofdrotatie op te vangen.
Geloofswijziging (Belief Update): De posterior geloofverdeling wordt bijgewerkt door de prior te combineren met de gezamenlijke waarschijnlijkheid van auditieve en visuele aanwijzingen in de log-ruimte. Een "lekkend" update-mechanisme staat het model toe om multimodale hypothesen te behouden (rekening houdend met distractoren) totdat de bewijslast doorslaggevend wordt.

3. Beleidsleren:
Omdat het oplossen van de POMDP analytisch onhaalbaar is, gebruiken de auteurs Reinforcement Learning (RL) met Proximal Policy Optimization (PPO). De agent leert een resource-rationaal beleid door middel van trial-and-error, waarbij de waarde van informatieversterking wordt afgewogen tegen de fysieke kosten van acties.

Datacollectie

Om het model te valideren, hebben de auteurs een gecontroleerde Virtual Reality (VR)-studie uitgevoerd met 12 deelnemers.

Taak: Deelnemers zochten naar een specifieke gekleurde auto die een piepend geluid uitstuurde in een virtuele parkeerplaats.
Variabelen:
- Hoek: Initiële richting van het doelwit (Voor, Zij, Achter).
- Complexiteit: Aantal objecten (5, 7, 12 auto's).
- Distractoren: Aantal visuele distractoren (0, 2, 4 auto's van de doelkleur).
Metrieken: Zoektijd, cumulatieve hoofdrotatie, verplaatsing (loopafstand) en lokalisatienauwkeurigheid.
Protocol: Deelnemers liepen en draaiden fysiek in een grote kamer terwijl ze een Meta Quest 3 droegen. Ze committeerden zich aan een locatie door op een knop te drukken, waarna ze de positie van het doelwit schatten.

Belangrijkste Resultaten

1. Gedragsmatige Afstemming

Sensonaut slaagde erin om cruciale systematische patronen van menselijk zoekgedrag te reproduceren over 270 testkaarten:

Zoektijd: Zowel mensen als het model deden er langer over om doelwitten te vinden die achter hen lagen of wanneer er meer distractoren aanwezig waren.
Hoofdbewegingen: Beiden namen de hoofdrotatie significant toe wanneer doelwitten achter hen lagen of wanneer er distractoren aanwezig waren. Het model legde de correlatie ( $R^2 = 0,58$ ) vast tussen menselijke en model-hoofdbewegingen, ondanks het feit dat het model vaste stappen van 30° gebruikt terwijl mensen continu draaien.
Nauwkeurigheid: Beiden behielden een hoge nauwkeurigheid (~95%), met lichte dalingen in moeilijke condities (zijwaartse/achterwaartse hoeken, hoog aantal distractoren. Het model verklaarde 35% van de variantie in menselijke nauwkeurigheid.
Verplaatsing: Het model minimaliseerde het lopen over het algemeen agressiever dan mensen ( $R^2 = 0,06$ ), wat de expliciete kostenfunctie reflecteert. Mensen vertoonden een hogere variabiliteit in loopafstanden.

2. Emergente Strategieën

Het model vertoonde drie kenmerkende menselijke strategieën, gedreven door resource-rationaliteit:

Vroege Commitment (Early Commit): Wanneer de initiële bewijslast sterk was, committeerden zowel mensen als het model zich onmiddellijk zonder beweging.
Hoofdbewegingen voor Nut: Wanneer de initiële bewijslast ambigu was (bijv. voor-achterverwarring), gebruikten beiden lage-kosten hoofdbewegingen om informatie te verzamelen en de geloofverdeling te verscherpen voordat ze besloten.
Lokomotie voor Disambiguatie: Wanneer hoofdbewegingen onvoldoende waren (bijv. geoccludeerde doelwitten of uitgelijnde distractoren), bewogen beiden naar nieuwe posities om ambiguïteit op te lossen via bewegingsparallax of veranderingen in occlusie.

3. Reproductie van Fouten

Het model reproduceerde succesvol specifieke menselijke foutmodi:

Occlusie-gestuurde fouten: Zowel mensen als het model kozen vaak een zichtbare distractor wanneer het ware doelwit werd afgeschermd, wat leidde tot valse zekerheid.
Nabijheid/Diepteverwarring: Beiden werden misleid door distractoren die dichterbij of verder weg lagen, maar uitgelijnd waren in de visuele hoek, waardoor het verkeerde object werd gekozen door onopgeloste posterior-pieken.
Opmerking: Het model reproduceerde niet de "voor-achterverwarringen" waarbij mensen vroeg committen aan een object voor hen terwijl het doelwit erachter lag; het model voerde consequent hoofdbewegingen uit om deze ambiguïteit op te lossen.

Betekenis en Claims

Het artikel beweert dat Sensonaut een resource-rationale account biedt van belichaamd audiovisueel zoeken. De significantie ligt in:

Vereniging van Perceptie en Actie: Het overbrugt de kloof tussen laag-niveau perceptuele modellen en hoog-niveau cognitieve architecturen door cue-integratie te combineren met belichaamde actiekosten binnen één enkele POMDP-structuur.
Voorspellend Vermogen: Het voorspelt niet alleen succespercentages, maar ook de tijd, de inspanning en de specifieke foutmodi die gepaard gaan met zoektaken onder variërende complexiteiten.
Ontwerptool: Het model dient als een simulatietool voor het ontwerpen van audiovisuele interfaces (bijv. in XR, assistieve systemen) die de zoekkosten en cognitieve belasting minimaliseren. Het stelt ontwerpers in staat om te testen hoe ruimtelijke lay-outs, distractoren en begeleidingsaanwijzingen het gebruikersgedrag beïnvloeden vóór de implementatie.
Validatie van Resource-Rationaliteit: De resultaten ondersteunen de hypothese dat menselijk zoekgedrag niet louter een reactie is op sensorische input, maar een strategische optimalisatie van informatieversterking tegenover fysieke en temporele kosten.

De auteurs concluderen dat hoewel het model niet perfect overeenkomt met de menselijke variabiliteit in lokomotie (vanwege grove actiestappen en binaire zichtbaarheid-aannames), het de essentiële strategische dynamiek van belichaamd zoeken vastlegt en daarmee een principieel fundament biedt voor simulatie-gebaseerd ontwerp in HCI.