Emotion in an active inference model of human driving

Technische Samenvatting: Emotie in een Active Inference-model van Menselijk Rijden

Probleemstelling
Active inference is naar voren gekomen als een principieel kader voor het modelleren van adaptief gedrag door een balans te vinden tussen doelgericht handelen en het verminderen van onzekerheid. Hoewel het succesvol is toegepast op menselijke rijsituaties (bijv. car-following, rijstrookhouden, botsingsvermijding), verwaarlozen bestaande modellen grotendeels de affectieve staat (emotie), een cruciale determinant voor menselijke besluitvorming in het verkeer. Eerdere pogingen om emoties te integreren in active inference waren beperkt tot vereenvoudigde, discrete toestandsruimte-"toy problems" die niet de capaciteit hebben voor het realistische plannen dat vereist is in complexe verkeersscenario's. Er is een behoefte om deze emotionele modelleringsmogelijkheden uit te breiden naar continue toestandsruimte-modellen van rijgedrag die rekening houden met meerstaps beleidsplanning (policy planning).

Methodologie
De auteurs breiden een bestaand active inference-model van menselijke botsingsvermijding bij het rijden (Schumann et al.) uit om een model van de emotie van de bestuurder te incorporeren, gebaseerd op het circumplex-model van Russell (valentie en arousal). Het kernkader werkt als volgt:

1. Generatief Model: De agent onderhoudt een stochastische overtuiging $q(s)$ (via particle filters) over de omgeving, waarbij een externe generatieve proces wordt benaderd. Het transitiemodel combineert een kinematische waarschijnlijkheid (bicycle model) en een normatieve waarschijnlijkheid (naleving van verkeersregels).
2. Beleidselectie (Policy Selection): De agent evalueert kandidaat-beleid $\pi_t$ (sequenties van acties over een horizon $H$) door het minimaliseren van de Verwachte Vrije Energie (Expected Free Energy, EFE). EFE balanceert pragmatische waarde (het bereiken van voorkeursuitkomsten) en epistemische waarde (het verminderen van onzekerheid).
3. Emotieformulering:
   • Valentie ($V$): Gedefinieerd als het verschil tussen de werkelijke en de verwachte pragmatische waarde. Om dit aan te passen aan continue tijd en meerstapsplanning, stellen de auteurs het volgende voor:
     • Delen door de tijdstap $\Delta t$ om frequentie-onafhankelijkheid te garanderen.
     • Het berekenen van de Verwachte Waarde ($V(E)$) als het gemiddelde van de pragmatische waarde over de voorspelde toestanden van de vorige $N=5$ beleidsregels om stabiliteit te garanderen tegen stochastische beleidsselectie.
     • Het berekenen van de Werkelijke Waarde ($V(A)$) op basis van het huidige referentiebeleid (het beleid dat momenteel van kracht is) in plaats van contrafeitelijke scenario's, wat de voortdurende interactie tussen organisme en omgeving weerspieft.
     • $V_t = V(A)_t - V(E)_t$.
   • Arousal ($A$): Gedefinieerd als de entropie van de posterior overtuiging van de agent. De auteurs stellen dat het gebruik van ruwe kinematische onzekerheid contra-intuïtief is (bijv. verre agenten kunnen hoge onzekerheid/arousal induceren, terwijl naderende botsingen juist lage onzekerheid kunnen induceren door nauwkeurige tracking). In plaats daarvan mappen zij arousal aan de onzekerheid van een betekenisvolle abstracte staat: de kans op een botsing ($p_{coll}$).
     • $p_{coll}$ is de verwachte maximale kans op een botsing over de voorspellingshorizon, afgeleid van een binaire botsingsclassifier.
     • Arousal wordt berekend als de binaire entropie van deze botsingskans: $A_t = -[p_{coll} \ln(p_{coll}) + (1-p_{coll}) \ln(1-p_{coll})]$.

Belangrijkste Bijdragen

• Extensie naar Continue Toestandsruimte: Het artikel generaliseert de discrete-toestands emotieformulering van Pattisapu et al. naar een continu toestandsruimte active inference-model van rijgedrag.
• Toekomstgerichte Appraisals: De voorgestelde formulering conditioneert affectieve schattingen niet alleen op huidige toestanden, maar ook op voorspelde toekomstige uitkomsten (over een meerstaps-horizon), wat aansluit bij appraisal-theorieën van emotie.
• Stabiele Valentie-estimatie: Door de verwachte waarden over meerdere eerdere beleidsregels te middelen, vermindert het model de variabiliteit veroorzaakt door stochastische beleidsselectie, wat resulteert in stabielere affectieve signalen.
• Semantische Arousal: De auteurs introduceren een methode om arousal af te leiden uit de onzekerheid van hoogwaardige semantische staten (botsingskans) in plaats van laagwaardige kinematische onzekerheid, waardoor irrationele arousal-reacties op verre, niet-bedreigende agenten worden vermeden.

Resultaten
De aanpak werd geëvalueerd in twee interactieve rijscenario's met elk 128 simulaties: een scenario van een laterale incursion (zijdelingse intrusie) en een kruispunt met overtreding van de voorrang (intersection with priority violation). De agent interageerde met ofwel een conforme of een niet-conforme (adversariële) agent.

• Laterale Incursion:
  • Conforme Agent: Arousal nam aanvankelijk toe naarmate de botsingskans steeg, maar nam af toen de andere agent zich welwillend gedroeg. Valentie werd positief naarmate de pragmatische waarde verbeterde.
  • Niet-conforme Agent: Bij het schenden van de normen door de andere agent verloor de gemodelleerde agent vertrouwen, wat leidde tot verhoogde onzekerheid (arousal) en negatieve valentie. De agent vermeed succesvol een botsing, wat een daaropvolgende daling in arousal en een stijging in valentie veroorzaakte.
• Kruispunt:
  • Conforme Agent: Emoties bleven neutraal/kalm terwijl de andere agent voorrang gaf.
  • Niet-conforme Agent: De agent ervoer negatieve valentie en verhoogde arousal terwijl de andere agent de verkeersregels negeerde. In gevallen van succesvolle vermijding gaf de agent voorrang, wat leidheid (positieve valentie) tot gevolg had. In gevallen van botsing nam de arousal pas af wanneer de botsing onvermijdelijk werd (zekerheid van uitkomst), en de valentie bleef lager dan in gevallen van vermijding.
• Circumplex Mapping: Wanneer gemapt op het circumplex-model, kwamen de emotionele staten van de agent overeen met menselijke patronen: normschendingen induceerden woede (negatieve valentie, hoge arousal), terwijl succesvolle vermijding leidde tot ontspanning. Botsingsuitkomsten vertoonden een transitie van verdriet naar depressie.

Betekenis en Claims
Het artikel claimt dat active inference een haalbaar en principieel kader biedt voor het modelleren van de affectieve componenten van menselijk rijgedrag. De primaire betekenis ligt in:

1. Mechanistische Interpreteerbaarheid: Het model biedt een gestructureerde verklaring voor hoe emotionele staten ontstaan uit cognitieve processen (bijv. afwijkingen van verwachte uitkomsten induceren negatieve valentie; onzekerheid over normschendingen induceert arousal).
2. Afstemming met Appraisal Theory: De resultaten ondersteunen de appraisal-theorieën door aan te tonen dat affectieve reacties worden gedreven door geanticipeerde uitkomsten en de schending van sociale/normatieve verwachtingen.
3. Verenigd Kader: Dit werk ondersteunt de visie van active inference als een verenigde account van perceptie, actie en affect, waarbij wordt aangetoond dat affectieve staten kunnen worden afgeleid uit hetzelfde generatieve kader dat wordt gebruikt voor gedragsmodellering.

Beperkingen
De auteurs merken enkele beperkingen op:

• Het model vangt kortetermijn-voorspellingsfouten op, maar verwaarloost hogere of langere termijn verwachtingen (bijv. een bestuurder in een file kan nog steeds een negatieve valentie ervaren ondanks stabiele kortetermijn-voorspellingen).
• De evaluatie is beperkt tot simulatie; er is geen directe vergelijking met menselijke data (bijv. gezichtsuitdrukkingen) uitgevoerd.
• Het model is eenrichtingsverkeer (gedrag beïnvloedt emotie) en houdt nog geen rekening met hoe emoties het gedrag kunnen moduleren (bijv. woede die risicovol gedrag vergroot).