Empathy Modeling in Active Inference Agents for Perspective-Taking and Alignment

Probleemstelling

Bestaande benaderingen voor artificiële empathie vertrouwen vaak op oppervlakkige patroonherkenning of scriptgedreven emotionele reacties. Dit creëert een "empathie-kloof": AI-systemen kunnen gepaste reacties vertonen zonder een fundamenteel begrip van de intenties, overtuigingen of het welzijn van anderen. Dit gebrek aan fenomenologische grondslag maakt het moeilijk om AI-systemen veilig en sociaal robuust te aligneren met menselijke waarden in complexe interacties.

De kernvraag is hoe men artificiële agenten kan ontwerpen die niet alleen voorspellen wat een ander zal doen (cognitieve empathie), maar ook zorgen voor het welzijn van de ander (affectieve en motivationele empathie), zodat pro-sociaal gedrag ontstaat zonder expliciete communicatie of beloningsschikkingen.

Methodologie

Het paper introduceert een computationeel kader voor empathie binnen het Active Inference-paradigma. De kern van de methode is het gebruik van een gedeelde generatieve structuur voor zowel het zelf als de ander, waarbij empathie wordt geoperationaliseerd als een gewicht in de planning.

1. Generatief Model en Structuur

• Elke agent modelleert de interactie als een Partially Observable Markov Decision Process (POMDP).
• In plaats van aparte modellen voor elke partner te bouwen, gebruikt de agent een structuur-gelijkend generatief model (structurally matched generative model) voor de ander. De agent "stapt in de schoenen" van de ander door zijn eigen architectuur te hergebruiken, maar behandelt specifieke parameters van de tegenstander (zoals voorkeuren en empathie) als latente variabelen die online worden afgeleid.
• De verborgen toestand $s_\tau$ encodeert de gezamenlijke uitkomst van een ronde (bijv. Samenwerken-Coöpereren, Samenwerken-Defecteren, etc.).

2. Sociale Verwachte Vrije Energie (Social EFE)
De beslissingen van de agent worden bepaald door het minimaliseren van de Sociale Verwachte Vrije Energie ($G_{social}$), die een gewogen som is van het eigen welzijn en het welzijn van de ander:
$$G_{social}(a_i) = (1 - \lambda) G_{self}(a_i) + \lambda \mathbb{E}[G_{other}(a_j)]$$

• $\lambda \in [0, 1]$ is de empathie-parameter.
  • $\lambda = 0$: Puur zelfgericht (egoïstisch).
  • $\lambda = 1$: Puur altruïstisch.
  • $0 < \lambda < 1$: Een afweging tussen pragmatische waarde (eigen beloning) en epistemische waarde (informatie over de ander) en het welzijn van de ander.
• De agent voert Bayesiaanse inferentie uit over de latente parameters van de tegenstander (zoals hun empathie $\lambda_j$, precisie $\beta$, en neiging tot samenwerking) via een deeltjesfilter (particle filter).

3. Planning en Theorie van de Geest (ToM)

• Agents gebruiken een Depth-1 Theory of Mind module om de reactie van de tegenstander te voorspellen op basis van interactiegeschiedenis.
• Er wordt onderscheid gemaakt tussen myopische planning ($H=1$, één stap vooruit) en geavanceerde planning ($H>1$, meervoudige stappen vooruit).
• De agent combineert deze voorspellingen met een "gated" mechanisme: als de inferentie over de tegenstander onzeker is, vertrouwt de agent meer op een statische prior; bij hoge zekerheid wordt het geleerde model gebruikt.

Belangrijkste Bijdragen

1. Unificatie van Cognitieve en Affectieve Empathie: Het kader integreert het voorspellen van gedrag (ToM) met het waarderen van het welzijn van de ander (motivatie) binnen één wiskundige formalisatie (de sociale EFE).
2. Structuur als Prior: Empathie fungeert als een structurele prior die de evenwichtsselectie en de stabiliteit van coördinatie bepaalt, in plaats van dat coöperatie alleen voortkomt uit geleerde wederkerigheid.
3. Dynamische Regime-overgangen: Het paper analyseert hoe empathie de dynamiek van het spel verandert, van een defectie-evenwicht naar een coöperatie-evenwicht, en identificeert kritieke drempelwaarden.

Resultaten (Iterated Prisoner's Dilemma)

De auteurs testen het model in een Iterated Prisoner's Dilemma (IPD) met de volgende bevindingen:

• Coöperatie als Fase-overgang: Er is een scherpe overgang van wederzijdse defectie naar wederzijdse coöperatie wanneer de empathie-parameter $\lambda$ een kritieke drempel overschrijdt.
  • Bij myopische planning ($H=1$) ligt de drempel rond $\lambda \approx 0.25$.
  • Bij geavanceerde planning ($H=3$) stijgt de drempel naar $\lambda \approx 0.45$.
• Asymmetrie en Exploitatie: In ongelijke paren (lage empathie vs. hoge empathie) exploiteert de minder empathische agent systematisch de empathischere agent. Coöperatie vereist wederkerigheid; asymmetrie leidt tot structurele kwetsbaarheid.
• Leren vs. Empathie: Hoewel agents de parameters van hun tegenstander nauwkeurig kunnen leren (via het deeltjesfilter), leidt nauwkeurige kennis op zich niet tot coöperatie. Zonder voldoende empathie ($\lambda$), versterkt nauwkeurige kennis juist de verleiding om te exploiteren. Coöperatie wordt gedreven door de empathische structuur, niet door geleerde wederkerigheid.
• Het "Planning Paradox": Verhoogde strategische sophistication (meer stappen vooruit plannen) vermindert coöperatie bij gemiddelde empathie-niveaus. Geavanceerde planners kunnen de cumulatieve voordelen van defectie beter anticiperen, waardoor ze sneller overgaan tot defectie tenzij empathie sterk genoeg is om dit tegen te werken.
• Kritieke Dynamiek: Nabij de overgangsdrempel vertonen agents lange transiënten, verhoogde variabiliteit en oscillaties, wat kenmerkend is voor systemen dicht bij een kritiek punt (regime boundary).

Significantie en Conclusie

Dit onderzoek toont aan dat Active Inference een principieel fundament biedt voor sociaal gealigneerde AI. De belangrijkste implicaties zijn:

1. Alignatie vereist motivatie, niet alleen intelligentie: Het verhogen van de planningscapaciteit van een AI-systeem zonder een corresponderende toename in pro-sociale motivatie (empathie) kan leiden tot minder coöperatief gedrag. Dit formaliseert het risico dat "slimmere" systemen moeilijker te aligneren zijn.
2. Empathie als structurele prior: Empathie is niet slechts een toevoeging, maar een fundamentele component die de doelstelling van de agent herschrijft, waardoor coöperatie een natuurlijk evenwichtspunt wordt in strategische dilemma's.
3. Toekomstperspectief: Het kader biedt een weg naar AI-systemen die niet alleen gedrag nabootsen, maar die intern de gevolgen van hun acties voor anderen simuleren en waarderen. Dit is essentieel voor de ontwikkeling van veilige, robuuste en ethisch georiënteerde multi-agent systemen.

Samenvattend bewijst het paper dat empathie, geformaliseerd als een gewicht in de verwachte vrije energie, de sleutel is om AI-agenten te laten coöpereren op basis van gedeelde belangen in plaats van externe dwang of simpele beloningssignalen.