🤖 AI

Artificial Empathy: Towards a Framework for Unsupervised Agency Detection and Policy Reconstruction

Dit artikel stelt een raamwerk voor dat een reinforcement learning-agent die getraind is op een onafhankelijke taak gebruikt als een prior om onge supereviseerde detectie van andere agenten en reconstructie van hun beleid mogelijk te maken, uitsluitend op basis van observaties uit de omgeving.

Oorspronkelijke auteurs: Peter Kuhn, Chris Pang, Sonakshi Chauhan

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Peter Kuhn, Chris Pang, Sonakshi Chauhan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de stille hoekjes van het onderzoek naar kunstmatige intelligentie blijft een fundamentele vraag bestaan: hoe kan een machine begrijpen dat iets anders in de wereld met een doel handelt? Om een computer te laten samenwerken met mensen of andere machines, moet deze eerst het onderscheid kunnen maken tussen een steen die door de zwaartekracht valt en een persoon die naar die steen reikt met een intentie. Deze vaardigheid, bekend als agency detectie (agentschapdetectie), is het fundament van sociale interactie. Zonder dit ziet een kunstmatige intelligentie slechts een chaotische stroom van gebeurtenissen, niet in staat om het verschil te zien tussen willekeurige ruis en een doelgericht plan. De uitdaging is nog groter wanneer de machine moet uitzoeken wat die andere agent wil doen, een taak die policy reconstructie wordt genoemd. Als een machine zou kunnen leren om deze verborgen intenties te identificeren en ze te modelleren zonder expliciet te worden onderwezen, zou dat een enorme stap zijn naar het worden van een werkelijk coöperatieve partner, in staat om zijn eigen doelen af te stemmen op die van de wezens om hem heen.

Een team onderzoekers van het Human Inductive Bias Project in Cambridge heeft een belangrijke stap gezet naar het oplossen van dit puzzelstukje door een systeem voor te stellen dat zij "artificiële empathie" noemen. In plaats van te proberen vanaf nul een complexe theory of mind op te bouwen, suggereren zij dat een kunstmatige intelligentie anderen kan begrijpen door zijn eigen interne mechanica als gids te gebruiken. Het kernidee is dat een AI, die zelf een agent is die beslissingen neemt en handelt in de wereld, al over een ingebouwd begrip beschikt van hoe agentschap eruitziet. Door een systeem te trainen om de toekomst te voorspellen op basis van zijn eigen geleerde patronen van gedrag, creëerden de onderzoekers een raamwerk dat een omgeving kan scannen, andere agents kan opsporen en kan uitzoeken wat die agents proberen te bereiken, alles zonder menselijke labels of instructies.

De onderzoekers testten dit concept in een gecontroleerde digitale omgeving, een eenvoudige grid world waar een agent rond beweegt om beloningen te verzamelen. Ze trainden een standaard AI-agent om een specifieke taak op te lossen, zoals het bereiken van de linkeronderhoek van het raster om punten te verdienen. Deze getrainde agent diende als de "expert" of de "ander" die het nieuwe systeem moest begrijpen. Om de taak moeilijk en realistisch te maken, introduceerden de onderzoekers een verwarrend element: een tweede, neppe agent die willekeurig bewoog, zoals een blad dat in de wind waait. Het doel voor het nieuwe systeem was om de willekeurige beweging te negeren en de echte agent correct te identificeren, en vervolgens de specifieke strategie van die agent te leren om het doel te bereiken. Het systeem werd niet verteld welke de echte agent was; het moest dit zelf uitzoeken.

Om dit te bereiken, kreeg het nieuwe systeem een voorsprong door het te laden met het "brein" van een andere AI die op een volledig ongerelateerde taak was getraind, zoals het verzamelen van voedselitems. Deze vooraf geladen kennis fungeerde als een prior, een reeks verwachtingen over hoe agents over het algemeen zich gedragen en hoe hun acties de wereld veranderen. Het systeem observeerde vervolgens de stroom van gebeurtenissen in de grid world. Het gebruikte zijn interne model om een simpele vraag te stellen: als ik aanneem dat een agent hier handelt, kan ik dan voorspellen wat er hierna gebeurt? Wanneer het systeem naar de willekeurige wandelaar keek, faalden de voorspellingen omdat de willekeurige bewegingen geen logisch patroon van doelgerichtheid volgden. Echter, wanneer het de expert-agent observeerde, werkten de voorspellingen goed omdat de bewegingen van de expert consistent waren met de logica van een agent die probeert een doel te bereiken. Door de fout tussen de voorspellingen en de realiteit te minimaliseren, filterde het systeem effectief de ruis weg en richtte het zich op de ware agent.

De resultaten van dit experiment waren veelbelovend. Na het observeren van de omgeving voor een korte periode, leerde het systeem de willekeurige afleidingsmanoeuvre te negeren en nam het succesvol de strategie van de expert-agent over. In een reeks proeven steeg de prestatie van het systeem snel boven die van een willekeurige gok en kwam het uiteindelijk overeen met het vaardigheidsniveau van de oorspronkelijke expert. Dit toonde aan dat het systeem inderdaad ongecontroleerde agency detectie kon uitvoeren, waarbij het de doelgerichte actor tussen de chaos identificeerde en de policy ervan reconstrueerde. De onderzoekers merkten op dat dit succes erop berustte dat het systeem zijn eigen interne dynamiek gebruikte als een lens om de wereld te bekijken, wat effectief zegt: "Ik weet hoe het voelt om een doel te hebben, dus ik kan het in anderen herkennen."

Ondanks deze bemoedigende bevindingen zijn de onderzoekers voorzichtig om dit te presenteren als een vroege proof of concept in plaats van een voltooide oplossing. De experimenten werden uitgevoerd in een kleine, volledig zichtbare grid world met slechts één echte agent en één neppe agent. Het systeem leunde zwaar op het feit dat de prior-agent en de doel-agent structureel vergelijkbaar waren, en het is nog niet bekend hoe goed deze aanpak zou werken als de agents fundamenteel verschillend waren of als de omgeving complex en gedeeltelijk verborgen was. De studie suggereert dat zelfreferentiële priors de detectie van agency kunnen ondersteunen, maar beweert nog niet het bredere probleem van het afstemmen van kunstmatige intelligentie op menselijke waarden in de echte wereld te hebben opgelost. Het werk opent een deur en laat zien dat een AI kan leren om om anderen te geven door eerst zichzelf te begrijpen, maar de reis naar een volledig coöperatieve toekomst blijft lang en ongetest.

Technische Samenvatting: Kunstmatige Empathie: Naar een Raamwerk voor Ongesuperviseerde Detectie van Agentschap en Beleidsreconstructie

Probleemdefinitie

Het artikel behandelt twee onderling verbonden uitdagingen in AI-alignment en multi-agent-systemen:

Detectie van Agentschap (Agency Detection): De taak om onderscheid te maken tussen agentisch gedrag (doelgericht handelen) en niet-agentische willekeurige dynamiek binnen een omgeving.
Beleidsreconstructie (Policy Reconstruction): De taak om het onderliggende beleid ( $\pi_O$ ) van een agent te afleiden uitsluitend op basis van geobserveerd gedrag, zonder toegang tot beloningsfuncties of gelabelde actietrajecten.

Hoewel Inverse Reinforcement Learning (IRL) beleidsreconstructie aanpakt, vereist dit doorgaans voorbewerkte observatie-actieparen en wordt er vanuit gegaan dat de identiteit van de agent al bekend is. De auteurs stellen dat het gezamenlijk oplossen van beide taken op een ongesuperviseerde wijze een noodzakelijke stap is naar AI-alignment, wat een systeem in staat stelt een "gezamenlijk beleid" te ontwikkelen dat zijn eigen doelen synthetiseert met die van andere agenten, waardoor het systeem effectief een neiging ontwikkelt om om anderen te "geven".

Methodologie

De auteurs stellen Kunstmatige Empathie (AE) voor, een raamwerk waarbij een AI-systeem zijn eigen geleerde agentiële dynamiek gebruikt als een prior om andere agenten te detecteren en te modelleren. De aanpak steunt op een model-gebaseerde Reinforcement Learning (RL) architectuur.

1. Basisagent Architectuur

De basis is een deep Q-learning agent, uitgebreid met een trainbaar wereldmodel, geïnspireerd door Variational Autoencoders (VAEs). De architectuur bestaat uit:

Encoder ( $p_\theta$ ): Een convolutioneel netwerk dat latente wereldtoestanden ( $s_t$ ) afleidt uit observaties ( $o_t$ ).
Transitiemodel ( $q_\phi$ ): Een dicht netwerk dat de volgende latente toestand voorspelt ( $s_{t+1}$ ) gegeven de huidige toestand en actie ( $s_t, a_t$ ).
Decoder ( $d_\omega$ ): Reconstrueert observaties vanuit latente toestanden.
Q-Netwerk ( $Q_\rho$ ): Voorspelt Q-waarden voor wereldtoestanden.

De basisagent wordt getraind met een gecombineerde verliesfunctie ( $L_{base}$ ) bestaande uit:

Reconstructieverlies ( $L_{recon}$ ): MSE tussen de ware en gereconstrueerde observaties.
Transitieverlies ( $L_{trans}$ ): KL-divergentie tussen de gemodelleerde posterior en de benaderde posterior.
Q-verlies ( $L_Q$ ): MSE tussen de doel- en voorspelde Q-waarden.

2. Kunstmatige Empathie (AE) Systeem

Het AE-systeem gebruikt een getrainde basisagent (de "prior agent") als een structurele prior voor agentiële dynamiek. Het probeert het beleid van een "doel"- of "expert"-agent te reconstrueren die in een omgeving handelt.

Initialisatie: Het AE-systeem initialiseert zijn gewichten op basis van de gewichten van de prior-agent, waarbij een Gaussische prior in de gewichtsruimte wordt afgedwongen via straftermen ( $R_p, R_q, R_Q$ ).
Voorspellingsmechanisme: Het AE-systeem gaat ervan uit dat de omgeving een agent bevat. Het codeert observaties naar latente toestanden en voorspelt de volgende toestand ( $p^*(s_{t+1}|s_t, A)$ ) door te marginaliseren over alle mogelijke acties ( $N$ ), gewogen door de waarschijnlijkheid van elke actie afgeleid van het AE Q-netwerk:
$p^*(s_{t+1}|s_t, A) = \sum_{i=0}^{N} P(a_i)q'(s_{t+1}|s_t, a_i)$
Verliesfunctie: Het systeem minimaliseert de discrepantie tussen de gecodeerde wereldtoestanden en de voorspelde wereldtoestanden onder de aanname van agentschap. De totale verliesfunctie ( $L_{AE}$ $L_{A E}$ ) bevat:
- KL-divergentie ( $L_{KL}$ ): Tussen de gecodeerde distributie en de door de agent voorspelde distributie.
- Entropiestraf ( $R_H$ ): Om het systeem te dwingen zich te committeren aan specifieke acties in plaats van gladde distributies.
- Gewichtstraffen ( $R_p, R_q, R_Q$ ): Om structurele gelijkenis met de prior-agent te behouden.

Experimentele Opstelling en Resultaten

De auteurs hebben het raamwerk gevalideerd in een 15×15 gridworld met twee verschillende taken:

Food-Game: Het verzamelen van drie voedselitems.
Edge-Game: Het bereiken van de linkeronderrand.

Opstelling:

Een agent getraind op de Food-Game diende als de prior.
Een agent getraind op de Edge-Game diende als de expert.
Het AE-systeem werd geïnitialiseerd met de Food-Game prior en kreeg de taak om het beleid van de Edge-Game expert te imiteren.
Confounding Factor: Een "decoy" agent die een random walk uitvoert, werd toegevoegd aan de observatiestroom om de detectie van agentschap te testen.

Resultaten:

Het AE-systeem slaagde erin om het beleid van de expert (Edge-Game) te imiteren, ondanks de initiële start met een structureel verschillende prior (Food-Game).
Cruciaal is dat het systeem impliciet de taak van detectie van agentschap oploste: het negeerde de willekeurige dynamiek van de decoy-agent en richtte zich op het agentische gedrag van de expert.
Prestatie-indicatoren toonden aan dat na 35 episodes de cumulatieve beloning van de AE-agent significant beter was dan die van een random walk en die van de basis-expert-agent benaderde.

Belangrijkste Bijdragen

Raamwerkvoorstel: Introductie van "Kunstmatige Empathie" als een first-principles raamwerk voor ongesuperviseerde detectie van agentschap en beleidsreconstructie.
Zelfreferentiële Prior: Het innovatieve gebruik van de eigen dynamiek van een agent (via een getraind wereldmodel) als een prior om andere agenten te identificeren en te modelleren, geïnspireerd door simulatietheorie en spiegelneuronen in de cognitieve wetenschap.
Gezamenlijke Taakoplossing: Demonstratie dat een enkele architectuur gelijktijdig onderscheid kan maken tussen agentisch en niet-agentisch gedrag en het onderliggende beleid kan reconstrueren zonder gelabelde data.

Betekenis en Claims

Het artikel positioneert dit werk als een fundamentele stap naar het oplossen van het AI-alignment probleem. Door een AI in staat te stellen om de doelen van andere agenten te detecteren en te modelleren, kan het systeem theoretisch een gezamenlijk beleid ( $\pi_\Omega$ ) construeren dat zijn eigen doelstellingen synthetiseert met die van anderen, wat coöperatief gedrag bevordert.

De auteurs stellen expliciet dat hun huidige resultaten de haalbaarheid aantonen in plaats van robuustheid of schaalbaarheid. Zij erkennen dat de experimenten beperkt zijn tot kleine, volledig observeerbare gridworlds met één enkele verstorende agent. Het artikel claimt niet dat het het AI-alignment probleem heeft opgelost, maar suggereert dat het vaststellen van kunstmatige empathie als een raamwerk een noodzakelijke voorwaarde is voor het ontwikkelen van systemen die in staat zijn om voor andere agenten te "zorgen". Toekomstig werk wordt geïdentificeerd als het uitbreiden van het raamwerk naar partiële observeerbaarheid, meerdere agenten en niet-stationaire beleidsregels.