Technische Samenvatting: Intrinsieke Vicariële Conditionering voor Deep Reinforcement Learning

Probleemstelling

Reinforcement Learning (RL) heeft aanzienlijke vooruitgang geboekt door middel van beloningsvorming en methoden voor leren uit demonstratie (LfD). Deze benaderingen delen echter een kritieke beperking: ze vereisen doorgaans toegang tot de interne representaties van een expert-demonstrator, trajecten op actie-niveau, of kennis van hun beloningsfunctie. Deze afhankelijkheid wordt problematisch in omgevingen met schaarse extrinsieke beloningen en catastrofale terminale voorwaarden (bijvoorbeeld de dood van de agent) die geen feedbacksignaal bieden. In dergelijke "single-life" scenario's leren biologische agenten gevaar te vermijden en wenselijke toestanden na te streven door anderen te observeren zonder directe ervaring, een proces dat bekendstaat als vicariële conditionering. Huidige RL-methoden worstelen om dit vermogen na te bootsen zonder het beleid of de beloningsfunctie van de demonstrator te vereisen, waardoor agenten worden gedwongen te vertrouwen op kostbare zelfexploratie of uitgebreide datasets.

Methodologie

De auteurs stellen Vicariële Conditionering (VC) voor als een intrinsiek beloningsmechanisme dat het een agent mogelijk maakt te leren uit een paar waargenomen demonstraties zonder toegang tot het beleid ($\pi_d$) of de beloningsfunctie ($r_d$) van de demonstrator. De methode is gebaseerd op Bandura's vierstappenmodel van observationeel leren: Aandacht, Retentie, Reproductie en Versterking.

1. Probleemformulering

De omgeving wordt gemodelleerd als een Deels Waarneembare Markov Beslissingsproces (POMDP). De agent ontvangt een samengestelde beloning $\bar{r}(o_t) = r_{ext}(o_t) + \alpha \cdot r_{vic}(o_t)$, waarbij $r_{ext}$ de schaarse omgevingsbeloning is en $r_{vic}$ de intrinsieke vicariële beloning.
De agent observeert een demonstratortraject $\tau = (o^d_1, \dots, o^d_T, v_\tau)$, waarbij $v_\tau \in \mathbb{R}$ een gecommuniceerde waarde is die de valentie (positief voor benadering, negatief voor vermijding) en intensiteit van het resultaat aangeeft. Cruciaal is dat de agent de acties of interne toestanden van de demonstrator niet ziet.

2. De Vier Stappen van Implementatie

De auteurs implementeren deze stappen met behulp van een Siamese Memory-Augmented Neural Network (MANN) architectuur.

• Aandacht: Een gedeelde Controller Encoder (CE), geïmplementeerd als een Siamese Long Short-Term Memory (LSTM) netwerk, beeldt observatieseries (van zowel de demonstrator als de agent) af op vaste dimensies embeddings ($e_\tau$ en $e_t$). Dit zorgt ervoor dat gedragsmatig vergelijkbare series vergelijkbare embeddings produceren, ongeacht of ze van de demonstrator of de agent afkomstig zijn.
• Retentie: De agent slaat de embeddings van de demonstrator op samen met een gecommuniceerde waarde. De vicariële waarde $V^{vic}$ wordt berekend via achterwaartse discontering vanuit de nuttigheid van het resultaat, gemoduleerd door een vertrouwenscoëfficiënt $k$. Deze embeddings en waarden worden geschreven naar een externe geheugenmatrix $M_t$ met behulp van inhoudsgebaseerde adressering (Least Recently Used-toegang). De MANN wordt getraind via cross-entropy-verlies om de valentie (positief/negatief) van de opgeslagen trajecten te classificeren.
• Reproductie: De agent genereert een intrinsieke beloning door zijn huidige gedragsembedding ($e_t$) te vergelijken met het opgeslagen geheugen. Een Generalization Kernel berekent de gelijkenis (cosine similarity) tussen de huidige staat en de opgeslagen geheugens. Een classificatielaag geeft betrouwbaarheidsscores ($p_t$) voor elke gedragsklasse. De intrinsieke beloning $r_{vic}$ wordt geaggregeerd uit deze scores, afgeschermd door een remdrempel ($\theta_{thr}$) om te voorkomen dat matches met lage betrouwbaarheid beloningen triggeren.
  • Negatieve Conditionering: Als de staat van de agent lijkt op een opgeslagen "vermijdings"-traject, ontvangt deze een negatieve intrinsieke beloning.
  • Positieve Conditionering: Als de staat van de agent lijkt op een opgeslagen "benaderings"-traject, ontvangt deze een positieve intrinsieke beloning.
• Versterking: De intrinsieke beloning wordt gecombineerd met de extrinsieke beloning. De agent optimaliseert het beleid om de verwachte opbrengst van dit samengestelde signaal te maximaliseren. De extrinsieke beloning overheerst uiteindelijk als er tegenstrijdigheden ontstaan, waardoor het beleid optimaal blijft voor de specifieke omgeving.

Belangrijkste Bijdragen

1. Algemene Formulering: Het artikel biedt een formeel RL-kader voor vicariële conditionering, waarbij de biologische stappen van aandacht, retentie, reproductie en versterking expliciet worden gekoppeld aan componenten van neurale netwerken.
2. Siamese Memory-Augmented Architectuur: De auteurs ontwerpen een Siamese MANN die leren met weinig voorbeelden mogelijk maakt. Door de encoder te delen tussen de demonstrator en de agent, zorgt het systeem ervoor dat vergelijkbaar gedrag leidt tot vergelijkbare embeddings, waardoor de agent zijn eigen ervaringen kan herkennen en daarop kan reageren op basis van een paar opgeslagen demonstraties.
3. Valentiespecifieke Mechanismen: De methode introduceert onderscheidende mechanismen voor negatieve (vermijding) en positieve (benadering) conditionering, waardoor de agent zowel kan leren wat te vermijden als wat na te streven, uitsluitend op basis van gecommuniceerde uitkomstwaarden.

Experimentele Resultaten

De aanpak werd geëvalueerd in twee omgevingen: MiniWorld Sidewalk (testen van negatieve conditionering/vermijding) en Box2D CarRacing (testen van positieve conditionering/benadering en samengestelde conditionering).

• MiniWorld Sidewalk: In een omgeving met een niet-beschrijvende terminale voorwaarde (dood levert geen beloning op), bereikte standaard PPO ongeveer 117 stappen. De VC-methode met een optimale drempel ($\theta_{thr} = 0.60$) presteerde aanzienlijk beter dan de baseline, met 142,16 stappen (samengestelde beloning) en 139,96 stappen (alleen intrinsiek). De resultaten toonden aan dat VC de agent succesvol afschrikte van gevaarlijke toestanden (randen van het trottoir) zonder expliciete beloningssignalen voor de dood te vereisen.
• CarRacing:
  • Positieve VC: De agent leerde in de middenrij te blijven (gedemonstreerd gedrag), met bijna drie keer de episode-lengte van basis-PPO (88,45 stappen versus 33,27 stappen). Hoewel dit resulteerde in een lagere extrinsieke beloning (door voorzichtige rijstijl versus agressief tegelbezoek), was de samengestelde beloning aanzienlijk hoger.
  • Negatieve VC: Wanneer toegepast op een benaderingstaak (het vermijden van de baanrand), presteerde negatieve conditionering slechter dan de baseline, wat de gevoeligheid van de methode voor valentie bevestigt; vermijdingssignalen zijn schadelijk wanneer de taak benadering vereist.
  • Samengestelde VC: Het combineren van positieve en negatieve signalen toonde gemengde resultaten, met hoge variantie bij strikte drempels, wat wijst op de noodzaak van zorgvuldige kalibratie van valentiesignalen.

Betekenis en Beweringen

De auteurs beweren dat dit werk de kloof overbrugt tussen biologische leercapaciteiten en huidige RL-beperkingen. Door agenten in staat te stellen te leren uit weinig waargenomen demonstraties zonder toegang tot beleidslijnen, grote datasets of beloningsfuncties, biedt vicariële conditionering een cognitief plausibel alternatief voor single-life learning en continual learning.

Het artikel benadrukt dat dit paradigma bijzonder geschikt is voor real-world omgevingen die uitgestrekt, deels waarneembaar en gevaarlijk zijn, waarbij catastrofale fouten niet kunnen worden geleerd door directe trial-and-error. De methode bootst succesvol het biologische proces na waarbij een agent leert uit de gecommuniceerde uitkomsten van anderen, waardoor het catastrofale terminale voorwaarden kan vermijden en wenselijke toestanden kan nastreven met minimale data. De auteurs erkennen beperkingen, zoals het onvermogen om niet-onderscheidbaar gedrag in de kenmerkruimte te onderscheiden en het ontbreken van geheugenextinctie (eenmaal opgeslagen, blijft een vicariële waarde bestaan), maar betogen dat de versterkingsstap uiteindelijk extrinsieke beloningen toestaat om intrinsieke conditionering te overrulen indien nodig.