Technische Samenvatting: Onderzoek naar Actie-Encoderingen in Recurrente Neuronale Netwerken in Versterkend Leren

Probleemstelling

Het inzetten van versterkend lerende (RL) agenten in real-world, deels waarneembare omgevingen vereist het vermogen om een staatrepresentatie op te bouwen en te onderhouden die fungeert als een toereikende statistiek van het verleden. Hoewel Recurrente Neuronale Netwerken (RNN's) een standaardtool zijn voor het modelleren van temporele afhankelijkheden, omvat hun toepassing in RL kritieke ontwerpkiesingen die vaak over het hoofd worden gezien in de literatuur. Specifiek adresseert het artikel de strategie die wordt gebruikt om actie-informatie op te nemen in de staat-updatefunctie van het RNN. De auteurs merken op dat, hoewel actie een fundamentele rol speelt in perceptie en staatconstructie (met verwijzing naar Noë, 2004; Prinz, 1990; Clark, 2013), veel bestaande RL-implementaties ofwel actie-invoer weglaten of deze opnemen via eenvoudige concatenatie zonder een rigoureuze analyse van de gevolgen. Het kernprobleem is het bepalen hoe het mechanisme van actie-encoding (additief versus multiplicatief) het vermogen van een agent beïnvloedt om waardenfuncties te voorspellen en controlepoliieken te leren in Deels Waarneembare Markov Beslissingsprocessen (POMDP's).

Methodologie

De auteurs formaliseren de interactie tussen agent en omgeving als een POMDP en evalueren verschillende RNN-architecturen die zijn ontworpen om de verborgen staat $s_t$ bij te werken op basis van de observatie $o_t$, de vorige actie $a_{t-1}$ en de vorige staat $s_{t-1}$. De studie richt zich op twee hoofdcategorieën van actie-inname:

1. Additieve Encoderingen:

   • Standaard Additief: De actie-embedding wordt geconcateneerd met het observatievector voordat deze wordt verwerkt door de recurrente cel (bijvoorbeeld $s_t = \sigma(W_x x_t + W_a a_{t-1} + b)$).
   • Diep Additief: De actie wordt door een feed-forward neurale netwerk ($f_a$) geleid om een embedding te creëren voordat deze wordt geconcateneerd met de observatie.

2. Multiplicatieve Encoderingen:

   • Multiplicatief (Tweede Orde): Geïnspireerd door tweede-orde RNN's, gebruikt deze aanpak een tensorproduct om de observatie, staat en actie te integreren. De update-regel omvat een gewichtstensor $W$ en $n$-modale producten: $s_t = \sigma(W \times_2 x_t \times_3 a_{t-1})$.
   • Gefactorde Multiplicatief: Om het hoge aantal parameters van volwaardige multiplicatieve updates te mitigeren, maken de auteurs gebruik van een laag-rang benadering met behulp van Canonische Polyadische (CP) decompositie. Dit factoriseert de tensor in een som van rang-1 componenten, wat het aantal parameters reduceert terwijl geprobeerd wordt de voordelen van multiplicatieve interactie te behouden.

De experimenten maken gebruik van zowel standaard RNN's als Gated Recurrent Units (GRU's). De auteurs maken gebruik van off-policy semi-gradiënt TD(0) voor voorspelling (met behulp van General Value Functions) en Q-learning met $\epsilon$-greedy exploratie voor controle. Om de sample-efficiëntie te verbeteren, nemen ze Experience Replay (ER) op, waarbij verborgen staten worden opgeslagen in de replay-buffer om sequenties te initialiseren tijdens het bemonsteren.

Experimentele Opstelling

De auteurs evalueren deze architecturen in verschillende illustratieve domeinen met variërende observatietypes en dynamieken:

• Ring World: Een cyclische omgeving waarin de agent de afstand tot een actief bit moet bijhouden. Gebruikt om voorspellingscapaciteiten en gevoeligheid voor truncatielengtes te testen.
• TMaze: Een klassieke corridor-omgeving met een T-kruising. Gebruikt om controlecapaciteiten te testen waarbij actie-relevantie laag is (alleen Oost/West-acties beïnvloeden de positie significant).
• Directional TMaze: Een aangepaste TMaze waarbij de oriëntatie van de agent deel uitmaakt van de staat, waardoor actie cruciaal wordt voor het interpreteren van observaties.
• Image Directional TMaze: Een uitbreiding met pixel-gebaseerde observaties (MNIST-cijfers) om prestaties te testen met diepe feature-extractors.
• Lunar Lander: Een deels waarneembare versie van de OpenAI Gym-omgeving om prestaties te testen in een continue controle-omgeving met sensorruis.

Belangrijkste Resultaten

De empirische evaluatie levert verschillende onderscheidende bevindingen op met betrekking tot de effectiviteit van actie-encoderingen:

• Superioriteit van Multiplicatieve Updates: In domeinen waar acties de onderliggende statodynamiek kritiek beïnvloeden (bijvoorbeeld Ring World, Directional TMaze, Lunar Lander), presteert de multiplicatieve update consistent beter dan additieve en actie-loze varianten. De multiplicatieve architectuur bereikt een lagere Root Mean Squared Value Error (RMSVE) in voorspellingstaken en hogere succespercentages in controletaken, waarbij vaak kortere truncatielengtes ($\tau$) nodig zijn om effectief te leren.
• Context-afhankelijke Prestaties: In de standaard TMaze, waar actie-relevantie beperkt is tot specifieke overgangen, presteert de multiplicatieve variant niet strikt beter dan andere methoden; in sommige gevallen presteerden standaard GRU's zonder actie-invoer vergelijkbaar of beter. Dit suggereert dat het voordeel van complexe actie-encoding gekoppeld is aan de specifieke afhankelijkheid tussen acties en staatsovergangen.
• Parameter-efficiëntie: Hoewel volwaardige multiplicatieve updates aanzienlijk meer parameters hebben dan additieve, bereiken de gefactorde (laag-rang) multiplicatieve varianten vaak vergelijkbare prestaties met minder parameters, hoewel ze over het algemeen onderpresteren ten opzichte van de volwaardige multiplicatieve versie.
• Staatrepresentatie-analyse: T-SNE-visualisaties van de geleerde verborgen staten onthullen dat multiplicatieve cellen verborgen staten effectiever clusteren volgens de onderliggende omgevingsstaat dan additieve cellen. Additieve cellen hebben de neiging om staten te over-segregeren op basis van de vorige actie, terwijl multiplicatieve cellen een coherenter representatie van de omgevingsstaat behouden ondanks variaties in actie.
• Beperkingen van Diep Additief: De "Diep Additieve" variant, die een actie-embedding leert, presteerde over het algemeen vergelijkbaar met of slechter dan de standaard additieve aanpak, wat suggereert dat het leren van de embedding van scratch de structurele beperkingen van de additieve update niet overwon.

Betekenis en Aanspraken

Het artikel beweert dat de keuze hoe actie wordt opgenomen in de staat-updatefunctie een kritieke, vaak over het hoofd geziene ontwerpbeslissing is die de prestaties van RL-agenten significant beïnvloedt. De auteurs betogen dat:

1. Aannames van Toezichtleren Misschien Niet Overdraagbaar Zijn: Architecturen en ontwerpkiesingen die succesvol zijn in toezichtleren (zoals eenvoudige concatenatie) zijn mogelijk niet optimaal voor de RL-setting, waarbij de agent zijn eigen agentiviteit op de data-stroom moet modelleren.
2. Multiplicatieve Interacties Zijn Gunstig: Voor taken waarbij de agent moet bijhouden hoe acties de staat veranderen (veel voorkomend in deels waarneembare controle), bieden multiplicatieve updates een structurele inductieve bias die betere staatconstructie en snellere leren faciliteert.
3. Behoefte aan Gespecialiseerde RL-architecturen: De resultaten wijzen op een gat in het huidige RL-onderzoek, wat suggereert dat "kant-en-klare" RNN's uit toezichtdomeinen ontoereikend zijn. Het artikel roept op tot toekomstig werk in het ontwikkelen van recurrente cellen die specifiek zijn ontworpen voor de unieke uitdagingen van online, actieve datacollectie in RL, zoals het hanteren van lange temporele afhankelijkheden zonder uitsluitend te vertrouwen op afgeknotte backpropagation through time (BPTT).

De auteurs concluderen dat, hoewel multiplicatieve updates in de geteste domeinen lijken te zijn de "duidelijke winnaar", de optimale architectuur domein-afhankelijk is, en toekomstige systemen kunnen profiteren van mechanismen die de juiste structurele bias dynamisch kunnen leren of selecteren.