Technische Samenvatting: Overdracht van Korte-termijn- naar Langetermijngeheugen voor Kennisgrafieken onder Gedeeltelijke Observabiliteit

Probleemformulering

Dit artikel behandelt de uitdaging van overdracht van korte-termijn- naar langetermijngeheugen in Versterkend Leren (RL) onder Gedeeltelijk Observable Markov Decision Processes (POMDP's). Specifiek richt het zich op omgevingen waar waarnemingen expliciete symbolische tripels zijn (Resource Description Framework, of RDF) in plaats van ruwe sensorische data.

In de RoomKG-benchmark opereert de agent in een gedeeltelijk waarneembare wereld waar de volledige staat verborgen is. Bij elke stap ontvangt de agent een lokaal geïnduceerd subgraaf van de wereld (een set waargenomen tripels). Het kernprobleem is het bepalen welke van deze waargenomen feiten naar een geheugen met beperkte capaciteit moeten worden overgebracht en welke moeten worden verworpen. Dit wordt geformuleerd als een neuro-symbolisch beslissingsprobleem: voor elke waargenomen tripel in de korte-termijnbuffer moet de agent een expliciete binaire "behouden" of "verwerpen" beslissing nemen voordat deze in langetermijnopslag wordt geplaatst.

Een primaire technische uitdaging is variabele kardinaliteit: het aantal waargenomen feiten ($n_t$) verandert bij elke tijdstap, wat betekent dat de dimensionaliteit van de beslissingsruimte niet vaststaat. Standaard RL-actie-ruimtes zijn doorgaans van vaste grootte, wat directe toepassing bemoeilijkt. Bovendien isoleert het artikel dit overdrachtsmechanisme door andere componenten (vraagbeantwoording, exploratie en geheugenverwijdering) vast te houden, om ervoor te zorgen dat prestatieverschillen uitsluitend aan het overdrachtsbeleid kunnen worden toegeschreven.

Methodologie

De auteurs stellen een per-item Q-learning-benadering voor die is ontworpen om variabele grootte van korte-termijngeheugensets te verwerken.

1. Per-item Q-waarde Parametrisatie

In plaats van de set korte-termijnitems als één combinatorische actie te behandelen (wat zou leiden tot $2^{n_t}$ acties), maakt de methode gebruik van een gedeelde-parameterfunctie $Q_\theta$.

• Input: De huidige symbolische geheugenstaat $M_t$ wordt omgezet in een graaf $G_t$ met entiteiten, relaties en temporele annotaties.
• Codering: Een Graph Neural Network (GNN)-encoder verwerkt $G_t$ om node-embeddings te produceren. Voor elk korte-termijnitem $m_{t,i} = (u, r, v, \xi)$ wordt de representatie $z_{t,i}$ gevormd door het concateneren van de embeddings van de head ($u$) en tail ($v$) nodes. Hierdoor kan de representatie impliciet context van aangrenzende tripels vastleggen via het berichtdoorgeven van de GNN.
• Output: Een kleine Multi-Layer Perceptron (MLP) head mapt $z_{t,i}$ af op een vector van Q-waarden voor de twee acties: $\{0, 1\}$ (verwerpen of behouden).
• Architectuurvarianten: De studie evalueert verschillende GNN-ruggengraten (GCN, R-GCN, StarE-GNN) en beleidsmodi (Lokaal vs. Globaal, Alleen Korte-termijn vs. Volledige context).

2. Temporal-Difference (TD) Leren met Variabele-Kardinaliteit Matching

Standaard off-policy TD-leer neemt transities met vaste dimensionaliteit aan. Om te kunnen omgaan met het variërende aantal items ($n_t$) over stappen heen, introduceren de auteurs een stochastische matching-strategie:

• Transities worden opgeslagen als $(M_t, a_t, r_t, M_{t+1}, d_t)$.
• Tijdens het trainen wordt een mini-batch gesampled. Voor een paar opeenvolgende stappen in een transitie matcht het algoritme items indexgewijs tot de minimale lengte $\ell_b = \min(n_b, n'_{b})$.
• Het TD-doel $y_{b,j}$ wordt berekend voor elke gematchte index $j$ met behulp van de maximale Q-waarde van de volgende stap.
• Het verlies is de gemiddelde kwadratische TD-fout over deze gematchte indices, genormaliseerd door $\ell_t$. Dit stelt het model in staat om te leren van dichte supervisie zonder een vaste actie-dimensie te vereisen of kunstmatige sequentie-semantiek op te leggen aan het op sets gebaseerde geheugen.

3. Trainingsprotocol

Het systeem wordt getraind met standaard off-policy DQN-technieken (Mnih et al., 2015) met $\epsilon$-greedy-actiekeuze. Het beloningssignaal komt van de downstream-taak (juistheid van vraagbeantwoording), wat betekent dat het overdrachtsbeleid leert via vertraagde krediettoewijzing om toekomstige QA-prestaties te maximaliseren.

Belangrijkste Bijdragen

1. Formalisatie van Overdracht als RL-probleem: Het artikel formaliseert overdracht van korte-termijn- naar langetermijngeheugen als een neuro-symbolisch RL-probleem waarbij elk waargenomen feit een expliciete behouden/verwerpen-beslissing ontvangt. Dit isoleert het overdrachtsmechanisme van andere beleidscomponenten.
2. Per-item Q-Leren voor Variabele Kardinaliteit: De auteurs introduceren een praktische, op waarde gebaseerde trainingsrecept voor geheugenbeslissingen met variabele kardinaliteit. Door het gebruik van gedeelde parameters en stochastische indexgewijze matching voor TD-updates, maken ze leren over sets van veranderende grootte mogelijk zonder latente geheugencompressie.
3. Empirische Validatie op RoomKG: De studie levert gecontroleerd bewijs op de RoomKG-benchmark (Langetermijn-capaciteit = 128). Het toont aan dat geleerde overdrachtsbeslissingen beter presteren dan:
   • Symbolische baselines met temporele annotaties (bijv. Novel-Only, Random-Transfer).
   • Geschiedenis-gebaseerde neurale baselines (LSTM, Transformer).
   • Ablaties van de voorgestelde methode (bijv. Globale beleidslijnen of inputs met volledige context presteerden slechter dan lokale beleidslijnen die alleen korte-termijngebruiken).

Resultaten

Op de RoomKG-benchmark met een langetermijngeheugencapaciteit van 128:

• Prestaties: De beste configuratie (GCN-encoder + Lokaal-STM-beleid) behaalde een test QA-score van 38,92 ± 3,09. Dit presteerde significant beter dan de sterkste symbolische baseline (Novel-Only: 31,96) en neurale, geschiedenis-gebaseerde baselines (Transformer: 11,80; LSTM: 7,60).
• Ablatie-inzichten:
  • Lokaal vs. Globaal: Per-item lokale beslissingen (Local-STM) presteerden veruit beter dan gepoolde globale beslissingen (Global-STM), wat suggereert dat feitspecifieke context cruciaal is.
  • Input Scope: Het gebruik van alleen korte-termijngeheugen als input (STM) was effectiever dan het gebruik van de volledige geheugentcontext (Full), wat aangeeft dat de overdrachtsbeslissing sterk afhankelijk is van de relevantie van directe waarneming in plaats van de globale staat.
  • Keuze Encoder: Standaard GCN's presteerden beter dan complexere relationele encoders (R-GCN, StarE-GNN), wat suggereert dat voor deze specifieke overdrachttak eenvoudige structurele codering voldoende is.
• Gedragsanalyse:
  • Het beleid leerde navigatiekritieke feiten (bijv. de huidige locatie van de agent) te behouden met een bijna perfecte retentie (98/100 keer).
  • Het behield query-relevante objectlocaties (58/60 keer) terwijl het veel richtinggebonden kaartlinks (bijv. noord/zuid/oost/west randen) verwierp, en deze behandelde als van lagere waarde of ruis onder capaciteitsbeperkingen.
  • De algehele behoudsrate was ongeveer 40%, wat adaptieve filtering demonstreert in plaats van vaste heuristieken.

Betekenis en Beweringen

Het artikel positioneert zichzelf als een geconcentreerde mechanismevalideringsstudie in plaats van een brede benchmark-overzicht. De primaire betekenis ligt in het aantonen dat:

1. Expliciete, Interpreteerbare Beslissingen: In tegenstelling tot latente-geheugenbenaderingen (bijv. DRQN, DMN) waar staatsupdates ondoorzichtig zijn, produceert deze methode expliciete, inspecteerbare behouden/verwerpen-beslissingen voor symbolische tripels.
2. Effectiviteit onder Beperkingen: Geleerde overdrachtsbeslissingen kunnen geheugendruk in POMDP's effectief beheren, en presteren beter dan zowel vaste symbolische heuristieken als end-to-end sequentiemodellen wanneer de geheugencapaciteit beperkt is.
3. Praktijktoepasbaarheid: De voorgestelde per-item Q-learning met stochastische matching biedt een haalbaar trainingsrecept voor beslissingsproblemen met variabele kardinaliteit in RL.

De auteurs erkennen nederig beperkingen: de evaluatie is beperkt tot de RoomKG-omgeving en een specifieke geheugencapaciteit; niet-overdrachtcomponenten waren vastgehouden om de variabele te isoleren; en de TD-matching-strategie is een praktische heuristiek in plaats van een theoretisch complete oplossing voor op sets gebaseerde uitlijning. Voor toekomstig werk wordt voorgesteld om bredere omgevingen en gezamenlijke end-to-end training te verkennen, terwijl feitspecifieke interpreteerbaarheid behouden blijft.