🤖 AI

Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability

Dit artikel introduceert een neuro-symbolische meta-policy die gebruikmaakt van temporele kennisgrafen en RDF-gebaseerde geheugenrepresentaties om dynamisch symbolische geheugenheuristieken te selecteren voor het beheren van retentie, retrieval en vergeten in deels observeerbare omgevingen, waarbij superieure langetermijnprestaties en traceerbaarheid op stapniveau worden bereikt.

Oorspronkelijke auteurs: Taewoon Kim, Vincent François-Lavet, Michael Cochez

Gepubliceerd 2026-07-22

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Taewoon Kim, Vincent François-Lavet, Michael Cochez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een gigantisch, verschuivend doolhof op te lossen, maar je kunt alleen de kleine kamer zien waarin je op dit moment staat. Je kunt de hele kaart niet zien, en je kunt ook niet elke draai die je ooit hebt genomen onthouden, omdat je brein een limiet heeft aan hoeveel het tegelijk kan vasthouden. Dit is de uitdaging van "gedeeltelijk observeerbare" omgevingen in de wereld van Kunstmatige Intelligentie. Om door deze doolhoven te navigeren, hebben AI-agenten een manier nodig om te beslissen wat ze in hun geheugen houden, wat ze weggooien en hoe ze de juiste informatie vinden wanneer ze die nodig hebben. Als ze te veel onthouden, raken ze overweldigd; als ze te veel vergeten, raken ze verdwaald. De grote vraag voor wetenschappers is: Hoe bouwen we een AI die slim genoeg is om zijn eigen geheugen te beheren zonder een "black box" te worden die niemand begrijpt?

Dit is waar het artikel "Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability" om draait. De onderzoekers, Taewoon Kim, Vincent François-Lavet en Michael Cochez, pakten dit probleem aan door een hybride systeem te creëren dat werkt als een zeer georganiseerde bibliothecaris die ook over een zeer intuïtief onderbuikgevoel beschikt. Ze bouwden een AI die niet alleen gokt; de AI gebruikt een gestructureerde "knowledge graph" (denk aan een gigantisch, onderling verbonden web van feiten) om zijn herinneringen op te slaan. Maar hier komt de twist: in plaats van de AI willekeurig te laten beslissen wat hij doet, hebben ze hem een "meta-policy" geleerd. Dit is als het geven van een menu met bewezen strategieën aan de AI — zoals "onthoud het nieuwste ding", "onthoud het ding dat je het meest hebt gebruikt" of "vergeet het oudste ding" — en de AI laten leren welke strategie hij op elk gegeven moment moet kiezen. Het resultaat is een systeem dat zowel aanpasbaar is (het leert wat werkt) als transparant (we kunnen precies zien welke regel het koos en waarom).

Het Probleem: De AI met een slecht geheugen

Stel je voor dat je een videogame speelt waarin je een verborgen sleutel moet vinden om een deur te openen. De spelwereld is enorm, maar je kunt alleen de kamer zien waarin je momenteel bent. Terwijl je rondloopt, verzamel je aanwijzingen: "De sleutel lag in de keuken," of "De deur is naar het noorden." Maar je rugzak (je geheugen) kan slechts 512 items bevatten. Als je een 513e item oppakt, moet je iets anders laten vallen.

Als je het verkeerde ding laat vallen, vergeet je misschien waar de sleutel ligt en verlies je het spel. Als je alles bewaart, wordt je rugzak te zwaar en kun je niet meer bewegen. In het verleden probeerden wetenschappers twee belangrijke manieren om dit op te lossen. De ene manier was het gebruiken van strikte, vooraf geschreven regels (zoals "drop altijd het oudste item"). Dit is betrouwbaar maar rigide; het past zich niet aan als het spel verandert. De andere manier was het gebruiken van een "black box" neuraal netwerk, waarbij de AI zelf leert alles te onthouden. Dit is flexibel, maar het is als een goocheltruc: je weet dat het antwoord klopt, maar je hebt geen idee hoe de AI heeft besloten dat specifiek dat ene feit behouden moest blijven en dat andere gedropt moest worden. Het is moeilijk te vertrouwen of te repareren als het een fout maakt.

De Oplossing: De Slimme Bibliothecaris met een Menu

De auteurs introduceerden een nieuwe aanpak genaamd een "neuro-symbolische meta-policy". Laten we dat ontleden met een simpel verhaal.

Stel je voor dat jouw AI-agent een bibliothecaris is in een bibliotheek die constant wordt herschikt. De bibliotheek is de "Temporal Knowledge Graph". Elk boek (feit) in de bibliotheek heeft een label met drie stukken informatie: wanneer het is toegevoegd, wanneer het voor het laatst is gelezen en hoe vaak het is geleend. Dit is het "symbolische" deel — de feiten zijn duidelijk, gelabeld en georganiseerd.

Nu moet de bibliothecaris elke seconde beslissen wat hij gaat doen. In plaats van te gokken, heeft de bibliothecaris een menu met drie soorten beslissingen om te maken:

Vragen beantwoorden: "Waar is de rode sleutel?" De bibliothecaris kan ervoor kiezen om te zoeken naar het nieuwste briefje over de sleutel, het meest recent gebruikte briefje, of het meest frequent gebruikte briefje.
Exploratie: "Waar moet ik nu naartoe gaan?" De bibliothecaris kan kiezen om te verkennen op basis van de nieuwste kaart, de meest bezochte kaart of de meest gebruikte kaart.
Vergeten: "Mijn plank zit vol! Wat gooi ik weg?" De bibliothecaris kan ervoor kiezen om het oudste item weg te gooien, het minst recent gebruikte item, of het minst frequent gebruikte item.

Het "neuro"-gedeelte van het systeem is het brein van de bibliothecaris. Het kijkt naar de huidige situatie (de kamer waarin je bent, de vraag die je stelt) en gebruikt een speciaal type breinnetwerk (een Graph Neural Network) om elke optie op het menu een score te geven. Het leert, door middel van vallen en opstaan, welk menu-item het moet kiezen om de beste score te halen.

Het Experiment: Het RoomKG Spel

Om dit te testen, gebruikten de onderzoekers een benchmark genaamd "RoomKG". Dit is een grid-wereld met 49 kamers, gevuld met objecten zoals bedden, lampen en mensen. De AI moet door deze wereld navigeren, vragen beantwoorden zoals "Waar is de lamp?", en rondbewegen, terwijl het zijn geheugen onder de limiet van 512 items houdt.

Ze testten hun nieuwe "Slimme Bibliothecaris" tegenover twee andere typen spelers:

De Regelvolger: Een AI die simpelweg vaste regels gebruikt (zoals "vergeet altijd het oudste item").
De Black Box: Een AI die probeert alles vanaf nul te leren zonder duidelijke regels.

De Resultaten: Aanpassingsvermogen Ontmoet Helderheid

De resultaten waren vrij duidelijk. De "Black Box" AI had aanzienlijk moeite en scoorde veel lager dan de anderen. Het lijkt erop dat het proberen om de volledige complexe actieruimte (het kiezen van een kamer en een richting uit 245 mogelijkheden) in één keer te leren, te moeilijk was voor de AI om te handelen met een beperkt geheugen.

De "Regelvolger" deed het goed, wat bewees dat de basisstructuur van het geheugensysteem solide was. Echter, de "Slimme Bibliothecaris" (de neuro-symbolische meta-policy) presteerde het best. Specifiek de versie die een "qualifier-aware" encoder (StarE-GNN) gebruikte, behaalde de hoogste scores.

Wat dit bijzonder maakt, is dat de AI niet alleen maar geluk had. Omdat het systeem "neuro-symbolisch" is, kunnen we het denkproces van de bibliothecaris daadwerkelijk volgen. De onderzoekers konden zien dat de AI in het begin van het spel de voorkeur gaf aan het kijken naar de "meest recent gebruikte" feiten, omdat die waarschijnlijk nog relevant waren. Maar naarmageven de game vorderde en de wereld veranderde, leerde de AI over te schakelen naar het kijken naar de "nieuwste" feiten. De AI veranderde zijn strategie dynamisch op basis van wat er gebeurde, iets wat de rigide regelvolgers niet konden.

Waarom Dit Belangrijk Is

Het meest opwindende deel van dit artikel is niet alleen dat de AI een hogere score haalde. Het is dat hij dat deed terwijl hij volledig transparant bleef. In veel AI-systemen, als je vraat: "Waarom heb je dat feit vergeten?", is het antwoord meestal: "Omdat de wiskunde dat zei." In dit systeem is het antwoord: "Ik koos de regel 'Minst Frequent Gebruikt' omdat ik berekende dat dit feit zelden nodig was."

De auteurs suggereren dat deze aanpak een "sweet spot" biedt: de aanpasbaarheid van een lerende AI gecombineerd met de helderheid van een regelgebaseerd systeem. Ze lieten zien dat door een AI te leren om de juiste "tool" te selecteren uit een gereedschapskist van bekende strategieën, in plaats van telkens te proberen een nieuwe tool uit te vinden, je een betere prestatie kunt leveren zonder het vermogen te verliezen om te begrijpen hoe de AI denkt.

Hoewel dit werd getest in een specifieke spelomgeving met een geheugenlimiet van 512, is de gedachte dat deze "meta-policy" aanpak kan worden toegepast op andere situaties waarin een AI gedurende een lange tijd veel informatie moet beheren. Het bewijst dat je niet hoeft te kiezen tussen begrip en prestatie; je kunt een AI hebben die zowel slim als uitlegbaar is.

Probleemstelling

Het artikel behandelt de uitdaging van Partieel Observeerbaar Reinforcement Learning (POMDP), waarbij een agent een begrensde langetermijngeheugen moet beheren om beslissingen te nemen over lange tijdshorizonten. De specifieke omgeving is RoomKG, een grid-world benchmark waarbij de verborgen staat van de agent en de observaties worden gerepresenteerd als Resource Description Framework (RDF) grafen.

In RoomKG ontvangt de agent alleen lokale observaties (de huidige kamer en directe nabijheden) als RDF-subgrafen, terwijl de volledige omgevingstoestand (inclusief de locaties van objecten in andere kamers en dynamische veranderingen) verborgen blijft. De agent moet vragen beantwoorden over de locaties van objecten en door de omgeving navigeren. Cruciaal is dat de agent werkt onder een strikte langetermijngeheugencapaciteitsbeperking (vastgesteld op 512 feiten in deze studie). De kern van de moeilijkheid ligt in het coördineren van drie concurrerende taken:

Retrieval (Ophalen): Beslissen welke opgeslagen feiten moeten worden opgehaald om vragen te beantwoorden.
Exploration (Exploratie): Beslissen welke delen van de herinnerde kaart onderzocht moeten worden.
Forgetting (Vergeten): Beslissen welke feiten moeten worden verwijderd wanneer de geheugencapaciteit is bereikt.

Traditionele diepe RL-benaderingen maken vaak gebruik van latent geheugen (bijv. LSTM's), die moeilijk te inspecteren of te traceren zijn. Daartegenover staan vaste symbolische heuristieken die interpreteerbaar zijn, maar niet flexibel genoeg zijn voor verschillende contexten. Het artikel zoekt naar een oplossing die de inspecteerbaarheid en expliciete redenering van symbolische systemen behoudt, terwijl het de adaptiviteit van geleerde beleidsregels (policies) bereikt.

Methodologie

De auteurs stellen een Neuro-Symbolische Meta-Policy architectuur voor. In plaats van een directe policy te leren die omgevingstaken uitvoert (bijv. "beweeg naar het noorden" of "beantwoord kamer 5"), leert de agent een meta-policy die bij elk besluitvormingspunt kiest tussen benoemde symbolische heuristieken.

1. Geheugenrepresentatie:
De agent onderhoudt een temporele kennisgraaf ( $M_t$ ) bestaande uit kortetermijn- en langetermijngeheugens. Feiten worden opgeslagen als RDF-triples aangevuld met temporele annotaties (qualifiers) zoals time_added, last_accessed en num_recalled. Dit stelt het systeem in staat om geheugenbeheer te behandelen als een selectieprobleem over expliciete metadata.

2. Symbolische Actieruimte:
De meta-policy selecteert een gezamenlijke symbolische actie $h_t = (h_{forget}, h_{qa}, h_{explore})$ uit een eindige productruimte van 27 combinaties ( $3 \times 3 \times 3$ ):

QA Heuristieken: Most-Recently-Added (MRA), Most-Recently-Used (MRU), Most-Frequently-Used (MFU).
Exploratie Heuristieken: Dezelfde rangschikkingsprioriteiten (MRA/MRU/MFU) toegepast op planning.
Vergetings Heuristieken: First-In-First-Out (FIFO), Least-Recently-Used (LRU), Least-Frequently-Used (LFU).

3. Neurale Architectuur:
Het systeem gebruikt een Graph Neural Network (GNN) encoder om de geheugengraaf te verwerken en voert value heads aan die de symbolische heuristieken scoren. Drie encoder-varianten worden vergeleken:

GCN: Alleen topologie-encoding.
R-GCN: Relatie-bewuste encoding.
StarE-GNN: Qualifier-bewuste encoding (waarbij de temporele annotaties direct in de message passing worden opgenomen).

De architectuur bevat drie onafhankelijke value heads (of een enkele combinatorische head in ablatie-studies) die Q-waarden outputten voor de respectieve heuristiek-sets. De geselecteerde heuristieken worden vervolgens deterministisch uitgevoerd door een symbolische controller ( $\Phi$ ) om de geheugenstatus bij te werken en de actie in de omgeving te kiezen.

4. Training:
Het systeem wordt getraind met off-policy Q-learning met temporal-difference (TD) updates.

QA Head: Getraind als een contextual bandit (onmiddellijke beloning), aangezien correctheid direct wordt vastgesteld.
Explore/Forget Heads: Getraind met TD-learning om krediet toe te wijzen aan beslissingen die toekomstig succes in QA beïnvloeden.

Belangrijkste Bijdragen

Neuro-Symbolische Meta-Policy Formulering: Het artikel introduceert een framework waarbij adaptiviteit wordt bereikt door te leren kiezen tussen expliciete, benoemde symbolische geheugenheuristieken, in plaats van symbolische controle te vervangen door opake latente acties.
Qualifier-Bewuste Temporele Geheugen: Het ontwerp integreert RDF-gebaseerd geheugen met temporele annotaties, waarbij qualifier-bewuste graaf-encoders (specifiek StarE-GNN) worden gebruikt om de neurale representatie af te stemmen op het symbolische beslissingsprobleem.
Traceerbaarheid en Prestaties: De aanpak toont aan dat het mogelijk is om state-of-the-art prestaties te behalen in een setting met een begrensd geheugen, terwijl de stap-niveau traceerbaarheid van geheugenbeheerbeslissingen behouden blijft.

Resultaten

Experimenten werden uitgevoerd op de RoomKG benchmark met een langetermijngeheugencapaciteit van 512.

Prestaties: De StarE-GNN-gebaseerde neuro-symbolische configuratie behaalde de beste resultaten op de helden-test (47,28% QA-succes), waarmee zowel de vaste symbolische baselines (die varieerden van ~43% tot ~46%) als de end-to-end neurale baselines (LSTM/Transformer, die slecht presteerden met ~9–18%) versloeg.
Impact van de Encoder: Qualifier-bewuste encoders (StarE-GNN) en relatie-bewuste encoders (R-GCN) presteerden significant beter dan topologie-alleen encoders (GCN), wat bevestigt dat het behoud van relatie- en qualifier-semantiek cruciaal is voor het beslissingsprobleem.
Modulariteit vs. Combinatorisch: Het modulaire ontwerp (drie onafhankelijke 3-way heads) presteerde beter dan een enkele 27-weg combinatorische head, wat suggereert dat onafhankelijke supervisie voor elk type beslissing (QA, explore, forget) effectiever is.
Interpreteerbaarheid: Analyse van Q-waarde trajecten toonde aan dat de meta-policy adaptief schakelt tussen heuristieken (bijv. verschuiven van een voorkeur voor MRU naar MRA naarmate de episode vordert) op basis van de geheugencontext, wat een transparant beeld geeft van het redeneerproces van de agent.

Betekenis en Claims

Het artikel beweert dat adaptiviteit en inspecteerbaarheid niet tegen elkaar uitgespeeld hoeven te worden. Door een meta-policy over symbolische heuristieken te leren, verbetert het systeem sterke vaste symbolische controles en opake neurale baselines, terwijl het een expliciete, op RDF gebaseerde geheugenstatus behoudt.

De auteurs positioneren dit werk als een directe verankering in het Semantic Web, waarbij gebruik wordt gemaakt van RDF voor representatie, annotatie-compatibele graafsemantiek en graaf-gebaseerde symbolische operaties. Zij benadrukken dat de bijdrage de meta-policy laag en de evaluatie ervan is, en niet de onderliggende benchmark of het geheugenmedium zelf.

De reikwijdte is bescheiden gedefinieerd: de resultaten zijn specifiek voor de RoomKG-omgeving en een geheugencapaciteit van 512. De auteurs erkennen beperkingen, waaronder de afhankelijkheid van een specifieke bibliotheek van heuristieken (prestaties worden begrensd door de kwaliteit van de beschikbare heuristieken) en de huidige focus op deterministische dynamiek in plaats van stochastische of niet-stationaire regimes. Toekomstig werk richt zich op het verbreden van omgevingen, het testen van stochastische robuustheid en het uitbreiden van de bibliotheek met heuristieken, met behoud van expliciete beslissingssporen.