Technische Samenvatting: Multi-Excitatie Projectieve Simulatie met een Many-Body Physics-geïnspireerde Inductieve Bias

1. Probleemstelling

Deep learning-modellen zijn weliswaar krachtig, maar fungeren vaak als opake "oracles", waardoor hun besluitvormingsprocessen moeilijk te interpreteren zijn. Dit gebrek aan transparantie heeft het veld van de eXplainable Artificial Intelligence (XAI) aangedreven. Eén bestaand XAI-framework, Projective Simulation (PS), modelleert deliberatie als een random walk van een enkel deeltje op een graaf waarbij de knopen (clips) concepten vertegenwoordigen. Hoewel PS biedt voor interpretabiliteit en potentieel voor kwantisatie, lijdt het aan een fundamentele beperking: het kan niet natuurlijk gedachten modelleren die meerdere concepten simultaan combineren. In standaard PS moet een enkele excitatie alle kortetermijninformatie dragen voor een beslissing, wat het ontleden van samengestelde gedachte-structuren (bijv. logische deducties die betrekking hebben op meerdere variabelen) voorkomt.

Bovendien staat een naïeve uitbreiding van PS om meerdere simultane concepten te verwerken (Multi-Excitation PS of MEPS) met behulp van hypergrafen tegen een exponentiële complexiteit. De grootte van de machtsverzameling van knopen schaalt exponentieel met het aantal atomaire clips, waardoor het aantal trainbare parameters en de computationele kosten van een enkele random walk-stap onhandelbaar worden voor alle behalve de kleinste grafen.

2. Methodologie

Multi-Excitation Projective Simulation (MEPS)

De auteurs stellen MEPS voor, een generalisatie van PS waarbij deliberatie wordt gemodelleerd als een random walk van meerdere deeltjes (excitaties) op een hypergraaf.

• Structuur: Het Episodic en Compositional Memory (ECM) is een gewogen, gerichte hypergraaf $G=(V, E, h)$. Knopen $V$ zijn atomaire clips (concepten), en hyperranden $E$ verbinden verzamelingen van inkomende clips met verzamelingen van uitgaande clips.
• Toestand: De toestand van de agent is een excitatieconfiguratie $C \subset V$, die de verzameling van momenteel relevante concepten vertegenwoordigt.
• Dynamiek: Een deliberatiestap houdt een bemonstering in van een transitie van de huidige configuratie $C_{now}$ naar een nieuwe configuratie $C_{next}$ op basis van hyperrandgewichten (h-waarden).
• Leren: De agent leert via een reinforcement learning update-regel aangepast van PS, waarbij h-waarden worden gewijzigd op basis van beloningen en een "glow"-factor voor vertraagde beloningen.

De Many-Body Physics-geïnspireerde Inductieve Bias

Om de exponentiële complexiteit van naïeve MEPS te overwinnen, introduceren de auteurs een inductieve bias geïnspireerd door de quantum many-body physics.

• Kernconcept: Net zoals fysieke verschijnselen vaak voortkomen uit interacties tussen een klein aantal deeltjes (few-body interacties), beperken de auteurs MEPS-transities tot composities van elementaire transities die slechts een klein aantal excitaties tegelijkertijd betreffen.
• Formalisme: In plaats van h-waarden te definiëren voor willekeurige deelverzamelingen van knopen, definieert het model trainbare parameters voor elementaire transities $(i, o)$, waarbij $i$ inkomende excitaties interageren om $o$ uitgaande excitaties te produceren.
• Afkapwaarde: Een verzameling $IO$ definieert de toegestane paren van $(i, o)$. Een afkapwaarde wordt opgelegd zodat $i + o \leq \text{max\_IO}$.
• Mechanisme: In een enkele random walk-stap bemonstert de agent één elementaire transitie $(C^{(i)}_{in} \to C^{(o)}_{out})$ waarbij $C^{(i)}_{in} \subset C_{now}$. De nieuwe configuratie wordt gevormd door de inkomende excitaties te verwijderen en de uitgaande excitaties toe te voegen: $C_{next} = (C_{now} \setminus C^{(i)}_{in}) \cup C^{(o)}_{out}$.
• Complexiteitsreductie: De auteurs bewijzen dat deze bias het aantal trainbare parameters en de complexiteit van een deliberatiestap reduceert van exponentieel ($O(2^{|V|})$) naar polynoom ($O(|V|^{\text{max\_IO}})$). De graad van het polynoom wordt bepaald door de interactie-afkapwaarde.

Dynamische Hypergrafen en Gelaagde Architecturen

• Dynamische Hypergrafen: De trainingsgeschiedenis wordt geformaliseerd als een dynamische hypergraaf, waardoor de visualisatie mogelijk is van hoe de geheugenstructuur van de agent door de tijd heen evolueert.
• Gelaagde Feed-Forward Varianten: Voor specifieke toepassingen definiëren de auteurs Inductieve Bias 2FF (Feed-Forward), die transities beperkt tot bewegingen tussen lagen (bijv. Percept $\to$ Hidden $\to$ Action). Ze stellen ook striktere varianten voor (2SF en 2DP) om polynomiale bovengrenzen op de lengte van random walks te garanderen, wat "avalanches" van excitaties voorkomt.

3. Belangrijkste Bijdragen

1. MEPS Framework: Introductie van een multi-deeltjes random walk-model op hypergrafen om samengestelde gedachten en ontleedbare geheugenstructuren te representeren.
2. Physics-geïnspireerde Inductieve Bias: Formalisering van een klassieke inductieve bias afgeleid van few-body interacties in de quantum many-body physics. Dit reduceert de computationele complexiteit van MEPS van exponentieel naar polynomiaal.
3. Theoretische Bewijzen: Bewijs dat de inductieve bias het aantal trainbare parameters en de complexiteit van random walk-stappen reduceert tot een polynomiale graad bepaald door de interactie-afkapwaarde.
4. Dynamische Hypergraaf Definitie: Een nieuwe definitie voor dynamische hypergrafen om de trainingsgeschiedenissen van agenten te modelleren en te visualiseren.
5. Quantum Motivatie: Een formele afleiding die de klassieke inductieve bias koppelt aan de Hamiltonian van quantum many-body systemen, wat een pad opent naar een quantumimplementatie van MEPS op quantumsimulatoren.

4. Experimentele Resultaten

De auteurs evalueerden MEPS met verschillende inductieve biases in drie synthetische omgevingen:

• Invasion Game met Afleiding: Een contextual bandit-probleem waarbij de juiste actie afhangt van twee relevante observabelen en één irrelevante "afleiding".
  • Resultaat: Agents met een 2-body inductieve bias (die overeenkomt met de complexiteit van het probleem) leerden de optimale policy het snelst. Een 1-body agent slaagde er niet in het probleem op te lossen, terwijl een 3-body agent (equivalent aan standaard PS) het wel oploste, maar aanzienlijk langzamer leerde vanwege de grotere parameterruimte.
• Deceptive Invasion Game: Een uitbreiding met meer acties en een misleidende beloningsstructuur (parity-gebaseerd).
  • Resultaat: De 2-body agent presteerde opnieuw beter dan de 3-body agent. De 1-body agent slaagde er niet in te leren en bleef steken in suboptimale policies door het onvermogen om de noodzakelijke samengestelde logica te modelleren.
• Computer Maintenance: Een complex scenario dat het diagnosticeren en repareren van een defecte computer modelleert, wat een meerlagige keten van gedachten vereist (Symptomen $\to$ Componenten/Oorzaken $\to$ Oplossingen).
  • Resultaat: Een meerlagige MEPS-agent met een specifieke inductieve bias-configuratie bereikte bijna optimale prestaties met ongeveer 16.766 stappen. In contrast hiermee vereisten een onbeperkte standaard PS-agent en een tabelvormige PS-geïnspireerde multi-layer Q-learning agent respectievelijk ongeveer 35.817 en 115.261 stappen. De inductieve bias-agent gebruikte ongeveer 13 keer minder trainbare parameters dan de baselines.

5. Betekenis en Claims

De paper claimt dat MEPS, gecombineerd met de many-body inductieve bias, een schaalbaar en interpreteerbaar alternatief biedt voor standaard deep learning en tabelvormige reinforcement learning methoden voor problemen die complexe redenering vereisen.

• Interpretabiliteit: Door expliciet meerdere concepten simultaan te representeren en een hypergraafstructuur te gebruiken, biedt MEPS een transparante "chain-of-thought" die gevisualiseerd en geanalyseerd kan worden.
• Efficiëntie: De inductieve bias stelt agents in staat om complexe taken op te lossen met aanzienlijk minder parameters en trainingsstappen vergeleken met onbeperkte modellen, waardoor de "vloek van dimensionaliteit" die inherent is aan naïeve hypergraaf-implementaties wordt vermeden.
• Biologische en Fysieke Plausibiliteit: De aanpak is gemotiveerd door de observatie dat menselijke cognitie en fysieke systemen vaak vertrouwen op het combineren van een beperkt aantal factoren tegelijkertijd, in plaats van het verwerken van alle mogelijke combinaties.
• Quantum Potentieel: De formele analogie met de quantum many-body physics suggereert een natuurlijke weg naar de implementatie van MEPS op quantumhardware, waarbij mogelijk gebruik kan worden gemaakt van quantum-speedups voor deliberatie.

De auteurs blijven bescheiden en merken op dat hoewel de inductieve bias de hypotheseruimte beperkt, dit aansluit bij menselijke cognitieve beperkingen en natuurwetten, wat suggereert dat het een praktische in plaats van een restrictieve beperking is. Ze erkennen dat verdere arbeid nodig is om de sampling-algoritmen te optimaliseren en de integratie van hypergraaf-literatuurtechnieken te verkennen voor verdere schaalbaarheid.