🤖 AI

Multi-Excitation Projective Simulation with a Many-Body Physics Inspired Inductive Bias

Dieses Paper führt die Multi-Excitation Projective Simulation (mePS) ein, eine Verallgemeinerung der Projective Simulation, die Chain-of-Thought als Random Walk mehrerer Teilchen auf einem Hypergraphen modelliert und dabei einen von der Vielteilchenphysik inspirierten Inductive Bias nutzt, um die Komplexität von exponentiell auf polynomisch zu reduzieren sowie die Interpretierbarkeit zu verbessern und die gleichzeitige Kombination mehrerer Konzepte zu ermöglichen.

Ursprüngliche Autoren: Philip A. LeMaitre, Marius Krumm, Hans J. Briegel

Veröffentlicht 2026-02-05

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Philip A. LeMaitre, Marius Krumm, Hans J. Briegel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Black Box“-Gehirn

Stellen Sie sich vor, Sie hätten eine superintelligente KI, die Probleme lösen kann, aber sie ist wie eine Black Box. Sie stellen ihr eine Frage, und sie gibt Ihnen eine Antwort, aber Sie haben keine Ahnung, wie sie zu dieser gekommen ist. Es ist wie ein Magier, der ein Kaninchen aus einem Hut zieht, aber man kann die Tricks nicht sehen. Das ist ein Problem, denn wir müssen KI vertrauen können, besonders wenn sie Entscheidungen über unser Leben trifft.

Wissenschaftler versuchen seit langem, „Erklärbare KI“ (XAI) zu entwickeln – eine KI, die ihren Rechenweg offenlegt. Eine bestehende Methode namens Projective Simulation (PS) ist wie ein einzelner Reisender, der durch ein Labyrinth aus Ideen wandert. Jedes Zimmer in diesem Labyrinth ist ein Konzept (wie „hungrig“ oder „regnerisch“). Der Reisende bewegt sich von Raum zu Raum, bis er einen Ausgang (eine Handlung) findet. Das ist großartig, weil man den Pfad sehen kann, den der Reisende genommen hat.

Aber es gibt einen Haken: Dieser Reisende kann immer nur eine Idee zur Zeit bei sich tragen. Wenn der Reisende entscheiden muss, ob er zu Abend essen soll, kann er über „Hunger haben“ ODER „Geld haben“ nachdenken, aber er kann nicht beide Gedanken gleichzeitig in seinem Kopf halten, um zu sehen, wie sie interagieren. Echtes menschliches Denken ist eher wie das Jonglieren mit mehreren Bällen gleichzeitig.

Die Lösung: Ein Team von Reisenden (MEPS)

Die Autoren führen ein neues System namens Multi-Excitation Projective Simulation (MEPS) ein.

Statt eines einzelnen Reisenden stellen Sie sich ein Team von Reisenden vor, die gemeinsam durch das Labyrinth ziehen.

Der alte Weg: Eine Person geht einen Flur entlang. Wenn sie über „Hunger“ und „Geld“ nachdenken muss, muss sie diese beiden Ideen zu einem einzigen, komplexen Schild an der Wand verschmelzen.
Der neue Weg (MEPS): Sie haben einen Reisenden, der auf „Hunger“ steht, und einen anderen, der auf „Geld“ steht. Sie können miteinander kommunizieren, sich gemeinsam bewegen oder sich aufteilen. Dies ermöglicht es der KI, zusammengesetzte Gedanken (wie „Ich bin hungrig UND ich habe Geld“) viel natürlicher zu verarbeiten.

Das Labyrinth selbst wird komplexer. Anstatt einfacher Flure, die zwei Räume verbinden, gibt es nun „Superstraßen“ (genannt Hyperedges), die eine Gruppe von Räumen gleichzeitig mit einer anderen Gruppe von Räumen verbinden können.

Die Falle: Das Labyrinth wird zu groß

Hier liegt die Gefahr. Wenn man ein Team von Reisenden durch ein Labyrinth ziehen lässt, in dem jede Gruppe von Räumen mit jeder anderen Gruppe verbunden sein kann, explodiert die Anzahl der möglichen Pfade.

Stellen Sie sich ein Labyrinth mit nur 10 Räumen vor. Die Anzahl der Möglichkeiten, sie zu gruppieren, ist riesig.
Wenn Sie 20 Räume haben, wird die Anzahl der Pfade so massiv, dass selbst der schnellste Supercomputer länger als das Alter des Universums bräuchte, um die beste Route zu finden. Das ist das Problem der exponentiellen Komplexität.

Der magische Trick: Die physik-inspirierte Abkürzung

Um dies zu lösen, haben die Autoren einen Trick aus der Quantenphysik (der Untersuchung winziger Teilchen) entlehnt.

In der realen Welt interagieren Teilchen (wie Elektronen) nicht mit jedem anderen Teilchen im Universum gleichzeitig. Sie stoßen meistens nur mit ein paar Nachbarn zusammen. Eine Kollision kann zwei Teilchen betreffen, oder vielleicht drei, aber selten eine ganze Menge gleichzeitig.

Die Autoren haben eine Regel für ihre KI erstellt, die eine Inductive Bias (induktive Verzerrung/Voreingenommenheit) genannt wird. Betrachten Sie dies als eine Art „gesunden Menschenverstand“, den sie in die KI programmiert haben:

„Dein Team von Reisenden darf nur in kleinen Gruppen interagieren. Nicht mehr als 2 oder 3 Reisende dürfen gleichzeitig den Pfad ändern.“

Durch die Begrenzung der Gruppengröße, die interagieren können, haben sie das unmögliche, unendliche Labyrinth in ein handhabbares gemacht.

Ohne die Regel: Muss die KI Milliarden unmöglicher Pfade prüfen.
Mit der Regel: Prüft die KI nur die realistischen Pfade, in denen kleine Gruppen interagieren.

Dies reduzierte das Problem von „unmöglich“ zu „einfach“ und machte die KI schnell genug zum Lernen, während sie gleichzeitig die Fähigkeit behielt, in komplexen Kombinationen zu denken.

Testen der neuen KI

Die Autoren haben dieses neue System in drei verschiedenen „Videospiel“-Szenarien getestet:

Das ablenkende Invasionsspiel:
- Das Setup: Ein Angreifer versucht, durch eine Tür einzudringen. Der Verteidiger muss die richtige Tür basierend auf Symbolen erraten. Es gibt jedoch ein „Ablenkungs“-Symbol, das nichts bedeutet.
- Das Ergebnis: Die alte KI (einzelner Reisender) wurde durch die Ablenkung verwirrt oder brauchte zu lange zum Lernen. Die neue KI (Team von Reisenden) mit der „kleinen Gruppen“-Regel ignorierte die Ablenkung sofort und lernte das Muster perfekt, da sie die zwei relevanten Symbole gleichzeitig erfassen konnte.
Das täuschende Invasionsspiel:
- Das Setup: Der Angreifer lügt. Manchmal bedeutet ein Symbol „nach links gehen“, aber wenn ein zweites Symbol präsent ist, bedeutet es tatsächlich „nach rechts gehen“.
- Das Ergebnis: Die neue KI erkannte den Trick (die Täuschung) viel schneller als die alte KI, weil sie die zwei Symbole gleichzeitig in ihrem „Verstand“ halten konnte, um das Muster zu erkennen.
Die Diagnose eines defekten Computers:
- Das Setup: Stellen Sie sich einen Computer-Reparaturbetrieb vor. Ein Kunde sagt: „Mein Computer ist langsam und der Bildschirm ist blau.“ Die KI muss die Ursache erraten (z. B. „schlechte Software“) und die Lösung finden (z. B. „Betriebssystem neu installieren“).
- Das Ergebnis: Dies ist eine komplexe Gedankenkette. Die KI musste Symptome betrachten, Ursachen vermuten und dann Lösungen auswählen. Die neue KI, die einen mehrschichtigen Ansatz mit der Physik-Regel nutzte, löste diese Probleme effizient. Sie legte ihren Prozess klar offen: „Ich sah diese Symptome, also vermutete ich diese Ursache, was bedeutet, dass ich dies tun sollte.“

Warum das wichtig ist

Das Paper behauptet, dass sie durch diese „physik-inspirierte“ Regel eine KI geschaffen haben, die:

Intelligenter ist: Sie kann komplexe, mehrteilige Gedanken verarbeiten, ohne verwirrt zu werden.
Schneller ist: Sie verschwendet keine Zeit mit dem Prüfen unmöglicher Pfade.
Klarer ist: Man kann den „Denkprozess“ (den Pfad, den die Reisenden nahmen) tatsächlich sehen, was sie vertrauenswürdig macht.

Sie erwähnten auch kurz, dass dieses System, da es das Verhalten echter Teilchen nachahmt, in Zukunft sogar auf Quantencomputern (Maschinen, die echte Quantenteilchen nutzen) aufgebaut werden könnte, um es noch schneller zu machen.

Kurz gesagt: Sie haben eine KI gebaut, die wie ein Team von Menschen denkt statt wie ein einsamer Wolf, aber sie haben ihr die strikte Regel gegeben, nur mit wenigen Leuten gleichzeitig zu kommunizieren, damit sie nicht von zu viel Rauschen überwältigt wird. Das macht sie schnell, klug und leicht verständlich.

Technisches Resümee: Multi-Excitation Projective Simulation mit einem von der Vielteilchenphysik inspirierten Inductive Bias

1. Problemstellung

Deep-Learning-Modelle sind zwar leistungsstark, fungieren jedoch oft als opake „Orakel“, was ihre Entscheidungsprozesse schwer interpretierbar macht. Dieser Mangel an Transparenz hat das Feld der erklärbaren Künstlichen Intelligenz (XAI) vorangetrieben. Ein bestehendes XAI-Framework, die Projective Simulation (PS), modelliert Deliberation als einen Random Walk eines einzelnen Teilchens auf einem Graphen, wobei die Knoten Konzepte (Clips) repräsentieren. Während PS Interpretierbarkeit und Potenzial für Quantisierung bietet, leidet es unter einer fundamentalen Einschränkung: Es kann nicht natürlich Gedanken modellieren, die mehrere Konzepte gleichzeitig kombinieren. In der Standard-PS muss eine einzelne Anregung (Excitation) alle Informationen des Kurzzeitgedächtnisses tragen, was die Trennung zusammengesetzter Gedankenstrukturen (z. B. logische Deduktionen unter Einbeziehung mehrerer Variablen) verhindert.

Darüber hinaus führt eine naive Erweiterung von PS zur Handhabung mehrerer simultaner Konzepte (Multi-Excitation PS oder MEPS) mittels Hypergraphen zu einer exponentiellen Komplexität. Die Größe der Potenzmenge der Knoten skaliert exponentiell mit der Anzahl der atomaren Clips, wodurch die Anzahl der trainierbaren Parameter und die Rechenkosten eines einzelnen Random-Walk-Schritts für alle außer die kleinsten Graphen untragbar werden.

2. Methodik

Multi-Excitation Projective Simulation (MEPS)

Die Autoren schlagen MEPS vor, eine Verallgemeinerung von PS, bei der Deliberation als Random Walk mehrerer Teilchen (Anregungen) auf einem Hypergraphen modelliert wird.

Struktur: Das episodische und kompositionale Gedächtnis (ECM) ist ein gewichteter, gerichteter Hypergraph $G=(V, E, h)$ . Die Knoten $V$ sind atomare Clips (Konzepte), und Hyperkanten $E$ verbinden Mengen von Eingangs-Clips mit Mengen von Ausgangs-Clips.
Zustand: Der Zustand des Agenten ist eine Anregungskonfiguration $C \subset V$ , welche die Menge der aktuell relevanten Konzepte darstellt.
Dynamik: Ein Deliberationsschritt beinhaltet das Sampling eines Übergangs von der aktuellen Konfiguration $C_{now}$ zu einer neuen Konfiguration $C_{next}$ basierend auf den Hyperkanten-Gewichten (h-Werten).
Lernen: Der Agent lernt über eine Reinforcement-Learning-Update-Regel, die aus PS adaptiert wurde, wobei die h-Werte basierend auf Belohnungen und einem „Glow“-Faktor für verzögerte Belohnungen modifiziert werden.

Der von der Vielteilchenphysik inspirierte Inductive Bias

Um die exponentielle Komplexität eines naiven MEPS zu überwinden, führen die Autoren einen Inductive Bias ein, der von der Quanten-Vielteilchenphysik inspiriert ist.

Kernkonzept: So wie physikalische Phänomene oft aus Interaktionen zwischen einer kleinen Anzahl von Teilchen entstehen (Few-Body-Interaktionen), beschränken die Autoren MEPS-Übergänge darauf, dass sie aus elementaren Übergängen bestehen, die jeweils nur wenige Anregungen gleichzeitig involvieren.
Formalismus: Anstatt h-Werte für beliebige Teilmengen von Knoten zu definieren, definiert das Modell trainierbare Parameter für elementare Übergänge $(i, o)$ , bei denen $i$ eingehende Anregungen interagieren, um $o$ ausgehende Anregungen zu erzeugen.
Cutoff: Eine Menge $IO$ definiert die erlaubten Paare von $(i, o)$ . Es wird ein Cutoff angewandt, sodass $i + o \leq \text{max\_IO}$ gilt.
Mechanismus: In einem einzelnen Random-Walk-Schritt sampelt der Agent einen elementaren Übergang $(C^{(i)}_{in} \to C^{(o)}_{out})$ , wobei $C^{(i)}_{in} \subset C_{now}$ . Die neue Konfiguration wird gebildet, indem die eingehenden Anregungen entfernt und die ausgehenden Anregungen hinzugefügt werden: $C_{next} = (C_{now} \setminus C^{(i)}_{in}) \cup C^{(o)}_{out}$ .
Reduktion der Komplexität: Die Autoren beweisen, dass dieser Bias die Anzahl der trainierbaren Parameter und die Komplexität eines Deliberationsschritts von exponentiell ( $O(2^{|V|})$ ) auf polynomial ( $O(|V|^{\text{max\_IO}})$ ) reduziert. Der Grad des Polynoms wird durch den Interaktions-Cutoff bestimmt.

Dynamische Hypergraphen und geschichtete Architekturen

Dynamische Hypergraphen: Die Trainingshistorie wird als dynamischer Hypergraph formalisiert, was die Visualisierung der Entwicklung der Gedächtnisstruktur des Agenten über die Zeit ermöglicht.
Varianten mit geschichtetem Feed-Forward: Für spezifische Anwendungen definieren die Autoren Inductive Bias 2FF (Feed-Forward), welcher Übergänge darauf beschränkt, Anregungen zwischen Schichten zu bewegen (z. B. Percept $\to$ Hidden $\to$ Action). Sie schlagen zudem strengere Varianten (2SF und 2DP) vor, um polynomiale obere Schranken für die Random-Walk-Längen zu garantieren und pathologische „Lawinen“ von Anregungen zu verhindern.

3. Zentrale Beiträge

MEPS-Framework: Einführung eines Multi-Partikel-Random-Walk-Modells auf Hypergraphen zur Repräsentation zusammengesetzter Gedanken und entkoppelter Gedächtnisstrukturen.
Physik-inspirierter Inductive Bias: Formalisierung eines klassischen Inductive Bias, der aus Few-Body-Interaktionen in der Quanten-Vielteilchenphysik abgeleitet ist. Dies reduziert die rechnerische Komplexität von MEPS von exponentiell auf polynomial.
Theoretische Beweise: Beweis, dass der Inductive Bias die Anzahl der trainierbaren Parameter und die Komplexität der Random-Walk-Schritte auf einen durch den Interaktions-Cutoff bestimmten Polynomgrad reduziert.
Definition dynamischer Hypergraphen: Eine neue Definition für dynamische Hypergraphen zur Modellierung und Visualisierung der Trainingshistorien von Agenten.
Quanten-Motivation: Eine formale Ableitung, die den klassischen Inductive Bias mit dem Hamiltonian von Quanten-Vielteilchensystemen verknüpft und einen Pfad zur Implementierung von MEPS auf Quantensimulatoren aufzeigt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten MEPS mit verschiedenen Inductive Biases in drei synthetischen Umgebungen:

Invasion Game mit Ablenkung: Ein Contextual-Bandit-Problem, bei dem die korrekte Aktion von zwei relevanten Observablen und einer irrelevanten „Ablenkung“ abhängt.
- Ergebnis: Agenten mit einem 2-Body-Inductive-Bias (der der Komplexität des Problems entspricht) lernten die optimale Policy am schnellsten. Ein 1-Body-Agent konnte das Problem nicht lösen, während ein 3-Body-Agent (äquivalent zu Standard-PS) es zwar löste, aber aufgrund des größeren Parameterraums signifikant langsamer lernte.
Deceptive Invasion Game: Eine Erweiterung mit mehr Aktionen und einer täuschenden Belohnungsstruktur (Paritäts-basiert).
- Ergebnis: Der 2-Body-Agent übertraf erneut den 3-Body-Agenten. Der 1-Body-Agent konnte nicht lernen und blieb in suboptimalen Policies stecken, da er nicht in der Lage war, die notwendige zusammengesetzte Logik zu modellieren.
Computer Maintenance: Ein komplexes Szenario zur Modellierung der Diagnose und Reparatur eines defekten Computers, das eine mehrschichtige Chain-of-Thought erfordert (Symptome $\to$ $\to$ Komponenten/Ursachen $\to$ $\to$ Lösungen).
- Ergebnis: Ein mehrschichtiger MEPS-Agent mit einer spezifischen Konfiguration des Inductive Bias erreichte eine nahezu optimale Performance mit etwa 16.766 Schritten. Im Gegensatz dazu benötigten ein unbeschränkter Standard-PS-Agent und ein tabellarischer PS-inspirierter Multi-Layer-Q-Learning-Agent etwa 35.817 bzw. 115.261 Schritte. Der Agent mit Inductive Bias nutzte etwa 13-mal weniger trainierbare Parameter als die Baselines.

5. Bedeutung und Ansprüche

Die Autoren behaupten, dass MEPS in Kombination mit dem Vielteilchen-Inductive-Bias eine skalierbare und interpretierbare Alternative zu Standard-Deep-Learning und tabellarischem Reinforcement Learning für Probleme darstellt, die zusammengesetzte Argumentation erfordern.

Interpretierbarkeit: Durch die explizite Repräsentation mehrerer Konzepte gleichzeitig und die Verwendung einer Hypergraph-Struktur bietet MEPS eine transparente „Chain-of-Thought“, die visualisiert und analysiert werden kann.
Effizienz: Der Inductive Bias ermöglicht es Agenten, komplexe Aufgaben mit deutlich weniger Parametern und Trainingsschritten im Vergleich zu unbeschränkten Modellen zu lösen, wodurch der „Fluch der Dimensionalität“, der bei naiven Hypergraph-Implementierungen auftritt, vermieden wird.
Biologische und physikalische Plausibilität: Der Ansatz ist motiviert durch die Beobachtung, dass die menschliche Kognition und physikalische Systeme oft auf der Kombination einer begrenzten Anzahl von Faktoren basieren, statt alle möglichen Kombinationen gleichzeitig zu verarbeiten.
Quanten-Potenzial: Die formale Analogie zur Quanten-Vielteilchenphysik deutet auf einen natürlichen Weg hin, MEPS auf Quantenhardware zu implementieren und potenziell Quanten-Beschleunigungen für die Deliberation zu nutzen.

Die Autoren bleiben bescheiden und merken an, dass der Inductive Bias zwar den Hypothesenraum einschränkt, dieser jedoch mit menschlichen kognitiven Grenzen und physikalischen Gesetzen übereinstimmt, was ihn zu einer praktischen statt einer restriktiven Einschränkung macht. Sie räumen ein, dass weitere Arbeit zur Optimierung der Sampling-Algorithmen und zur Untersuchung der Integration von Hypergraph-Literaturtechniken für eine noch größere Skalierbarkeit erforderlich ist.