💻 computer science

Sample-efficient Neuro-symbolic Proximal Policy Optimization

Dieser Artikel schlägt eine stichproben-effiziente neuro-symbolische Erweiterung von Proximal Policy Optimization (PPO) vor, die partielle logische Spezifikationen von Richtlinien nutzt, um das Lernen in komplexen Umgebungen mit spärlichen Belohnungen zu steuern, und demonstriert durch zwei unterschiedliche Integrationsstrategien eine überlegene Leistung im Vergleich zu Standard-PPO und Reward-Machine-Baselines.

Ursprüngliche Autoren: Simone Murari, Celeste Veronese, Daniele Meli

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Simone Murari, Celeste Veronese, Daniele Meli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter darin, ein riesiges, verwirrendes Labyrinth zu navigieren. Der Roboter ist sehr intelligent (er verwendet „Deep Reinforcement Learning"), lernt jedoch durch Versuch und Irrtum. Er muss gegen Wände stoßen, Sackgassen ausprobieren und sehr lange warten, um eine einzige „gute Arbeit"-Belohnung zu erhalten. Wenn das Labyrinth riesig ist oder die Belohnungen selten, könnte der Roboter es nie herausfinden, oder es würde Millionen von Versuchen benötigen.

Dieser Artikel schlägt eine Methode vor, dem Roboter einen Spickzettel aus einfachen Logikregeln zu geben, ohne ihn zu zwingen, diese Regeln blind zu befolgen. Die Autoren nennen dies einen „neuro-symbolischen" Ansatz, was einfach eine ausgefallene Art ist zu sagen, dass sie das „Gehirn" des Roboters (neuronale Netze) mit einem „Regelwerk" (symbolische Logik) mischen.

Hier ist, wie sie es mit zwei verschiedenen Methoden umgesetzt haben:

Die zwei Methoden: Der „Nudge" und der „Coach"

Die Forscher nahmen einen bestehenden, beliebten Lernalgorithmus namens PPO (Proximal Policy Optimization) und fügten ihre Logikregeln auf zwei verschiedene Arten hinzu.

1. H-PPO-Product: Der „Nudge" (Sampling Bias)
Stellen Sie sich dies als einen freundlichen Führer vor, der an jeder Kreuzung neben dem Roboter steht.

Wie es funktioniert: Wenn der Roboter kurz davor ist, einen Weg zu wählen, sagt der Führer: „Hey, basierend auf den Regeln, die wir kennen, sieht dieser Weg vielversprechend aus."
Der Trick: Der Führer zwingt den Roboter nicht, diesen Weg zu nehmen. Stattdessen macht er diesen Weg nur etwas wahrscheinlicher gewählt zu werden. Es ist wie das Hinzufügen eines kleinen Gewichts zur Waage.
Das Ausblenden: Zu Beginn des Trainings ist der Führer sehr laut und hilfreich. Aber während der Roboter mehr allein lernt, flüstert der Führer immer leiser, bis er vollständig verschwindet. Dies stellt sicher, dass der Roboter schließlich lernt, selbst zu explorieren, anstatt sich für immer nur Befehle zu befolgen.
Am besten geeignet für: Den Roboter in riesigen, leeren Labyrinthen zu befreien, wo er schnell einen guten Weg finden muss.

2. H-PPO-SymLoss: Der „Coach" (Loss Regularization)
Stellen Sie sich dies als einen strengen Trainer vor, der die Hausaufgaben des Roboters überprüft, nachdem er einen Lauf beendet hat.

Wie es funktioniert: Der Roboter versucht, das Labyrinth zu lösen. Anschließend schaut sich der Trainer die Entscheidungen des Roboters an und sagt: „Du hast es gut gemacht, aber erinnere dich an die Regel: 'Wenn du eine rote Tür siehst, öffne sie noch nicht.' Du hast diese Regel verletzt, also werde ich eine kleine Strafe zu deiner Punktzahl hinzufügen."
Der Trick: Diese Strafe wird in die Lernmathematik des Roboters eingearbeitet. Sie drängt das Gehirn des Roboters sanft dazu, seine internen Einstellungen anzupassen, damit es in Zukunft weniger „regelbrechende" Fehler macht.
Am besten geeignet für: Das Feinabstimmen des Roboters, sobald er bereits mit dem Lernen begonnen hat. Es hilft dem Roboter, sehr präzise und effizient zu werden, hilft aber wenig, wenn der Roboter am Anfang völlig verloren ist.

Die Experimente: Drei verschiedene Labyrinthe

Das Team testete diese Methoden an drei verschiedenen Arten von „Labyrinthen" (Computersimulationen):

DoorKey: Eine Gitterwelt, in der der Roboter einen spezifischen Schlüssel finden muss, um eine spezifische Tür zu öffnen.
- Ergebnis: Die „Nudge"-Methode war hier erstaunlich. In den schwierigsten Versionen (große Gitter, viele Schlüssel) steckte der Standard-Roboter fest, aber der „Nudge"-Roboter fand die Lösung schnell. Die „Coach"-Methode startete langsamer, holte aber schließlich auf.
OfficeWorld: Ein Gitter mit Büros, Post, Kaffee und Pflanzen. Der Roboter muss Orte in einer bestimmten Reihenfolge besuchen (z. B. Kaffee holen, dann Post), ohne Pflanzen zu treffen.
- Ergebnis: Die „Coach"-Methode glänzte hier. Sobald der Roboter mit dem Lernen begann, half ihm der „Coach", seine Routine zu perfektionieren und die höchsten Punktzahlen zu erzielen. Der „Nudge" war am Anfang schnell, blieb aber später bei einer niedrigeren Punktzahl stecken.
WaterWorld: Ein kontinuierlicher Raum mit beweglichen Bällen verschiedener Farben. Der Roboter muss sie in einer bestimmten Farbsequenz treffen.
- Ergebnis: Dies war der schwierigste Test. Die „Nudge"-Methode war die einzige, die die komplexen Sequenzen erfolgreich navigieren konnte. Die „Coach"-Methode hatte hier tatsächlich Schwierigkeiten, weil die Regeln zu restriktiv waren, als dass der Roboter den komplexen Tanz allein herausfinden konnte.

Die große Erkenntnis

Der Hauptpunkt des Artikels ist, dass man kein perfekter Experte sein muss, um einem Roboter beim Lernen zu helfen. Die Autoren zeigten, dass selbst wenn das „Regelwerk", das sie dem Roboter gaben, unvollkommen war oder nur aus leichten Versionen des Spiels gelernt wurde, es dem Roboter dennoch half, die schwierigen Versionen viel schneller zu lernen.

Wenn Sie sich in einem großen, leeren Raum schnell in Bewegung setzen müssen: Verwenden Sie den Nudge (H-PPO-Product).
Wenn Sie die Leistung polieren und die höchste Punktzahl erzielen müssen: Verwenden Sie den Coach (H-PPO-SymLoss).

Durch die Kombination von Logikregeln mit dem Standard-KI-Lernen ließen sie den Roboter schneller lernen, weniger Versuche (Samples) verwenden und Probleme lösen, bei denen Standard-Roboter normalerweise aufgeben. Sie taten dies, ohne jedes Mal die Einstellungen des Roboters ständig anpassen zu müssen, wenn das Spiel schwieriger wurde.

1. Problemstellung

Deep Reinforcement Learning (DRL), insbesondere Algorithmen wie Proximal Policy Optimization (PPO), steht vor erheblichen Herausforderungen in Umgebungen mit spärlichen Belohnungen (sparse-reward environments) mit langen Planungshorizonten und mehreren Teilzielen.

Ineffiziente Probennutzung: Agenten benötigen massive Mengen an Interaktionsdaten, um zu konvergieren, was das Training kostspielig und langsam macht.
Black-Box-Charakter: Neuronale Richtlinien (Policies) mangeln an Interpretierbarkeit und formalen Garantien.
Grenzen bestehender Lösungen:
- Belohnungsformung (z. B. Reward Machines): Oft rechenintensiv und hochsensibel gegenüber ungenauen Heuristiken; schlechte Heuristiken können die Leistung verschlechtern.
- Rein neuronale Ansätze: Fehlende Mechanismen zur direkten Integration menschlich lesbarer Domänenregeln.
- Rein symbolische Ansätze: Schwierigkeiten bei der Skalierung auf komplexe Domänen aufgrund der Herausforderung, den Policy-Suchraum genau zu definieren.

Die Autoren schlagen ein neuro-symbolisches Framework vor, das partielle logische Policy-Spezifikationen, die in einfachen Instanzen gelernt wurden, überträgt, um das Lernen in komplexeren, herausfordernderen Umgebungen zu steuern, wodurch die Probennutzungseffizienz verbessert wird, ohne dass eine Neuabstimmung der Hyperparameter erforderlich ist.

2. Methodik

Die Kerninnovation ist eine neuro-symbolische Erweiterung von PPO, die eine Symbolische Policy ( $\pi_{sym}$ ) nutzt. Diese Policy ist eine Menge logischer Regeln (Horn-Klauseln), die Umgebungsmerkmale (Prädikate) auf Aktionsterme abbilden. Ein Online-Reasoning-Mechanismus übersetzt Rohbeobachtungen in hochlevelige logische Prädikate, die gegen $\pi_{sym}$ evaluiert werden, um vielversprechende Aktionen abzuleiten.

Das Papier stellt zwei verschiedene Integrationsstrategien vor, um diese logische Führung in die PPO-Schleife einzuspeisen:

A. H-PPO-Product (Verzerrung auf Aktionsebene)

Mechanismus: Modifiziert die Verteilung der Aktionsauswahl während der Trainingsphase.
Implementierung:
- Zu jedem Zeitschritt werden die Aktionswahrscheinlichkeiten der neuronalen Policy basierend darauf neu gewichtet, ob eine Aktion logisch durch $\pi_{sym}$ abgeleitet wird.
- Ein Neuweighting-Term $m_t(a, s)$ erhöht die Wahrscheinlichkeit logisch vorgeschlagener Aktionen um einen Faktor, der durch einen Vertrauensparameter $\lambda$ und einen Abkühlungsfaktor (annealing factor) $\epsilon_t$ gesteuert wird.
- $\epsilon_t$ folgt einem linearen Abklingplan, beginnt hoch, um eine durch Logik geführte Exploration zu fördern, und klingt gegen Null ab, während das Training fortschreitet.
Ziel: Die frühe Exploration zu Beginn zu einer logisch fundierten Trajektorie zu verzerrten, sodass der Agent unvollkommene symbolische Vorschläge ignorieren kann, während die neuronale Policy die wahren Umgebungs dynamiken lernt.

B. H-PPO-SymLoss (Regularisierung auf Optimierungsebene)

Mechanismus: Erweitert die PPO-Verlustfunktion um einen symbolischen Regularisierungsterm.
Implementierung:
- Es wird eine Referenzpolicy $\pi_{ref}$ basierend auf dem symbolischen Indikator konstruiert, die logisch abgeleiteten Aktionen eine höhere Wahrscheinlichkeitsmasse zuweist.
- Es wird ein Verhältnis $\rho^{sym}_t$ zwischen der aktuellen neuronalen Policy und dieser symbolischen Referenzpolicy berechnet (wobei das Standard- $\pi_{old}$ im Verhältnis für diesen spezifischen Term ersetzt wird).
- Ein symbolischer Hilfsverlust $L_{sym}$ (strukturiert ähnlich dem geklammerten PPO-Surrogat) wird zur Gesamtverlustfunktion hinzugefügt, gewichtet mit einem Parameter $\Theta$ .
- Wie bei H-PPO-Product kann das Gewicht $\Theta$ über die Zeit abklingen.
Ziel: Als Regularisator zu wirken, der die neuronale Policy während der Optimierung mit logischen Constraints in Einklang bringt und verhindert, dass die Policy in suboptimale Bereiche abdriftet, selbst wenn die symbolischen Regeln unvollkommen sind.

3. Hauptbeiträge

Neuro-symbolisches PPO-Framework: Ein neuartiger Ansatz, der partielle logische Regeln nutzt, um PPO-Agenten zu steuern, wobei entweder Sampling-Verzerrungen (H-PPO-Product) oder Optimierungsstrafen (H-PPO-SymLoss) verwendet werden.
Robustheit gegenüber unvollkommenem Wissen: Die Methoden sind so konzipiert, dass sie mit logischen Regeln arbeiten, die aus einfachen Aufgaben induziert und auf schwierigere übertragen werden, selbst wenn diese Regeln unvollständig oder unvollkommen sind.
Keine Neuabstimmung der Hyperparameter: Das Framework ermöglicht die Skalierung auf größere, komplexere Domänen ohne Neuabstimmung der PPO-Hyperparameter, da die symbolische Führung den Lernprozess automatisch anpasst.
Empirische Validierung: Umfassende Evaluierung über drei Standard-Gitterwelt-Benchmarks (DoorKey, OfficeWorld, WaterWorld), die eine überlegene Leistung im Vergleich zu Vanilla-PPO und Reward-Machine-Baselines demonstrieren.

4. Experimentelle Ergebnisse

Die Autoren bewerteten ihre Methoden an drei Benchmarks mit variierender Komplexität (Gittergröße, Anzahl der Schlüssel, Sequenzlänge):

DoorKey (Navigation mit Schlüsseln/Türen):
- H-PPO-Product glänzte als Explorationsmotor und erreichte die schnellste Konvergenz und die höchsten Erträge, insbesondere im herausforderndsten 16x16-Gitter mit 4 Schlüsseln.
- H-PPO-SymLoss erreichte hohe Erträge, konvergierte jedoch langsamer.
- Die Reward Machine (RM)-Basislinie scheiterte im 4-Schlüssel-Setting vollständig (null Ertrag), was die Zerbrechlichkeit der Belohnungsformung bei komplexen Aufgaben mit spärlichen Belohnungen unterstreicht.
OfficeWorld (Sequenzielle Teilziele):
- H-PPO-Product zeigte ein schnelles initiales Lernen, plateaulerte jedoch bei komplexen Aufgaben (z. B. DeliverCoffeeAndMail) bei leicht niedrigeren Erträgen.
- H-PPO-SymLoss begann langsamer, wirkte jedoch als starker Policy-Regularisator und erreichte schließlich die höchsten Enderträge, indem es die Policy langfristig effektiver formte.
WaterWorld (Kontinuierliche 2D-Physik/Sequenzen):
- Bei komplexen Sequenzaufgaben (z. B. RedGreenAndBlueCyanAndMagentaYellow) war H-PPO-Product die einzige Methode, die den Raum mit spärlichen Belohnungen erfolgreich navigierte und hohe Erträge erreichte.
- H-PPO-SymLoss hatte hier Schwierigkeiten, was bestätigt, dass seine Stärke in der Policy-Konsolidierung liegt und nicht darin, komplexe Explorationssequenzen von Grund auf zu initiieren.

Zusammenfassung der Leistung:

H-PPO-Product: Am besten für Exploration in spärlichen, langfristigen Aufgaben.
H-PPO-SymLoss: Am besten für Policy-Verfeinerung und Maximierung der Enderträge in Aufgaben, bei denen bereits eine gewisse Exploration stattgefunden hat.
Beide Methoden übertrafen konsequent den Standard-PPO und Reward Machines.

5. Bedeutung

Dieses Papier adressiert einen kritischen Engpass im DRL: die Probennutzungseffizienz in komplexen Domänen mit spärlichen Belohnungen. Durch die direkte Integration symbolischen Reasonings in die algorithmische Struktur von PPO (anstatt nur als Belohnungsformator) demonstrieren die Autoren, dass:

Logische Priors das Lernen erheblich beschleunigen können, ohne die Flexibilität neuronaler Netze zu beeinträchtigen.
Transferlernen logischer Regeln von einfachen zu komplexen Aufgaben machbar und effektiv ist.
Unterschiedliche Integrationsstrategien (Sampling-Verzerrung vs. Loss-Regularisierung) unterschiedliche Rollen erfüllen und einen Werkzeugkasten für Praktiker bieten, um den richtigen Ansatz basierend darauf zu wählen, ob sie eine bessere Exploration oder eine bessere Policy-Konvergenz benötigen.

Die Arbeit schließt die Lücke zwischen der Interpretierbarkeit symbolischer KI und der Skalierbarkeit von Deep RL und ebnet den Weg für robustere und generalisierbarere Agenten in realen Anwendungen.