🤖 machine learning

Neurosymbolic Imitation Learning with Human Guidance: A Privileged Information Approach

Dieser Artikel schlägt ein neurosymbolisches Imitationslern-Framework vor, das die Fähigkeit neuronaler Netze zur Verarbeitung hochdimensionaler Daten mit den Generalisierungsfähigkeiten symbolischer Methoden kombiniert und dabei privilegierte Trainingsinformationen wie Blickdaten nutzt, um die Effizienz zu steigern und Überanpassung zu reduzieren.

Ursprüngliche Autoren: Nikhilesh Prabhakar, Varun Balaji, Athresh Karanam, Kristian Kersting, Sriraam Natarajan

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nikhilesh Prabhakar, Varun Balaji, Athresh Karanam, Kristian Kersting, Sriraam Natarajan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein Videospiel zu spielen. Sie haben zwei Hauptmethoden, dies zu tun, aber beide haben einen gravierenden Mangel.

Das Problem: Zwei fehlerhafte Lehrer

Der „Deep-Learning"-Lehrer: Dieser Lehrer ist wie ein Genie, das Millionen von Stunden Spielzeit beobachtet hat. Er ist hervorragend darin, den Bildschirm zu sehen und sofort zu reagieren. Allerdings ist er eine „Blackbox". Sie können ihn nicht fragen, warum er einen Zug gemacht hat, und er ist schlecht darin, zu verallgemeinern. Wenn Sie einen neuen Gegner auf den Bildschirm setzen, den er noch nie gesehen hat, friert er oft ein oder gerät in Panik. Außerdem benötigt er eine massive Datenmenge zum Lernen, wie ein Schüler, der jedes Buch in der Bibliothek lesen muss, bevor er ein einziges Konzept versteht.
Der „symbolische" Lehrer: Dieser Lehrer ist wie ein Logikprofessor. Er lernt klare, erklärbare Regeln (z. B. „Wenn sich ein Gegner links befindet, bewege dich nach rechts"). Er ist hervorragend darin, seine Züge zu erklären und kann neue Situationen leicht bewältigen. Aber er ist schlecht darin, einen rohen Videobildschirm zu betrachten. Er kann keine Pixel verstehen; die Welt muss ihm in perfektem, vorab geschriebenem Code beschrieben werden.

Die Lösung: Ein hybrider Tutor mit einem „magischen Blick"
Die Autoren dieses Papiers, GRAIL, schlagen eine neue Art vor, dem Roboter beizubringen, die das Beste aus beiden Lehrern kombiniert. Sie nennen es Neurosymbolisches Imitationslernen.

Stellen Sie es sich als Team aus zwei Teilen vor:

Die Augen (Neuraler Teil): Ein neuronales Netzwerk, das den rohen Videobildschirm betrachtet und die Pixel in eine Liste logischer Fakten übersetzt (z. B. „Es gibt einen Spieler", „Es gibt einen Gegner", „Der Gegner ist links").
Das Gehirn (Symbolischer Teil): Eine Logik-Engine, die diese Fakten aufnimmt und Regeln anwendet, um zu entscheiden, was zu tun ist.

Das Geheimnis: Privilegierte Informationen (der „Blick")
Hier kommt die clefere Wendung ins Spiel. Die Autoren erkannten, dass sich die Augen von Menschen, wenn sie diese Spiele spielen, nicht überallhin richten. Sie konzentrieren sich auf die wichtigen Dinge (wie einen Gegner, der gleich schießen wird) und ignorieren den Hintergrundlärm.

In der realen Welt können wir nicht immer sehen, wohin ein Mensch schaut, während er spielt. Aber für dieses Experiment hatten die Forscher Eye-Tracking-Daten (eine Heatmap, die genau zeigt, wohin der Mensch schaute) nur während der Trainingsphase Zugriff.

Sie behandelten diese Eye-Tracking-Daten als „privilegierte Informationen".

Während des Trainings: Der Roboter sieht sowohl den Spielbildschirm als auch die Augenbewegungen des Menschen. Er lernt: „Aha, der Mensch schaut auf den Gegner, also ist dieser Gegner wichtig. Der Mensch ignoriert die Wolken am Himmel, also sollte ich sie auch ignorieren."
Während des Tests (das echte Spiel): Der Roboter sieht die Eye-Tracking-Daten nicht mehr. Er sieht nur den Bildschirm. Aber weil er gelernt hat, worauf er sich während des Trainings konzentrieren muss, ignoriert er nun den Hintergrundlärm von selbst.

Wie es in der Praxis funktioniert
Stellen Sie sich vor, der Roboter spielt ein Spiel wie Seaquest (wo man schwimmt und schießt).

Die Augen: Der Roboter schaut auf den Bildschirm und sieht 50 Objekte. Er erstellt eine Liste mit 50 Fakten.
Der Blick-Filter: Der Roboter erinnert sich: „Beim Training hat der Mensch nur auf die Gegner und Taucher geschaut, nicht auf die Blasen." Also nutzt er diese Erinnerung, um die „Lautstärke" bei den Blasen herunterzuregeln und die „Lautstärke" bei den Gegnern hochzudrehen.
Das Logik-Gehirn: Jetzt wendet das Logik-Gehirn mit einer sauberen, fokussierten Liste wichtiger Fakten seine Regeln an: „Wenn ein Gegner nah ist, feuern."
Das Ergebnis: Der Roboter führt einen Zug aus.

Warum das eine große Sache ist
Das Papier testete dies an Atari-Spielen (wie Asterix und Seaquest) und fand drei große Vorteile:

Bessere Leistung: Der Roboter spielte besser als der „Deep-Learning"-Lehrer und der „symbolische" Lehrer allein.
Proben-Effizienz: Er lernte viel schneller. Während andere Roboter Tausende von Spielen brauchten, um gut zu werden, wurde dieser Roboter mit sehr wenigen Versuchen gut, weil der „Blick" ihm half, sich sofort auf das Wesentliche zu konzentrieren.
Verallgemeinerung: Wenn sich das Spiel änderte (z. B. plötzlich 3 Gegner statt 1), geriet der Roboter nicht in Panik. Weil er Beziehungen gelernt hatte (z. B. „Gegner ist links") und nicht nur Pixelmuster auswendig gelernt hatte, konnte er neue, unbekannte Situationen leicht bewältigen.

Auf den Punkt gebracht
Das Papier stellt ein System vor, das einem Roboter beibringt, Spiele zu spielen, indem es einen „visuellen Übersetzer" mit einem „logischen Regelersteller" kombiniert. Die Geheimwaffe ist die Nutzung von menschlichen Eye-Tracking-Daten als temporäre Trainingsanleitung, um dem Roboter beizubringen, worauf er achten soll. Sobald er trainiert ist, kann der Roboter auch in neuen Situationen selbstständig auf Expertenniveau spielen, ohne dass er noch die Augen des Menschen braucht. Es ist wie einem Schüler beizubringen, zu lernen, indem man ihm genau zeigt, welche Seiten des Lehrbuchs am wichtigsten sind, damit er effektiv lernen kann, selbst wenn Sie nicht mehr da sind, um auf die Seiten zu zeigen.

Technische Zusammenfassung: Neurosymbolisches Imitationslernen mit menschlicher Anleitung: Ein Ansatz privilegierter Informationen

Problemstellung

Imitationslernen (IL) zielt darauf ab, eine Policy (eine Abbildung von Zuständen auf Aktionen) aus Expertendemonstrationen zu lernen. Während reine neuronale Methoden (z. B. Behavioral Cloning) effektiv mit hochdimensionalen Rohdaten wie Bildern umgehen können, leiden sie unter Ineffizienz bei der Datennutzung, Überanpassung und mangelnder Generalisierungsfähigkeit auf Umgebungen mit variierenden Anzahlen von Objekten. Umgekehrt bieten reine symbolische Methoden Interpretierbarkeit und starke Generalisierungsfähigkeit, haben jedoch Schwierigkeiten, hochdimensionale Eingaben direkt zu verarbeiten, und erfordern oft vorab spezifizierte symbolische Repräsentationen.

Darüber hinaus nutzen bestehende IL-Methoden häufig Privilegierte Informationen (PI) – zusätzliche Daten, die während des Trainings verfügbar sind, aber beim Einsatz nicht zur Verfügung stehen – nicht aus. Während Blickdaten (menschliche Augenverfolgung) ein natürlicher Kandidat für PI in visuellen Aufgaben sind, wenden frühere Ansätze Blickführung typischerweise auf neuronale Policies an, wodurch deren „Black-Box"-Charakter erhalten bleibt, oder verwenden sie lediglich zur Regularisierung, ohne den zugrunde liegenden symbolischen Schlussfolgerungsprozess zu verändern.

Die zentrale Herausforderung, die in diesem Papier adressiert wird, lautet: Wie können wir ein Imitationslern-Framework entwickeln, das die hochdimensionale Verarbeitung neuronaler Netze mit der Generalisierungsfähigkeit und Interpretierbarkeit symbolischer Schlussfolgerung kombiniert, während es privilegierte Informationen (insbesondere menschlichen Blick) effektiv nutzt, um das Erlernen robuster und generalisierbarer Policies zu steuern?

Methodik: Das GRAIL-Framework

Die Autoren schlagen GRAIL (Gaze-guided Relational Imitation Learning) vor, ein neurosymbolisches Framework, das drei eng gekoppelte Module integriert, um interpretierbare probabilistische Logikregeln aus Rohbildern und Blickdaten zu lernen.

1. Neurosymbolische Verankerung (Wahrnehmungsmodul)

Anstatt symbolische Eingaben vorauszusetzen, akzeptiert GRAIL rohe Pixelbeobachtungen ( $o_t$ ). Ein neuronales Wahrnehmungsnetzwerk ( $f_\theta$ ) bildet diese Rohbilder auf eine Menge probabilistisch verankerter Atome ( $v^{(0)}_t$ ) ab.

Mechanismus: Das Netzwerk gibt einen Vektor von Wahrheitswahrscheinlichkeiten für eine vordefinierte Menge von Prädikaten erster Ordnung aus (z. B. visibleEnemy, closeToPlayer).
Training: Dieses Modul wird unabhängig unter Verwendung von Ground-Truth-Binärmarkierungen trainiert, die von einem Objekt-Extraktions-Oracle (OCAtari) abgeleitet wurden, mittels Verlustfunktion für negative Log-Likelihood (NLL). Sobald es trainiert ist, fungiert es als festes Feature-Extraktor.

2. Privilegierte Blickmodulation

Dies ist die Kerninnovation, die das Paradigma des Lernens unter Verwendung privilegierter Informationen (LUPI) nutzt.

Blickvorhersage: Ein separates Netzwerk ( $g_\phi$ ) wird trainiert, um aus dem Rohbild eine Blick-Wärmekarte vorherzusagen, wobei die Kullback-Leibler-Divergenz gegenüber Ground-Truth-Augenverfolgungsdaten minimiert wird.
Atom-Neugewichtung: Während des Policy-Trainings wird die Blick-Wärmekarte verwendet, um eine „Blickmasse" ( $s_i$ ) für jede Entität zu berechnen, die in den verankerten Atomen referenziert wird.
Modulation: Die initialen Atomwahrscheinlichkeiten werden durch die Blickwerte neu gewichtet: $v^{(g)}_{t,i} = v^{(0)}_{t,i} \cdot s_i$ .
Effekt: Dieser Mechanismus unterdrückt die Wahrscheinlichkeiten von Atomen, die Hintergrund- oder aufgabenirrelevanten Entitäten entsprechen, auf die der menschliche Experte nicht geschaut hat, und filtert so effektiv spuriose Korrelationen vor der logischen Schlussfolgerungsstufe heraus.

3. Differenzierbarer Forward-Chaining-Reasoner (Policy-Lernen)

Der durch Blick modulierte symbolische Zustand ( $v^{(g)}_t$ ) wird in einen Neurosymbolischen Forward-Reasoner (NSFR) eingespeist.

Logik: Der Reasoner führt differenzierbare Forward-Chaining-Inferenzen über eine vordefinierte Bibliothek von definiten Klauseln der Prädikatenlogik erster Ordnung (FOL) durch.
Differenzierbarkeit: Logische Operationen (Konjunktion/Disjunktion) werden unter Verwendung von Fuzzy-Logik-Semantik (Produkt-T-Norm und T-Konorm) approximiert, wodurch Gradienten durch den Inferenzgraphen fließen können.
Policy-Optimierung: Das System lernt eine Gewichtsmatrix ( $W$ ) für die Regeln. Das Ziel ist Behavioral Cloning: Minimierung der negativen Log-Likelihood der Aktion des Experten unter Berücksichtigung der aus den Regelaktivierungen abgeleiteten Aktionsverteilung.

Hauptbeiträge

Neues neurosymbolisches Framework: Die Entwicklung von GRAIL, das interpretierbare probabilistische Logikregeln für das Imitationslernen direkt aus rohen visuellen Daten lernt.
Integration privilegierter Informationen: Die spezifische Formulierung menschlichen Blicks als privilegierte Information zur Modulation symbolischer Atombewertungen. Dies unterscheidet sich von früheren Arbeiten, die Blick auf neuronale Schichten anwenden; hier steuert der Blick die Phase der symbolischen Verankerung.
Interdisziplinäre Synthese: Das Papier kombiniert Konzepte aus neuronalem Lernen, symbolischem Lernen (Induktive Logikprogrammierung), Imitationslernen und beratungsbasiertem Lernen (LUPI) zu einem einzigen end-to-end trainierbaren System.
Empirische Validierung: Der Nachweis, dass das Framework dateneffizient ist, robuste Policies lernt und auf Testzeitszenarien mit unbekannter Anzahl von Objekten generalisiert, wobei es sowohl rein neuronale als auch rein symbolische Baselines übertrifft.

Experimentelle Ergebnisse

Das Framework wurde in zwei Atari-2600-Umgebungen (Asterix und Seaquest) unter Verwendung des Atari-HEAD-Datensatzes (der menschliche Augenverfolgungsdaten enthält) evaluiert.

Wirksamkeit (Q1): GRAIL erzielte in beiden Domänen die höchsten durchschnittlichen Spielwerte und übertraf signifikant rein neuronale Baselines (Behavioral Cloning, AGIL, BC+Mask) sowie die neurosymbolische Basislinie ohne Blickmodulation (NSFR-IL).
Dateneffizienz (Q2): GRAIL konvergierte mit deutlich weniger Trainingsdaten zu höheren Leistungsniveaus. Bemerkenswerterweise übertraf GRAIL, das nur mit 10 % der Daten trainiert wurde, die NSFR-IL-Baseline, die mit dem gesamten Datensatz trainiert wurde. Die Autoren führen dies darauf zurück, dass die Blickmodulation als Regularisator wirkt und verhindert, dass das Modell spuriose Korrelationen in den Daten lernt.
Generalisierung (Q3): Bei Tests in Umgebungen mit einer höheren Anzahl von Objekten als während des Trainings gesehen, behielt GRAIL eine hohe Leistung bei. Neuronale Baselines versagten bei der Generalisierung über ihre Trainingsobjektanzahl hinaus, während die relationale Natur der symbolischen Repräsentation von GRAIL es ihm ermöglichte, nicht gesehene Objektanzahlen auf natürliche Weise zu handhaben.

Bedeutung und Behauptungen

Das Papier behauptet, dass GRAIL das erste end-to-end neurosymbolische Framework darstellt, das in der Lage ist, Blickinformationen nahtlos als privilegierte Informationen zu integrieren, um effektive, effiziente und generalisierbare Policies zu lernen.

Robustheit: Durch die Verwendung von Blick zur Filterung symbolischer Atome vermeidet das System das Erlernen von Policies auf Basis irrelevanter Hintergrundmerkmale und adressiert so das „Covariate-Shift"-Problem, das im Imitationslernen häufig vorkommt.
Interpretierbarkeit: Im Gegensatz zu neuronalen Policies ist die resultierende Policy eine Menge gewichteter Logikregeln. Die Gewichte selbst liefern eine Erklärung des Entscheidungsprozesses (z. B. welche Regeln für bestimmte Aktionen am kritischsten sind).
Modularität: Das Framework wird als „Plug-and-Play" beschrieben, capable, differenzierbare Lerner, verschiedene Wahrnehmungsmodule und verschiedene Formen privilegierter Informationen (nicht auf Blick beschränkt) zu integrieren.

Die Autoren schließen daraus, dass die Kombination klassischer KI-Konzepte (neural, symbolisch, beratungsbasiert) ein Modell hervorbringt, das nicht nur leistungsfähig, sondern auch transparent ist und in der Lage ist, auf komplexe, dynamische Umgebungen zu generalisieren, bei denen traditionelle symbolische Methoden Schwierigkeiten haben und reine neuronale Methoden an Robustheit mangeln.