🤖 AI

LANTERN: LLM-Augmented Neurosymbolic Transfer with Experience-Gated Reasoning Networks

Das Papier stellt LANTERN vor, ein einheitliches neurosymbolisches Transferlern-Framework, das von LLM-generierten Task-Automaten, semantischer Policy-Aggregation und adaptivem Gating Gebrauch macht, um die Stichprobeneffizienz und Robustheit in Multi-Source-Reinforcement-Learning-Szenarien erheblich zu verbessern.

Ursprüngliche Autoren: Mahyar Alinejad, Yue Wang, Amrit Singh Bedi, George Atia

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mahyar Alinejad, Yue Wang, Amrit Singh Bedi, George Atia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie er eine komplexe Mission erfüllt, etwa ein Verlies zu durchqueren, um einen Drachen zu besiegen. In der Vergangenheit war es, einen Roboter auf diese Weise zu unterrichten, wie ein Kind, das nur auf einem einzigen, spezifischen Fahrzeugtyp auf einer einzigen, spezifischen Straße Autofahren lernt. Wenn der Roboter auf einer kleinen, ruhigen Straße lernte, könnte er völlig verloren sein, wenn er aufgefordert wird, auf einer belebten Autobahn zu fahren.

Dieser Artikel stellt LANTERN vor, eine neue Methode, um Roboter zu unterrichten, die wie ein superintelligentes, mehrsprachiges Mentoren-System funktioniert. Anstatt sich nur auf einen Lehrer oder eine Art von Erfahrung zu verlassen, sammelt LANTERN Weisheit von vielen verschiedenen „Lehrern" (Quellaufgaben) und ermittelt, wie deren Ratschläge intelligent kombiniert werden können.

So funktioniert LANTERN, aufgeschlüsselt in vier einfache Schritte:

1. Der „Übersetzer" (Von LLM generierte Karten)

Normalerweise muss ein menschlicher Experte, um einem Roboter eine komplexe Aufgabe beizubringen, eine detaillierte Karte (ein sogenannter „deterministischer endlicher Automat" oder DFA) zeichnen, die jeden einzelnen Schritt zeigt, den der Roboter unternehmen muss. Dies ist langsam und erfordert, dass ein Mensch ein Experte ist.

Der Trick von LANTERN: Es verwendet ein Large Language Model (wie einen sehr fortschrittlichen KI-Chatbot), um eine einfache Satzbeschreibung der Aufgabe zu lesen (z. B. „Finde den Schlüssel, dann den Schild, dann das Schwert") und zeichnet automatisch die Karte für den Roboter.

Analogie: Anstatt dass ein menschlicher Architekt wochenlang Baupläne zeichnet, sagen Sie einfach einer intelligenten KI: „Baue ein Haus mit einer Küche und zwei Schlafzimmern", und sie überreicht Ihnen sofort den Bauplan.

2. Die „Bibliothek der Weisheit" (Multi-Source Aggregation)

In der Vergangenheit konnten Roboter nur von einem anderen Auftrag lernen. Wenn Sie einem Roboter beibringen wollten, „Holz zu sammeln", konnten Sie nur einen Roboter verwenden, der bereits gelernt hatte, „Holz zu sammeln". Wenn Sie versuchten, einen Roboter zu verwenden, der gelernt hatte, „Steine zu sammeln", wären die Ratschläge möglicherweise nutzlos oder verwirrend.

Der Trick von LANTERN: Es betrachtet viele verschiedene Lehrer gleichzeitig. Es fragt: „Teilt die Aufgabe ‚Holz sammeln' Ähnlichkeiten mit der Aufgabe ‚Steine sammeln'?"

Die Magie: Es verwendet ein „semantisches Embedding" (eine Methode, um Wörter in mathematische Punkte im Raum umzuwandeln). Es erkennt, dass, obwohl „Holz" und „Steine" unterschiedlich sind, das Konzept des „Sammelns von Materialien" ähnlich ist.
Analogie: Stellen Sie sich vor, Sie lernen, einen bestimmten Eintopf zu kochen. Anstatt nur einen Koch zu fragen, der nur Eintöpfe macht, fragen Sie einen Bäcker, einen Grillmeister und einen Suppenkoch. LANTERN betrachtet ihre Ratschläge und sagt: „Der Bäcker versteht das Mischen von Zutaten (gut für die Eintopf-Basis), und der Grillmeister versteht das Timing (gut für die Hitze). Ich werde ihre Ratschläge basierend auf ihrer aktuellen Relevanz mischen."

3. Der „Vertrauensmesser" (Dual-Volatility Gating)

Dies ist der kritischste Teil. Wenn ein Roboter blind einem Lehrer folgt, der falsch liegt, wird er scheitern. LANTERN verfügt über einen eingebauten „Vertrauensmesser", der entscheidet, wie stark es den Lehrern zu jedem Zeitpunkt folgt. Es prüft zwei Dinge:

Erfahrungs-Volatilität: Ist der Roboter gerade verwirrt? (Macht er große Fehler?) Wenn ja, vertraut er den Lehrern mehr.
Semantische Volatilität: Ist der Rat des Lehrers tatsächlich für diesen spezifischen Moment relevant? Wenn der Roboter „Holz sammelt", der Lehrer aber über „Brotbacken" spricht, sinkt der Vertrauensmesser.

Analogie: Denken Sie an einen Schüler, der eine Prüfung schreibt.
- Wenn der Schüler die Antwort kennt (geringe Volatilität), ignoriert er den Lehrer und schreibt seine eigene Antwort.
- Wenn der Schüler feststeckt und verwirrt ist (hohe Volatilität), schaut er zum Lehrer.
- Entscheidend: Wenn der Lehrer über ein völlig anderes Thema spricht (geringe semantische Ausrichtung), ignoriert der Schüler ihn, selbst wenn er verwirrt ist. LANTERN hört nur zum richtigen Zeitpunkt auf den richtigen Lehrer.

4. Das Ergebnis: Schneller und intelligenter lernen

Der Artikel testete LANTERN in zwei Hauptwelten:

Verlies-Quest: Ein Roboter, der ein Labyrinth navigiert, um Gegenstände zu sammeln und einen Drachen zu bekämpfen.
Blinder Handwerker: Ein Roboter, der Ressourcen (wie Holz oder Erz) sammelt, um Gegenstände herzustellen.

Die Erkenntnisse:

Geschwindigkeit: LANTERN lernte 40 % bis 60 % schneller als frühere Methoden. Es benötigte weit weniger Versuche, um die Aufgabe zu meistern.
Robustheit: Selbst wenn die „Lehrer" aus sehr unterschiedlichen Welten stammten (z. B. ein Bergbauroboter, der Ratschläge von einem Landmaschinenroboter erhält), geriet LANTERN nicht in Verwirrung. Es wählte erfolgreich die nützlichen Teile der Ratschläge aus und ignorierte den Rest.
Keine manuelle Arbeit: Es benötigte keine Menschen, um die Karten zu zeichnen; die KI erledigte dies automatisch.

Zusammenfassung

LANTERN ist wie ein Schüler, der eine Bibliothek mit Tausenden verschiedener Experten besitzt. Wenn der Schüler vor einer neuen Herausforderung steht, kopiert er nicht einfach einen Experten. Stattdessen:

Bittet er eine KI, eine Karte des Ziels zu zeichnen.
Durchsucht er seine Bibliothek, um Experten zu finden, die ähnliche Dinge getan haben.
Hört er diesen Experten nur zu, wenn er verwirrt ist, und nur dann, wenn die Experten über das richtige Thema sprechen.

Dies ermöglicht es dem Roboter, komplexe, langfristige Aufgaben viel schneller und zuverlässiger als je zuvor zu lernen, ohne dass ein Mensch jeden Schritt mikromanagen muss.

Technische Zusammenfassung: LANTERN – Neurosymbolischer Transfer mit LLM-Verstärkung und erfahrungsgesteuerten Reasoning-Netzwerken

Problemstellung

Reinforcement Learning (RL) hat oft mit Ineffizienz bei der Probenentnahme zu kämpfen, insbesondere bei Aufgaben mit langfristigen, nicht-Markovschen Zielen, die strukturiertes zeitliches Schlussfolgern erfordern. Während neurosymbolische Ansätze – die symbolische Darstellungen wie deterministische endliche Automaten (DEAs) in RL integrieren – die Proben-Effizienz verbessert haben, stoßen bestehende Transfer-Learning-Methoden auf drei kritische Einschränkungen:

Manuelle Spezifikation: Die meisten Methoden erfordern von Experten bereitgestellte DEAs oder temporale Logikformeln, die schwer zu beschaffen sind. Ansätze zur grammatischen Inferenz existieren, benötigen jedoch strukturierte Trajektoriendaten, die für spärliches oder exploratives RL ungeeignet sind.
Abhängigkeit von einer einzigen Quelle: Aktuelle Transfermethoden (z. B. Automaten-Distillation, Policy-Distillation) verlassen sich typischerweise auf eine einzige Quell-Aufgabe. Dies begrenzt die Wirksamkeit, wenn Quell- und Ziel-Aufgaben heterogene Ziele oder nur teilweise übereinstimmende Strukturen aufweisen.
Feste Integrationsmechanismen: Bestehende Frameworks verwenden vorbestimmte Gewichtungsschemata (z. B. exponentieller Abfall) oder statische Hyperparameter und versagen bei der Anpassung, wenn die Relevanz der Quelle über Zustände hinweg oder im Zeitverlauf variiert.

Die Arbeit adressiert die Herausforderung des multi-quelligen neurosymbolischen Transfers in Szenarien, in denen mehrere Quell-Aufgaben unterschiedliche, teilweise verwandte Ziele besitzen. In solchen Regimen ist die direkte Wiederverwendung einer einzelnen Quell-Policy oder eines einzelnen Automaten unzureichend; stattdessen erfordert das System semantische Ausrichtung und die Aggregation von strukturiertem Wissen über heterogene Aufgaben hinweg.

Methodik: Das LANTERN-Framework

LANTERN (LLM-Augmented Neurosymbolic Transfer with Experience-Gated Reasoning Networks) ist ein einheitliches Framework, das entwickelt wurde, um die oben genannten Einschränkungen durch fünf distincte Phasen zu überwinden:

1. LLM-gestützte Automaten-Generierung

Anstelle einer manuellen Spezifikation nutzt LANTERN Large Language Models (LLMs), um Ziel-DEAs ( $D_{tgt}$ ) direkt aus natürlichen Sprach-Aufgabenbeschreibungen ( $T_{desc}$ ) zu generieren.

Prozess: Ein strukturierter Prompt instruiert das LLM, Teilziele zu extrahieren, Automatenzustände zu definieren, die Meilensteine repräsentieren, deterministische Übergänge zu spezifizieren und natürliche Sprach-Semantikbeschreibungen für jeden Zustand zu generieren.
Ausgabe: Ein Ziel-DEA und eine Abbildung von Automatenzuständen auf semantische Beschreibungen, die als Basis für die aufgabenübergreifende Ausrichtung dienen.

2. Semantische Einbettung und Nachbarschaftskonstruktion

Um Transfer zwischen Aufgaben mit unterschiedlichen Zielen zu ermöglichen, konstruiert LANTERN einen gemeinsamen semantischen Einbettungsraum.

Einbettung: Natürliche Sprachbeschreibungen von Automatenzuständen (sowohl aus Quell- als auch aus Ziel-Aufgaben) werden mittels eines festen Text-Einbettungsmodells (z. B. Sentence-BERT) auf einen Vektorraum $\phi(\omega) \in \mathbb{R}^d$ abgebildet.
Ähnlichkeit & Nachbarschaften: Die semantische Ähnlichkeit zwischen einem Zielzustand $\omega_{tgt}$ und Quellzuständen $\omega_{src}^k$ wird über die Kosinus-Ähnlichkeit berechnet. Für jeden Zielzustand wird eine „semantische Nachbarschaft" ( $N_M$ ) gebildet, indem die top- $M$ ähnlichsten Quellzustände über alle $K$ Quell-Aufgaben hinweg ausgewählt werden.
Gewichtung: Aggregationsgewichte werden basierend auf Ähnlichkeitswerten normalisiert, wodurch sichergestellt wird, dass semantisch ausgerichtete Zustände stärker zur Führung beitragen.

3. Multi-Quellen-Wissensaggregation

LANTERN aggregiert Führungsinformationen aus der semantischen Nachbarschaft in zwei Dimensionen:

Strategische Führung (Automaten-Ebene): Aggregiert distillierte Q-Werte ( $Q_{k,AD}$ ), die den hochrangigen Aufgabenfortschritt aus Quell-Aufgaben repräsentieren. Der aggregierte Wert $Q_{agg}^{AD}$ ist eine gewichtete Summe der strategischen Quellwerte.
Taktische Führung (Policy-Ebene): Aggregiert Lehrer-Policies ( $\pi_{teacher}^k$ ) aus ausgerichteten Quellzuständen, um Führung auf Aktionsebene zu bieten.

4. Dual-Volatilitäts-Erfahrungsgating

Um das Lernen des Schülers adaptiv mit der Führung durch den Lehrer auszubalancieren, führt LANTERN ein zusammengesetztes Vertrauensgate $\tau$ ein, das zwei Volatilitätsmaße kombiniert:

Erfahrungsvolatilität ( $V^{exp}$ ): Verfolgt die Volatilität des Temporal-Difference (TD)-Fehlers beim Lernen des Schülers. Hohe Volatilität deutet auf Instabilität hin und begünstigt die Lehrerführung.
Semantische Volatilität ( $V^{sem}$ ): Misst die Fehlausrichtung zwischen dem Zielzustand und seinen am besten passenden Quellzuständen (basierend auf Ähnlichkeit). Hohe semantische Volatilität deutet auf eine schlechte Ausrichtung hin und reduziert das Vertrauen in die Quelle.
Mechanismus: Der finale Vertrauenskoeffizient $\tau = \tau^{exp} \cdot \tau^{sem}$ ist multiplikativ. Der Lehrer-Einfluss ist nur dann stark, wenn das Lernen instabil ist und die Quelle semantisch ausgerichtet ist. Dies verhindert negativen Transfer in schlecht ausgerichteten Regionen.

5. Einheitliches Lern-Update

Der Schüler lernt auf dem Produkt-MDP ( $M_{tgt} \times D_{tgt}$ ) unter Verwendung einer modifizierten Q-Update-Regel:
$\Delta Q = \alpha [ \tau \cdot \delta_t + (1 - \tau) \cdot G_{multi} ]$
wobei $\delta_t$ der Standard-TD-Fehler ist und $G_{multi}$ die aggregierte Multi-Quellen-Führung (kombiniert aus strategischen Belohnungen und taktischen Policy-Abweichungen) darstellt. Wenn $\tau \to 1$ , verlässt sich das Update auf Standard-TD-Lernen; wenn $\tau \to 0$ , verlässt es sich auf aggregierte Lehrerführung.

Hauptbeiträge

Formulierung des multi-quelligen neurosymbolischen Transfers: Die Arbeit formuliert ein Szenario, in dem Quell-Aufgaben heterogene Ziele haben, was eine semantische Aggregation anstelle der direkten Wiederverwendung einer einzigen Quelle erfordert.
LANTERN-Architektur: Die Entwicklung eines Frameworks, das LLM-basierte Automaten-Generierung, semantische Multi-Quellen-Aggregation und adaptives Dual-Volatilitäts-Gating integriert.
Empirische Validierung: Demonstration signifikanter Verbesserungen der Proben-Effizienz über diverse Domänen hinweg (Ressourcenmanagement und Navigation) bei gleichzeitiger Aufrechterhaltung der Robustheit gegenüber schlecht ausgerichteten Quellen.

Experimentelle Ergebnisse

Das Framework wurde in zwei Domänen evaluiert: Dungeon Quest (sequenzielle Navigation) und Blind Craftsman (Ressourcenmanagement mit Inventarbeschränkungen). Quell-Aufgaben umfassten Missionen mit unterschiedlichen Zielen (z. B. Rettung vs. Schatzsuche; Bergbau vs. Landwirtschaft).

Proben-Effizienz: LANTERN erzielte 40–60 % Verbesserungen in der Proben-Effizienz im Vergleich zu Baselines, einschließlich Single-Source-Transfermethoden (Automaten-Distillation, CADENT, LARM) und einer „No Transfer"-Baseline.
Robustheit: Das System blieb robust, selbst wenn Quell-Aufgaben unterschiedliche Strukturen aufwiesen und nur eine partielle semantische Überschneidung mit dem Ziel hatten.
Ablationsstudien:
- Multi-Quelle vs. Single-Quelle: Die Aggregation partiellen Wissens aus mehreren Quellen ergab eine 26 %ige Verbesserung gegenüber der Verwendung der ähnlichsten einzelnen Quelle.
- Dual-Volatilität vs. Nur-Erfahrung: Die Einbeziehung semantischen Gatings verhinderte negativen Transfer in fehljustierten Regionen und erzielte eine 18 %ige Verbesserung.
- Strategisch + Taktisch vs. Nur-Strategisch: Die Kombination beider Führungstypen lieferte eine 31 %ige Verbesserung und unterstrich die Synergie zwischen grober Aufgabenzerlegung und feiner Aktionsführung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LANTERN zeigt, wie multi-quelliger, adaptiv gewichteter neurosymbolischer Transfer die Skalierbarkeit und Robustheit in symbolischen RL-Szenarien erheblich verbessern kann. Durch den Verzicht auf manuelle Spezifikation und die Abhängigkeit von einer einzigen Quelle ermöglicht das Framework Agenten, komplementäres Wissen aus heterogenen Aufgaben zu nutzen.

Die Autoren betonen, dass der Dual-Volatilitäts-Gating-Mechanismus entscheidend ist, um negativen Transfer zu verhindern, und dem System ermöglicht, sich „gracefully degrade" (anzugleiten), wenn die Quell-Ausrichtung schlecht ist. Die Ergebnisse deuten darauf hin, dass die Ausrichtung von Automatenzuständen in einem gemeinsamen semantischen Einbettungsraum einen effektiven Mechanismus für den Transfer von strukturiertem Wissen über Domänen hinweg bietet, die sich in Ressourcen, Layouts und Aufgaben-Semantik unterscheiden.

Von den Autoren festgestellte Einschränkungen:

Abhängigkeit von der Qualität des LLMs für die DEA-Generierung.
Skalierbarkeitsbeschränkungen aufgrund der Verwendung von tabellarischem Q-Learning.
Anforderungen an die Ausrichtung des Aktionsraums.

Zukünftige Forschungsrichtungen umfassen die Automaten-Verfeinerung mit Feedback, tiefe Funktionsapproximation für kontinuierliche Domänen, erlernte Aktionsabbildungen und kontinuierlichen Multi-Quellen-Transfer.