Technische Samenvatting: LANTERN – LLM-Gestutte Neurosymbolische Transfer met Ervaringsgegateerde Redeneringsnetwerken

Probleemstelling

Versterkende Leer (RL) worstelt vaak met sample-inefficiëntie, vooral bij taken met lange horizon, niet-Markoviaanse doelen die gestructureerde temporale redenering vereisen. Hoewel neurosymbolische benaderingen – die symbolische representaties zoals Deterministische Eindige Automaten (DEA's) integreren in RL – de sample-efficiëntie hebben verbeterd, lopen bestaande transferleermethoden tegen drie kritieke beperkingen aan:

1. Handmatige Specificatie: De meeste methoden vereisen door experts opgestelde DEA's of formules in temporale logica, die moeilijk te verkrijgen zijn. Grammaticale inferentie-benaderingen bestaan, maar vereisen gestructureerde trajectdata die niet geschikt is voor schaarse of explorerende RL.
2. Afhankelijkheid van Eén Bron: Huidige transfermethodes (bijv. automaton-distillatie, policy-distillatie) vertrouwen doorgaans op één bronopdracht. Dit beperkt de effectiviteit wanneer bron- en doeltaken heterogene doelen hebben of slechts gedeeltelijk uitgelijnde structuren.
3. Vaste Integratiemechanismen: Bestaande kaders gebruiken vooraf bepaalde wegingsschema's (bijv. exponentiële afname) of statische hyperparameters, en falen in aanpassing wanneer de relevantie van de bron varieert per staat of in de tijd.

Het artikel adresseert de uitdaging van multi-bron neurosymbolische transfer in situaties waarin meerdere bronopdrachten verschillende, deels gerelateerde doelen hebben. In dergelijke regimes is directe hergebruik van een enkele bronpolicy of automaat onvoldoende; in plaats daarvan vereist het systeem semantische uitlijning en aggregatie van gestructureerde kennis over heterogene taken.

Methodologie: Het LANTERN-kader

LANTERN (LLM-Augmented Neurosymbolic Transfer with Experience-Gated Reasoning Networks) is een unificerend kader ontworpen om bovenstaande beperkingen te overwinnen via vijf distincte fasen:

1. LLM-Gestutte Automaatgeneratie

In plaats van handmatige specificatie, gebruikt LANTERN Large Language Models (LLM's) om doel-DEA's ($D_{tgt}$) direct te genereren uit natuurlijke taal-taakbeschrijvingen ($T_{desc}$).

• Proces: Een gestructureerde prompt instrueert de LLM om subdoelen te extraheren, automaatstaten die mijlpalen vertegenwoordigen te definiëren, deterministische overgangen te specificeren en natuurlijke taal-semantische beschrijvingen voor elke staat te genereren.
• Output: Een doel-DEA en een mapping van automaatstaten naar semantische beschrijvingen, die dienen als basis voor cross-taak uitlijning.

2. Semantische Embedding en Buurtconstructie

Om transfer over taken met verschillende doelen mogelijk te maken, construeert LANTERN een gedeelde semantische embedding-ruimte.

• Embedding: Natuurlijke taalbeschrijvingen van automaatstaten (van zowel bron- als doeltaken) worden gemapt naar een vectorruimte $\phi(\omega) \in \mathbb{R}^d$ met behulp van een vast tekst-embeddingmodel (bijv. sentence-BERT).
• Similariteit & Buurten: Semantische similariteit tussen een doelstaat $\omega_{tgt}$ en bronstaten $\omega_{src}^k$ wordt berekend via cosinus-similariteit. Voor elke doelstaat wordt een "semantische buurt" ($N_M$) gevormd door de top-$M$ meest vergelijkbare bronstaten over alle $K$ bronopdrachten te selecteren.
• Weging: Aggregatieweegs worden genormaliseerd op basis van similariteitsscores, zodat semantisch uitgelijnde staten sterker bijdragen aan de begeleiding.

3. Multi-bron Kennisaggregatie

LANTERN aggregatie begeleiding uit de semantische buurt in twee dimensies:

• Strategische Begeleiding (Automatenniveau): Aggregeert gedistilleerde Q-waarden ($Q_{k,AD}$) die hoge-niveau taakprogressie uit bronopdrachten vertegenwoordigen. De geaggregeerde waarde $Q_{agg}^{AD}$ is een gewogen som van strategische bronwaarden.
• Tactische Begeleiding (Policyniveau): Aggregeert leraar-policies ($\pi_{teacher}^k$) uit uitgelijnde bronstaten om actie-niveau begeleiding te bieden.

4. Dual-Volatiliteit Ervaringsgating

Om student-leren adaptief in evenwicht te brengen met leraar-begeleiding, introduceert LANTERN een samengesteld vertrouwengat $\tau$ dat twee volatiliteitsmaten combineert:

• Ervaringsvolatiliteit ($V^{exp}$): Houdt de volatiliteit van de Temporal-Difference (TD)-fout van het leren van de student bij. Hoge volatiliteit wijst op instabiliteit, wat leraar-begeleiding bevoordeelt.
• Semantische Volatiliteit ($V^{sem}$): Meet de misalignering tussen de doelstaat en zijn best-matching bronstaten (gebaseerd op similariteit). Hoge semantische volatiliteit wijst op slechte uitlijning, wat het vertrouwen in de bron vermindert.
• Mechanisme: De uiteindelijke vertrouwingscoëfficiënt $\tau = \tau^{exp} \cdot \tau^{sem}$ is multiplicatief. De invloed van de leraar is sterk alleen wanneer het leren instabiel is en de bron semantisch uitgelijnd is. Dit voorkomt negatieve transfer in slecht uitgelijnde gebieden.

5. Unificerend Lerend Update

De student leert op de product-MDP ($M_{tgt} \times D_{tgt}$) met behulp van een gewijzigde Q-update-regel:
$$\Delta Q = \alpha [ \tau \cdot \delta_t + (1 - \tau) \cdot G_{multi} ]$$
waarbij $\delta_t$ de standaard TD-fout is en $G_{multi}$ de geaggregeerde multi-bron begeleiding is (combinerend strategische beloningen en tactische policy-discrepanties). Wanneer $\tau \to 1$, vertrouwt de update op standaard TD-leren; wanneer $\tau \to 0$, vertrouwt het op geaggregeerde leraar-begeleiding.

Belangrijkste Bijdragen

1. Formulering van Multi-bron Neurosymbolische Transfer: Het artikel formuleert een setting waarin bronopdrachten heterogene doelen hebben, wat semantische aggregatie vereist in plaats van direct hergebruik van een enkele bron.
2. LANTERN Architectuur: De ontwikkeling van een kader dat LLM-gebaseerde automaatgeneratie, semantische multi-bron aggregatie en adaptieve dual-volatiliteit gating integreert.
3. Empirische Validatie: Demonstratie van significante verbeteringen in sample-efficiëntie over diverse domeinen (resourcebeheer en navigatie) terwijl robuustheid ten opzichte van slecht uitgelijnde bronnen behouden blijft.

Experimentele Resultaten

Het kader werd geëvalueerd op twee domeinen: Dungeon Quest (sequentiële navigatie) en Blind Craftsman (resourcebeheer met inventarisbeperkingen). Bronopdrachten omvatten missies met verschillende doelen (bijv. redding versus schatzoeken; mijnbouw versus landbouw).

• Sample-efficiëntie: LANTERN behaalde 40–60% verbeteringen in sample-efficiëntie vergeleken met baselines, waaronder single-bron transfermethodes (Automaton Distillation, CADENT, LARM) en een "No Transfer"-baseline.
• Robuustheid: Het systeem bleef robuust zelfs wanneer bronopdrachten verschillende structuren hadden en slechts gedeeltelijke semantische overlap met het doel.
• Ablatiestudies:
  • Multi-bron versus Single-bron: Aggregatie van gedeeltelijke kennis uit meerdere bronnen leverde een 26% verbetering op ten opzichte van het gebruik van alleen de meest vergelijkbare enkele bron.
  • Dual-volatiliteit versus Alleen ervaring: Het incorporeren van semantische gating voorkwam negatieve transfer in misgelijkte gebieden, wat een 18% verbetering opleverde.
  • Strategisch + Tactisch versus Alleen strategisch: Het combineren van beide begeleidingstypen leverde een 31% verbetering op, wat de synergie benadrukt tussen grove taakdecompositie en fijne actiebegeleiding.

Betekenis en Claims

Het artikel claimt dat LANTERN aantoont dat multi-bron, adaptief gewogen neurosymbolische transfer de schaalbaarheid en robuustheid in symbolische RL-situaties significant kan verbeteren. Door weg te bewegen van handmatige specificatie en afhankelijkheid van één bron, stelt het kader agenten in staat om complementaire kennis uit heterogene taken te benutten.

De auteurs benadrukken dat het dual-volatiliteit gating-mechanisme cruciaal is voor het voorkomen van negatieve transfer, waardoor het systeem "gracefully degrade" (vlot degradeert) wanneer de bronuitlijning slecht is. De resultaten suggereren dat het uitlijnen van automaatstaten in een gedeelde semantische embedding-ruimte een effectief mechanisme biedt voor het overdragen van gestructureerde kennis over domeinen met verschillende resources, lay-outs en taaksemantiek.

Beperkingen opgemerkt door de auteurs:

• Afhankelijkheid van de kwaliteit van LLM's voor DEA-generatie.
• Schaalbaarheidsbeperkingen door het gebruik van tabulaire Q-learning.
• Vereisten voor actie-ruimte uitlijning.

Toekomstige werkrichtingen omvatten automaatverfijning met feedback, diepe functbenadering voor continue domeinen, geleerde actiemapping, en continue multi-bron transfer.