Riepilogo Tecnico: LANTERN – Trasferimento Neurosimbolico Potenziato da LLM con Reti di Ragionamento a Gate Basato sull'Esperienza

Enunciato del Problema

L'Apprendimento per Rinforzo (RL) spesso fatica con l'inefficienza nel campionamento, in particolare in compiti che coinvolgono obiettivi a lungo orizzonte e non markoviani che richiedono un ragionamento temporale strutturato. Sebbene gli approcci neurosimbolici – che integrano rappresentazioni simboliche come Automi Finiti Deterministici (DFA) nel RL – abbiano migliorato l'efficienza nel campionamento, i metodi esistenti di trasferimento apprendimento affrontano tre limitazioni critiche:

1. Specificazione Manuale: La maggior parte dei metodi richiede DFA o formule di logica temporale forniti da esperti, che sono difficili da ottenere. Esistono approcci di inferenza grammaticale, ma richiedono dati di traiettoria strutturati inadatti al RL esplorativo o con campioni radi.
2. Dipendenza da Singola Fonte: I metodi di trasferimento attuali (ad esempio, distillazione di automi, distillazione di politiche) si basano tipicamente su una singola fonte di compito. Questo limita l'efficacia quando i compiti sorgente e target hanno obiettivi eterogenei o strutture solo parzialmente allineate.
3. Meccanismi di Integrazione Fissi: I framework esistenti utilizzano schemi di ponderazione predeterminati (ad esempio, decadimento esponenziale) o iperparametri statici, fallendo nell'adattarsi quando la rilevanza della sorgente varia tra stati o nel tempo.

Il documento affronta la sfida del trasferimento neurosimbolico multi-sorgente in contesti dove molteplici compiti sorgente possiedono obiettivi distinti e parzialmente correlati. In tali regimi, il riutilizzo diretto di una singola politica o automa sorgente è insufficiente; invece, il sistema richiede un allineamento semantico e l'aggregazione di conoscenze strutturate tra compiti eterogenei.

Metodologia: Il Framework LANTERN

LANTERN (Trasferimento Neurosimbolico Potenziato da LLM con Reti di Ragionamento a Gate Basato sull'Esperienza) è un framework unificato progettato per superare le limitazioni sopra descritte attraverso cinque fasi distinte:

1. Generazione di Automi Potenziata da LLM

Invece della specificazione manuale, LANTERN utilizza i Modelli Linguistici di Grande Dimensione (LLM) per generare direttamente DFA target ($D_{tgt}$) da descrizioni di compiti in linguaggio naturale ($T_{desc}$).

• Processo: Un prompt strutturato istruisce l'LLM a estrarre sottobiettivi, definire stati dell'automa che rappresentano traguardi, specificare transizioni deterministiche e generare descrizioni semantiche in linguaggio naturale per ogni stato.
• Output: Un DFA target e una mappatura degli stati dell'automa alle descrizioni semantiche, che servono come base per l'allineamento tra compiti.

2. Incorporamento Semantico e Costruzione del Vicinato

Per abilitare il trasferimento tra compiti con obiettivi diversi, LANTERN costruisce uno spazio di incorporamento semantico condiviso.

• Incorporamento: Le descrizioni in linguaggio naturale degli stati dell'automa (da compiti sorgente e target) sono mappate in uno spazio vettoriale $\phi(\omega) \in \mathbb{R}^d$ utilizzando un modello di incorporamento testuale fisso (ad esempio, sentence-BERT).
• Similarità e Vicinati: La similarità semantica tra uno stato target $\omega_{tgt}$ e stati sorgente $\omega_{src}^k$ è calcolata tramite similarità del coseno. Per ogni stato target, un "vicinato semantico" ($N_M$) è formato selezionando i $M$ stati sorgente più simili tra tutti i $K$ compiti sorgente.
• Ponderazione: I pesi di aggregazione sono normalizzati in base ai punteggi di similarità, garantendo che gli stati allineati semanticamente contribuiscano più fortemente alla guida.

3. Aggregazione della Conoscenza Multi-Sorgente

LANTERN aggrega la guida dal vicinato semantico in due dimensioni:

• Guida Strategica (Livello Automata): Aggrega i valori Q distillati ($Q_{k,AD}$) che rappresentano il progresso del compito ad alto livello dai compiti sorgente. Il valore aggregato $Q_{agg}^{AD}$ è una somma pesata dei valori strategici sorgente.
• Guida Tattica (Livello Politica): Aggrega le politiche insegnanti ($\pi_{teacher}^k$) dagli stati sorgente allineati per fornire guida a livello di azione.

4. Gate dell'Esperienza a Doppia Volatilità

Per bilanciare adattivamente l'apprendimento dello studente con la guida dell'insegnante, LANTERN introduce un gate di fiducia composito $\tau$ che combina due misure di volatilità:

• Volatilità dell'Esperienza ($V^{exp}$): Traccia la volatilità dell'errore Temporal-Difference (TD) dell'apprendimento dello studente. Un'alta volatilità indica instabilità, favorendo la guida dell'insegnante.
• Volatilità Semantica ($V^{sem}$): Misura il disallineamento tra lo stato target e i suoi stati sorgente meglio corrispondenti (basato sulla similarità). Un'alta volatilità semantica indica un cattivo allineamento, riducendo la fiducia nella sorgente.
• Meccanismo: Il coefficiente di fiducia finale $\tau = \tau^{exp} \cdot \tau^{sem}$ è moltiplicativo. L'influenza dell'insegnante è forte solo quando l'apprendimento è instabile e la sorgente è semanticamente allineata. Questo previene il trasferimento negativo in regioni scarsamente allineate.

5. Aggiornamento Unificato dell'Apprendimento

Lo studente apprende sul MDP prodotto ($M_{tgt} \times D_{tgt}$) utilizzando una regola di aggiornamento Q modificata:
$$\Delta Q = \alpha [ \tau \cdot \delta_t + (1 - \tau) \cdot G_{multi} ]$$
dove $\delta_t$ è l'errore TD standard e $G_{multi}$ è la guida aggregata multi-sorgente (che combina ricompense strategiche e discrepanze tattiche delle politiche). Quando $\tau \to 1$, l'aggiornamento si basa sull'apprendimento TD standard; quando $\tau \to 0$, si basa sulla guida aggregata dell'insegnante.

Contributi Chiave

1. Formulazione del Trasferimento Neurosimbolico Multi-Sorgente: Il documento formula un contesto in cui i compiti sorgente hanno obiettivi eterogenei, rendendo necessaria un'aggregazione semantica piuttosto che il riutilizzo diretto di una singola sorgente.
2. Architettura LANTERN: Lo sviluppo di un framework che integra la generazione di automi basata su LLM, l'aggregazione semantica multi-sorgente e un gate adattivo a doppia volatilità.
3. Validazione Empirica: Dimostrazione di miglioramenti significativi nell'efficienza del campionamento attraverso domini diversi (gestione delle risorse e navigazione) mantenendo la robustezza rispetto a sorgenti scarsamente allineate.

Risultati Sperimentali

Il framework è stato valutato su due domini: Dungeon Quest (navigazione sequenziale) e Blind Craftsman (gestione delle risorse con vincoli di inventario). I compiti sorgente includevano missioni con obiettivi diversi (ad esempio, soccorso vs caccia al tesoro; estrazione mineraria vs agricoltura).

• Efficienza nel Campionamento: LANTERN ha raggiunto miglioramenti del 40–60% nell'efficienza del campionamento rispetto alle baseline, inclusi metodi di trasferimento a singola sorgente (Distillazione di Automi, CADENT, LARM) e una baseline "Nessun Trasferimento".
• Robustezza: Il sistema è rimasto robusto anche quando i compiti sorgente avevano strutture distinte e una sovrapposizione semantica parziale con il target.
• Studi di Ablazione:
  • Multi-sorgente vs Singola sorgente: L'aggregazione di conoscenze parziali da più fonti ha prodotto un miglioramento del 26% rispetto all'uso della singola sorgente più simile.
  • Doppia volatilità vs Solo esperienza: L'incorporazione del gate semantico ha prevenuto il trasferimento negativo nelle regioni disallineate, producendo un miglioramento dell'18%.
  • Strategico + Tattico vs Solo strategico: La combinazione di entrambi i tipi di guida ha fornito un miglioramento del 31%, evidenziando la sinergia tra decomposizione grossolana del compito e guida fine delle azioni.

Significato e Affermazioni

Il documento afferma che LANTERN dimostra che il trasferimento neurosimbolico multi-sorgente, pesato adattivamente, può migliorare significativamente la scalabilità e la robustezza nei contesti di RL simbolico. Spostandosi dalla specificazione manuale e dalla dipendenza da singola sorgente, il framework permette agli agenti di sfruttare conoscenze complementari da compiti eterogenei.

Gli autori sottolineano che il meccanismo di gate a doppia volatilità è cruciale per prevenire il trasferimento negativo, permettendo al sistema di "degradarsi elegantemente" quando l'allineamento della sorgente è scarso. I risultati suggeriscono che l'allineamento degli stati dell'automa in uno spazio di incorporamento semantico condiviso fornisce un meccanismo efficace per trasferire conoscenze strutturate tra domini con risorse, layout e semantica del compito diversi.

Limitazioni notate dagli autori:

• Dipendenza dalla qualità degli LLM per la generazione dei DFA.
• Vincoli di scalabilità dovuti all'uso di Q-learning tabellare.
• Requisiti per l'allineamento dello spazio delle azioni.

Le direzioni di lavoro future identificate includono il raffinamento dell'automa con feedback, l'approssimazione di funzioni profonde per domini continui, mappature delle azioni apprese e trasferimento multi-sorgente continuo.