Language and Experience: A Computational Model of Social Learning in Complex Tasks

1. Il Problema

La capacità di integrare la guida linguistica (consigli, istruzioni) con l'esperienza diretta è fondamentale per l'intelligenza umana, permettendo un apprendimento sicuro e rapido in nuovi ambienti. Tuttavia, i modelli computazionali attuali presentano lacune significative:

• Reinforcement Learning (RL) classico: Richiede milioni di interazioni (tentativi ed errori) per padroneggiare compiti complessi, mancando di efficienza nel campionamento.
• RL basato su teorie (Theory-based RL): Ottiene un'efficienza simile a quella umana combinando pianificazione e inferenza bayesiana su modelli del mondo strutturati, ma non è in grado di apprendere socialmente o integrare il linguaggio.
• Modelli basati su LLM (Large Language Models): Eccellono nell'elaborazione del linguaggio ma faticano con la pianificazione interattiva e l'apprendimento incarnato (embodied learning) in ambienti dinamici.
• RL condizionato al linguaggio: Spesso richiede enormi quantità di dati accoppiati (stato, linguaggio) e non generalizza a messaggi nuovi e unici (apprendimento one-shot).

L'obiettivo del paper è fornire un account computazionale di come umani e agenti artificiali possano integrare linguaggio ed esperienza per inferire modelli del mondo eseguibili e pianificare strategie in compiti complessi.

2. Metodologia

Gli autori propongono un framework bayesiano unificato che tratta la guida linguistica e l'esperienza diretta come fonti di evidenza complementari per inferire modelli del mondo strutturati (rappresentati come programmi eseguibili).

A. Ambiente di Apprendimento

L'uso è stato fatto di 10 videogiochi definiti nel VGDL (Video Game Description Language). Questi giochi offrono ambienti causali ricchi dove i giocatori devono scoprire dinamiche, obiettivi e condizioni di vittoria/sconfitta attraverso l'esplorazione. I giocatori (umani o modelli) hanno un numero limitato di "vite" per completare i livelli.

B. Il Modello Computazionale

Il modello opera in un ciclo di apprendimento che alterna tre fasi:

1. Inferenza di Modelli del Mondo Strutturati:

   • L'agente mantiene una distribuzione su possibili "teorie" del mondo (programmi VGDL che definiscono tipi di oggetti, interazioni, ricompense e condizioni di vittoria).
   • L'aggiornamento delle credenze avviene tramite inferenza bayesiana: $P(T | E, L) \propto P(E | T) \times P(L | T) \times P(T)$.
   • $P(E | T)$ (Likelihood dall'esperienza): Calcolata simulando le azioni dell'agente sotto la teoria $T$ e confrontando i risultati con l'esperienza osservata.
   • $P(L | T)$ (Likelihood dal linguaggio): Utilizza un Large Language Model (LLaMA-3.1-70B) come "modello del parlante". Il LM stima la probabilità che un parlante con credenze $T$ avrebbe prodotto il messaggio $L$ ricevuto. Questo permette di valutare la plausibilità di una teoria basata sul consiglio ricevuto.
   • Algoritmo di Inferenza: Viene utilizzato un filtro particellare con riformulazioni Metropolis per approssimare la distribuzione a posteriori su uno spazio di ipotesi vasto ($>10^{20}$ configurazioni).

2. Pianificazione Orientata agli Obiettivi ed Esplorazione Strategica:

   • Basandosi sulla teoria MAP (Maximum A Posteriori), l'agente genera obiettivi di alto livello (interazioni tra oggetti).
   • Bilancia l'esplorazione (ridurre l'incertezza del modello, misurata come disaccordo tra le teorie candidate) e lo sfruttamento (massimizzare le ricompense attese).
   • Utilizza un algoritmo genetico semplice per ottimizzare sequenze di azioni a 10 passi, con meccanismi di sicurezza (lookahead) per evitare errori catastrofici.

3. Generazione di Guida Linguistica:

   • L'agente può generare consigli per futuri giocatori campionando dallo stesso modello del parlante (LM), traducendo la sua teoria MAP in linguaggio naturale. Questo crea un ciclo di apprendimento bidirezionale.

C. Proposte Guidate dal Linguaggio

Un contributo chiave è l'uso del LM per biasare le proposte durante l'inferenza. Quando l'agente riceve un messaggio (es. "il giallo ti uccide"), il LM genera distribuzioni di proposta mirate che favoriscono regole compatibili con quel messaggio, accelerando la convergenza verso la teoria corretta.

3. Contributi Chiave

1. LM come Modelli del Parlante: Utilizzo di un LLM per approssimare la probabilità che un umano con specifiche credenze sul mondo produca un certo consiglio, permettendo l'interpretazione e la generazione di guida interpretabile.
2. Inferenza da Evidenza Linguistica: Integrazione del linguaggio come evidenza diretta nell'inferenza bayesiana, permettendo all'agente di aggiornare le credenze in tempo reale basandosi su consigli esterni.
3. Inferenza Accelerata dal LM: Uso del LM per trasformare i consigli in distribuzioni di proposta mirate, guidando l'aggiornamento bayesiano verso regioni promettenti dello spazio delle ipotesi.
4. Validazione Empirica: Sperimentazione su 10 giochi con 120 partecipanti umani e simulazioni computazionali, dimostrando il trasferimento di conoscenza bidirezionale tra umani e modelli.

4. Risultati

Gli esperimenti hanno rivelato diverse scoperte significative:

• Apprendimento da sola esperienza: Sia gli umani che il modello proposto mostrano un'efficienza di campionamento notevole, risolvendo la maggior parte dei giochi entro un budget di 10 vite. In confronto, il Deep RL puro (Double DQN) e gli agenti LLM puri falliscono quasi completamente senza modelli strutturati.
• Impatto della Guida Linguistica:
  • La guida umana riduce il numero di tentativi necessari per completare i livelli sia per gli umani (da 4 a 2.25 mediane) che per i modelli (da 2.5 a 1.25).
  • I benefici sono massimi in giochi con meccaniche opache o multi-pericolo, dove il linguaggio può comunicare interazioni critiche direttamente.
  • I messaggi corretti riducono le morti evitabili (fino al 67% in meno) e accelerano la scoperta di meccaniche chiave.
• Trasferimento Bidirezionale Umano-Modello:
  • I modelli generano consigli pedagogici dettagliati che migliorano significativamente l'apprendimento degli umani ($\Delta nAUC = 0.15$).
  • Gli umani apprendono meglio dai consigli generati dai modelli rispetto a quelli generati da altri umani in alcuni contesti, suggerendo che lo stile comunicativo dei modelli (più strutturato e completo) è talvolta più efficace per l'apprendimento algoritmico, mentre i messaggi umani (più ricchi di strategie metacognitive ed emozioni) sono preferiti dagli umani.
• Apprendimento Generazionale: In esperimenti di "apprendimento iterato" (10 generazioni di agenti che passano consigli), la conoscenza si accumula gradualmente, permettendo agli agenti di raggiungere la padronanza completa anche partendo da conoscenze parziali, simulando la trasmissione culturale.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo verso sistemi di apprendimento collaborativo uomo-macchina:

• Integrazione Cognitiva: Dimostra che i modelli strutturati e probabilistici possono integrare efficacemente il linguaggio naturale come evidenza, superando i limiti del RL puro e degli LLM puri.
• Trasferibilità: Il framework permette un trasferimento di conoscenza fluido tra agenti artificiali e umani, suggerendo che rappresentazioni strutturate compatibili con il linguaggio possono facilitare la collaborazione.
• Scalabilità e Futuro: Sebbene l'attuale implementazione usi VGDL, gli autori propongono che l'estensione a linguaggi di programmazione più ricchi (come Python) e ambienti reali continui a essere una direzione di ricerca vitale.
• Doppia Lama della Pedagogia: Il modello conferma che la guida può accelerare l'apprendimento ma anche limitare l'esplorazione se errata, richiedendo futuri meccanismi metacognitivi per valutare l'affidabilità delle fonti.

In sintesi, il paper propone un modello che non solo impara dai dati e dal linguaggio, ma che è anche in grado di insegnare, chiudendo il ciclo dell'apprendimento sociale e ponendo le basi per sistemi di intelligenza artificiale capaci di collaborare attivamente con gli esseri umani in compiti complessi.