Riepilogo Tecnico: Una Macchina con Sistemi di Memoria a Breve Termine, Episodica e Semantica

Enunciato del Problema

Gli agenti di apprendimento automatico attuali, inclusi i motori di ricerca e gli assistenti virtuali, eccellono nel recuperare conoscenze fattuali e di senso comune (memoria semantica), ma mancano della capacità di richiamare eventi passati specifici o esperienze personali (memoria episodica). Inoltre, gli agenti standard di apprendimento per rinforzo (RL) spesso faticano con l'osservabilità parziale e l'oblio catastrofico. Gli autori ipotizzano che l'imitazione dell'architettura esplicita della memoria umana, in particolare la distinzione tra memoria semantica (conoscenza generale del mondo) e memoria episodica (esperienze personali legate al tempo), mediata da un buffer a breve termine, potrebbe permettere agli agenti di gestire meglio la capacità di memoria limitata e rispondere in modo più efficace a domande diverse.

Metodologia

L'Ambiente: "La Stanza"

Per valutare questa ipotesi, gli autori hanno progettato un ambiente di simulazione a eventi discreti compatibile con OpenAI Gym.

• Configurazione: L'ambiente contiene $N_{humans}$ (64), $N_{objects}$ (16) e $N_{locations}$ (28). Gli umani seguono routine fisse, posizionando oggetti in luoghi che sono o "di senso comune" (ad esempio, una ciotola su un armadio) o non di senso comune con una probabilità $p_{commonsense} = 0.5$.
• Osservazione: L'agente osserva parzialmente l'ambiente, visualizzando un umano alla volta. Le osservazioni sono registrate come quadruple $(h, r, t, timestamp)$, che rappresentano un'entità testa, una relazione, un'entità coda e un timestamp.
• Compito: Ad ogni passo, all'agente viene posta una domanda sotto forma di una terna $(h, r, ?)$. Le risposte corrette forniscono una ricompensa di +1; le risposte errate forniscono 0. L'episodio dura 128 passi.

Architettura di Memoria

L'agente è modellato con tre distinti sistemi di memoria, ciascuno rappresentato come una Grafica della Conoscenza (KG):

1. Memoria a Breve Termine ($M_o$): Un buffer limitato che inizialmente memorizza tutte le osservazioni come quadruple $(h, r, t, timestamp)$.
2. Memoria Episodica ($M_e$): Una memoria a lungo termine limitata che memorizza eventi specifici e legati al tempo come quadruple $(h, r, t, timestamp)$.
3. Memoria Semantica ($M_s$): Una memoria a lungo termine limitata che memorizza fatti generali come quadruple $(h, r, t, strength)$. Qui, $h$ è generalizzato (ad esempio, "portatile" invece di "il portatile di Bob"), e $strength$ indica la frequenza di memorizzazione.

Politica di Gestione della Memoria:
Quando la memoria a breve termine è piena, l'agente deve decidere il destino dell'osservazione più vecchia. Ha tre azioni:

1. Dimenticare: Scartare completamente l'osservazione.
2. Memorizzare in Episodica: Spostare l'osservazione in $M_e$.
3. Memorizzare in Semantica: Spostare l'osservazione in $M_s$ (generalizzando l'entità e incrementando la strength).

La politica di recupero è deterministica e basata su regole (Algoritmo 1):

• Per domande specifiche, l'agente controlla prima $M_e$ per l'evento più recente rilevante.
• Se non esiste una corrispondenza episodica, controlla $M_s$ per il fatto generale più forte rilevante.
• Se nessuno dei due fornisce una risposta, l'agente fallisce la domanda.

Algoritmo di Apprendimento

La politica di gestione della memoria (decidere dove memorizzare o se dimenticare) viene appresa utilizzando Deep Q-Learning (DQN).

• Rappresentazione dello Stato: Lo stato $s$ consiste nel contenuto corrente di $M_o$, $M_e$ e $M_s$.
• Elaborazione degli Input: Per inserire i KG nella rete neurale, gli autori convertono le memorie in Embedding di Grafi della Conoscenza (KGE). Le quadruple vengono ordinate (per timestamp per memoria episodica/a breve termine, per strength per memoria semantica) e incorporate. Per le memorie episodiche/a breve termine che coinvolgono umani, il nome dell'umano e l'oggetto vengono concatenati prima dell'incorporamento per catturare le caratteristiche individuali.
• Architettura di Rete: La rete Q utilizza livelli LSTM per elaborare la sequenza di incorporamenti della memoria, seguiti da Perceptron Multistrato (MLP) per produrre i valori Q per le tre azioni.
• Varianti di Addestramento: Sono stati addestrati due tipi di agenti:
  1. Semantic Scratch: Inizia con una memoria semantica vuota.
  2. Semantic Pretrained: Inizia con conoscenze generali del mondo (da ConceptNet) pre-caricate in $M_s$.

Contributi Chiave

1. Modellazione Esplicita della Memoria: Il documento modella esplicitamente un agente con sistemi di memoria a breve termine, episodica e semantica, ciascuno strutturato come un grafo della conoscenza, ispirato da teorie delle scienze cognitive (Tulving 1983, 1985).
2. Ambiente Innovativo: Il rilascio di "La Stanza", un ambiente RL personalizzato progettato per testare la capacità di un agente di codificare, memorizzare e recuperare memorie per rispondere a domande in condizioni di osservabilità parziale.
3. Gestione Appresa della Memoria: Dimostrazione che un agente basato su DQN può apprendere con successo una politica per gestire la memoria (decidendo tra dimenticare, memorizzazione episodica o memorizzazione semantica) per massimizzare i ritorni.

Risultati

Gli esperimenti sono stati condotti con capacità di memoria variabili (capacità totale $|M_e| + |M_s|$ che va da 2 a 64).

• Prestazioni vs Baseline: Gli agenti con entrambi i sistemi di memoria episodica e semantica hanno superato significativamente tre baseline: (1) Solo episodica, (2) Solo semantica e (3) Selezione casuale delle azioni. L'agente con le prestazioni migliori (RL con memoria semantica pre-addestrata) ha raggiunto una ricompensa totale media di 116.5 su 128, rispetto a 109.1 per la versione scratch e punteggi più bassi per le baseline.
• Impatto del Pre-addestramento: L'agente "Semantic Pretrained" ha imparato più velocemente e convergito verso un ottimo superiore rispetto all'agente "Semantic Scratch". L'agente pre-addestrato ha imparato a preservare le sue conoscenze generali iniziali e a memorizzare solo eventi specifici e non generalizzabili nella memoria episodica. Al contrario, l'agente scratch ha tentato di apprendere conoscenze generali da zero, commettendo occasionalmente errori (ad esempio, identificando erroneamente la posizione di un treno) che hanno abbassato la sua ricompensa finale.
• Scalabilità della Capacità:
  • Gli agenti solo episodici hanno mostrato un miglioramento lineare con la capacità, rispondendo infine a tutte le 128 domande quando la capacità ha raggiunto 64.
  • Gli agenti solo semantici hanno performato bene a capacità basse ma si sono stabilizzati (attorno a 92 ricompense) una volta che la capacità ha superato 32, poiché le triple di conoscenza generale erano sufficienti per il compito.
  • Gli agenti combinati hanno sfruttato entrambi i sistemi per raggiungere le prestazioni complessive più elevate.

Significato e Affermazioni

Il documento afferma che dotare le macchine di sistemi di memoria espliciti simili a quelli umani permette loro di superare gli agenti privi di tali strutture in ambienti che richiedono sia conoscenze generali sia il richiamo di eventi specifici. Gli autori sottolineano che il loro approccio impara con successo una politica di gestione della memoria tramite apprendimento per rinforzo, decidendo efficacemente cosa dimenticare e cosa conservare nei diversi sistemi di memoria.

Il lavoro colma il divario tra architettura cognitiva (che modella la teoria della mente umana) e apprendimento automatico moderno (che si concentra sulla risoluzione dell'osservabilità parziale). Gli autori notano che, sebbene il loro ambiente attuale sia una simulazione discreta, il framework è progettato per essere estendibile a scenari più complessi, multimodali e a query in linguaggio naturale nel lavoro futuro. Concludono che il loro agente dimostra la fattibilità dell'uso di grafi della conoscenza all'interno di agenti RL per gestire i vincoli di memoria e migliorare il processo decisionale.