Towards Zero-Shot Task Transfer with Neurosymbolic World Models

Immaginate un agente di intelligenza artificiale che impara a navigare in un mondo complesso, proprio come un bambino che impara a camminare. Nel campo del machine learning, questi agenti si affidano spesso a "modelli del mondo" (world models), ovvero mappe mentali interne che permettono loro di prevedere cosa accadrà dopo se compiono una specifica azione. Simulando questi scenari futuri nella propria mente, gli agenti possono pianificare le proprie mosse senza dover provare fisicamente ogni possibilità nel mondo reale. Questo approccio è diventato incredibilmente potente, consentendo ai computer di padroneggiare giochi e controllare robot imparando da dati sensoriali ad alta dimensionalità, come flussi di immagini video. Tuttavia, rimane un ostacolo significativo: queste mappe mentali sono solitamente costruite per un singolo compito specifico. Se l'obiettivo cambia — ad esempio, dal raggiungere una porta rossa al raggiungere una blu — l'agente deve spesso imparare nuovamente tutta la sua comprensione del mondo, perché la sua mappa interna è strettamente intrecciata con il premio specifico che stava inseguendo durante l'addestramento.

Ricercatori della KU Leuven in Belgio hanno sviluppato un nuovo approccio per risolvere questa rigidità, creando un sistema in grado di adattarsi a nuovi obiettivi istantaneamente, senza dover interagire nuovamente con l'ambiente. Il loro lavoro introduce un tipo di modello del mondo "neurosimbolico", un sistema ibrido che combina la forza nel riconoscimento di pattern delle reti neurali con la chiara struttura logica del ragionamento simbolico. Invece di apprendere una singola rappresentazione del mondo, densa e aggrovigliata, questi modelli imparano a separare i dettagli sensoriali grezzi di un ambiente dai fatti di alto livello che determinano il successo. Questa separazione permette all'agente di mantenere la propria comprensione di come il mondo si muove e cambia, semplicemente sostituendo la regola di ciò che conta come una "vittoria". Il risultato è un agente che può apprendere un ambiente complesso una sola volta e poi applicare tale conoscenza a compiti interamente nuovi, una capacità nota come trasferimento zero-shot (zero-shot transfer), semplicemente ridefinendo l'obiettivo in termini degli stessi fatti sottostanti.

L'innovazione principale risiede nel modo in cui il modello elabora le informazioni. I modelli del mondo tradizionali apprendono una versione compressa e astratta del mondo che è difficile da interpretare per gli esseri umani e difficile da riutilizzare. Al contrario, i nuovi modelli neurosimbolici costringono il sistema a identificare e prevedere proprietà specifiche e strutturate dello stato, come le coordinate di un agente o la posizione di un oggetto. Queste proprietà agiscono come un ponte. Il modello utilizza la sua rete neurale per comprendere il mondo visivo disordinato e tradurlo in questi chiari fatti simbolici. Una volta ottenuti questi fatti, il modello utilizza una componente logica separata per prevedere i premi. Poiché la previsione del premio dipende solo da questi chiari fatti, i ricercatori possono semplicemente sostituire la funzione di ricompensa con una nuova che punti a un obiettivo diverso, e il modello comprende immediatamente come pianificarlo. L'agente non ha bisogno di vedere il nuovo obiettivo o di provarlo; deve solo rieseguire le proprie simulazioni mentali con la nuova regola, utilizzando la stessa mappa interna di come funziona il mondo.

Per testare questa idea, i ricercatori hanno addestrato i loro modelli su diversi ambienti distinti, tra cui un compito di navigazione basato su una griglia in cui un agente deve trovare un obiettivo, una versione 3D dello stesso compito con movimento continuo, e un gioco di puzzle chiamato Sokoban in cui le scatole devono essere spinte in punti specifici. In queste fasi di addestramento, gli agenti hanno imparato a navigare e a raggiungere un obiettivo specifico, come raggiungere una posizione fissa. I ricercatori hanno poi sfidato i modelli con nuovi compiti in cui le regole di movimento dell'ambiente rimanevano esattamente le stesse, ma gli obiettivi cambiavano. In uno scenario, l'obiettivo potrebbe spostarsi in una stanza diversa; in un altro, l'agente potrebbe dover raggiungere una specifica configurazione di oggetti piuttosto che un singolo punto. I modelli sono stati in grado di adattarsi a questi nuovi obiettivi senza alcuna ulteriore interazione con l'ambiente reale. Ci sono riusciti attraverso due metodi: o pianificando nuovi percorsi utilizzando un algoritmo di ricerca che esplorava le possibilità nella propria mente, o perfezionando interamente la propria politica decisionale all'interno delle proprie simulazioni interne.

I risultati hanno mostrato che questo approccio non solo ha funzionato, ma lo ha fatto in modo più efficiente rispetto ai metodi standard. I modelli neurosimbolici hanno appreso i compiti di addestramento con meno esempi, suggerendo che il modo strutturato in cui elaborano le informazioni li aiuta a comprendere l'ambiente più velocemente. Ancora più importante, di fronte a nuovi compiti, si sono adattati istantaneamente. Mentre i modelli tradizionali avrebbero richiesto un periodo di riaddestramento o una grande quantità di nuovi dati per comprendere il nuovo obiettivo, gli agenti neurosimbolici hanno semplicemente applicato la loro esistente conoscenza del mondo al nuovo obiettivo. Ciò è stato vero anche quando i ricercatori hanno fornito solo informazioni parziali sui fatti simbolici durante l'addestramento, o quando non hanno fornito alcuna supervisione diretta per tali fatti, affidandosi alla struttura stessa del modello per guidare l'apprendimento.

Questo lavoro dimostra un passo significativo verso un'intelligenza artificiale più flessibile e riutilizzabile. Decoupling (disaccoppiando) la comprensione di come funziona il mondo dalla comprensione degli obiettivi specifici che un agente sta cercando di raggiungere, i ricercatori hanno creato un sistema che si comporta più come un apprendista generale che come uno strumento specializzato. L'agente non memorizza solo un percorso verso una destinazione; impara il terreno e le regole di movimento, permettendogli di navigare verso qualsiasi destinazione definita all'interno di quel terreno. Sebbene il sistema richieda ancora che i nuovi obiettivi siano descrivibili utilizzando lo stesso insieme di fatti di alto livello appresi durante l'addestramento, esso elimina la necessità di un costoso riaddestramento ogni volta che un compito cambia. Ciò suggerisce un futuro in cui i sistemi intelligenti possono essere implementati in ambienti dinamici, pronti ad affrontare nuove sfide nel momento stesso in cui sorgono, semplicemente venendo istruiti su cosa cercare, piuttosto che dover imparare di nuovo come vedere tutto.