A Generative Adversarial Network for Goal Oriented Subgoal Training Exploration and Rewards

Nel mondo dell'intelligenza artificiale, esiste un enigma persistente noto come il problema dell'esplorazione. Immaginate di insegnare a un robot come camminare attraverso una stanza. Se il robot provasse semplicemente movimenti casuali, potrebbe alla fine trovare il modo giusto di muovere le gambe, ma potrebbe richiedere milioni di tentativi, o potrebbe non capirlo affatto. Questo è particolarmente vero quando il robot riceve un premio solo dopo aver attraversato con successo l'intera stanza, piuttosto che ricevere un piccolo suggerimento per ogni passo compiuto correttamente. Questo ritardo rende incredibilmente difficile per la macchina comprendere quali azioni specifiche abbiano portato al successo. Per anni, i ricercatori hanno cercato di risolvere questo problema suddividendo i grandi compiti in obiettivi intermedi più piccoli, una strategia chiamata apprendimento gerarchico. Tuttavia, questi metodi spesso richiedono che gli esseri umani definiscano manualmente quali debbano essere questi obiettivi più piccoli, il che limita la capacità del robot di adattarsi a situazioni nuove o complesse.

Un team di ricercatori della Binghamton University ha proposto un nuovo modo per gestire questa sfida, che permette alla macchina di scoprire i propri obiettivi intermedi senza istruzioni umane. Hanno sviluppato un sistema chiamato GANGSTER, che sta per Generative Adversarial Network for Goal Oriented Subgoal Training, Exploration, and Rewards. L'idea centrale è quella di utilizzare un tipo di intelligenza artificiale che impara competendo contro se stessa per generare utili "punti di passaggio" verso cui il robot deve puntare. Invece di indovinare casualmente, il sistema impara a proporre stati specifici — come una particolare posizione delle gambe del robot — che hanno un'alta probabilità di portare a un punteggio elevato, che sono fisicamente raggiungibili dalla posizione attuale del robot e che sono abbastanza diversi dai tentativi precedenti per mantenere fresco il processo di apprendimento. I ricercatori hanno testato questo sistema in ambienti simulati complessi che coinvolgono creature virtuali come scoiattoli, formiche e camminatori, scoprendo che ha aiutato le macchine ad apprendere più velocemente e in modo più affidabile, particolarmente nei compiti più difficili.

I ricercatori hanno costruito il loro sistema affinché funzionasse insieme ad algoritmi di apprendimento esistenti e potenti, senza cambiare il modo in cui tali algoritmi operano fondamentalmente. Pensate all'algoritmo di apprendimento come a uno studente che cerca di risolvere un difficile problema di matematica, e al nuovo sistema come a un tutor che suggerisce un utile passaggio intermedio. Lo studente compie comunque il lavoro e impara le regole, ma il tutor indica una via promettente. In questo caso, il "tutor" è un modello generativo addestrato a creare candidati sottogiobi. Quando il robot inizia un nuovo tentativo, il modello genera un elenco di potenziali obiettivi. Successivamente, valuta questi obiettivi in base a tre criteri: quanto sarebbe buono l'esito se il robot li raggiungesse, quanto sia facile per il robot raggiungerli dalla sua posizione attuale e quanto il target sia diverso dagli altri per garantire che il robot esplori nuovi territori. Il sistema sceglie il target migliore e fornisce al robot un piccolo premio immediato per avvicinarsi ad esso, trasformando efficacementamente un lungo e confuso viaggio in una serie di passi gestibili.

Per vedere se questo approccio funzionasse davvero, il team ha eseguito estesi esperimenti utilizzando una suite di simulazioni robotiche standard note come MuJoCo. Questi ambienti spaziano da compiti semplici, come bilanciare un pendolo, a compiti altamente complessi, come controllare una formica virtuale con otto zampe che deve coordinare i suoi movimenti per correre in avanti. I ricercatori hanno confrontato i loro robot potenziati da GANGSTER con i robot standard che apprendevano senza questo ulteriore guidamento. I risultati hanno mostrato un modello chiaro: più l'ambiente è complesso, più il nuovo sistema aiuta. Nei compiti più semplici, i robot standard si comportavano bene e il nuovo sistema offriva poco vantaggio. Tuttavia, negli ambienti ad alta complessità, la differenza era drammatica. Ad esempio, nell'ambiente Ant-v5, il sistema GANGSTER ha ridotto il tempo necessario per risolvere il compito di circa il 31 percento e ha aumentato le prestazioni finali del 53 percento rispetto al metodo standard. In un altro test con un cheetah virtuale, il sistema ha migliorato la costanza della soluzione oltre il 99 percento, il che significa che il robot raramente falliva una volta appreso il compito.

Lo studio ha anche rivelato che il successo del sistema dipendeva fortemente da come venivano scelti gli obiettivi intermedi. I ricercatori hanno testato diversi modi per pesare i tre criteri — bontà, raggiungibilità e varietà — e hanno scoperto che dare priorità alla "bontà" dell'obiettivo era il fattore più critico. Gli obiettivi che promettevano una ricompensa futura elevata erano i più efficaci nel guidare il robot. Tuttavia, gli altri due fattori erano essenziali per la stabilità: senza verificare se un obiettivo fosse raggiungibile, il robot mirerebbe a target impossibili, e senza garantire la varietà, il robot rimarrebbe bloccato nel tentativo di fare sempre la stessa cosa. Il sistema si è dimostrato flessibile, funzionando bene con due diversi tipi di algoritmi di apprendimento, e i benefici sono aumentati man mano che i compiti diventavano più difficili. Ciò suggerisce che, mentre l'intelligenza artificiale affronta sfide del mondo reale sempre più complesse, avere un meccanismo per generare e dare priorità automaticamente a obiettivi intermedi utili potrebbe essere la chiave per sbloccare un apprendimento più efficiente e affidabile.

Sebbene il sistema abbia mostrato grande potenziale nelle simulazioni, i ricercatori sono stati attenti a sottolinearne i limiti. Il processo di generazione e valutazione di questi obiettivi extra richiede una potenza di calcolo aggiuntiva, rendendo il processo di addestramento più lento rispetto ai metodi standard. In ambienti semplici dove il robot può apprendere rapidamente da solo, questo costo extra non vale il beneficio. Inoltre, i test attuali sono stati tutti condotti in un mondo digitale simulato. I ricercatori riconoscono che l'applicazione di questo sistema a robot reali richiederebbe di affrontare problemi come il rumore dei sensori e i vincoli di sicurezza che non esistono in una simulazione al computer. Nonostante queste avvertenze, il lavoro dimostra un passo significativo in avanti nell'insegnare alle macchine come esplorare ambienti complessi da sole. Fornendo un modo strutturato per scomporre compiti difficili in passi raggiungibili, il framework GANGSTER offre una via pratica verso sistemi di intelligenza artificiale più capaci, in grado di navigare le sfide disordinate e a lungo termine del mondo reale.