In Two Minds about Lifelong Learning: Exploring Hemispheric Redundancy and Specialisation in Neural Models

Il cervello umano è un maestro dell'apprendimento. Può acquisire una nuova abilità, come suonare un accordo di chitarra, senza dimenticare istantaneamente come andare in bicicletta. Questa capacità di accumulare conoscenza nel corso di una vita è chiamata apprendimento continuo. Al contrario, i sistemi di intelligenza artificiale, che sono costruiti da strati di connessioni matematiche chiamate reti neurali, faticano profondamente con questo stesso compito. Quando queste macchine apprendono un nuovo insieme di informazioni, spesso sovrascrivono le vecchie, cancellando ciò che sapevano in precedenza. Questo fenomeno, noto come oblio catastrofico, accade perché le impostazioni interne della macchina vengono regolate per adattarsi ai nuovi dati, distruggendo accidentalmente i modelli necessari per i dati precedenti. Affinché i robot o i software diventino davvero persistenti e adattabili, devono risolvere questo problema, imparando continuamente senza perdere il proprio passato.

Per capire come risolvere questo problema, i ricercatori guardano spesso alla biologia. Nel cervello mammifero, una struttura chiamata ippocampo funge da area di sosta temporanea per i nuovi ricordi, mentre la neocorteccia conserva la conoscenza a lungo termine. Ogni notte, durante il sonno, il cervello riproduce le esperienze recenti, trasferendole dall'area di sosta temporanea al deposito a lungo termine. Inoltre, il cervello è diviso in due emisferi che spesso lavorano in modo diverso: un lato tende a gestire le informazioni nuove e insolite con flessibilità, mentre l'altro gestisce le routine consolidate con stabilità. Un team di ricercatori della Monash University e della CSIRO Robotics ha preso questi principi biologici e ha costruito una nuova architettura informatica per vedere se possono impedire all'intelligenza artificiale di dimenticare.

I ricercatori hanno creato un sistema che chiamano 4MAS, che sta per 4 Module Awake/Sleep (4 Moduli Sveglia/Sonno). Invece di un singolo cervello monolitico, questo sistema è costruito con due metà distinte, o emisferi, imitando i lati sinistro e destro di un cervello biologico. Ogni metà contiene i propri sistemi di memoria: un buffer a breve termine che contiene alcuni esempi recenti di ciò che ha visto, e un generatore a lungo termine che apprende la forma complessiva dei dati. Il sistema opera in un ciclo che alterna la fase di veglia a quella di sonno. Durante la fase di veglia, il sistema apprende un nuovo compito utilizzando dati reali, rivedendo anche gli esempi della sua memoria a breve termine. Durante la fase di sonno, non viene introdotto alcun nuovo dato. Invece, i due emisferi comunicano tra loro. Generano esempi sintetici di ciò che hanno appreso e li usano per perfezionare l'uno l'altro, rinforzando la vecchia conoscenza mentre integrano la nuova.

Un'innovazione chiave in questo design è che i due emisferi non sono identici. I ricercatori li hanno programmati per avere personalità diverse. Un emisfero è tarato per essere stabile e conservatore, concentrandosi sulla preservazione di ciò che già conosce. L'altro è tarato per essere plastico ed esplorativo, desideroso di adattarsi a nuovi schemi. Questa divisione del lavoro permette al sistema di bilanciare la necessità di imparare nuove cose con la necessità di ricordare le vecchie. I ricercatori hanno testato questa architettura su diverse sfide standard di riconoscimento delle immagini, dove la macchina doveva apprendere nuove categorie di immagini una dopo l'altra senza mai rivedere le precedenti.

I risultati sono stati sorprendenti. Su un semplice dataset di cifre scritte a mano, il sistema ha raggiunto un'accuratezza del 98,3 percento, quasi eguagliando le prestazioni di un modello che aveva visto tutti i dati contemporaneamente. Su un dataset più complesso di immagini di abbigliamento, ha raggiunto un'accuratezza dell'84,9 percento, superando significativamente altri metodi che cercano di prevenire l'oblio. Anche su un dataset molto difficile con 100 diverse categorie di oggetti, il sistema è riuscito ad apprendere continuamente, raggiungendo un'accuratezza del 29,29 percento, che è superiore ai migliori metodi precedenti. Lo studio ha dimostrato che il sistema non si è limitato a memorizzare i nuovi dati; ha mantenuto i dati precedenti con pochissima perdita, una metrica che i ricercatori chiamano "deriva rappresentazionale". La capacità del sistema di mantenere il passato mentre impara il futuro era direttamente collegata alla fase di sonno. Quando i ricercatori hanno rimosso il ciclo di sonno, le prestazioni del sistema sono calate e i due emisferi non sono riusciti a lavorare efficacemente insieme.

Gli esperimenti hanno anche rivelato che le differenze specifiche tra i due emisferi erano cruciali. Quando entrambi i lati sono stati resi identici, il sistema ha ottenuto prestazioni peggiori. È stato solo quando un lato è stato lasciato flessibile e l'altro stabile che il sistema è prosperato. Ciò suggerisce che avere parti specializzate che svolgono lavori diversi è più efficace che avere una singola parte uniforme che cerca di fare tutto. I ricercatori hanno scoperto che il sistema funzionava meglio quando il tasso di apprendimento durante il "sonno" veniva mantenuto molto basso, permettendo aggiustamenti gentili piuttosto che cambiamenti drastici. Hanno anche scoperto che il sistema aveva bisogno di una piccola quantità di memoria per archiviare esempi recenti, ma una volta che questa memoria raggiungeva una certa dimensione, renderla più grande non aiutava molto.

Questo lavoro non sostiene di aver risolto il problema dell'intelligenza artificiale per sempre, né suggerisce che le macchine sognino presto come gli esseri umani. I modelli utilizzati erano relativamente semplici e funzionavano su dataset specifici e controllati. Tuttavia, le scoperte offrono una via chiara da seguire. Copiando la strategia biologica di dividere i compiti di memoria tra due lati specializzati e usando un periodo di riposo per consolidare la conoscenza, gli ingegneri possono costruire macchine che imparano più come gli esseri viventi. Lo studio dimostra che il dilemma stabilità-plasticità, che ha a lungo tormentato l'intelligenza artificiale, può essere gestito non forzando un singolo sistema a fare tutto, ma creando un team di agenti specializzati che si sostengono a vicenda attraverso cicli di lavoro e riposo.