Immagina un computer che impara a giocare a un videogioco non venendo istruito sulle regole, ma provando diverse opzioni, commettendo errori e capendo lentamente quali mosse portano a punti e quali al fallimento. Questo è il cuore di un campo chiamato deep reinforcement learning (apprendimento per rinforzo profondo), dove gli agenti di intelligenza artificiale imparano attraverso tentativi ed errori. Il modo più comune con cui questi agenti imparano è costruire una mappa mentale di "valore": un tentativo di indovinare quanto sia buona una specifica situazione e quanto premio potrebbe portare in futuro. Il computer aggiorna questa mappa ripetutamente, usando le sue stime attuali per prevedere il passo successivo, un processo noto come bootstrapping. Sebbene questo metodo abbia permesso alle macchine di padroneggiare giochi complessi, possiede un difetto notevole: il processo di apprendimento è spesso instabile. Le stime dell'agente possono sfuggire al controllo, portandolo a dimenticare ciò che ha imparato o a prendere decisioni erratiche, proprio come uno studente che si entusiasma così tanto per una nuova idea da smettere di ascoltare l'insegnante.

Per anni, gli scienziati hanno cercato di correggere questa instabilità incolpando specifici colpevoli, come il fatto che il computer sia troppo ottimista riguardo alle sue possibilità di vittoria. Tuttavia, un nuovo studio suggerisce che il problema non è solo un singolo cattivo attore, ma un ciclo complesso e auto-rinforzante che coinvolge tre diverse parti del sistema di apprendimento che lavorano l'una contro l'altra. I ricercatori, guidati da un team della Peking University, hanno scoperto che l'instabilità deriva da come il computer costruisce le sue previsioni future, da come interpreta i dati rumorosi quando prende decisioni e da come la sua struttura di memoria interna cambia nel tempo. Comprendendo queste tre forze interagenti, hanno sviluppato un nuovo metodo per stabilizzare il processo di apprendimento, permettendo all'IA di imparare più velocemente e in modo più affidabile in ambienti in cui i dati sono scarsi.

I ricercatori hanno iniziato osservando da vicino come il computer costruisce le sue previsioni. In una configurazione standard, l'IA osserva una situazione, sceglie la mossa migliore che pensa di poter compiere e usa la ricompensa di quella mossa per aggiornare la sua mappa. Il team ha scoperto che quando l'IA riceve una ricompensa positiva, può verificarsi un strano ciclo di feedback. Poiché la rappresentazione interna del mondo del computer è condivisa tra diverse azioni, una ricompensa per una specifica mossa può accidentalmente gonfiare il valore di quella stessa mossa nella situazione successiva. Quando il computer guarda avanti per decidere cosa fare dopo, vede questo valore gonfiato e sceglie nuovamente quella stessa mossa. Questo crea un ciclo in cui il computer continua a scegliere la stessa azione ripetutamente, convinto che sia la scelta migliore, anche se non lo è. I ricercatori chiamano questo il "trappola auto-rinforzante", un meccanismo in cui l'IA rimane intrappolata in un loop creato da se stessa, amplificando i propri pregiudizi finché il processo di apprendimento non crolla.

La seconda fonte di problemi risiede nel modo in cui il computer prende decisioni quando i suoi dati sono imperfetti. L'apprendimento è un processo rumoroso; le stime di valore del computer non sono mai perfettamente precise. Quando la differenza tra la mossa migliore e la seconda migliore è minima, anche un briciolo di rumore può causare il cambio di scelta del computer. Poiché le scelte del computer determinano i dati che raccoglie successivamente, una singola decisione errata basata sul rumore può condurlo lungo un percorso di esperienze scarse. Questo crea una deriva nei dati che il computer vede, rendendo più difficile imparare il vero valore delle azioni. I ricercatori si sono resi conto che questa sensibilità al rumore significa che il computer ha bisogno di un modo per essere più sicuro nelle sue stime, assicurando che piccole fluttuazioni nei dati non lo facciano oscillare selvaggiamente tra diverse strategie.

Il terzo problema è più sottile e avviene nel profondo del "cervello" del computer, che è composto da strati di connessioni matematiche chiamate parametri. Mentre il computer si addestra, specialmente quando è costretto a riutilizzare molte volte gli stessi vecchi dati per imparare in modo efficiente, queste connessioni iniziano a cambiare in modo sbilanciato. Un piccolo numero di connessioni diventa estremamente grande e dominante, mentre il resto della rete rimane relativamente piccolo e inattivo. I ricercatori hanno introdotto un modo per misurare questo squilibrio, che chiamano "spike ratio" (rapporto di picco), e hanno scoperto che man mano che il computer riutilizza i dati in modo più aggressivo, questi picchi diventano più pronunciati. Questo squilibrio è pericoloso perché rende la rete rigida; essa perde la capacità di adattarsi a nuove situazioni perché la sua struttura interna è diventata troppo specializzata per i vecchi dati che ha visto troppe volte.

Per risolvere questi problemi, il team ha progettato un nuovo framework di apprendimento che agisce come un insieme di freni e stabilizzatori per l'IA. Primo, per rompere la trappola auto-rinforzante, hanno cambiato il modo in cui il computer seleziona la sua prossima mossa. Invece di lasciare che la stessa parte della rete decida la mossa e ne valuti il valore, hanno suddiviso questi compiti tra diverse versioni della rete. Inoltre, hanno aggiunto una regola che impedisce al computer di scegliere immediatamente la stessa azione che gli ha appena dato una ricompensa, costringendolo a esplorare altre possibilità e rompendo il ciclo di amplificazione.

Secondo, per gestire il rumore nel processo decisionale, il team ha utilizzato una tecnica chiamata ensemble learning. Invece di affidarsi a un singolo cervello informatico per fare una supposizione, hanno addestrato un gruppo di reti leggermente diverse e hanno chiesto loro di votare sul valore di ogni azione. Mediando le opinioni di molte reti diverse, il rumore casuale in una singola rete viene annullato, portando a una decisione molto più stabile e affidabile. Questo approccio utilizza anche un metodo di regressione quantilica, che permette al computer di comprendere l'intero intervallo di possibili risultati piuttosto che un singolo numero medio, riducendo ulteriormente il rischio di essere tratti in inganno da valori anomali.

Infine, per evitare che la rete diventi rigida, i ricercatori hanno aggiunto un sistema di monitoraggio che controlla lo "spike ratio" delle connessioni. Se rilevano che un piccolo gruppo di connessioni sta crescendo troppo e dominando la rete, resettano delicatamente quelle specifiche connessioni a uno stato neutro. Questo funge da aggiornamento periodico, eliminando i rami eccessivi della memoria della rete affinché possa rimanere flessibile e pronta a imparare nuovi schemi. Ciò assicura che, anche quando il computer è costretto a riutilizzare pesantemente i dati, non perda la sua capacità di adattamento.

Il team ha testato questo nuovo approccio in due ambienti impegnativi. Il primo era un insieme di videogiochi classici dove al computer era permesso giocare solo per 100.000 passi, una quantità di dati molto limitata rispetto a quanto richiedono solitamente altri metodi. In questi test, il loro metodo ha superato molti approcci esistenti, ottenendo punteggi più alti e raggiungendo prestazioni di livello umano in più giochi rispetto a qualsiasi altro metodo testato. Il secondo test coinvolgeva una serie di giochi generati proceduralmente, dove i livelli sono creati casualmente e cambiano ogni volta. Qui, l'obiettivo era vedere se il computer potesse generalizzare ciò che ha imparato su livelli completamente nuovi che non aveva mai visto prima. Il nuovo metodo ha mostato una capacità superiore di adattarsi a queste sfide impreviste, suggerendo che la stabilità fornita aiuta il computer a costruire una comprensione più robusta del mondo.

I ricercatori hanno anche condotto esperimenti specifici per dimostrare che le loro idee stavano effettivamente funzionando. Hanno mostato che quando rimuovevano la regola che impedisce al computer di ri-selezionare la stessa azione premiata, l'apprendimento diventava instabile nei giochi con ricompense frequenti. Hanno dimostrato che l'uso di un gruppo più numeroso di reti migliorava costantemente le prestazioni, confermando che ridurre il rumore attraverso il voto è cruciale. Hanno anche monitorato lo "spike ratio" durante l'addestramento e hanno mostrato che, senza il loro meccanismo di reset, l'equilibrio interno della rete si sarebbe deteriorato, specialmente quando i dati venivano riutilizzati intensamente. Questi risultati confermano che l'instabilità nel deep learning non è solo un singolo problema da risolvere con un trucco, ma una questione sistemica che richiede un approccio coordinato su come vengono fatte le previsioni, come vengono pesate le decisioni e come viene mantenuta la struttura della rete.

Questo lavoro offre un quadro più chiaro del perché gli agenti di deep learning a volte falliscono e fornisce un kit di strumenti pratici per mantenerli in carreggiata. Riconoscendo che l'instabilità deriva dall'interazione tra bias di previsione, rumore decisionale e rigidità strutturale, i ricercatori sono andati oltre le semplici correzioni per arrivare a una soluzione più olistica. Il loro metodo non rende l'IA solo più intelligente; rende il processo di apprendimento stesso più affidabile, assicurando che l'agente possa continuare ad apprendere efficacemente anche quando i dati sono scarsi o l'ambiente è caotico. Mentre l'intelligenza artificiale continua a passare dal giocare ai videogiochi alla risoluzione di problemi del mondo reale nella robotica e oltre, la capacità di stabilizzare queste dinamiche di apprendimento sarà essenziale per costruire sistemi che siano non solo potenti, ma anche affidabili e coerenti.