Nel mondo dell'intelligenza artificiale, alcune delle sfide più difficili derivano da giochi in cui i giocatori non possono vedere l'intero tabellone. Pensate a un tavolo da poker: conoscete le vostre carte e le carte sul tavolo, ma non avete idea di cosa stia tenendo il vostro avversario. Questa mancanza di informazione completa crea un panorama di incertezza in cui ogni decisione deve essere pesata rispetto a possibilità nascoste. Per decenni, i ricercatori hanno utilizzato un metodo chiamato minimizzazione del rimpianto controfattuale per insegnare ai computer come giocare a questi giochi. La logica è semplice: dopo che una partita è terminata, il computer guarda indietro a ogni scelta effettuata e si chiede: "E se avessi fatto diversamente?". Se cambiare quella scelta avrebbe portato a un risultato migliore, il computer prova un senso di "rimpianto". Su milioni di partite, impara a minimizzare questo rimpianto, stabilendosi infine su una strategia così forte che nessun avversario può batterla costantemente. Questo approccio ha prodotto alcune delle IA da poker più formidabili della storia.

Tuttavia, un problema maggiore sorge quando il gioco diventa troppo complesso. Nelle varianti di poker più semplici, il computer può mappare ogni possibile percorso che il gioco può intraprendere. Ma nelle versioni più intricate con sequenze di gioco più lunghe, il numero di percorsi possibili esplode nei trilioni. Il metodo tradizionale, che richiede di controllare ogni singolo percorso per calcolare il rimpianto, diventa impossibile perché il computer dovrebbe elaborare più dati di quanti ne esistano nell'universo. Per risolvere questo problema, i ricercatori si sono rivolti al deep learning, utilizzando reti neurali per indovinare le mosse giuste senza dover controllare ogni possibilità. Eppure, anche questi sistemi avanzati faticano quando il gioco si protrae su un orizzonte temporale lungo, spesso perdendosi nel puro volume di rumore casuale generato dal campionamento di pochi percorsi. Mancano di un modo per organizzare il proprio pensiero in blocchi gestibili, proprio come un essere umano che cerca di ricordare mille singoli passi invece di riconoscere alcune routine familiari.

Un team di ricercatori dell'Università di Hong Kong, dell'Università di Pechino e della Purdue University ha introdotto un nuovo approccio chiamato Hierarchical Deep Counterfactual Regret Minimization, o HDCFR, progettato per superare queste limitazioni. Il loro lavoro, pubblicato in un articolo di ricerca, propone che, invece di costringere l'IA a imparare ogni minuscola mossa da zero, si dovrebbe insegnarle a imparare prima delle "abilità". In questo sistema, l'IA impara componenti di basso livello che fungono da abilità specifiche per risolvere piccole parti del gioco, come un particolare schema di scommesse o una manovra difensiva. Un componente di livello superiore agisce poi come un manager, decidendo quale abilità usare in ogni momento e quando passare da una all'altra. Questa struttura imita il modo in cui giocano gli esseri umani: non pensiamo a ogni singolo movimento muscolare quando guidamo un'auto; pensiamo in termini di "girare a sinistra", "cambiare corsia" o "fermarsi", e passiamo da un obiettivo di alto livello all'altro al cambiare della situazione.

I ricercatori hanno costruito il loro algoritmo per lavorare in ambienti in cui l'albero completo del gioco è troppo grande per essere visto, un contesto noto come "model-free". In questi scenari, l'IA non può guardare avanti per vedere ogni possibile futuro; può solo campionare alcuni percorsi e imparare dai risultati. Per far sì che questo funzioni senza che il processo di apprendimento diventi instabile a causa delle fluttuazioni casuali, il team ha introato una tecnica di riduzione della varianza. Questa agisce come un stabilizzatore, aiutando l'IA a distinguere tra una strategia genuinamente buona e un colpo di fortuna. Hanno dimostrato matematicamente che questo metodo gerarchico converge a una strategia ottimale, il che significa che l'IA imparerà infine a giocare perfettamente, proprio come i vecchi metodi, ma con la capacità aggiuntiva di gestire giochi molto più profondi e complessi.

Quando testato contro le più forti algoritmi esistenti nel campo, l'HDCFR ha mostrato un chiaro vantaggio, particolarmente man mano che i giochi diventavano più difficili. I ricercatori hanno valutato il loro sistema su diverse versioni di poker, che vanno da una variante semplice con poche carte a una versione complessa con un albero di gioco contenente oltre trenta trilioni di nodi. Nei giochi più semplici, il nuovo metodo ha performato al pari dei migliori strumenti esistenti. Tuttavia, man mano che i giochi diventavano più lunghi e gli orizzonti decisionali si estendevano, gli altri metodi iniziavano a vacillare, con le loro prestazioni che diventavano erratiche o non riuscivano a migliorare. L'HDCFR, al contrario, ha continuato ad apprendere efficacemente, raggiungendo un livello di gioco superiore. Il team ha scoperto che la struttura gerarchica permetteva all'IA di mantenere la stabilità anche quando il gioco si protraeva, un traguardo che i precedenti metodi di deep learning non potevano raggiungere senza essere sopraffatti dal rumore dei dati.

Una scoperta chiave dello studio è stata la capacità del sistema di trasferire la conoscenza da un compito all'altro. I ricercatori hanno addestrato l'IA su una versione più semplice del gioco e poi le hanno chiesto di applicare quanto appreso a una versione più complessa. Hanno scoperto che le abilità di basso livello che l'IA aveva padroneggiato — come specifiche strategie di scommessa — potevano essere riutilizzate nel nuovo gioco più difficile. Questo trasferimento di abilità ha accelerato significativamente il processo di apprendimento. In alcuni casi, l'IA poteva concentrarsi interamente sull'apprendimento della gestione di alto livello di queste abilità, saltando la necessità di riapprendere le basi. Ciò suggerisce che il sistema non sta solo memorizzando un gioco specifico, ma sta effettivamente imparando un insieme flessibile di strumenti che possono essere adattati a nuove sfide. I ricercatori hanno anche osservato che l'IA ha imparato a utilizzare queste abilità per periodi prolungati, restando talvolta con una singola strategia per dieci o più mosse prima di cambiare, il che rispecchia il modo in cui gli esperti umani pensano in termini di fasi piuttosto che di azioni isolate.

Lo studio ha incluso anche un esame dettagliato di cosa accade quando certe parti del sistema vengono rimosse. Quando i ricercatori hanno tolto il meccanismo che permette all'IA di estendere le abilità nel tempo, il sistema ha faticato a convergere, proprio come i metodi più vecchi. Allo stesso modo, quando hanno rimosso lo stabilizzatore di riduzione della varianza, le prestazioni di apprendimento sono scese significativamente, specialmente nei giochi più lunghi. Questi test hanno confermato che sia la struttura gerarchica che le tecniche di riduzione del rumore sono essenziali affinché il sistema funzioni in ambienti profondi e complessi. I ricercatori hanno notato che, sebbene il sistema richieda una considerevole potenza di calcolo per l'addestramento, impiegando circa una settimana su un server standard per i giochi più grandi, i risultati dimostrano una via percorribile per l'intelligenza artificial true nei giochi con spazi di stato massicci.

In definitiva, questo lavoro rappresenta un cambiamento nel modo in cui le macchine affrontano il processo decisionale complesso sotto incertezza. Organizzando l'apprendimento in una gerarchia di abilità e manager, i ricercatori hanno creato un sistema in grado di navigare i vasti paesaggi nascosti dei giochi a informazione imperfetta in modo più efficace che mai. Le scoperte suggeriscono che, affinché l'IA possa padroneggiare le sfide strategiche più complesse, potrebbe dover smettere di cercare di calcolare ogni possibilità e iniziare a imparare a pensare in termini di abilità strutturate e riutilizzabili. Questo approccio non solo migliora le prestazioni nei giochi, ma offre anche un modello per come gli agenti intelligenti potrebbero imparare a operare nel mondo reale, dove l'informazione è spesso incompleta e il futuro è troppo vasto per essere mappato interamente nei minimi dettagli.