Reinforcement learning for Quantum Tiq-Taq-Toe

Immaginate un mondo in cui le regole della logica sono leggermente diverse, dove un singolo oggetto può esistere in più luoghi contemporaneamente finché qualcuno non lo osserva. Questo è il regno della meccanica quantistica, una branca della fisica che governa il comportamento delle particelle più piccole dell'universo. Sebbene questi principi siano spesso riservati a teorie complesse sulla trama della realtà, vengono ora testati nell'ambiente più familiare: la semplice griglia di un tabellone di Tris. In questa versione quantistica, il gioco non si gioca con segni statici di X e O, ma con probabilità e connessioni che legano i pezzi tra loro in modi che sfidano l'esperienza ordinaria. La sfida per i computer è imparare a giocare a questo gioco, non seguendo un insieme fisso di istruzioni, ma imparando dall'esperienza, proprio come fa un essere umano. Questo è il dominio dell'apprendimento per rinforzo, un metodo in cui un'intelligenza artificiale migliora la propria strategia provando mosse, vedendo i risultati e adattando il proprio approccio nel tempo. I ricercatori sono interessati a questa intersezione perché, se un computer può imparare a navigare nel paesaggio confuso e mutevole di un gioco quantistico, potrà eventualmente aiutarci a risolvere problemi molto più difficili nella computazione quantistica, come la correzione degli errori nelle delicate macchine quantistiche.

In uno studio recente, ricercatori dell'Università di Leiden, nei Paesi Bassi, hanno deciso di vedere se queste macchine apprendenti potessero padroneggiare una specifica adattamento quantistico del Tris. Hanno scelto una versione del gioco che utilizza unità quantistiche a tre stati, il che consente una varietà di mosse più ricca rispetto ai sistemi standard a due stati spesso utilizzati nella teoria. Il gioco stesso è complicato perché il tabellone non è mai completamente chiaro per il giocatore. Invece di vedere un segno definito di X o O in una casella, un giocatore vede una mappa di probabilità, che mostra dove potrebbe trovarsi un segno, e un registro di come le diverse caselle siano collegate tra loro. Ogni volta che un giocatore compie una mossa, questi collegamenti possono collassare, rivelando improvvisamente uno stato definito dove prima c'era solo incertezza. Per testare le loro teorie, il team ha allestito un'arena digitale in cui agenti di intelligenza artificiale giocavano contro se stessi. Hanno creato due diverse versioni delle regole del gioco. La prima versione era piuttosto restrittiva, richiedendo che qualsiasi mossa quantistica complessa coinvolgesse almeno uno spazio vuoto sul tabellone. La seconda versione era più aperta, consentendo una gamma più ampia di interazioni e intrecci più complessi tra le caselle.

I ricercatori hanno addestrato i loro agenti utilizzando un metodo in cui giocavano migliaia di partite l'uno contro l'altro, imparando da ogni vittoria, sconfitta o pareggio. Volevano vedere di quale tipo di informazione avessero bisogno gli agenti per giocare bene. Hanno testato tre tipi di giocatori: uno che poteva vedere solo la mappa di probabilità, uno che poteva vedere solo la cronologia di come i pezzi erano stati collegati, e un terzo che aveva accesso a entrambi. Nella versione più restrittiva del gioco, le simulazioni hanno mostrato un modello chiaro: il giocatore che muoveva per primo deteneva un vantaggio distinto. Anche se il gioco comporta un grado di casualità che impedisce una vittoria garantita, il primo giocatore è stato in grado di trovare una via per la vittoria più spesso del secondo. Ciò suggerisce che, anche in un gioco con regole mutevoli, esistono strategie discernibili che una macchina apprendente può scoprire. I risultati sono stati visualizzati mettendo l'uno contro l'altro gli agenti meglio addestrati, mostrando che il primo giocatore otteneva costantemente più vittorie.

Quando i ricercatori sono passati alla versione più complessa del gioco, dove le regole permettevano stati e interazioni quantistiche più diversificati, la dinamica è cambiata. In questo scenario, avere solo un tipo di informazione non era sufficiente. Gli agenti performavano meglio solo quando potevano vedere sia l'attuale mappa di probabilità che la cronologia di come i pezzi fossero stati intrecciati. Questa combinazione permetteva all'intelligenza artificiale di comprendere lo stato in tempo reale del tabellone e, allo stesso tempo, di ricordare le complesse relazioni formate nei turni precedenti. Il risultato è stato un gioco più equilibrato, in cui gli esiti sono diventati più equi tra i giocatori. Questo risultato evidenzia che in ambienti in cui l'informazione è nascosta o parzialmente visibile, avere un quadro completo sia del presente che del passato è fondamentale per prendere buone decisioni.

Lo studio conclude che questa versione quantistica del Tris serve come un utile banco di prova per lo sviluppo di una migliore intelligenza artificiale per i sistemi quantistici. I ricercatori osservano che la difficoltà intrinseca del gioco, causata dalla visibilità parziale del tabellone, rispecchia le sfide affrontate nella vera computazione quantistica, dove controllare e comprendere questi stati nascosti è essenziale. Sebbene l'attuale lavoro si sia concentrato sull'addestramento degli agenti per giocare, gli autori suggeriscono che sforzi futuri potrebbero esplorare altri modi per aiutare le macchine a gestire questa incertezza, come l'uso di sistemi di memoria che ricordano sequenze passate o modelli di elaborazione più avanzati. Per ora, il lavoro dimostra che l'apprendimento per rinforzo può navigare con successo la strana logica dei giochi quantistici, offrendo una chiara strada da seguire per l'integrazione del machine learning con la futura tecnologia quantistica.