Nel vasto panorama dell'intelligenza artificiale, esiste un angolo specifico dedicato all'insegnamento alle macchine come interagire tra loro. Questo campo, noto come apprendimento per rinforzo multi-agente, pone una domanda semplice ma profonda: come facciamo a far sì che più sistemi intelligenti imparino insieme senza far impazzire l'uno l'altro? Immaginate una stanza piena di studenti che cercano di risolvere un problema di matematica contemporaneamente. Se ogni studente cambia la propria strategia ogni secondo in base a ciò che fanno gli altri, l'aula diventa un bersaglio mobile caotico. Nessuno può stabilizzarsi su una risposta certa perché il terreno si sposta costantemente sotto i loro piedi. Nel mondo della teoria dei giochi, l'obiettivo è raggiungere uno stato di equilibrio in cui nessun giocatore ha l'incentivo a cambiare la propria mossa, un concetto noto come equilibrio di Nash. Tuttavia, quando le azioni disponibili a questi giocatori non sono solo poche scelte semplici, ma un flusso continuo di possibilità — come decidere esattamente quanto produrre o quanto denaro spendere — la matematica diventa incredibilmente difficile. I metodi standard spesso falliscono qui, causando oscillazioni selvagge negli agenti o intrappolandoli in cicli, senza mai trovare quel punto di accordo stabile.

Un ricercatore di nome Marvin Bongiovi, della Tecnica di Dortmund, ha proposto un nuovo modo per navigare in questo caos. In uno studio pubblicato alla fine del 2026, introduce un algoritmo chiamato Deep Regret Actor-Critic, o DRAC. Invece di cercare di massimizzare la ricompensa immediata per ogni agente, il che spesso porta all'instabilità, questo nuovo metodo insegna agli agenti a minimizzare il loro "rimpianto". In termini semplici, il rimpieto è la sensità di aver perso un'occasione migliore perché si è scelto un'azione diversa. Addestrando il sistema affinché nessun giocatore possa aver potuto ottenere un risultato significativamente migliore cambiando idea da solo, l'algoritmo guida il gruppo verso un equilibrio stabile e inesplorabile. I risultati sono sorprendenti: in complesse simulazioni economiche che coinvolgono decisioni continue, questo nuovo approccio ha trovato costantemente la precisa soluzione matematica dove i metodi precedenti faticavano, dimostrando che concentrarsi su ciò che è stato mancato è una via più affidabile per l'accordo rispetto al concentrarsi su ciò che è stato guadagnato.

Per capire perché questo sia importante, bisogna prima comprendere la natura del problema che questi agenti affrontano. In molti scenari del mondo reale, dai mercati ai concorsi, i giocatori prendono decisioni in una sequenza, e la mossa migliore dipende interamente da ciò che fanno gli altri. Se un agente cerca di imparare semplicemente reagendo alle ricompense attuali, è come cercare di colpire un bersaglio mobile mentre il bersaglio sta anche cercando di schivare. L'ambiente è non stazionario, il che significa che cambia man mano che gli apprendisti cambiano. Gli algoritmi tradizionali spesso falliscono perché trattano gli altri giocatori come parte di un ambiente statico, solo per essere sorpresi quando quei giocatori aggiornano le loro strategie. Ciò porta a un ciclo di adattamento in cui nessuno si stabilizza mai. Sebbene alcuni metodi precedenti abbiano cercato di risolvere questo problema esaminando l'intero albero di gioco o utilizzando complesse funzioni di potenziale, essi spesso faticano con la scala enorme delle azioni continue o richiedono un addestramento specializzato che non scala bene.

La soluzione di Bongiovi, DRAC, adotta un approccio strutturale diverso. Opera sotto un framework in cui gli agenti sono addestrati insieme in modo centralizzato, ma possono comunque agire indipendentemente. L'innovazione principale risiede nel modo in cui valuta il successo. Invezione di chiedere, "Ho ottenuto un punteggio alto?", il sistema chiede: "Avrei potuto fare meglio se avessi scelto diversamente, mentre tutti gli altri continuavano a fare esattamente quello che stavano facendo?". Per rispondere a questo, l'algoritmo utilizza un trucco astuto. Congela le azioni di tutti gli altri giocatori e poi campiona un ampio intervallo di mosse alternative per il singolo agente in questione. Calcola quale sarebbe stata la ricompensa per ciascuna di queste ipotesi alternative. Confrontando il risultato effettivo con il miglior risultato possibile da questi campioni, il sistema calcola una misura precisa del rimpianto. Questo processo crea un obiettivo stabile per l'algoritmo di apprendimento, perché il "miglior risultato possibile" è calcolato contro un set fisso di azioni degli avversari, rimuovendo il problema del bersaglio mobile.

L'algoritmo utilizza una rete neurale a doppia testa per svolgere questo compito. Una parte della rete predice l'utilità migliore che un agente potrebbe ottenere contro le azioni fisse degli altri, mentre l'altra parte predice l'utilità effettiva dell'azione intrapresa. La differenza tra queste due predizioni è il rimpianto. Il sistema quindi regola la strategia dell'agente per minimizzare questa differenza. Se il rimpianto è alto, significa che l'agente ha perso una migliore opportunità, e la strategia viene modificata per evitare questo errore la prossima volta. Se il rimpianto è zero, significa che l'agente sta giocando in modo ottimale date le azioni di tutti gli altri. Minimizzando questo rimpianto tra tutti gli agenti simultaneamente, il sistema converge naturalmente verso uno stato in cui nessuno vuole cambiare la propria strategia, che è la definizione di un equilibrio di Nash.

Per testare questa idea, il ricercatore ha eseguito due simulazioni distinte. La prima era un oligopolio di Cournot sequenziale, un classico modello economico in cui più imprese competono decidendo quanto prodotto fabbricare. In questo scenario, il prezzo di mercato dipende dalla quantità totale prodotta da tutte le imprese. I ricercatori hanno impostato un mercato con tre imprese in competizione per cinque round, con la capacità di produrre qualsiasi quantità entro un intervallo continuo. Hanno confrontato il nuovo algoritmo DRAC con un metodo ben consolidato chiamato MADDPG. I risultati hanno mostrato che DRAC era di gran lunga superiore. Dopo 200.000 cicli di addestramento, le strategie dell'algoritmo DRAC deviavano dalla soluzione teorica perfetta di circa l'1,1 percento. Al contrario, il vecchio metodo deviava quasi del 2 percento. Più importante ancora, la misura dell' "esplorabilità" — quanto un giocatore potrebbe guadagnare cambiando la propria strategia — era significativamente più bassa per DRAC, attestandosi intorno a 0,000137, rispetto allo 0,000427 del metodo precedente. Ciò indica che il nuovo algoritmo non solo ha trovato la risposta corretta, ma lo ha fatto con un grado di stabilità molto più elevato.

Il secondo esperimento ha coinvolto un concorso a premi proporzionale sequenziale, un problema dinamico di allocazione delle risorse. Qui, due giocatori competono per diversi round per vincere un premio, ma devono spendere una parte del loro budget per farlo. Il premio viene diviso in base a quanto ogni giocatore spende rispetto al totale. Questa configurazione richiede ai giocatori di pensare in anticipo, bilanciando quanto spendere ora rispetto a quanto devono risparmiare per i round successivi. I ricercatori hanno simulato questo concorso in cinque fasi con una regola specifica per l'esaurimento del budget. Ancora una volta, l'algoritmo DRAC è stato messo a confronto con il metodo standard. I risultati sono coerenti con il primo esperimento. DRAC ha ottenuto una deviazione dalla strategia perfetta teorica di appena il 3,0 percento, mentre il metodo standard restava indietro al 6,3 percento. Anche l'esplorabilità per DRAC era molto più bassa, ferma a 0,000745 rispetto allo 0,00248 del concorrente. Questi numeri confermano che l'approccio di minimizzazione del rimpianto è efficace anche in giochi dinamici a più stadi in cui i giocatori devono pianificare per il futuro.

Il successo di questo approccio si basa su un'intuizione specifica: spostando l'attenzione dalla massimizzazione dei premi alla minimizzazione del rimpianto, l'algoritmo elude l'instabilità che affligge altri metodi. Nell'apprendimento multi-agente standard, se un agente commette un errore, può sconvolgere l'apprendimento di tutti gli altri, creando una cascata di errori. DRAC evita questo calcolando gli scenari "cosa succederebbe se" contro le azioni fisse degli avversari. Questo scollega la valutazione dagli aggiornamenti caotici degli altri giocatori, creando un paesaggio calmo e stazionario per il processo di apprendimento. L'algoritmo dice essenzialmente: "Ignora cosa stanno facendo gli altri in questo momento; guarda solo cosa avresti potuto fare meglio contro ciò che hanno fatto". Questo semplice cambiamento permette al sistema di coordinare i propri aggiornamenti senza cadere nella trappola della collusione, dove gli agenti potrebbero accidentalmente imparare a cooperare in un modo che danneggia l'equilibrio complessivo.

Sebbene i risultati siano impressionanti, l'articolo riconosce certi limiti. Il metodo si basa sul campionamento per trovare le migliori azioni alternative possibili. Negli ambienti fluidi e prevedibili del mercato di Cournot e del concorso a premi, questo ha funzionato perfettamente. Tuttavia, in giochi con paesaggi di ricompensa altamente complessi o irregolari, il campionamento potrebbe mancare la vera mossa migliore. Inoltre, l'algoritmo richiede un modello dell'ambiente per simulare questi esiti ipotetici. In un videogioco o in una simulazione, questo è facile, ma in una situazione del mondo reale "black box" dove le regole sono sconosciute, il sistema avrebbe bisogno di un modo per prevedere i risultati di azioni che non ha ancora intrapreso. Nonostante questi vincoli, lo studio dimostra un passo avanti significativo. Dimostra che i giochi continui e multi-agente possono essere risolti con alta precisione insegnando agli agenti a guardare all'indietro verso le loro opportunità mancate piuttosto che in avanti verso i loro potenziali guadagni.

Le implicazioni di questo lavoro vanno oltre i giochi specifici testati. La capacità di approssimare un Equilibrio di Nash Subgame-Perfect — uno stato in cui i giocatori prendono decisioni ottimali in ogni fase di un gioco, non solo all'inizio — in spazi continui è un ostacolo importante nell'intelligenza artificiale. Dimostrando che la minimizzazione del rimpianto può stabilizzare l'apprendimento, questa ricerca apre la porta a sistemi multi-agente più robusti nell'economia, nella gestione del traffico e nella distribuzione delle risorse. L'autore suggerisce che questo framework potrebbe essere eventualmente adattato per giochi con informazioni imperfette, dove i giocatori non conoscono tutto sullo stato del mondo, e per giochi discreti dove i giocatori scelgono da un insieme di opzioni distinte. Per ora, lo studio si presenta come una chiara dimostrazione che, a volte, il modo migliore per andare avanti è analizzare attentamente ciò che si sarebbe potuto fare diversamente.