🤖 AI

Discovering Multiagent Learning Algorithms with Large Language Models

Questo articolo dimostra che i Large Language Models possono automatizzare la scoperta di algoritmi competitivi di apprendimento per rinforzo multi-agente per giochi a informazione imperfetta, e mostra che la distillazione di queste scoperte complesse e specifiche dell'ambiente in nuclei algoritmici minimi produce una generalizzazione superiore e una ridotta complessità strutturale.

Autori originali: Zun Li, John Schultz, Daniel Hennes, Marc Lanctot

Pubblicato 2026-05-11

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zun Li, John Schultz, Daniel Hennes, Marc Lanctot

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un gruppo di robot come giocare a poker, Go o persino a "Dadi Mentitori". Per decenni, gli umani sono stati gli allenatori, modificando manualmente i "cervelli" dei robot, provando diverse formule matematiche e sperando che migliorassero. È un processo lento e tedioso di tentativi ed errori.

Questo articolo descrive un nuovo modo di allenare: invece di un umano che modifica il codice, i ricercatori hanno lasciato che un Large Language Model (LLM) — un'intelligenza artificiale superintelligente che comprende il codice — agisse come un biologo evoluzionista. Hanno chiamato questo sistema AlphaEvolve.

Ecco la storia di ciò che hanno scoperto, suddivisa in concetti semplici.

1. Il Laboratorio Evoluzionistico

I ricercatori hanno allestito un "laboratorio" digitale con due diversi tipi di algoritmi per giocare:

CFR (Counterfactual Regret Minimization): Pensalo come uno studente che impara esaminando ogni errore commesso e chiedendosi: "Se avessi fatto qualcos'altro, avrei vinto?".
PSRO (Policy-Space Response Oracles): È come un allenatore che costruisce una squadra di giocatori diversi, li mette l'uno contro l'altro e aggiunge costantemente nuovi giocatori più intelligenti alla rosa per battere il migliore attuale.

All'LLM sono stati forniti il codice sorgente di questi algoritmi e gli è stato detto: "Migliorate questi. Riducete gli errori (l'exploitability) che i robot commettono."

L'LLM non si è limitato a modificare alcuni numeri; ha riscritto la logica del codice stesso, mutando gli algoritmi come il DNA. Dopo molte generazioni di "sopravvivenza del più adatto", l'LLM ha prodotto due nuovi algoritmi altamente complessi:

VAD-CFR: Una versione dello studente "Regret" che si adatta in modo selvaggio a quanto caotico sembra il gioco.
SHOR-PSRO: Una versione dell'"Allenatore di Squadra" che mescola diverse strategie in modo molto specifico e complesso.

2. La Trappola dell'"Over-Engineering"

Quando hanno testato questi nuovi algoritmi scoperti dall'IA, erano straordinari. Hanno battuto tutti i campioni progettati dall'uomo nei giochi specifici su cui erano stati addestrati.

Tuttavia, i ricercatori hanno notato qualcosa di sospetto. L'LLM aveva costruito questi algoritmi come uno chef maestro che crea un piatto specifico per un solo commensale molto schizzinoso. Il codice era pieno di meccanismi complessi e intrecciati che funzionavano perfettamente per i giochi di addestramento ma che probabilmente erano solo "overfitting" — memorizzando i dati di addestramento invece di imparare le regole generali del gioco.

Era come se l'LLM avesse costruito un'auto con un turbocompressore, un sistema al nitro e una sospensione speciale tarata solo per una specifica pista da corsa. Sarebbe vinta in quella pista, ma se l'avessi portata su una strada sterrata e sconnessa, potrebbe andare in pezzi.

3. La Chirurgia "Ablativa" (Il Lavoro da Detective)

Per scoprire cosa rendeva effettivamente intelligenti questi algoritmi, i ricercatori hanno eseguito una "chirurgia". Hanno rimosso sistematicamente parti del codice per vedere cosa succedeva. Questo è chiamato ablazione.

Hanno scoperto che le parti sofisticate e complesse (come il tracciamento della volatilità o la mescolanza di strategie in modi specifici) erano per lo più superflue. Hanno aiutato l'algoritmo a vincere sulla pista di addestramento, ma non l'hanno aiutato a generalizzare su nuovi giochi.

Quando hanno spogliato l'algoritmo del suo "abito elegante", hanno trovato lo scheletro nudo che faceva effettivamente funzionare il motore.

4. I Vincitori Distillati

Mantenendo solo i principi più essenziali e fondamentali e scartando il codice eccessivamente complicato, hanno creato due nuovi algoritmi più semplici:

WOP-CFR (Warm-started Optimistic Predictive CFR):
- L'Analogia: Immagina uno studente che si rifiuta di prendere appunti per i primi 500 giorni di lezione (un "warm start") per evitare di scrivere abitudini sbagliate. Poi, inizia a prendere appunti, ma è "ottimista" — assume che la prossima mossa sarà leggermente migliore di quanto sia, il che lo aiuta a imparare più velocemente.
- Il Risultato: Questa versione semplice era in realtà migliore nel generalizzare su nuovi giochi rispetto all'originale complesso. Era meno propensa a confondersi di fronte a nuove situazioni.
PM-PSRO (Projection Matching PSRO):
- L'Analogia: Immagina un allenatore che ignora il "rumore" della folla. Invece di guardare ogni singolo punteggio, guarda come un giocatore si comporta rispetto alla media dell'intera squadra. Se un giocatore è sotto la media, viene immediatamente dimenticato. Se è sopra la media, ottiene i riflettori.
- Il Risultato: Anche questa versione spogliata era superiore all'originale complesso, dimostrando che la logica di mescolanza complessa dell'LLM non era necessaria.

5. La Grande Conclusione

L'articolo conclude che gli LLM sono ottimi nel proporre idee, ma sono necessari gli umani per distillerle.

L'LLM ha agito come un inventore creativo che costruisce una macchina con 500 parti in movimento. I ricercatori hanno agito come ingegneri che si sono resi conto: "Ehi, ne abbiamo bisogno solo di 3 di queste parti per farla funzionare, e rimuovere le altre 497 la rende più veloce e affidabile".

Riassunto dell'Affermazione:
I ricercatori hanno utilizzato con successo un'IA per scoprire nuovi algoritmi per giocare che hanno battuto gli esperti umani. Tuttavia, le scoperte grezze dell'IA erano troppo complesse e specializzate. Rimuovendo chirurgicamente la complessità non necessaria, hanno creato algoritmi più semplici e puliti che erano ancora migliori nel gestire giochi nuovi e mai visti. Questo dimostra che l'IA può essere uno strumento potente per la scoperta scientifica, a condizione che gli umani siano presenti per semplificare e interpretare i risultati.

Riepilogo Tecnico: Scoperta di Algoritmi di Apprendimento Multiagente con Modelli Linguistici su Grande Scala

Enunciato del Problema

Storicamente, i progressi nell'Apprendimento per Rinforzo Multiagente (MARL) per giochi a informazione imperfetta hanno fatto affidamento sulla raffinazione manuale e iterativa di baseline algoritmiche. I ricercatori esplorano vasti spazi combinatori di regole di aggiornamento e scelte strutturali (ad esempio, sconto del rimpianto, derivazione dell'equilibrio) prevalentemente attraverso intuizione e tentativi ed errori, ricorrendo spesso a euristiche matematicamente trattabili che potrebbero non essere ottimali. Questo lavoro affronta il limite della progettazione manuale proponendo l'automazione del processo di scoperta degli algoritmi stessi mediante Modelli Linguistici su Grande Scala (LLM).

Metodologia

Gli autori implementano AlphaEvolve, un agente evolutivo di codifica distribuito alimentato da LLM (nello specifico Gemini 2.5 Pro), per automatizzare la progettazione di algoritmi MARL. Il framework tratta il codice sorgente di un algoritmo come un genoma, utilizzando l'LLM come operatore genetico intelligente per eseguire mutazioni semantiche, riscrivere la logica e iniettare operazioni simboliche nuove.

Lo studio si concentra su due paradigmi distinti della teoria dei giochi:

Minimizzazione del Rimpianto Controfattuale (CFR): Lo spazio di ricerca è definito da tre classi Python evolutive: RegretAccumulator (come i rimpianti vengono elaborati/scontati), PolicyFromRegretAccumulator (come le politiche vengono derivate dai rimpianti) e PolicyAccumulator (come le politiche vengono pesate per la media finale).
Policy-Space Response Oracles (PSRO): Lo spazio di ricerca coinvolge due classi separate ed evolutive: TrainMetaStrategySolver (per generare meta-strategie durante l'addestramento dell'oracolo) e EvalMetaStrategySolver (per calcolare profili di strategia per la valutazione). Questa separazione permette all'LLM di scoprire schedule dinamiche e asimmetriche tra addestramento e valutazione.

Protocollo Sperimentale:

Set di Addestramento: Gli algoritmi vengono evoluti su un insieme di quattro giochi (Poker di Kuhn a 3 giocatori, Poker di Leduc a 2 giocatori, Goofspiel a 4 carte, Dadi del Mentitore a 5 facce) per massimizzare la fitness (negatività dell'exploitabilità).
Valutazione: Gli algoritmi evoluti fissi vengono testati su una suite più ampia di 18 giochi, inclusi varianti più grandi e diverse famiglie di giochi (Poker, Goofspiel, Dadi del Mentitore, Blotto, Battleship).
Distillazione tramite Ablazione: Riconoscendo che gli LLM potrebbero adattarsi eccessivamente sovrapponendo meccanismi complessi e sinergici ai principi fondamentali, gli autori adottano una rigorosa metodologia di ablazione con split train-test. Utilizzano la Media Interquartile (IQM) dei punteggi di miglioramento logaritmico per isolare quali componenti guidano la generalizzazione rispetto a quelli che massimizzano semplicemente la fitness di addestramento.

Contributi Chiave

1. Scoperta di Algoritmi ad Alte Prestazioni

La ricerca evolutiva ha scoperto con successo due nuovi algoritmi competitivi con le baseline umane state-of-the-art:

VAD-CFR (CFR Scontato Adattivo alla Volatilità): Una variante CFR caratterizzata da uno sconto adattivo basato sul tracciamento della volatilità, potenziamento istantaneo del rimpianto e previsione ottimistica.
SHOR-PSRO (PSRO a Rimpianto Ottimistico Ibrido Lisciato): Un meta-solver che fonde l'Optimistic Regret Matching+ (ORM+) con le migliori strategie pure lisciate, utilizzando solver asimmetrici per l'addestramento e la valutazione.

2. Identificazione della Sovra-Specializzazione

Attraverso studi di ablazione sistematici, il lavoro dimostra che, sebbene le scoperte grezze degli LLM siano altamente efficaci sulle distribuzioni di addestramento, spesso contengono componenti "sovra-ingegnerizzate" (ad esempio, tracciamento specifico della volatilità, schedule di blending complesse) strettamente accoppiate al set di addestramento ma che non contribuiscono alla generalizzazione. In alcuni casi, questi meccanismi complessi agiscono come penalità per la generalizzazione.

3. Distillazione di Solver Minimali

Rimuovendo le euristiche sovra-specializzate e mantenendo solo i cambiamenti strutturali fondamentali identificati negli studi di ablazione, gli autori producono due solver minimali e matematicamente puri:

WOP-CFR (CFR Predittivo Ottimistico con Avvio Caldo): Questa versione distillata mantiene tre meccanismi fondamentali da VAD-CFR:
1. Avvio Caldo Rigido: Una sospensione rigorosa di 500 iterazioni della media delle politiche per impedire che il rumore ad alta varianza precoce inquina la strategia cumulativa.
2. Sconto Asimmetrico Estremo: Utilizzo di un esponente negativo ( $\beta = -0.1$ ) per i rimpianti negativi per agire come un "cancello di oblio" istantaneo, facendoli decadere più velocemente delle baseline sintonizzate manualmente.
3. Previzione Ottimistica: Derivazione delle politiche tramite una proiezione non lineare (esponente 1.5) con un fattore di ottimismo decrescente.
  Risultato: WOP-CFR ottiene una generalizzazione superiore (IQM di Test più alto) rispetto al VAD-CFR grezzo, riducendo significativamente la complessità strutturale.
PM-PSRO (PSRO a Proiezione Tangente): Questa versione distillata sostituisce le schedule complesse di blending ibrido e ricottura di SHOR-PSRO con un singolo meccanismo fondamentale:
1. Utilità Proiettata Tangente: Sostituzione del segnale di rimpianto nel Regret Matching con la proiezione tangente del vettore di utilità attesa (centrando le utilità sulla media della popolazione).
2. Budget Dinamico: Scalatura delle iterazioni del solver interno linearmente con la dimensione empirica del gioco.
3. Solver Unificato: Utilizzo di un solver a media temporale sia per l'addestramento che per la valutazione.
  Risultato: PM-PSRO supera SHOR-PSRO grezzo nei compiti di generalizzazione con una struttura semplificata e interpretabile.

Risultati

Prestazioni: Sia le scoperte grezze (VAD-CFR, SHOR-PSRO) che i solver minimali distillati (WOP-CFR, PM-PSRO) si classificano costantemente tra i primi tre in una suite di valutazione di 18 giochi.
Generalizzazione: I solver distillati spesso superano i loro corrispettivi LLM grezzi sui giochi di test tenuti da parte. Ad esempio, WOP-CFR ottiene la minima exploitabilità su 14 dei 18 giochi, rispetto a 15 per il VAD-CFR grezzo, ma con un miglioramento IQM di Test di +0,119 rispetto alla versione grezza. Analogamente, PM-PSRO mostra un miglioramento IQM di Test di +0,059 rispetto a SHOR-PSRO.
Robustezza: Gli algoritmi distillati mantengono alte prestazioni attraverso diverse famiglie di giochi (Poker, Goofspiel, Dadi del Mentitore, Blotto, Battleship) e scale variabili (da 2 a 347.810 stati di informazione).
NFG Casuali: Nelle valutazioni su giochi in forma normale a $N$ giocatori generati casualmente, sia SHOR-PSRO che PM-PSRO dominano le baseline consolidate (Uniform, AlphaRank, PRD, RM), con il divario di prestazioni che si allarga all'aumentare delle iterazioni.

Significato e Affermazioni

Il lavoro afferma che la ricerca evolutiva guidata da LLM è un potente meccanismo di proposta per la scoperta algoritmica, ma è più efficace quando integrata in una pipeline human-in-the-loop. L'LLM propone combinazioni complesse di candidati di meccanismi, ma è necessaria un'ablazione sistematica train-test per far emergere quali componenti generalizzano realmente. Il ricercatore distilla quindi questi sopravvissuti in solver minimali.

Gli autori sottolineano che il loro lavoro colma il divario tra meta-apprendimento neurale espressivo e scoperta simbolica evolvendo scheletri di codice interpretabili. Affermano esplicitamente che i loro risultati non forniscono garanzie formali di convergenza per gli algoritmi distillati (che sono motivati empiricamente piuttosto che provati teoricamente) e che la valutazione è limitata a baseline basate su tabelle e giochi con meno di 350k stati di informazione a causa della necessità di calcolare l'exploitabilità esatta. Lo studio conclude che il vero valore dell'LLM risiede nella sua capacità di navigare spazi di progettazione per trovare meccanismi non intuitivi, che possono poi essere semplificati in algoritmi robusti e generalizzabili.