A distilled value head breaks search, but search remains an effective teacher, not a move selector: a case study in 19x19 Go

Immagina di insegnare a uno studente brillante ma testardo come giocare a un gioco di strategia complesso come gli Scacchi o il Go. Hai un insegnante super intelligente (chiamiamolo "L'Oracolo") che può guardare la scacchiera e dirti esattamente chi sta vincendo. Di solito, quando insegni a uno studente, lo lasci esercitarsi giocando contro l'insegnante, oppure lo lasci riflettere su alcune mosse in anticipo per vedere cosa succede. Nel mondo dell'intelligenza artificiale, questo "pensare in anticipo" è chiamato Ricerca in Albero Monte Carlo (MCTS). È come un simulatore che esegca migliaia di piccoli giochi immaginari in una frazione di secondo per capire la mossa migliore.

L'idea fondamentale nell'IA moderna è che se combini un "cervello" intelligente (una rete neurale) con questo "simulatore" (MCTS), il risultato dovrebbe essere imbattibile. Il cervello indovina la mossa, e il simulatore la ricontrolla. Ma cosa succederebbe se il simulatore iniziasse a rendere il cervello peggiore? E se lo strumento destinato ad aiutarti a pensare finisse per confonderti? Questo è l'insolito enigma che un ricercatore di nome Taiki Kojima ha affrontato. Non stava cercando di costruire un robot che vincesse il Campionato del Mondo; cercava di capire un glitch dove la parte del "pensiero" rompeva la parte del "gioco", anche se la parte del "pensiero" era ancora incredibilmente utile per l'insegnare. È la storia di come una bussola difettosa possa comunque essere una grande mappa per un insegnante.

---

La Bussola Difettosa

Nel mondo del Go informatico (un gioco giocato su una griglia 19x19), i ricercatori di solito addestrano l'IA facendole imparare da un insegnante super forte. In questo studio, l'insegnante era un'IA famosa chiamata KataGo. Il ricercatore ha preso un'IA più piccola e semplice e ha cercato di copiare il cervello dell'insegnante usando una tecnica chiamata distillazione della conoscenza. Immagina questo come uno studente che cerca di memorizzare i compiti a casa dell'insegnante.

Di solito, una volta che lo studente ha imparato le risposte, lo lasci usare il proprio "motore di pensiero" (Meller MCTS) per ricontrollare il proprio lavoro prima di compiere una mossa. L'aspettativa era che questo avrebbe reso lo studente ancora più forte. Ma ecco dove la trama si complica: Quando il ricercatore ha lasciato che lo studente usasse MCTS per scegliere le sue mosse, lo studente è diventato peggiore.

Lo studente, giocando senza alcun motore di pensiero, vinceva circa il 32% delle partite contro se stesso. Ma nel momento in cui attivava il "motore di pensiero" per aiutarlo a scegliere le mosse, la sua percentuale di vittorie crollava. Era come se uno studente che riusciva a risolvere i problemi di matematica perfettamente iniziasse improvvisamente a fallire ogni test nel momento in cui gli veniva permesso di usare una calcolatrice.

Il Testimone di Valore Rotto

Il ricercatore doveva capire perché la calcolatrice fosse rotta. Era la calcolatrice stessa (l'algoritmo di ricerca) a essere difettosa? O il cervello dello studente (la rete neurale) stava dando informazioni errate alla calcolatrice?

Per testarlo, il ricercatore ha sostituito il cervello dello studente con quello dell'insegnante solo per l'ultimo passaggio del calcolo. Improvvisamente, la percentuale di vittorie è schizzata al 98,3%. Questo ha dimostato che la "calcolatrice" (MCTS) funzionava perfettamente. Il problema era interamente nel cervello dello studente.

Nello specifico, il problema risiedeva nella testa di valore (value head). In termini di IA, la "testa di valore" è la parte del cervello che dice: "Questa posizione è buona o cattiva?". La testa di valore dello studente era in realtà piuttosto brava a giudicare il punteggio assoluto (sapeva se una posizione era vincente o perdente nel complesso). Ma era terribile nel confrontare due mosse simili fianco a fianco. Non riusciva a distinguere quale tra due mosse sorelle fosse leggermente migliore.

Immagina un giudice che può dirti se un quadro è "buono" o "cattivo", ma quando gli mostri due quadri che sono entrambi "buoni", non riesce a dirti quale sia migliore. Quando l'IA cercava di usare questo giudice confuso per scegliere la mossa migliore, continuava a commettere errori. Il motore di ricerca scavava più a fondo, trovava confronti ancora più confusi e rendeva le decisioni dell'IA sempre peggiori.

La Soluzione: Smetti di Usare la Bussola, Inizia a Usare la Mappa

Il ricercatore ha provato a riparare il giudice rotto riaddestrando solo quella parte del cervello. Il giudice è diventato leggermente più bravo a confrontare le mosse, ma l'IA non riusciva ancora a usare il motore di ricerca per giocare meglio. Il motore di ricerca era ancora difettoso come selezionatore di mosse.

Così, il ricercatore ha provato un approccio completamente diverso. Inveve di cercare di riparare la capacità dell'IA di usare il motore di ricerca per scegliere le mosse, ha deciso di usare il motore di ricerca solo come insegnante.

Ecco il trucco magico:

1. L'IA ha giocato una partita usando il motore di ricerca per generare una "distribuzione di visite". Questa è una registrazione di quanto tempo il motore di ricerca ha trascorso a esaminare diverse mosse. Anche se il motore di ricerca ha scelto la mossa sbagliata, potrebbe aver dedicato molto tempo a pensare alla mossa giusta.
2. Il ricercatore ha poi addestrato il cervello dell'IA a copiare questo "schema di pensiero" (la distribuzione di visite) invece di copiare solo la mossa finale.
3. Hanno rimosso l' "ancora di sicurezza" che di solito impedisce all'IA di cambiare troppo.

Il risultato è stato scioccante. Ignorando la decisione finale del motore di ricerca e usando solo il suo "processo di pensiero" come lezione, l'IA è migliorata enormemente.

• Generazione 2 (usando il vecchio metodo): L'IA non giocava molto meglio della sua versione precedente.
• Generazione 3 (usando il motore di ricerca come insegnante): L'IA ha vinto il 94,1% delle partite contro il baseline originale e l'82,4% contro la versione precedente.

Questo è accaduto usando meno della metà dei dati di pratica (partite di auto-gioco) utilizzati dalla generazione precedente. Il motore di ricerca era un pessimo giocatore (sceglieva le mosse sbagliate il 73% delle volte), ma era un insegnante eccezionale.

Perché Questo è Importante

Il documento conclude che esiste una grande differenza tra la capacità di un'IA di prendere una decisione e la sua capacità di insegnare una lezione.

Pensa a un allenatore che è terribile nel praticare lo sport stesso. Se chiedi a questo allenatore di giocare una partita, perderà. Ma se gli chiedi di guardare una partita e dire dove i giocatori dovrebbero concentrare l'attenzione, potrebbe essere brillante. Il motore di ricerca in questo studio era come quell'allenatore: non poteva scegliere il vincitore, ma la sua "mappa di attenzione" mostrava allo studente esattamente dove guardare per imparare.

Lo studio evidenzia anche un avvertimento per chiunque costruisca IA: Non fidatevi troppo dei vostri "punteggi". I ricercatori hanno scoperto che le metriche standard (come quanto bene l'IA classificasse le mosse in un test) spesso non riuscivano a prevedere se l'IA sarebbe effettivamente migliorata nel giocare la partita. A volte, l'IA migliorava anche quando i punteggi del test sembravano peggiori.

In definitiva, questo non riguarda solo il Go. Lo stesso problema accade in altri campi dell'IA, come l'addestramento dei modelli linguistici. A volte, lo strumento che usi per generare risposte è troppo difettoso per essere usato direttamente, ma il processo di generazione di quelle risposte contiene il segreto per rendere l'IA più intelligente. La lezione? Non buttare via l'insegnante solo perché non sa giocare la partita.