Riepilogo Tecnico: Distillazione della Generazione di Modelli del Mondo del Codice di Gioco in Modelli Linguistici di Grande Dimensione Leggeri

Enunciato del Problema

La costruzione di Modelli del Mondo—rappresentazioni interne di un ambiente che permettono ad agenti AI di simulare le conseguenze delle azioni—è fondamentale per i sistemi multi-agente. Sebbene lavori recenti abbiano introdotto i Modelli del Mondo del Codice (CWM), in cui i Modelli Linguistici di Grande Dimensione (LLM) traducono descrizioni di giochi in linguaggio naturale in codice Python eseguibile compatibile con risolutori come la Ricerca ad Albero Monte Carlo (MCTS), gli approcci attuali affrontano barriere significative di scalabilità.

I metodi esistenti per la generazione di Modelli del Mondo del Codice di Gioco (GameCWM) fanno molto affidamento su modelli "frontiera" (ad es. Gemini 2.5 Pro, GPT-4) e su un esteso calcolo al momento dell'inferenza. Questi approcci utilizzano cicli di raffinamento iterativo in cui un LLM genera codice, lo verifica contro test unitari o traiettorie di verità fondamentale, e rigenera il codice in caso di fallimento. Questo processo è computazionalmente costoso e limita l'accessibilità. La domanda centrale di questo lavoro è se le capacità richieste per generare GameCWM validi possano essere distillate in modelli più piccoli e leggeri (specificamente modelli da 3 miliardi di parametri) attraverso un post-addestramento, eliminando così la dipendenza dai modelli frontiera e dai cicli di raffinamento al momento dell'inferenza.

Metodologia

Gli autori propongono una pipeline a tre componenti per distillare le capacità di generazione GameCWM in Qwen2.5-3B-Instruct:

1. Curazione del Dataset

È stato costruito un dataset di 30 giochi in forma estesa, che coprono:

• Giochi a Informazione Perfetta: ad es. Tris, Connect4, Scacchi Generalizzati.
• Giochi a Informazione Imperfetta: ad es. Blackjack, Poker di Kuhn, Poker di Leduc, Gin Rummy.
• Giochi Fuori Distribuzione (OOD): Giochi nuovi non presenti nei dati di addestramento standard degli LLM, incluso un nuovo gioco chiamato Converge.

Il dataset è composto da coppie prompt-codice $(P_G, C_G)$, dove il prompt include la specifica API, la descrizione del gioco in linguaggio naturale, le stringhe di azione esplicite e una traiettoria di esempio. L'output target è il codice Python di verità fondamentale che implementa il motore di gioco.

2. Framework di Verifica Gerarchico

Per abilitare l'addestramento senza motori di gioco di verità fondamentale per i giochi nuovi, gli autori hanno sviluppato un framework di verifica a quattro livelli che valuta il codice generato:

• Livello 1 (Analisi Statica): Verifica la validità sintattica, la completezza dell'API (presenza di tutti i metodi richiesti), le firme dei tipi e la compilazione riuscita.
• Livello 2 (Dinamiche/Fuzzing): Esegue 100 traiettorie sintetiche casuali per verificare la deterministica, la logica non terminale, la logica terminale, l'esecuzione senza crash e l'immutabilità dello stato.
• Livello 3 (Adesione alle Regole Semantiche): Confronta il comportamento del motore generato con un piccolo insieme di "tracce di scenario" (storie di gioco) generate da un LLM frontiera dalle regole del gioco. Questo testa le condizioni al contorno e il gameplay tipico.
• Livello 4 (Coerenza dell'Informazione): Specifico per i giochi a informazione imperfetta, questo livello valuta la funzione resample_history. Simula una passeggiata casuale fino a uno stato, estrae un'osservazione e verifica che la storia risampolata produca la stessa osservazione, garantendo che i confini epistemici siano mantenuti.

3. Pipeline di Post-Addestramento

Il processo di addestramento coinvolge due fasi:

• Fine-Tuning Supervisionato (SFT): Il modello base Qwen2.5-3B-Instruct viene affinato sulle coppie prompt-codice utilizzando LoRA. Questa fase mira ad allineare il modello alla struttura e alla sintassi API richieste.
• Apprendimento per Rinforzo con Ricompense Verificabili (RLVR): Seguendo l'SFT, il modello viene ulteriormente raffinato utilizzando l'Ottimizzazione della Politica Relativa di Gruppo (GRPO). Il segnale di ricompensa è un punteggio composito derivato dal framework di verifica a quattro livelli:
  $$r_i = \sum_{t=1}^{4} w_t S_t$$
  Dove $S_t$ è il tasso di superamento al livello $t$, e i pesi ($w_1=0.15, w_2=0.25, w_3=0.3, w_4=0.3$) danno priorità alla logica semantica e alla gestione dell'informazione rispetto alla mera sintassi.

Risultati Chiave

Gli esperimenti sono stati condotti su 7 giochi tenuti fuori (inclusi giochi OOD e a informazione imperfetta), generando 25 campioni per gioco.

• Prestazioni Complessive: La pipeline completa SFT+RLVR ha prodotto il modello più forte, ottenendo un punteggio medio di verifica del 53,2%, superando significativamente il modello base (47,3%) e il modello solo SFT (49,0%). Tuttavia, è rimasto al di sotto delle prestazioni di modelli frontiera come GPT-4o (66,7%).
• Guadagni Sintattici e Strutturali: L'SFT ha migliorato significativamente i punteggi Statici (Livello 1) e Fuzz (Livello 2), dimostrando che il fine-tuning insegna efficacemente al modello la struttura API richiesta e la logica di transizione robusta.
• Adesione Semantica: L'RLVR ha fornito il boost più significativo ai punteggi Semantici (Livello 3). Il modello SFT+RLVR ha ottenuto un punteggio semantico del 14,4% rispetto all'8,5% del modello base, indicando che l'RL aiuta il modello ad aderire alle regole del gioco oltre la sola sintassi.
• Sfide dell'Informazione Imperfetta: Tutti i modelli, incluso GPT-4o, hanno faticato con la coerenza Informazionale (Livello 4) nei giochi a informazione imperfetta. Il miglior modello Qwen (SFT+RLVR) ha ottenuto solo il 5,3%, rispetto al 14,0% di GPT-4o.
• Limitazioni Osservate:
  • Overfitting nell'SFT: Sul gioco in-distribuzione Gin Rummy (non presente nel set di addestramento), l'SFT ha effettivamente diminuito le prestazioni (dal 49,7% al 31,4%) a causa del fatto che il modello applicava ciecamente modelli di comprensione delle liste appresi durante l'addestramento, introducendo errori di sintassi.
  • Confini del Ragionamento: I modelli spesso inserivano commenti riconoscendo la difficoltà di implementare la logica resample_history, optando per stub semplificati (ad es. restituendo l'ultima azione) piuttosto che generare percorsi di ragionamento complessi. Ciò suggerisce che lo spazio latente del modello base potrebbe mancare delle capacità di ragionamento "Teoria della Mente" necessarie per questi compiti.

Significato e Affermazioni

Il documento afferma che la generazione di GameCWM può essere parzialmente distillata in LLM leggeri attraverso il post-addestramento. Il significato primario di questo lavoro è la dimostrazione che:

1. Efficienza delle Risorse: È possibile ridurre la dipendenza da modelli frontiera costosi e cicli iterativi di raffinamento al momento dell'inferenza spostando il carico computazionale sul post-addestramento.
2. Necessità a Due Stadi: Una combinazione di SFT (per struttura/sintassi) e RLVR (per adesione semantica) è più efficace di ciascun metodo da solo.
3. Scalabilità: L'approccio offre una via scalabile verso la generazione automatica di ambienti da linguaggio naturale, rendendo i GameCWM accessibili per una gamma più ampia di applicazioni.

Tuttavia, gli autori rimangono modesti sullo stato attuale della tecnologia. Affermano esplicitamente che il ragionamento semantico complesso e la gestione dell'informazione imperfetta rimangono impegnativi e superano la capacità attuale sia dei modelli leggeri che della pipeline di addestramento. Il lavoro non afferma di aver risolto il problema della generazione perfetta di GameCWM, ma piuttosto fornisce un'alternativa praticabile ed più efficiente rispetto agli approcci attuali dipendenti da modelli frontiera.