Technische Samenvatting: Distilleren van Game Code World Model-generatie naar Lichtgewicht Grootte Taalmodellen

Probleemstelling

De constructie van Wereldmodellen—interne representaties van een omgeving die AI-agenten in staat stellen om de gevolgen van acties te simuleren—is cruciaal voor multi-agent systemen. Hoewel recent werk Code Wereldmodellen (CWM's) heeft geïntroduceerd, waarbij Grootte Taalmodellen (LLM's) natuurlijke taal spelbeschrijvingen vertalen naar uitvoerbare Python-code die compatibel is met oplosmethoden zoals Monte Carlo Tree Search (MCTS), staan huidige benaderingen voor aanzienlijke schaalbaarheidsbarrières.

Bestaande methoden voor het genereren van Game Code Wereldmodellen (GameCWM's) maken zwaar gebruik van "frontier"-modellen (bijv. Gemini 2.5 Pro, GPT-4) en uitgebreide rekenkracht tijdens de testfase. Deze benaderingen maken gebruik van iteratieve verfijningsslussen waarbij een LLM code genereert, deze verifieert tegen unit-tests of waarheidsgetrouwe trajecten, en code opnieuw genereert bij mislukking. Dit proces is rekenkundig duur en beperkt de toegankelijkheid. De centrale vraag van dit werk is of de capaciteiten die nodig zijn om geldige GameCWM's te genereren, kunnen worden gedistilleerd naar kleinere, lichtgewicht modellen (specifiek 3B-parametermodellen) via post-training, waardoor de afhankelijkheid van frontier-modellen en verfijningsslussen tijdens de inferentie wordt geëlimineerd.

Methodologie

De auteurs stellen een pijplijn met drie componenten voor om GameCWM-generatiecapaciteiten te distilleren naar Qwen2.5-3B-Instruct:

1. Dataset Cursatie

Een dataset van 30 extensieve spelvormen werd samengesteld, variërend in:

• Spellen met Perfecte Informatie: bijv. Tic-Tac-Toe, Connect4, Generalized Chess.
• Spellen met Imperfecte Informatie: bijv. Blackjack, Kuhn Poker, Leduc Poker, Gin Rummy.
• Out-of-Distribution (OOD) Spellen: Nieuwe spellen die niet aanwezig zijn in standaard LLM-trainingdata, waaronder een nieuw spel genaamd Converge.

De dataset bestaat uit prompt-codeparen $(P_G, C_G)$, waarbij de prompt de API-specificatie, een natuurlijke taal spelbeschrijving, expliciete actiestrings en een voorbeeldtraject bevat. De doeluitvoer is waarheidsgetrouwe Python-code die de spelengine implementeert.

2. Hiërarchisch Verificatiekader

Om training mogelijk te maken zonder waarheidsgetrouwe spelengines voor nieuwe spellen, ontwikkelden de auteurs een viertraps verificatiekader dat gegenereerde code evalueert:

• Trap 1 (Statische Analyse): Verifieert syntactische validiteit, API-compleetheid (alle vereiste methoden aanwezig), typesignaturen en succesvolle compilatie.
• Trap 2 (Dynamiek/Fuzzing): Voert 100 willekeurige synthetische trajecten uit om determinisme, niet-terminale logica, terminale logica, crashvrije uitvoering en statische onveranderlijkheid te controleren.
• Trap 3 (Semantische Regeltoepassing): Vergelijkt het gedrag van de gegenereerde engine met een kleine set "scenario-traces" (spelgeschiedenissen) gegenereerd door een frontier-LLM vanuit de spelregels. Dit test randvoorwaarden en typische gameplay.
• Trap 4 (Informatieconsistentie): Specifiek voor spellen met imperfecte informatie, evalueert deze trap de resample_history-functie. Het simuleert een willekeurige wandeling naar een staat, extrahert een observatie en verifieert dat de opnieuw bemonsterde geschiedenis dezelfde observatie produceert, zodat epistemische grenzen worden gehandhaafd.

3. Post-Training Pijplijn

Het trainingsproces omvat twee fasen:

• Supervised Fine-Tuning (SFT): Het basismodel Qwen2.5-3B-Instruct wordt fijnge tuned op de prompt-codeparen met behulp van LoRA. Deze fase heeft tot doel het model te aligneren met de vereiste API-structuur en syntaxis.
• Versterkingsleer met Verifieerbare Beloningen (RLVR): Na SFT wordt het model verder verfijnd met Group Relative Policy Optimization (GRPO). Het beloningssignaal is een samengestelde score afgeleid van het viertraps verificatiekader:
  $$r_i = \sum_{t=1}^{4} w_t S_t$$
  Waar $S_t$ de slaagkans is bij trap $t$, en de gewichten ($w_1=0.15, w_2=0.25, w_3=0.3, w_4=0.3$) semantische logica en informatieverwerking prioriteren boven puur syntaxis.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op 7 terughoudende spellen (inclusief OOD en spellen met imperfecte informatie), waarbij 25 samples per spel werden gegenereerd.

• Algemene Prestaties: De volledige SFT+RLVR-pijplijn produceerde het sterkste model, met een gemiddelde verificatiescore van 53,2%, wat significant beter presteert dan het basismodel (47,3%) en het alleen-SFT-model (49,0%). Het bleef echter onder de prestaties van frontier-modellen zoals GPT-4o (66,7%).
• Syntactische en Structurele Winsten: SFT verbeterde de Statische (Trap 1) en Fuzz (Trap 2) scores aanzienlijk, wat aantoont dat fijn-tuning het model effectief de vereiste API-structuur en robuuste transitielogica leert.
• Semantische Toepassing: RLVR gaf de grootste impuls aan de Semantische (Trap 3) scores. Het SFT+RLVR-model behaalde een semantische score van 14,4% vergeleken met 8,5% voor het basismodel, wat aangeeft dat RL het model helpt zich aan spelregels te houden die verder gaan dan alleen syntaxis.
• Uitdagingen bij Imperfecte Informatie: Alle modellen, inclusief GPT-4o, hadden moeite met Informatie (Trap 4) consistentie in spellen met imperfecte informatie. Het beste Qwen-model (SFT+RLVR) behaalde slechts 5,3%, vergeleken met 14,0% voor GPT-4o.
• Waargenomen Beperkingen:
  • Overfitting bij SFT: Op het in-distribution spel Gin Rummy (niet in de trainingsset) verlaagde SFT de prestaties daadwerkelijk (van 49,7% naar 31,4%) omdat het model blindelings lijst-comprehensie-sjablonen toepaste die tijdens training waren geleerd, wat syntaxisfouten introduceerde.
  • Redeneringsgrenzen: De modellen voegden vaak opmerkingen toe waarin ze de moeilijkheid erkenden om resample_history-logica te implementeren, en kozen voor vereenvoudigde stubs (bijv. het teruggeven van de laatste actie) in plaats van complexe redeneerpaden te genereren. Dit suggereert dat de latente ruimte van het basismodel mogelijk de nodige "Theory of Mind"-redeneercapaciteiten voor deze taken mist.

Betekenis en Claims

Het paper beweert dat GameCWM-generatie gedeeltelijk kan worden gedistilleerd naar lichtgewicht LLM's via post-training. De primaire betekenis van dit werk is de demonstratie dat:

1. Ressource-efficiëntie: Het mogelijk is om de afhankelijkheid van dure frontier-modellen en iteratieve testfase-verfijningsslussen te verminderen door de rekenkundige last te verschuiven naar post-training.
2. Noodzaak van een Twee-Fase Aanpak: Een combinatie van SFT (voor structuur/syntaxis) en RLVR (voor semantische toepassing) is effectiever dan welke methode dan ook alleen.
3. Schaalbaarheid: De aanpak biedt een schaalbare weg naar automatische omgevingengeneratie vanuit natuurlijke taal, waardoor GameCWM's toegankelijk worden voor een breder scala aan toepassingen.

Echter, blijven de auteurs bescheiden over de huidige staat van de technologie. Zij stellen expliciet dat complex semantisch redeneren en het hanteren van imperfecte informatie uitdagend blijven en de huidige capaciteit van zowel de lichtgewicht modellen als de trainingspijplijn overstijgen. Het werk claimt niet het probleem van perfecte GameCWM-generatie opgelost te hebben, maar biedt eerder een haalbaar, efficiënter alternatief voor huidige frontier-model-afhankelijke benaderingen.