Technische Samenvatting: RuleSmith – Multi-Agent LLM's voor Geautomatiseerde Game-Balancering

Probleemstelling

Het balanceren van asymmetrische strategische spellen is een hardnekkige uitdaging in game design en multi-agent learning. Traditionele benaderingen vertrouwen op menselijke experts die iteraties doorlopen van handmatige afstemming, heuristische aanpassingen en subjectief playtesten. Dit proces is traag, duur en moeilijk schaalbaar, vooral naarmate moderne games te maken krijgen met combinatorische actieruimtes, langetermijnobjectieven en rijk geparametriseerde regelsystemen. Bovendien reikt het probleem verder dan entertainment en strekt het zich uit tot domeinen zoals economische simulaties, beleidsontwerp en cybersecurity, waar het beoordelen van hoe kleine parameterwijzigingen door multi-step interacties propageren cruciaal is. Hoewel Large Language Models (LLM's) hebben aangetoond in staat te zijn tot "zero-shot" simulaties van multi-agent systemen, blijft het benutten van hen om de regels van die omgevingen te optimaliseren grotendeels onverkend.

Methodologie

De auteurs introduceren RuleSmith, een framework dat game-balancering automatiseert door een game engine, multi-agent LLM self-play en Bayesiaanse optimalisatie over een multi-dimensionale regelruimte aan elkaar te koppelen.

1. De Testomgeving: CivMini

Om het framework te valideren, hebben de auteurs CivMini geconstrueerd, een vereenvoudigd, geparametriseerd, beurtgebaseerd asymmetrisch strategisch spel geïnspireerd door 4X-mechanieken.

• Fracties: Twee asymmetrische fracties, Empire en Nomads.
  • Empire: Gespecialiseerde economie met onderscheidende Farmer (alleen grondstoffen verzamelen) en Soldier (alleen gevechten) units.
  • Nomads: Veelzijdige Cavalry units met hogere mobiliteit die grondstoffen verkrijgen door vijandelijke units te doden, wat een agressieve speelstijl noodzakelijk maakt.
• Parameters: Het spel legt 12 afstembare parameters ($\theta$) bloot die de economie (initiële grondstoffen, efficiëntie van verzamelen), het gevecht (schade, HP), de productie (unit kosten) en de score (gewichten voor grondstoffen, gevechten, overlevende units) regelen.
• Doelstelling: Optimaliseer $\theta$ om een balans-loss functie $L(\theta) = |w_E - 0.5| + |w_N - 0.5| + 0.5 \cdot w_D$ te minimaliseren, waarbij $w_E$ en $w_N$ winpercentages zijn en $w_D$ het gelijkspelpercentage.

2. LLM Self-Play als Evaluator

RuleSmith maakt gebruik van twee LLM-agents (één per fractie) die het spel spelen op basis van natuurlijke taal regelboeken en gestructureerde gamestates.

• Input: Agents ontvangen een beurtindex, fractie-samenvattingen, vijandelijke posities, strategie-gidsen en een lijst met legale acties.
• Output: Agents genereren een gestructureerd JSON-object dat simultane acties bevat voor alle units.
• Betrouwbaarheidsmechanismen:
  • RAG (Retrieval-Augmented Generation): Een lichtgewicht systeem haalt relevante regels uit het regelboek op basis van de game-context om hallucinaties te verminderen.
  • Gestructureerde Output: Het afdwingen van JSON-output met expliciete voorbeelden vermindert parsing-fouten en de last van illegale bewegingsdetectie.
• Evaluatie: Voor een gegeven parameterset $\theta$ worden $N$ self-play games gedraaid om empirische winpercentages en balansmetrieken te schatten.

3. Bayesiaanse Optimalisatie met Adaptieve Sampling

Direct zoeken in de discrete regelruimte is onhandelbaar vanwege de combinatorische explosie. RuleSmith gebruikt Bayesiaanse Optimalisatie (BO) over een continue relaxatie van de regelruimte.

• Surrogaatmodel: Een Gaussian Process modelleert de balans-loss $L(\theta)$.
• Discrete Projectie: Continue kandidaten voorgesteld door de optimizer worden deterministisch geprojecteerd naar geldige discrete game-configuraties (bijv. het afronden van HP naar integers).
• Acquisitie-gebaseerde Adaptieve Sampling: Om de hoge computationele kosten en ruis van LLM-evaluaties aan te pakken, wijst het framework dynamisch een evaluatiebudget ($N_t$) toe.
  • Kandidaten met een hoge Expected Improvement (EI) (veelbelovende punten) ontvangen meer games ($N_{max}$) voor een nauwkeurige beoordeling.
  • Exploratieve kandidaten met een lage EI ontvangen minder games ($N_{min}$).
  • Deze strategie concentreert middelen op kritieke configuraties terwijl een efficiënte exploratie behouden blijft.

Belangrijkste Bijdragen

1. Uitvoerbare Zero-Shot Self-Play: Gedemonstreerd dat multi-agent LLM's zero-shot self-play kunnen uitvoeren in een uitvoerbaar, asymmetrisch strategisch spel met enkel natuurlijke taal regelboeken en gestructureerde states, waarbij zij legale en verifieerbare acties produceren zonder training.
2. Geautomatiseerde Balanceringspipeline: Gepresenteerd als een algemeen framework dat multi-agent LLM self-play integreert met Bayesiaanse optimalisatie en acquisitie-gebaseerde adaptieve sampling. Deze pipeline past regelparameters automatisch aan om gebalanceerde uitkomsten te bereiken, waarbij de sample-efficiëntie wordt verbeterd door meer budget toe te wijzen aan veelbelovende kandidaten.
3. Uitgebreide Empirische Validatie: Gevalideerd RuleSmith op CivMini over verschillende modelgroottes (2B en 8B parameters) en fractie-configuraties. Het systeem bereikte consistent bijna-gebalanceerde uitkomsten (winpercentages binnen $50\% \pm 5\%$) en toonde aan dat gebalanceerde parameters overdraagbaar zijn tussen evaluatie-instellingen wanneer de modelcapaciteiten overeenkomen.

Experimentele Resultaten

• Convergentie: RuleSmith slaagde erin te convergeren naar hoogst gebalanceerde configuraties, waarbij winpercentage-verschillen werden teruggebracht naar 0%, zelfs vanuit opzettelijk ongebalanceerde initialisaties.
• Effecten van Modelcapaciteit: Experimenten toonden aan dat het vergroten van de modelgrootte van één fractie de winverdeling in hun voordeel verschuift. Opvallend genoeg waren de prestatiekloven het meest significant wanneer een groter model werd geëvalueerd tegen een kleiner tegenhanger met parameters die geoptimaliseerd waren voor een kleiner model, wat de capaciteit van de "slimmere" agent benadrukt om strategische voordelen uit te buiten.
• Ablatie-studies:
  • Optimalisatiemethoden: Vergeleken met Random Search en (1+1)-Evolution Strategy, was RuleSmith's Bayesiaanse Optimalisatie met adaptieve sampling de enige methode die consistent naar bijna gelijke winpercentages (51%|49%) convergeerde. Fixed-sampling BO en andere baselines faalden om balans te bereiken.
  • Game Designs: Het framework behield gebalanceerde uitkomsten over variërende kaartgroottes (5×5 tot 11×11) en turn limits, wat robuustheid toont aan ruimtelijke en temporele configuratieveranderingen.
• Interpreteerbaarheid: De ontdekte parameters boden interpreteerbare inzichten in hoe health scaling, resource efficiëntie en productie-tempo gezamenlijk eerlijkheid bepalen. Het systeem vond diverse parameterisaties die balans bereikten, in plaats van te convergeren naar een enkele canonieke instelling.

Betekenis en Claims

Het artikel claimt dat RuleSmith een verschuiving vertegenwoordigt van het gebruiken van LLM's louter als playtesting-tools naar het gebruiken van hen als effectieve mechanismen voor het optimaliseren van complexe, regelgestuurde multi-agent omgevingen. Door het spel zelf als een geparametriseerde asymmetrische omgeving te behandelen en direct de regelruimte te optimaliseren, biedt het framework een schaalbare en interpreteerbare aanpak voor het balanceren.

De auteurs stellen dat dit paradigma een bredere toepasbaarheid heeft buiten game design, zoals in domeinen als beleidsontwerp, economische modellering, cybersecurity en medische besluitvorming, waar regel-gebaseerde asymmetrische interacties de norm zijn. Ze benadrukken dat het framework is ontworpen als een offline analyse en design-time tool, bedoeld om een veiliger, transparanter en systematischer ontwerp van regel-gebaseerde systemen te ondersteunen, in plaats van te dienen als een real-time besluituitvoeringssysteem. Het werk erkent beperkingen, waarbij wordt opgemerkt dat LLM self-play in vereenvoudigde omgevingen het menselijk gedrag niet volledig kan vatten of formele garanties kan bieden onder distributieverschuivingen.