PCGRLLM: Large Language Model-Driven Reward Design for Procedural Content Generation Reinforcement Learning

Technische Samenvatting: PCGRLLM

Probleemstelling
Het ontwerpen van beloningsfuncties vormt een kritieke knelpunt bij het trainen van Deep Reinforcement Learning (DRL)-agenten voor Procedural Content Generation (PCG). Traditioneel is dit proces sterk afhankelijk van menselijke expertise, tijdrovende beloningsvorming en vooraf gedefinieerde omgevingskenmerken, wat barrières creëert voor schaalbaarheid en toegankelijkheid. Hoewel recent werk heeft onderzocht het gebruik van Large Language Models (LLM's) om beloningsfuncties te genereren (bijvoorbeeld ChatPCG), missen bestaande benaderingen vaak een verfijningsproces dat de feitelijke uitkomsten van getrainde agenten integreert. Bijgevolg blijft het onzeker of de gegenereerde beleidsregels de beoogde beloningsvoorwaarden nauwkeurig weerspiegelen, wat de mogelijkheid van LLM's beperkt om effectief brug te slaan tussen hoog-niveau narratieve instructies en laag-niveau beloningscode.

Methodologie
Het artikel stelt PCGRLLM voor, een uitgebreide architectuur die is ontworpen om beloningsgeneratie voor PCG te automatiseren via een feedback-gedreven lus. Het kader werkt via drie primaire sequentiële stappen:

1. Beloningsverfijning: De LLM verfijnt iteratief een beloningsfunctie op basis van tekstuele instructies (verhalen) en feedback van eerdere iteraties. Het proces onderscheidt tussen een initiële generatiefase (met gebruik van een sjabloon) en daaropvolgende verfijningsfasen waarin de LLM een ouder-beloningsfunctie en de bijbehorende feedback analyseert.
2. Zelf-uitlijning: Voordat de agent wordt getraind, ondergaat de gegenereerde beloningsfunctie een "few-shot" interactie met de omgeving met behulp van een willekeurige agent. Deze stap berekent het gemiddelde en de variantie van beloningswaarden om ervoor te zorgen dat de functie trainbare signalen produceert binnen een geschikt bereik, waarbij gewichten of formules worden aangepast om problemen zoals te nauwe bereiken of overmatige spaarzaamheid te voorkomen.
3. Feedback vanuit gegenereerde content: Een DRL-agent (getraind via Proximal Policy Optimization) genereert content (spelleniveaus) op basis van de uitgelijnde beloningsfunctie. De LLM analyseert vervolgens de resulterende content tegen de oorspronkelijke instructies om discrepanties te identificeren (bijvoorbeeld ontbrekende vijanden of onjuiste ruimtelijke lay-outs). Deze analyse genereert specifieke feedback om de volgende iteratie van beloningsverfijning te sturen.

Om de verkenning van de beloningsruimte te verbeteren, integreert het kader drie redeneringsgebaseerde Prompt Engineering (PE)-technieken:

• Chain-of-Thought (CoT): Een lineaire, stap-voor-stap redeneringsbenadering.
• Tree-of-Thoughts (ToT): Verkent meerdere redeneringsrichtingen met terugvervolgingsmogelijkheden, waarbij ouderknooppunten worden geselecteerd op basis van fitheidsscores.
• Graph-of-Thoughts (GoT): Een uitbreiding van ToT die gebruikmaakt van hulpinformatie (top-presterende beloningsknooppunten) om de sample-efficiëntie en de diepte van de redenering te verbeteren.

Het systeem werd geëvalueerd op een tekst-naar-beloning taak in een 2D-dungeon-omgeving, waarbij agenten werden getraind om niveaus te genereren die voldeden aan specifieke narratieve beperkingen (bijvoorbeeld "Speler moet een Vleermuis tegenkomen om een Sleutel te krijgen").

Belangrijkste Bijdragen
De auteurs identificeren drie hoofdbijdragen:

1. Verbeterde Architectuur voor Beloningsgeneratie: De introductie van een feedbackmechanisme dat het beleid in staat stelt effectiever uit te lijnen met instructies door feitelijke agentuitkomsten te observeren, waarmee de beperkingen van eerdere methoden die alleen op zelf-uitlijning waren gebaseerd, worden aangepakt.
2. Redeneringsgebaseerde Verfijningsprompting: De toepassing van state-of-the-art PE-technieken (ToT, GoT) om de verkenning van de beloningsruimte te verbeteren, verder gaand dan eenvoudige lineaire generatie.
3. Uitgebreide Modulaire Evaluatie: Uitgebreide experimenten, inclusief ablatiestudies, die inzichten bieden in de capaciteiten van LLM's bij contentgeneratie, specifiek met betrekking tot codegeneratie, contentevaluatie en causale redenering.

Experimentele Resultaten
Het kader werd geëvalueerd in vier scenario's met variërende conditionele doelen en ruimtelijke beperkingen, waarbij OpenAI's gpt-4o als backend werd gebruikt.

• Effectiviteit van Feedback: De opname van het feedbackmechanisme verbeterde de prestaties aanzienlijk in vergelijking met zero-shot-generatie en baselines die alleen op zelf-uitlijning waren gebaseerd. In de Graph-of-Thought-instelling behaalde het volledige PCGRLLM-kader de hoogste scores, wat aantoont dat feedback cruciaal is voor het corrigeren van tekortkomingen in onvolmaakte beloningsfuncties.
• Kwaliteit van Feedback: Experimenten die "Geen", "Algemeen" en "Specifiek" feedback vergeleken, onthulden dat specifieke, op content toegesneden feedback essentieel is voor aanhoudende prestatieverbetering. Algemene feedback leverde minimale winst op, terwijl de afwezigheid van feedback leidde tot prestatiestagnatie of -achteruitgang.
• Prompt Engineering: Hoewel er geen statistisch significante verschillen werden gevonden over alle metrieken heen, toonde de Graph-of-Thought (GoT)-methode een beschrijvende trend van het overtreffen van CoT en ToT in latere iteraties. Het terugvervolgingsmechanisme van GoT stelde het in staat zich te herstellen van prestatiedalingen veroorzaakt door misleidende verkenning, wat uiteindelijk leidde tot de hoogste eindscores.
• Menselijke Vergelijking: De resultaten toonden een complementair patroon: menselijk ontworpen beloningen presteerden beter bij taken met meerdere conditionele doelen, terwijl PCGRLLM uitblonk bij taken die ruimtelijke redenering onder beperkingen vereisten.
• Beperkingen van Zelfevaluatie: De studie vond dat LLM-gebaseerde zelfevaluatie van fitheid (zonder heuristische orakels) vaak leidde tot prestatiedegradatie. De neiging van de LLM om te hallucineren of objectiviteit te missen bij het scoren van gegenereerde content leidde de zoekrichting verkeerd, wat een huidige beperking in autonome evaluatie benadrukt.

Betekenis en Claims
Het artikel beweert dat PCGRLLM het potentieel aantoont om menselijke afhankelijkheid in game-AI-ontwikkeling te verminderen terwijl het creatieve processen ondersteunt en verbetert. Door beloningsgeneratie te kaderen als een iteratief verfijningsproces met zelf-uitlijning en feedback, bereikt het systeem prestaties die vergelijkbaar zijn met die van mensen in specifieke ruimtelijke redeningstaken. De auteurs benadrukken dat het gebruik van LLM's als ontwerpers van beloningsfuncties (in plaats van directe contentgeneratoren) expliciete, composable controle biedt over het leerproces, waarbij wordt gegarandeerd dat beperkingen worden nageleefd en afwegingen transparant zijn.

Echter, blijven de auteurs bescheiden over de huidige staat van autonome evaluatie. Zij erkennen dat de afhankelijkheid van LLM's voor zelfevaluatie van contentkwaliteit momenteel ruis en hallucinaties introduceert, wat het optimalisatieproces kan hinderen. Toekomstig werk wordt voorgesteld om zich te richten op het verbeteren van de objectiviteit van deze zelfevaluatie-signalen door middel van vergelijkende referentiepunt en zelfconsistentie-redenering.