PCGRLLM: Large Language Model-Driven Reward Design for Procedural Content Generation Reinforcement Learning

Résumé technique : PCGRLLM

Énoncé du problème
La conception de fonctions de récompense constitue un goulot d'étranglement critique dans l'entraînement d'agents d'Apprentissage par Renforcement Profond (DRL) pour la Génération Procédurale de Contenu (PCG). Traditionnellement, ce processus repose fortement sur l'expertise humaine, un façonnage de récompense chronophage et des caractéristiques environnementales prédéfinies, créant des obstacles à l'évolutivité et à l'accessibilité. Bien que des travaux récents aient exploré l'utilisation de Modèles de Langage (LLM) pour générer des fonctions de récompense (par exemple, ChatPCG), les approches existantes manquent souvent d'un processus de raffinement intégrant les résultats réels des agents entraînés. Par conséquent, il reste incertain que les politiques générées reflètent avec précision les conditions de récompense visées, limitant la capacité des LLM à faire efficacement le lien entre des instructions narratives de haut niveau et du code de récompense de bas niveau.

Méthodologie
L'article propose PCGRLLM, une architecture étendue conçue pour automatiser la génération de récompenses pour la PCG via une boucle pilotée par la rétroaction. Le cadre fonctionne en trois étapes séquentielles principales :

1. Raffinement de la récompense : Le LLM affine itérativement une fonction de récompense basée sur des instructions textuelles (histoires) et des retours d'expérience des itérations précédentes. Le processus distingue une phase de génération initiale (utilisant un modèle) et des phases de raffinement ultérieures où le LLM analyse une fonction de récompense parente et ses retours associés.
2. Auto-alignement : Avant d'entraîner l'agent, la fonction de récompense générée subit une interaction « few-shot » avec l'environnement en utilisant un agent aléatoire. Cette étape calcule la moyenne et la variance des valeurs de récompense pour s'assurer que la fonction produit des signaux entraînables dans une plage appropriée, en ajustant les poids ou les formules pour prévenir des problèmes tels que des plages trop étroites ou une sparsité excessive.
3. Rétroaction à partir du contenu généré : Un agent DRL (entraîné via l'optimisation de politique proximale) génère du contenu (niveaux de jeu) basé sur la fonction de récompense alignée. Le LLM analyse ensuite le contenu résultant par rapport aux instructions originales pour identifier les écarts (par exemple, ennemis manquants ou agencements spatiaux incorrects). Cette analyse génère des retours spécifiques pour guider la prochaine itération de raffinement de la récompense.

Pour améliorer l'exploration de l'espace des récompenses, le cadre intègre trois techniques d'ingénierie de prompts (PE) basées sur le raisonnement :

• Chaîne de pensée (CoT) : Une approche de raisonnement linéaire, étape par étape.
• Arbre de pensées (ToT) : Explore plusieurs directions de raisonnement avec des capacités de retour en arrière, sélectionnant les nœuds parents en fonction de scores de fitness.
• Graphe de pensées (GoT) : Une extension du ToT qui utilise des informations auxiliaires (nœuds de récompense les mieux performants) pour améliorer l'efficacité des échantillons et la profondeur du raisonnement.

Le système a été évalué sur une tâche de texte-vers-récompense dans un environnement de donjon 2D, où des agents ont été entraînés pour générer des niveaux satisfaisant des contraintes narratives spécifiques (par exemple, « Le joueur doit rencontrer un Chauve-souris pour obtenir une Clé »).

Contributions clés
Les auteurs identifient trois contributions principales :

1. Architecture de génération de récompense améliorée : L'introduction d'un mécanisme de rétroaction permettant à la politique de s'aligner plus efficacement sur les instructions en observant les résultats réels des agents, répondant ainsi aux limitations des méthodes antérieures se limitant à l'auto-alignement.
2. Prompting de raffinement basé sur le raisonnement : L'application de techniques d'ingénierie de prompts (PE) de pointe (ToT, GoT) pour améliorer l'exploration de l'espace des récompenses, dépassant la simple génération linéaire.
3. Évaluation modulaire complète : Des expériences extensives, incluant des études d'ablation, qui fournissent des insights sur les capacités des LLM dans la génération de contenu, spécifiquement concernant la génération de code, l'évaluation de contenu et le raisonnement causal.

Résultats expérimentaux
Le cadre a été évalué sur quatre scénarios impliquant des objectifs conditionnels et des contraintes spatiales variables, utilisant gpt-4o d'OpenAI comme backend.

• Efficacité de la rétroaction : L'inclusion du mécanisme de rétroaction a considérablement amélioré les performances par rapport à la génération zero-shot et aux lignes de base d'auto-alignement uniquement. Dans le cadre Graph-of-Thought, le cadre complet PCGRLLM a obtenu les scores les plus élevés, démontrant que la rétroaction est cruciale pour corriger les lacunes des fonctions de récompense imparfaites.
• Qualité de la rétroaction : Des expériences comparant les rétroactions « Aucune », « Générique » et « Spécifique » ont révélé que la rétroaction spécifique, adaptée au contenu, est essentielle pour une amélioration durable des performances. La rétroaction générique a produit des gains minimes, tandis que l'absence de rétroaction a conduit à une stagnation ou à un déclin des performances.
• Ingénierie de prompts : Bien qu'aucune différence statistiquement significative n'ait été trouvée sur toutes les métriques, la méthode Graph-of-Thought (GoT) a montré une tendance descriptive à surpasser CoT et ToT lors des itérations ultérieures. Le mécanisme de retour en arrière de GoT lui a permis de se remettre des baisses de performances causées par une exploration erronée, obtenant finalement les scores finaux les plus élevés.
• Comparaison humaine : Les résultats ont montré un motif complémentaire : les récompenses conçues par l'humain ont mieux performé sur des tâches avec plusieurs objectifs conditionnels, tandis que PCGRLLM excellait dans des tâches nécessitant un raisonnement spatial sous contraintes.
• Limites de l'auto-évaluation : L'étude a révélé que l'auto-évaluation basée sur les LLM de la fitness (sans oracles heuristiques) conduisait souvent à une dégradation des performances. La tendance des LLM à halluciner ou à manquer d'objectivité dans le scoring du contenu généré a égaré la direction de la recherche, soulignant une limitation actuelle de l'évaluation autonome.

Signification et revendications
L'article affirme que PCGRLLM démontre le potentiel de réduire la dépendance humaine dans le développement d'IA pour les jeux tout en soutenant et en améliorant les processus créatifs. En présentant la génération de récompenses comme une boucle de raffinement itérative impliquant l'auto-alignement et la rétroaction, le système atteint des performances comparables à celles des humains dans des tâches spécifiques de raisonnement spatial. Les auteurs soulignent que l'utilisation des LLM en tant que concepteurs de fonctions de récompense (plutôt que de générateurs de contenu directs) offre un contrôle explicite et composable sur le processus d'apprentissage, garantissant que les contraintes sont respectées et que les compromis sont transparents.

Cependant, les auteurs restent modestes concernant l'état actuel de l'évaluation autonome. Ils reconnaissent que la dépendance aux LLM pour l'auto-évaluation de la qualité du contenu introduit actuellement du bruit et des hallucinations, ce qui peut entraver le processus d'optimisation. Il est suggéré que les travaux futurs se concentrent sur l'amélioration de l'objectivité de ces signaux d'auto-évaluation grâce à des points de référence comparatifs et à un raisonnement de cohérence interne.