Language Models as Efficient Reward Function Searchers for Custom-Environment Multi-Objective Reinforcement

Technische Samenvatting: ERFSL – Efficiënte Beloningsfunctie Zoeker voor Multi-Objectief RL

Probleemstelling
Het ontwerpen van effectieve beloningsfuncties voor Versterkend Leren (RL) in complexe, aangepaste omgevingen met meerdere, vaak conflicterende doelen, vormt aanzienlijke uitdagingen. Naarmate optimalisatiedoelen zich vermenigvuldigen, wordt de handmatige aanpassing van de structuur en coëfficiënten van beloningsfuncties arbeidsintensief en vatbaar voor ambiguïteit. Bovendien fluctueren de behoeften van onderzoekers vaak, en kunnen vereisten vaag zijn. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken in codegeneratie en zero-shot taken, worstelen ze met "black-box" optimalisatie en het balanceren van numerieke gewichten in multi-objectief scenario's. Bestaande benaderingen vertrouwen vaak op trial-and-error exploratie, wat inefficiënt is bij complexe beloningsfuncties waarbij codecorrectheid en gewichtsbalancering gelijktijdig moeten worden aangepakt.

Methodologie: Het ERFSL-kader
De auteurs stellen ERFSL (Efficient Reward Function Searcher using LLMs) voor, een kader dat LLM's behandelt als efficiënte white-box zoekers door het ontwerpproces van beloningen op te splitsen in distincte fasen. Het kader werkt zonder directe menselijke feedback of beloningsvoorbeelden (zero-shot learning) en bestaat uit de volgende kernelementen:

1. Taakdecompositie en Verfijning van Beschrijving:

   • Gebruikseisen worden opgesplitst in numeriek expliciete prestatiedoelen (bijvoorbeeld "nul botsingen", "data-overloop gereduceerd tot 0").
   • Een meta-prompt wordt ingezet om de natuurlijke taal-taakbeschrijving te beoordelen, ambiguïteiten te identificeren (bijvoorbeeld conflicterende doelen) en verduidelijkingen voor te stellen om ervoor te zorgen dat de LLM een duidelijke context ontvangt.

2. Generatie en Kritiek van Beloningscode (Fase 1):

   • In plaats van een monolithische beloningsfunctie te genereren, genereert de LLM individuele beloningscomponenten die zijn toegespitst op elke specifieke gebruikerseis.
   • Een Reward Critic-module valideert deze componenten. Deze volgt een stap-voor-stap handleiding: het opsommen van potentiële faalredenen, het beoordelen van de omgevingscode en de vereisten, en het uitvoeren van gecorrigeerde code. Dit proces isoleert fouten (bijvoorbeeld onjuiste logica of ontbrekende dichte feedback) en maakt correctie mogelijk met minimale iteraties (vaak slechts één).

3. Zoeken naar Beloningsgewichten (Fase 2):

   • Initialisatie van Gewichten: Een Reward Weight Initializer gebruikt de LLM om benaderende waarden voor beloningscomponenten vooraf te berekenen, zodat ze op dezelfde schaal liggen. Dit voorkomt dat initiële gewichtsgroepen significant afwijken van optimale oplossingen en helpt diverse Pareto-oplossingen te verkrijgen zonder uitgebreid zoeken.
   • Loganalyse: Om de LLM niet te overweldigen met lange, ruwe trainingslogs, produceert een Training Log Analyzer een beknopte tekstuele samenvatting van de trainingsresultaten (bijvoorbeeld gemiddelde data-overloop, trends in energieverbruik).
   • Directionele Zoekstrategieën: De Reward Weight Searcher verwerkt $K=5$ invoergewichtsgroepen. Op basis van de samengevatte logs genereert deze $K=5$ uitvoergroepen met strategieën die zijn geïnspireerd op genetische algoritmen, maar zijn aangepast voor LLM's:
     • Directionele Mutatie: De zoeker specificeert startpunten voor het aanpassen van specifieke gewichten (bijvoorbeeld het verhogen of verlagen van een straf) op basis van de prestaties van specifieke invoergroepen.
     • Cross-over: Aanpassingen uit verschillende gemuteerde groepen worden geïntegreerd om de zoekruimte efficiënt te verkennen.
   • Deze decompositie scheidt het genereren van aanpassingsvoorstellen van het uitvoeren van gewichtsupdates, waardoor de belasting op de numerieke en lange-contextbegripscapaciteiten van de LLM wordt verminderd.

Belangrijkste Resultaten
Het kader werd geëvalueerd op een aangepaste dataverzamelingstaak met meerdere autonome mobiele agenten (AMAs) met veiligheids-, prestatie- en energieobjectieven.

• Codecorrectie: De Reward Critic corrigeerde succesvol fouten in de beloningscode (zoals omgekeerde straftekens of ontbrekende dichte feedback) met slechts één feedbackiteratie per eis. In tegenstelling hiermee faalden baseline-methoden zoals EUREKA-S om logische fouten te identificeren en modificeerden ze alleen gewichten.
• Zoekefficiëntie:
  • De Reward Weight Initializer slaagde erin oplossingen binnen de Pareto-oplossingsset te genereren, waardoor vaak verdere zoektocht overbodig werd.
  • Zelfs wanneer geïnitieerd met gewichten die significant van het doel afweken (bijvoorbeeld 500 keer de optimale waarde), voldeed het systeem aan de gebruikerseisen in gemiddeld 5,2 iteraties met GPT-4o.
  • Het verwijderen van de Training Log Analyzer (TLA) of het gewichtsbalanceringsproces resulteerde in hogere iteratieaantallen en minder flexibele stapgrootte-selectie.
• Modelprestaties:
  • GPT-4o toonde superieure flexibiliteit bij het kiezen van zoekstapgroottes en het hanteren van complexe contexten.
  • GPT-4o mini, ondanks zwakkere numerieke redenering en lange-contextcapaciteiten, presteerde adequaat. De decompositie van het zoekproces voor gewichten stelde het kleinere model in staat om te slagen, hoewel het iets meer iteraties vereiste vanwege minder flexibele aanpassingen van de stapgrootte.

Betekenis en Beweringen
Het artikel beweert dat ERFSL effectief gebruikmaakt van de semantische begrijpcapaciteiten van LLM's om multi-objectief beloningsontwerpproblemen op te lossen zonder menselijke beloningsvoorbeelden te vereisen. Door het ontwerp van beloningscomponenten te scheiden van het zoeken naar beloningsgewichten, en door een white-benadering te gebruiken met duidelijke feedbacklussen, overwint het kader de beperkingen van black-box optimalisatie.

De auteurs benadrukken dat ERFSL mogelijk maakt:

1. Zero-shot aanpasbaarheid: Het ontwerpen van beloningsfuncties voor aangepaste omgevingen zonder eerdere beloningsvoorbeelden.
2. Foutrobustheid: Het vermogen om code-logica zelf te corrigeren en onherstelbare fouten te voorkomen via de Reward Critic.
3. Efficiënte Pareto-exploratie: Het vermogen om diverse, gebalanceerde beloningsfuncties te genereren via initialisatie en gerichte zoekstrategieën, waardoor de computerkosten van gewichtstuning worden verminderd.

Het werk suggereert dat LLM's, hoewel ze mogelijk worstelen met pure black-box numerieke optimalisatie, uitblinken wanneer ze worden voorzien van duidelijke taakcontexten en wanneer complexe taken worden opgesplitst in beheersbare subtaken (codegeneratie, loganalyse en gewichtsaanpassing).