Technische Samenvatting: READY: Reward Discovery voor Meta-Black-Box Optimalisatie

1. Probleemstelling

Meta-Black-Box Optimalisatie (MetaBBO) is een paradigma waarbij een meta-niveau beleid (meestal een neuraal netwerk getraind via Reinforcement Learning) leert om een laag-niveau Black-Box Optimalisatie (BBO) algoritme te ontwerpen of te configureren om specifieke doelproblemen op te lossen. Een kritieke flessenhals in MetaBBO is het ontwerp van de beloningsfunctie (reward function). Momenteel worden beloningsfuncties handmatig ontworpen door menselijke experts met behulp van eenvoudige heuristieken. Deze handmatige afhankelijkheid introduceert ontwerp-bias, brengt het risico op "reward hacking" met zich mee en beperkt de schaalbaarheid ernstig, aangezien het aanpassen aan nieuwe algoritmen of real-world scenario's tijdrovende, taakspecifieke afstemming vereist. Bovendien maskeren suboptimale, handmatig ontworpen beloningen het werkelijke prestatiepotentieel van verschillende MetaBBO-architecturen, wat eerlijke vergelijkingen moeilijk maakt.

Het artikel stelt dat het automatiseren van de ontdekking van beloningsfuncties essentieel is om het volledige potentieel van MetaBBO te ontsluiten. Hoewel Large Language Models (LLMs) veelbelovend zijn gebleken in geautomatiseerd programma-onderzoek (bijv. FunSearch, Eureka) en reward engineering voor controle-taken, blijft hun toepassing op de complexe, bi-level structuur van MetaBBO nog onverkend.

2. Methodologie: Het READY-framework

De auteurs stellen READY (Reward Discovery for Meta-Black-Box Optimization) voor, een framework dat LLMs gebruikt als geautomatiseerde instrumenten voor de ontdekking van beloningen. READY maakt gebruik van een multitask evolutionair paradigma om optimale beloningscode over diverse MetaBBO-taken tegelijkertijd te zoeken.

2.1. Kernarchitectuur

READY behandelt de ontdekking van beloningen als een multitask optimalisatieprobleem waarbij het doel is om een beloningsfunctie $R$ te vinden die de prestatiekosten $F$ voor een set van $K$ MetaBBO-taken minimaliseert. Het framework werkt via een iteratieve evolutionaire loop (Algoritme 1) bestaande uit:

• Niche Initialisatie: Afzonderlijke populaties (niches) worden voor elke MetaBBO-taak geïnitialiseerd.
• Intra-niche Evolutie: Evolutionaire operatoren genereren nieuwe beloningskandidaten binnen elke niche.
• Inter-niche Kennisoverdracht: Een mechanisme om succesvolle heuristieken tussen verschillende taken te delen om convergentie te versnellen.

2.2. Kerncomponenten

A. Metadata Modellering & Initialisatie
Om de LLM te funderen, construeert READY specifieke metadata ($M_k$) voor elke taak, bestaande uit:

• Algoritme Concept ($C_{alg}$): Een samenvatting van de motivaties en architectuur van de MetaBBO-methode, afgeleid uit het bijbehorende wetenschappelijke artikel.
• Programmeerinterface ($C_{code}$): Een gestructureerde dictionary van beschikbare variabelen, functies en klassen uit de implementatiebroncode om hallucinaties te voorkomen.
• Greedy Sampling: De initiële populatie bevat een door mensen ontworpen baseline en door de LLM gegenereerde kandidaten die strikt gefilterd zijn om te garanderen dat ze de baseline overtreffen en significant verschillen in logica.

B. Gediversifieerde Evolutionaire Operatoren
READY introduceert vijf reflectie-gebaseerde code-niveau operatoren om zoekdiversiteit en continue verbetering te waarborgen:

1. M1 (Local-Reflection Mutation): Analyseert de top-K falende gevallen van een beloning, genereert een tekstuele reflectie over waarom het faalde, en verfijnt de code om specifieke zwakheden aan te pakken.
2. M2 (History-Reflection Mutation): Fungeert als een trendanalist door de evolutionaire trace van de afgelopen $L$ generaties te beoordelen om de volgende optimalisatiestap te extrapoleren op basis van historische momentum.
3. M3 (Global-Reflection Mutation): Destilleert universele ontwerpprincipes uit een globaal archief van geëlimineerde beloningen over alle niches om de generatie van nieuwe individuen te sturen.
4. C1 (Exploitative Crossover): Synthetiseert het huidige individu met de lokale en globale beste oplossingen om bewezen hoogwaardige logica te integreren terwijl lokale restricties worden gerespecteerd.
5. C2 (Exploratory Crossover): Koppelt het huidige individu aan een elite uit een andere niche om unieke algoritmische kenmerken te transplanteren, wat cross-taak diversiteit bevordert.

C. Kennisoverdracht (Knowledge Transfer - KT)
In het besef dat LLMs kunnen fungeren als multitask solvers, identificeert READY expliciet vergelijkbare taakparen. De LLM analyseert de succesvolle beloningslogica van de bron-taak en genereert een strategie om deze aan te passen aan de restricties van de doel-taak, waarbij het slechtste individu in de doel-niche wordt vervangen.

3. Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Eerste LLM-gebaseerd Beloningsontwerp voor MetaBBO: READY is het eerste framework dat het beloningsontwerp automatiseert specifiek voor het MetaBBO-domein, waarmee de afhankelijkheid van menselijke heuristieken wordt doorbroken.
2. Multitask Evolutionaire Architectuur: Het framework introduceert een niche-gebaseerd multitask paradigma dat kennisdeling en effectiviteit van de zoektocht faciliteert, gekoppeld aan fijnmazige reflectie-operatoren om diversiteit te waarborgen.
3. Generaliseerbaarheid en Prestaties: De ontdekte beloningen presteren niet alleen beter dan bestaande baselines, maar tonen ook het vermogen om te generaliseren naar ongeziene MetaBBO-methoden zonder fine-tuning.

4. Experimentele Resultaten

De auteurs evalueerden READY op drie verschillende MetaBBO-omgevingen: RLDAS (Algoritme Selectie), RLEPSO (Parameter Controle) en DEDQN (Operator Selectie), met behulp van de BBOB testsuite.

• Superieure Prestaties: READY presteerde consequent beter dan handmatig ontworpen beloningen en state-of-the-art baselines (Eureka, EoH, ReEvo). Het bereikte de laagste gemiddelde kosten in 24 van de 48 testscenario's. Opvallend genoeg trainde READY een enkele set beloningen in één enkele uniforme run om te generaliseren over alle drie de heterogene taken, terwijl baselines onafhankelijke training voor elke taak vereisten.
• Zero-Shot Transfer: Een belangrijke bevinding was de generaliseerbaarheid van de ontdekte beloningen. Een beloning die geëvolueerd is voor DEDQN werd direct toegepast op een ongeziene MetaBBO-methode (RLDEAFL), waarbij een reductie in kosten tot wel 99,99% werd bereikt op verschillende functies, wat suggereert dat er universele, algoritme-agnostische heuristieken worden ontdekt.
• Efficiëntie: Door gebruik te maken van parallelle evaluatie en cross-niche kennisdeling, bereikte READY een 2x tot 4x versnelling in wandkloktijd vergeleken met sequentiële baseline uitvoering.
• Interpreteerbaarheid: De geëvolueerde beloningen bleken interpreteerbaar te zijn, waarbij ze fase-adaptieve mechanismen synthetiseerden (bijv. het verschuiven van gewichten tussen exploratie en exploitatie op basis van de zoekstatus) in plaats van te vertrouwen op statische heuristieken.

5. Betekenis en Claims

Het artikel positioneert READY als een belangrijke stap richting volledig autonome optimalisatiepipelines. De betekenis ligt in twee hoofdgebieden:

1. Vooruitgang in MetaBBO-onderzoek: Door het ontwerp van beloningen te automatiseren, verwijdert READY een grote flessenhals, waardoor onderzoekers zich kunnen richten op algoritmische architectuur in plaats van handmatige beloningsafstemming. Dit maakt eerlijkere prestatievergelijkingen mogelijk en ontsluit het latente potentieel van bestaande MetaBBO-methoden.
2. Toepasbaarheid in de echte wereld: Het vermogen van het framework om robuuste, overdraagbare beloningsfuncties te ontdekken, suggereert dat het de MetaBBO-prestaties kan verbeteren in complexe, real-world applicaties waar gradiëntinformatie niet beschikbaar is en handmatige afstemming onhaalbaar is.

De auteurs concluderen dat READY aantoont dat LLMs effectief universele zoekheuristieken kunnen vatten, wat de weg vrijmaakt voor de volgende generatie zelfgeorganiseerde lerende agenten in het veld van black-box optimalisatie.