🤖 machine learning

Surrogate Ensemble in Expensive Multi-Objective Optimization via Deep Q-Learning

Dit artikel stelt SEEMOO voor, een door reinforcement learning ondersteund ensembleframework dat een deep Q-network gebruikt om surrogaatmodellen dynamisch te selecteren en in te plannen binnen een enkel optimalisatieproces, waardoor de prestaties op dure multi-objective optimalisatieproblemen worden verbeterd door menselijke bias bij modelselectie te elimineren.

Oorspronkelijke auteurs: Yuxin Wu, Hongshu Guo, Ting Huang, Yue-Jiao Gong, Zeyuan Ma

Gepubliceerd 2026-02-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuxin Wu, Hongshu Guo, Ting Huang, Yue-Jiao Gong, Zeyuan Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op zoek bent naar het perfecte recept voor een complex gerecht, maar het proeven van het eten is ongelooflijk duur en tijdrovend. Je hebt slechts genoeg ingrediënten voor 550 smaaktesten voordat je er doorheen bent. Dit is de uitdaging van Expensive Multi-Objective Optimization: het vinden van de beste balans tussen verschillende tegenstrijdige doelen (zoals smaak, kosten en gezondheid) wanneer je niet elke mogelijkheid kunt testen.

Normaal gesproken gebruiken wetenschappers een "surrogaat" (een goedkope, snelle schatting) om te voorspellen hoe een recept zal smaken voordat ze het daadwerkelijk koken. Echter, er is een probleem: verschillende surrogaten zijn goed in het voorspellen van verschillende dingen. De ene kan geweldig zijn in het voorspellen van zoete smaken, maar verschrikkelijk in pittige smaken. Traditioneel moet een menselijke expert één surrogaat kiezen om voor het hele proces te gebruiken. Als ze de verkeerde kiezen, faalt de hele zoektocht.

Maak kennis met SEEMOO: Denk aan SEEMOO als een slimme, lerende sous-chef die niet alleen één gereedschap kiest, maar een hele gereedschapskist beheert.

Zo werkt SEEMOO, onderverdeeld in eenvoudige concepten:

1. De Gereedschapskist (De Model Pool)

In plaats van te vertrouwen op één enkele schatter, houdt SEEMOO een "pool" van vijf verschillende surrogaten bij (zoals een Gaussian Process, een paar soorten neurale netwerken, en anderen). Elke heeft een andere stijl van schatten. Sommige zijn goed in het voorspellen van vloeiende, eenvoudige trends; andere zijn goed in complexe, grillige patronen.

2. De Slimme Manager (De Deep Q-Learning Agent)

Dit is het brein van de operatie. Stel je een manager voor die het kookproces in realtime volgt.

De Toestand (Wat zij zien): De manager kijkt naar een dashboard dat laat zien hoe de zoektocht verloopt. Komen we dichter bij het doel? Wordt de populatie van recepten meer met elkaar vergelijkbaar? Hoe nauwkeurig waren de laatste paar schattingen?
De Actie (Wat zij doen): Op basis van wat zij zien, kiest de manager het beste gereedschap uit de gereedschapskist voor de volgende stap. Als de zoektocht vastloopt in een complex gebied, kunnen ze overschakelen naar een tool die goed is in het afhandelen van complexiteit. Als de zaken vloeiend verlopen, kunnen ze overschakelen naar een snellere, eenvoudigere tool.
Het Leren (De Beloning): Nadat de manager een keuze heeft gemaakt, worden er een paar echte recepten getest. Als de nieuwe schattingen leiden tot betere resultaten, krijgt de manager een "positieve beloning" (zoals een gouden ster). Als de schattingen slecht waren, krijgen ze een negatieve beloning. In de loop van de tijd leert de manager precies welke tool te gebruiken in welke situatie om de beste resultaten te behalen met de minste smaaktesten.

3. Het Proces (De Workflow)

Het artikel beschrijft een dans op twee niveaus:

Het Lage Niveau (De Kok): Het hoofdalgoritme (NSGA-II) probeert betere oplossingen te evolueren met behulp van de voorspelde waarden van de gekozen surrogaat. Het verspilt nog geen dure echte tests.
Het Hoge Niveau (De Manager): De AI-manager houdt de kok in de gaten, kiest de beste surrogaat voor de volgende ronde en leert van de resultaten.

Waarom is dit beter?

Het artikel beweert dat menselijke experts vaak bevooroordeelde keuzes maken, waarbij ze een tool kiezen die goed werkt voor hun specifieke probleem, maar faalt op andere problemen. SEEMOO verwijdert deze menselijke bias. Het leert een "universele" strategie.

De Analogie: Stel je een menselijke chef voor die altijd een hamer gebruikt om alles te repareren. Als hij een schroef tegenkomt, faalt hij. SEEMOO is als een chef die leert om naar het probleem te kijken, te beseffen dat het een schroef is, en direct een schroevendraaier te pakken. Als het een spijker is, pakt hij de hamer. Hij gebruikt niet alleen één tool; hij past zich dynamisch aan.

De Resultaten

De onderzoekers hebben dit op 24 verschillende complexe "recepten" (wiskundige problemen) getest.

Prestaties: SEEMOO vond consequent betere oplossingen dan het gebruik van enige enkele tool alleen.
Generalisatie: Zelfs toen de AI werd getraind op een kleine set problemen en daarna werd getest op volledig nieuwe, ongeziene problemen, presteerde het nog steeds goed. Het heeft niet alleen de antwoorden uit het hoofd geleerd; het heeft geleerd hoe je tools moet kiezen.
Ablatie-studies: Wanneer de onderzoekers onderdelen van het systeem verwijderden (zoals het weghalen van de "slimme manager" of het verwijderen van één van de tools uit de gereedschapskist), daalde de prestatie. Dit bewees dat zowel de variëteit aan tools als het vermogen van de AI om tussen hen te schakelen essentieel zijn.

Kortom: SEEMOO is een systeem dat Kunstmatige Intelligentie gebruikt om als een dynamische manager te fungeren, die constant tussen verschillende voorspellingsmodellen schakelt om complexe, dure problemen efficiënter op te lossen dan welke enkele model alleen maar zou kunnen.

Technische Samenvatting: Surrogate Ensemble in Expensive Multi-Objective Optimization via Deep Q-Learning (SEEMOO)

Probleemstelling

Expensive Multi-Objective Optimization (EMOO) problemen, die veel voorkomen in complexe engineering- en designscenario's, betreffen objectieve functies die kostbare simulaties of fysieke experimenten vereisen. Traditionele Evolutionary Multi-Objective Algorithms (MOEAs), zoals NSGA-II en MOEA/D, worstelen in deze contexten vanwege de prohibitieve kosten van functie-evaluaties. Surrogate-Assisted Evolutionary Algorithms (SAEAs) verzachten dit door gebruik te maken van lichtgewicht modellen (bijv. Gaussian Processes, Radial Basis Functions) om objectieven te benaderen, maar hun effectiviteit is sterk afhankelijk van de strategie voor het beheer van de surrogate.

Bestaande SAEAs vertrouwen voornamelijk op statische, door mensen gedefinieerde surrogate-modellen of vaste ensemble-schema's. Dit introduceert een sterke bias van de ontwerper, wat de generaliseerbaarheid en robuustheid van het algoritme beperkt wanneer het wordt toegepast op taken buiten het scope of problemen met variërende landschapcomplexiteiten. Bovendien blijft de integratie van Meta-Black-Box Optimization (MetaBBO) technieken, specifiek Reinforcement Learning (RL), in het proces van surrogate-selectie voor multi-objective problemen grotende grotere onverkend vergeleken met single-objective domeinen.

Methodologie: Het SEEMOO-framework

Om deze beperkingen aan te pakken, stellen de auteurs SEEMOO voor, een Reinforcement Learning-ondersteund surrogate ensemble-framework. SEEMOO werkt binnen een bi-level structuur, waarbij het optimalisatieproces wordt behandeld als een sequentieel beslissingsprobleem waarbij een meta-level RL-agent dynamisch surrogate-modellen plant voor een low-level evolutionaire optimizer.

1. Low-Level Optimizer

De basisoptimizer is een surrogate-assisted NSGA-II. Het proces omvat:

Initialisatie: Het genereren van een initiële populatie via Latin Hypercube Sampling (LHS) en het evalueren ervan met de ware objectieve functies.
Evolutie: In elke stap wordt een geselecteerd surrogate-model getraind op de huidige database om objectieve waarden te voorspellen. De populatie evolueert met behulp van deze voorspellingen (via tournament selection, crossover en mutatie) zonder dat er werkelijke evaluatiekosten worden gemaakt.
Infilling: Een batch veelbelovende kandidaten wordt geselecteerd uit de geëvolueerde populatie voor ware evaluatie. Deze nieuwe monsters actualiseren de trainingsdatabase en het externe archief van niet-gedomineerde oplossingen.

2. Meta-Level RL Design

De kerninnovatie ligt in de dynamische selectie van het surrogate-model bij elke optimalisatiestap via een Deep Q-Network (DQN).

State Space ( $s_t$ ): Om problemen met variërende aantallen objectieven aan te kunnen, wordt een attention-gebaseerde state extractor gebruikt. Voor elk kandidaatmodel in de pool wordt een 8-dimensionale feature vector geconstrueerd die het volgende vastlegt:
- Gebruikshistorie (cumulatief gebruik, recente frequentie).
- Prestatie-metrieken (IGD-gebaseerde verbetering, globale stap-gewijze verbetering).
- Convergentiedynamiek (veranderingen in dichtheid van de beslissingsruimte en de objectieve ruimte).
- Model-specifieke nauwkeurigheid (variatie in surrogate-fout).
- Zoekprogressie (stap-ratio).
  Deze features worden verwerkt via een gedeelde lineaire laag en een Multi-Head Attention mechanisme om de onderlinge relaties tussen de surrogates te vangen, gevolgd door Layer Normalization.
Action Space: De agent selecteert één actie uit een pool van vijf verschillende surrogate-modellen:
- Gaussian Processes (GP)
- Multi-Layer Perceptrons (MLP1: laag budget, MLP2: hoog budget)
- K-Nearest Neighbors (KNN)
- Radial Basis Function Networks (RBFN)
Reward Function: De beloning ( $r_t$ ) wordt afgeleid van de genormaliseerde verbetering van de Inverted Generational Distance (IGD) van het externe archief tussen opeenvolgende stappen. Dit levert een dens, continu signaal dat acties aanmoedigt die de benadering van de Pareto-front verbeteren.
Training: De DQN wordt getraind over een distributie van benchmarkproblemen. De agent leert een beleid om de meest geschikte surrogate-model aan de huidige optimalisatiestatus te koppelen, waarbij de lange-termijn optimalisatieprestaties worden gemaximaliseerd.

Belangrijkste Bijdragen

SEEMOO Framework: Het voorstel van een RL-ondersteund framework dat dynamische surrogate-planning mogelijk maakt onder beperkte evaluatiebudgetten voor dure multi-objective optimalisatie.
Adaptieve Architectuur: De integratie van een diverse pool van surrogate-modellen, een attention-gebaseerde state extractor voor universele probleemrepresentatie (ondersteuning van variërende objectieven) en een DQN-gebaseerde selector die adaptief het beste model bij elke stap kiest.
Empirische Validatie: Uitgebreide vergelijkende studies en ablatieanalyses binnen het NSGA-II framework die aantonen dat SEEMOO verschillende individuele statische surrogate-modellen overtreft en de noodzaak van de kerncomponenten van het ontwerp valideert.

Experimentele Resultaten

Het framework werd geëvalueerd op een benchmark-suite van 24 multi-objective problemen (ZDT, DTLZ, WFG, OmniTest, Kursawe) met beslissingsvariabelen variërend van 2 tot 80 en tot 5 objectieven.

Prestaties: SEEMOO vertoonde over het algemeen superieure prestaties over de ZDT, DTLZ en WFG families vergeleken met vijf statische baseline-modellen (GP, MLP1, MLP2, KNN, RBFN). Het bereikte opmerkelijke IGD-reducties, met name op complexe multimodale instanties.
Generalisatie: Experimenten uitgevoerd onder twee data-partitioneringsinstellingen (3:1 en 1:3 training-naar-test ratio's) lieten zien dat SEEMOO een stabiele prestatie behoudt, zelfs wanneer het getraind is op een beperkte subset van problemen en getest wordt op onbekende domeinen. Dit suggereert dat het geleerde meta-beleid invariante optimalisatiestatus-features vastlegt in plaats van specifieke instanties te memoriseren.
Ablatie-studies:
- Surrogate Pool: Het verwijderen van een specifiek surrogate-model (bijv. GP, MLPs, KNN, RBFN) verslechterde consequent de prestaties, wat bevestigt dat een heterogene pool complementaire informatie biedt die essentieel is voor het scheduling-beleid.
- Reward Design: De IGD-gebaseerde beloning presteerde beter dan zowel binaire beloningen (sparse feedback) als Hypervolume (HV)-gebaseerde beloningen, wat aangeeft dat dense, vloeiend variërende feedback cruciaal is voor effectief meta-learning.

Betekenis en Claims

Het artikel claimt dat SEEMOO effectief de kloof overbrugt tussen statisch surrogate-beheer en de dynamische behoeften van complexe optimalisatielandschappen. Door het selectieproces van de surrogate te automatiseren via een leer-gestuurd beleid, vermindert het framework de bias van de menselijke ontwerper en verhoogt het de adaptiviteit.

De auteurs positioneren SEEMOO als een veelbelovende richting voor Meta-Black-Box Optimization, waarbij zij aantonen dat het modelleren van surrogate-beheer als een meta-RL taak de beperkingen van statische ensemble-ontwerpen kan overwinnen. Het werk valideert dat dynamische scheduling de optimalisatie-efficiëntie kan verhogen in scenario's waar evaluatiebudgetten strikt beperkt zijn. Toekomstig werk wordt geïdentificeerd als het uitbreiden van de surrogate-pool, integratie met diverse MOEA-architecturen en het valideren van het framework op reële engineering-taken.