Technische Samenvatting: NeurGO – Leren om Elite-kandidaten te Genereren voor Meta-Black-Box Optimalisatie

1. Probleemdefinitie

Het artikel behandelt Expensive Black-Box Optimization (EBBO), een klasse van globale optimalisatieproblemen waarbij de doelfunctie $f: \Omega \to \mathbb{R}$ alleen toegankelijk is via evaluaties, gradiënten niet beschikbaar zijn en het evaluatiebudget ($B_{max}$) strikt beperkt is. Dergelijke scenario's komen veel voor bij hyperparameter tuning en engineering design.

De centrale uitdaging is om de globale optima te benaderen met zo min mogelijk functie-evaluaties. Bestaande paradigma's kampen met specifieke beperkingen:

• Bayesiaanse Optimalisatie (BO) en Surrogate-Assisted Evolutionary Algorithms (SAEA's): Deze vertrouwen op het construeren van surrogaatmodellen (bijv. Gaussische processen) om het fitnesslandschap te benaderen. Echter, onder krappe budgetten leidt beperkte data vaak tot onnauwkeurige surrogaten (het "cold-start"-probleem) en modelbias, wat de zoektocht in lokale optima kan doen vastlopen. Bovendien beperkt het vanaf nul trainen van surrogaten voor elke nieuwe taak de cross-taak generalisatie.
• Traditionele Meta-Black-Box Optimization (MetaBBO): Hoewel deze methoden overdraagbare zoekstrategieën leren, behandelen veel van hen Evolutionaire Algoritmen (EA's) nog steeds als de onderliggende optimizer. Bijgevolg verspillen ze een aanzienlijk deel van het budget aan het genereren en evalueren van grote offspring-pools, waarvan velen inferieur zijn.

2. Methodologie: NeurGO

De auteurs stellen NeurGO voor, een generatief MetaBBO-framework dat ontworpen is om direct een kleine set hoogwaardige ("elite") kandidaten te synthetiseren uit historische populatiestaten, waardoor de noodzaak voor grote offspring-pools of online surrogaat-fitting wordt omzeild. Het framework bestaat uit drie hoofdfases:

2.1 Architectuuroverzicht

NeurGO is gebouwd op een Transformer-backbone en bestaat uit twee kernmodules:

1. Population Context Encoder (PCE): Encodeert de huidige populatiestatus naar een hoogdimensionale representatie die evolutionaire trends vastlegt.
2. Elite Synthesis Decoder (ESD): Brengt de gecodeerde representatie in kaart naar een kleine batch van $k$ kandidaat-oplossingen ($k \ll N$, waarbij $N$ de populatiegrootte is) voor dure evaluatie.

2.2 Population Context Encoder (PCE)

De PCE verwerkt de populatie als een sequentie om globale interacties te vangen.

• Populatie Sortering: De populatie wordt gesorteerd op fitness in oplopende volgorde. Dit fungeert als een impliciete relatieve positionele codering, die prioriteit geeft aan hoogpresterende individuen zonder afhankelijk te zijn van specifieke fitnessschalen.
• Rank-Fitness Dual-Aware Attention: In plaats van standaard geleerde projecties, wordt het aandachtmechanisme geconstrueerd met behulp van:
  • Fitness Branch: Genormaliseerde fitnesswaarden ($\tilde{F}_t$) worden geprojecteerd om fitness-bewuste queries en keys te creëren, die de gesorteerde populatie aggregeren op basis van fitnessrelaties.
  • Rank Branch: Een leerbare matrix ($A_{rank}$) legt ordeningsinformatie vast.
  • Deze branches worden gefuseerd via leerbare gewichten ($\lambda_{rank}, \lambda_{fit}$).
• Residual Fusion met Perturbatie: Om voortijdige convergentie te voorkomen en exploratie te stimuleren, introduceert een Feed-Forward Network (FFN) een leerbare niet-lineaire perturbatie aan de output van de aandacht. De uiteindelijke verfijnde representatie ($X^{ref}_t$) is een residual fusion van de oorspronkelijke gesorteerde populatie, de aandacht-geaggregeerde kenmerken en de FFN-geperturbte kenmerken.

2.3 Elite Synthesis Decoder (ESD)

De ESD genereert $k$ elite-kandidaten direct vanuit de verfijnde populatierepresentatie.

• Multi-Source Feature Concatenation: De decoder concateneert drie bronnen: de gesorteerde ruwe populatie ($X^{sort}_t$), genormaliseerde fitness ($\tilde{F}_t$) en de verfijnde representatie ($X^{ref}_t$).
• Gewogen Aggregatie: Een MLP ($g_\phi$) berekent een scorematrix die de bijdrage van elk individu aan elk van de $k$ kandidaten kwantificeert. Softmax-normalisatie levert de bijdragegewichten ($P_t$) op. De uiteindelijke kandidaten ($X^{cand}_t$) worden gesynthetiseerd door de verfijnde populatierepresentatie te aggregeren met behulp van deze gewichten: $X^{cand}_t = P_t^\top X^{ref}_t$. Dit zorgt ervoor dat kandidaten verankerd blijven aan de huidige populatieverdeling, waardoor out-of-distribution voorstellen worden vermeden.

2.4 Trainingsdoel: Quality-Diversity (QD) Loss

NeurGO wordt meta-getraind met een samengestelde verliesfunctie om de kwaliteit van de oplossing en de zoekdiversiteit in balans te houden:

• Quality Loss ($L_{qual}$): Meet de verbetering van de beste kandidaat in de gesynthetiseerde set ten opzichte van het beste individu in de ouderpopulatie. Fitnesswaarden worden via z-score normalisatie behandeld om verschillen in schaal tussen taken op te vangen.
• Diversity Loss ($L_{div}$): Moedigt kandidaten aan om zich in de beslissingsruimte te verspreiden door de gemiddelde paarwijze Euclidische afstand tussen de gesynthetiseerde kandidaten te maximaliseren, genormaliseerd door de grenzen van de zoekruimte.
• Totaal Doel: $L_{QD} = L_{qual} + \lambda L_{div}$, waarbij $\lambda$ lineair wordt afgenomen tijdens de training om de focus te verschuiven van exploratie naar convergentie.

3. Belangrijkste Bijdragen

1. Generatief MetaBBO-framework: NeurGO introduceert een paradigma dat direct elite-kandidaten synthetiseert uit populatiestaten, wat de inefficiëntie van het genereren van grote offspring-pools in dure optimalisatiesettings elimineert.
2. End-to-End Architectuur met QD Doel: Het artikel presenteert een verenigd generatief model dat een mapping leert van populatiestaten naar oplossingen, terwijl het expliciet de balans houdt tussen convergentiesnelheid (kwaliteit) en zoekdiversiteit (diversity) via een aangepaste verliesfunctie.
3. Empirische Validatie: Uitgebreide benchmarking toont aan dat NeurGO snellere convergentie en superieure uiteindelijke prestaties bereikt vergeleken met klassieke EA's, SAEAs, BO en andere MetaBBO-baselines onder strikte evaluatiebudgetten.

4. Experimentele Resultaten

De auteurs evalueerden NeurGO op de CEC 2008 en COCO BBOB testsuites met een dimensionaliteit van $D=10$ en een strikt budget van $MaxFE = 300$.

• Vergelijking met EA's: NeurGO presteerde beter dan klassieke evolutionaire algoritmen (DE, GA, SHADE, CMA-ES) op de meerderheid van de testfuncties. De auteurs schrijven dit toe aan het vermogen van NeurGO om evaluaties niet te verspillen aan kandidaten van lage kwaliteit door gerichte elite-kandidaten te genereren.
• Vergelijking met SAEAs en BO: NeurGO vertoonde een grotere stabiliteit en prestaties dan surrogaat-geassisteerde methoden (EGO, SACOSO, TurBO, HEBO). Hoewel BO-methoden competitief kunnen zijn op specifieke complexe functies, toonde NeurGO meer consistente voordelen, vooral omdat het de ruis en bias vermijdt die geassocieerd worden met online surrogaat-fitting onder beperkte data.
• Vergelijking met MetaBBO: NeurGO behaalde een betere uiteindelijke prestatie en stabiliteit dan andere leer-gebaseerde optimizers (B2Opt, LGA, LES). Het vertoonde sterkere cross-function generalisatie, met name op de CEC meta-testfuncties.
• Convergentie-analyse: Convergentieplots lieten zien dat NeurGO een scherpe daling in fitness bereikte in een vroeg stadium van het optimalisatieproces (rond de 100 evaluaties), wat suggereert dat de meta-geleerde prior effectief veelbelovende regio's lokaliseert.
• Ablatie-studie: Het verwijderen van de PCE-module of de interne componenten ervan (aandacht, FFN, residual connections) leidde tot een significante verslechtering van de prestaties, wat de noodzaak bevestigt van het leren van een rijke populatiecontext-representatie in plaats van het vertrouwen op eenvoudige recombinatie.

5. Betekenis en Claims

Het artikel claimt dat NeurGO een robuust alternatief biedt voor traditionele dure optimalisatieparadigma's door de focus te verleggen van het modelleren van de doelfunctie (surrogaten) naar het modelleren van het zoekproces (generatieve priors).

• Efficiëntie: Door slechts enkele hoogwaardige kandidaten per iteratie te synthetiseren, maximaliseert NeurGO het nut van elke dure evaluatie.
• Generalisatie: Het framework maakt gebruik van cross-taak training om overdraagbare zoek-priors te leren, waardoor de afhankelijkheid van taakspecifieke hyperparameter-tuning of nauwkeurige online surrogaten wordt verminderd.
• Robuustheid: De methode is minder gevoelig voor het "cold-start"-probleem en modelbias die surrogaat-geassisteerde methoden in low-budget regimes teisteren.

De auteurs concluderen dat NeurGO effectief de efficiëntie-bottleneck in dure black-box optimalisatie aanpakt, door een stabiele en hoogpresterende oplossing te bieden waar traditionele methoden worstelen met budgetbeperkingen.