WASHH: An Anchor-Aware Whale-Guided Selection Hyper-Heuristic for Continuous Optimization and SVC Configuration

Technische Samenvatting: WASHH – Een Ankerbewuste, door Walvissen Geleide Selectie Hyper-Heuristiek

Probleemstelling
Het artikel behandelt de uitdaging van continue black-box optimalisatie onder strikte evaluatiebudgetten, een scenario dat veel voorkomt bij algoritmeconfiguratie, hyperparameteroptimalisatie en op simulatie gebaseerd ontwerp. In deze situaties is het zoeklandschap vaak onbekend vóór evaluatie, en kan het zoekgedrag dat effectief is in één fase ineffectief zijn in een andere. Het vertrouwen op een enkele metaheuristiek (bijvoorbeeld Whale Optimization Algorithm of Particle Swarm Optimization) kan onbetrouwbaar zijn, omdat verschillende probleemfasen verschillende balanspunten vereisen tussen exploitatie, geheugen, diversiteit en lokale verfijning. Bovendien kan in Learning-Assisted Algorithm Design (LEAD)-omgevingen offline trainingsdata beperkt zijn, wat een optimizer vereist die zich aanpast op basis van online waarnemingen zonder het budget te verbruiken met zware leermiddelen.

Methodologie: WASHH
De auteurs stellen WASHH (Whale-guided Adaptive Selection Hyper-Heuristic) voor, een raamwerk dat diverse zoekmechanismen behandelt als selecteerbare gedragingen binnen één adaptieve controller in plaats van als onderling uitsluitende optimalizers.

1. Operatorportfolio: De kern van WASHH is een heterogeen portfolio van zoekgedragingen:

   • WOA-geleide bewegingen: Bieden door de incumbent gecentreerde insluiting en spiraalvormige zoektocht voor exploitatie.
   • PSO-stijl geheugen: Hergebruikt persoonlijke en globale beste informatie.
   • GWO-stijl leider-gemiddelde: Stabiliseert de updaterichting met behulp van de drie beste individuen.
   • DE-stijl variatie: Introduceert differentieel variëren voor populatiediversiteit.
   • Lokale coördinatenzoektocht: Voert lokale verfijning uit.
   • Ankergeleide verfijning: Een nieuw component dat gebruikmaakt van goedkope referentieconfiguraties (ankers) zoals boxcentra, standaardhyperparameters of historisch effectieve instellingen.

2. Adaptieve Selectiecontroller: Een online beloningcontroller verdeelt het evaluatiebudget over deze gedragingen. Het steekproeft operatoren op basis van genormaliseerde beloningsscores die zijn afgeleid uit waargenomen verbeteringen. Scores worden exponentieel gesmeerd met een kleine exploratievloer om te voorkomen dat een gedrag permanent wordt verworpen.

3. Ankergeleide Verfijning: Dit mechanisme gebruikt een set referentieconfiguraties ($A$) om de zoektocht te sturen zonder de black-box-evaluatie te omzeilen. Voorgestelde oplossingen volgen de vorm $x' = a + \gamma(x^* - a) + \epsilon$, waarbij $a$ een anker is, $x^*$ de huidige globale incumbent is, en $\epsilon$ een lokale verstoring. Cruciaal is dat elke voorgestelde oplossing, inclusief die welke zijn afgeleid van ankers, wordt geëvalueerd door de oorspronkelijke black-box-doelfunctie. Dicht bij het einde van het budget reserveert het algoritme een deel van de evaluaties voor deterministische anker-nabijheids- en coördinatenzoektochten.

Belangrijkste Bijdragen

• Algoritmeontwerp: De introductie van een adaptieve selectie hyper-heuristiek die WOA-geleide exploitatie integreert met online gedragselectie en ankergebaseerde verfijning.
• Benchmarking: Een reproduceerbare vergelijking met WOA, GWO, PSO, DE, LWOA (een WOA-variant) en RandomHH op tien 30-dimensionale benchmarkfuncties (die unimodale, multimodale, misleidende en slecht geconditioneerde landschappen bestrijken).
• Toepassingscasestudy: Een demonstratie van WASHH bij het configureren van Support Vector Classifier (SVC)-hyperparameters voor borstkankerdiagnose onder een vast budget van 300 evaluaties.

Experimentele Resultaten

• Benchmarkprestaties: Op tien 30-dimensionale functies met 12.000 evaluaties en 10 onafhankelijke runs behaalde WASHH de beste gemiddelde rang van 1,10. Het was op alle tien de functies ofwel de beste of gelijk aan de beste.
  • Het verbeterde de basis-WOA strikt op acht functies (Sphere, Bent Cigar, Zakharov, Rosenbrock, Ackley, Schwefel, Levy, Michalewicz).
  • Het deed gelijk met WOA op het numerieke optimum (nul gemiddelde) op Rastrigin en Griewank.
  • Er werden significante winsten waargenomen op complexe landschappen (bijvoorbeeld het verminderen van het gemiddelde doel op Zakharov van $3,73 \times 10^2$ naar $0,00$).
• Ablatiestudie: Het verwijderen van ankerrefinering veroorzaakte de meest significante prestatiedaling (de gemiddelde rang steeg van 2,10 naar 3,50, en het aantal beste/gelijkstandige resultaten daalde van 10 naar 3), wat aangeeft dat dit de dominante bijdrage is aan prestaties op deterministische benchmarks. Het verwijderen van adaptieve selectie had een kleiner effect, maar verslechterde de prestaties op functies zoals Michalewicz, waar het selecteren van een geheugengebaseerd gedrag superieur was aan het standaard WOA-pad.
• SVC-configuratie: Bij de taak voor borstkankerdiagnose behaalde WASHH de laagste gemiddelde validatie-logloss (0,076273) in vergelijking met alle andere optimalizers (bijvoorbeeld WOA: 0,077961, PSO: 0,076361), wat stabiliteit over 10 zaden aantoont.

Beteekenis en Beweringen
Het artikel beweert dat WASHH een praktische, lichtgewicht richting voor LEAD-systemen vertegenwoordigt. De betekenis ligt in:

1. Adaptiviteit zonder zware leerprocessen: Het bereikt adaptiviteit door trials opnieuw te verdelen over bestaande zoekgedragingen op basis van online beloningen, waardoor de kosten van het trainen van complexe surrogate-modellen worden vermeden.
2. Benutting van voorkennis: Het "ankerbewuste" component maakt effectief gebruik van goedkope referentiepunten (zoals standaardinstellingen) om zoekintensivering te sturen, terwijl de integriteit van de black-box-evaluatielus wordt behouden.
3. Robuustheid: Door meerdere complementaire biases te combineren (exploitatie, geheugen, variatie en verfijning), vermijdt WASHH de valkuilen van het vastleggen op één vaste updateregel, waardoor het robuuster is over diverse landschapstypen dan baselines met één methode.

De auteurs concluderen dat, hoewel de huidige evaluatie gecontroleerd is (deterministische benchmarks en een specifieke HPO-case), de resultaten suggereren dat ankerbewuste selectie hyper-heuristieken een levensvatbare strategie zijn wanneer eerdere configuraties beschikbaar zijn maar taakspecifieke optimalisatie vereisen. Voor toekomstig werk wordt voorgesteld de methode te evalueren op ruige, beperkte en geroteerde landschappen.