Technische Samenvatting: Het Geno-Synthetische Algorithmus

1. Probleemstelling

Realistische optimalisatieproblemen betreffen vaak heterogene ontwerpelementen die niet op natuurlijke wijze kunnen worden weergegeven als homogene reëelwaardige vectoren. In plaats daarvan bestaan deze problemen uit samengestelde parameters zoals gehele getallen (bijvoorbeeld terugkijkperioden), reële getallen (bijvoorbeeld drempelwaarden), Booleaanse schakelaars, categorische selecties, complexwaardige beschrijvers en representaties in inbeddingsruimten.

Standaard evolutionaire algoritmen benaderen dit doorgaans door deze heterogene componenten te "platleggen" tot een enkel chromosoom. Deze aanpak vertrouwt op generieke variatieoperatoren, afronding, herstelmechanismen of correctie van beperkingen achteraf. Het artikel betoogt dat deze platlegging representatieve trouw opoffert:

• Het behandelt verschillende topologieën (bijvoorbeeld discrete gehele getallen versus continue reële getallen) als uitwisselbare coördinaten.
• Het past mutatiesemantiek toe die ongeschikt is voor specifieke datatypen (bijvoorbeeld het toevoegen van Gaussisch ruis aan een Booleaanse schakelaar).
• Het respecteert de algebraïsche structuur van complexwaardige beschrijvers of de semantische variëteiten van inbeddingsvectoren niet.
• Het leidt vaak tot ongeldige mutaties, inefficiënt zoeken en breekbare convergentie.

2. Methodologie: Het Geno-Synthetische Algorithmus (GSA)

Het Geno-Synthetische Algorithmus (GSA) wordt geïntroduceerd als een type-gefactoriseerd co-evolutionair optimalisatiekader. In plaats van een enkel plat chromosoom te laten evolueren, partitioneert GSA het genotype in homogene of semantisch coherente genenfamilies op basis van hun representatietype.

Kernarchitectuur

1. Getypeerde Product Zoekruimte: De zoekruimte wordt gedefinieerd als een product van getypeerde deelruimten ($\mathcal{G} = \mathcal{G}_1 \times \dots \times \mathcal{G}_K$), waarbij elke $\mathcal{G}_k$ overeenkomt met een specifiek datatype (bijvoorbeeld $\mathbb{Z}^d$, $\mathbb{R}^d$, $\mathbb{B}^d$, $\mathbb{C}^d$, of inbeddingsruimten $\mathcal{E}^d$).
2. Parallelle Subpopulatie-Evolutie: Elke genenfamilie evolueert binnen zijn eigen subpopulatie met behulp van type-natieve evolutionaire operatoren.
   • Reëelwaardig: Differentiële evolutie, Gaussische mutatie of covariantieadaptatie.
   • Geheel: Gebonden gehele mutatie of ordinaalbehoudende crossover.
   • Booleaans: Bit-flip mutatie of maskerrecombinatie.
   • Complex: Afzonderlijke mutatie van grootte en fase.
   • Inbeddingen: Variëteitbewuste verstoring of cosinusbehoudende mutatie.
3. Fenotype-Assemblage: Een centrale assemblageoperator ($\mathcal{A}$) synthetiseert de geëvolueerde sub-genomen tot een compleet, uitvoerbaar fenotype. Dit is geen passieve decodestap, maar een actieve synthesefunctie die cross-type beperkingen afdwingt, genen activeert/deactiveert op basis van Booleaanse schakelaars, en het uiteindelijke systeem instantaan realiseert (bijvoorbeeld een handelsstrategie of LLM-prompt).
4. Gecombineerde Fitnessbeoordeling: Het geassembleerde fenotype wordt geëvalueerd tegen de ware doelfunctie.
5. Krediettoewijzing: Fitnessfeedback wordt teruggepropageerd naar de component-subpopulaties. Het artikel evalueert drie schema's:
   • Directe Bundel: Wijs de volledige fenotype-fitness toe aan alle deelnemende sub-genomen.
   • Elite Context: Evalueer een sub-genoom tegenover elite-representanten uit andere populaties.
   • Ensemble Context: Evalueer een sub-genoom tegenover meerdere gesamplede contexten uit andere populaties.

Planning

GSA ondersteunt zowel synchrone evolutie (alle families evolueren per generatie) als asynchrone evolutie (families evolueren op onafhankelijke klokken), waarbij laatstgenoemde voordelig is wanneer genenfamilies heterogene evaluatiekosten hebben.

3. Belangrijkste Bijdragen

1. Formalisatie van GSA: Een getypeerde productruimte-zoekprocedure met een expliciete fenotype-assemblageoperator, waarmee het zich onderscheidt van standaard optimalisatie met gemengde variabelen.
2. Architecturale Reikwijdte: GSA is de enige methode die is aangetoond om genenfamilies te optimaliseren die niet kunnen worden weergegeven als floats, specifiek complexwaardige beschrijvers en inbeddingsvectoren, waarbij platte coderingen deterministisch falen.
3. Empirische Validatie: Een reproduceerbaar empirisch onderzoek dat acht GSA-varianten vergelijkt met vijf baselines (waaronder Flattened DE, Flattened EA en Cooperatieve Co-evolutie) over:
   • Zes synthetische benchmarks (waaronder getypeerde additieve, epistatische, misleidende, ruizige en gradiënt-activeringsproblemen).
   • De externe COCO BBOB-MixInt-suite.
4. Ablatie-inzichten:
   • Type-Natieve Operatoren: Essentieel voor prestaties; het vervangen ervan door generieke Gaussische mutatie verslechtert de resultaten aanzienlijk.
   • Krediettoewijzing: Elite Context-krediet presteert consistent beter dan Ensemble Context-krediet bij vaste budgetten, wat de intuïtie tegenspreekt dat ensemble-averaging altijd superieur is.
   • Assemblagestrategie: Actieve fenotype-assemblage (waarbij de assemblagelogica ingangen gate) is statistisch superieur aan passieve concatenatie op benchmarks die conditionele structuren vereisen.
   • Asynchrone Planning: Niet optimaal bij vaste evaluatiebudgetten voor problemen met uniforme kosten; het herverdeelt middelen weg van structurele genen, wat de convergentie belemmert.

4. Empirische Resultaten

Het artikel presenteert een genuanceerd beeld van de prestaties van GSA, waarbij claims van universele dominantie worden vermeden:

• Architecturale Reikwijdte (H1): Op de "Typed-Mix Gradient"-benchmark, naarmate genenfamilies uitbreiden tot complexere en inbeddingstypen, crashten alle platte baselines. GSA is de enige methode die blijft optimaliseren.
• Kleine Budgetten (5.000 evaluaties): Op gladde, multi-familie synthetische problemen blijft Flattened Differentiële Evolutie (DE) de sterkste baseline. GSA lijdt aan een overhead per iteratie (door aparte subpopulatie-evolutie en krediettoewijzing) die het aantal generaties beperkt dat binnen een krap budget haalbaar is.
• Grote Budgetten (100.000 evaluaties) op Externe Suite: Op de COCO BBOB-MixInt-suite treedt een prestatie-overgang op. Bij 100.000 evaluaties wordt GSA_DIRECT statistisch niet te onderscheiden van Flattened DE ($\hat{A}_{12} = 0.499, p = 0.61$), terwijl Flattened EA significant in rang daalt. Dit suggereert dat de voordelen van getypeerde operatoren van GSA in de loop van de tijd worden afgeschreven, waardoor het de sterkste baseline kan evenaren op erkende externe benchmarks.
• Single-Familie/Booleaanse Gevallen: GSA komt overeen met of overtreft sterke baselines op Booleaanse-only (OneMax) en single-familie reëelwaardige problemen, wat aantoont dat het de prestaties niet verslechtert wanneer heterogeniteit afwezig is.

5. Betekenis en Claims

Het artikel positioneert GSA niet als een vervanging voor Differentiële Evolutie of Genetische Algoritmen, maar als een gespecialiseerde architectuur voor heterogene optimalisatie.

• Primaire Claim: De waarde van GSA ligt in architecturale reikwijdte. Het maakt de optimalisatie mogelijk van ontwerpelementen die genenfamilies bevatten (complex, inbeddingen) die door platte coderingen niet kunnen worden weergegeven.
• Secundaire Claim: Op problemen waar platte coderingen wel mogelijk zijn, biedt GSA pariteit met de sterkste baselines (Flattened DE) bij grote evaluatiebudgetten (COCO-schaal) en superioriteit ten opzichte van EA-stijl baselines.
• Verfijning van Verwachtingen: Het artikel weerlegt expliciet het idee dat GSA domineert bij kleine budgetten of gladde additieve landschappen waar Flattened DE bijna optimaal is. In plaats daarvan claimt het graceful degradation in plaats van catastrofale mislukking op benchmarks waar DE sterk is, terwijl het de enige levensvatbare weg biedt voor niet-platlegbare gentypen.

De methode is ontstaan uit de ontwikkeling van WALLACE, een op machine learning gebaseerd investeringssysteem, maar de auteurs betogen dat de toepasbaarheid zich uitstrekt tot moderne representatieleerproblemen, waaronder prompt-optimalisatie (het mengen van tekst, zachte prompts en routingregels) en hybride latente ruimten in systemen voor grote taalmodellen.