Technische Samenvatting: DEI – Diversiteit in Evolutionaire Inferentie voor Kwaliteit-Diversiteit Zoeken

1. Probleemstelling

Evolutionaire algoritmen vertrouwen traditioneel op mutatie-operatoren om oplossingsruimtes te verkennen. Hoewel Large Language Models (LLM's) zijn opgekomen als effectieve creatieve operatoren die semantische mutatie en programmageneratie mogelijk maken, behandelen bestaande gedistribueerde benaderingen voor op LLM's gebaseerd zoeken schaalbaarheid vaak als een puur computationeel probleem in plaats van een cognitief probleem.

Huidige methoden, zoals FunSearch, zetten doorgaans homogene ensembles in waarbij meerdere workers hetzelfde LLM-model aanroepen. In deze opstellingen ontstaat diversiteit uitsluitend door stochastische bemonstering binnen één enkele inductieve bias. Bijgevolg worden "blinde vlekken" in de generatieve verdeling van een model permanente gaten in het zoekarchief. Bovendien werken bestaande kaders zoals de Digital Red Queen (DRQ) weliswaar met adversariële druk, maar vaak binnen een context van één enkele node en één enkel model. De uitdaging die dit artikel aanpakt, is hoe de onderscheidende inductieve biases van heterogene LLM's kunnen worden benut om Kwaliteit-Diversiteit (QD) zoeken effectiever aan te sturen dan homogene parallelisme, terwijl de systeemniveau-complexiteiten van heterogene latentie worden beheerd zonder synchronisatieknelpunten.

2. Methodologie

2.1. Kernkader: DEI

De auteurs stellen DEI (Diversity in Evolutionary Inference) voor, een gedistribueerd QD-zoekkader dat heterogene LLM's toewijst als mutatie-operatoren over peer-nodes. In tegenstelling tot homogene parallelle zoekopdrachten, behandelt DEI de unieke trainingsdata en uitlijning van elke LLM als een complementaire bron van gedragsnoviteit.

Het systeem breidt het Digital Red Queen (DRQ)-kader uit, dat LLM's integreert in MAP-Elites (een canoniek QD-algoritme). In DRQ wordt de "Red Queen"-druk gegenereerd door ronde-kampioenen (de oplossingen met het hoogste fitness) te gebruiken als tegenstanders voor volgende rondes, waardoor een co-evolutionaire wapenwedloop ontstaat. DEI past dit aan door:

1. Heterogene Toewijzing: Elke node in het gedistribueerde grafiek krijgt een distincte LLM toegewezen (bijv. GPT-5.4-mini, Claude Sonnet 4.6, enz.).
2. Cross-Model Adversariële Druk: Nodes delen hun lokale kampioenen met peers. Deze kampioenen fungeren als tegenstanders voor andere nodes, waardoor strategieën worden geïntroduceerd die een specifiek model intern misschien nooit zou genereren.
3. Archief-zaadjes: Ontvangen kampioenen worden gezaaid in het lokale archief als ze eerder lege gedragscellen bezetten, wat kruisbestuiving van niches faciliteert.

2.2. Systeemarchitectuur en Asynchrone Communicatie

Een kritieke bijdrage op systeemniveau is de behandeling van heterogene latentie. Nodes kunnen variëren van lokale open-weight modellen (bijv. Qwen-35B op Apple Silicon) tot frontier cloud-modellen, wat resulteert in oproeplatenties die een orde van grootte verschillen.

Om te voorkomen dat het hele ensemble wordt vertraagd tot het tempo van de langzaamste node, maakt DEI gebruik van een volledig asynchrone collectieve communicatielaag:

• Non-blocking Gossip: Nodes publiceren hun ronde-kampioenen onmiddellijk aan peers na voltooiing.
• Onafhankelijke Vooruitgang: Peers consumeren binnenkomende kampioenen in hun eigen tempo.
• Geen Synchronisatiebarrières: Er zijn geen globale barrières; nodes vorderen onafhankelijk, waarbij ontvangbuffers worden geleegd om hun lokale pools van tegenstanders en archieven bij te werken.

2.3. Experimentele Opstelling

Het kader wordt geëvalueerd op Core War, een competitief programmeerbenchmark waarbij "warrior"-programma's geschreven in Redcode-assembler vechten in een gesimuleerd geheugenarray (MARS).

• Gedragskenmerken (BC): De zoekruimte wordt gediscretiseerd met behulp van Time-Space Product (codelengte $\times$ levensduur) en Memory Coverage (fractie van de core die wordt aangeraakt).
• Fitness: Geëvalueerd tegen een pool van tegenstanders, waaronder door mensen geschreven warriors en ronde-kampioenen.
• Voorwaarden:
  • Solo: Single-node DRQ-baseline.
  • Homogeen Ensemble: Vier nodes die hetzelfde LLM draaien.
  • Divers Ensemble: Vier nodes die verschillende LLM's draaien (GPT-5.4-mini, Claude Sonnet 4.6, GPT-5.2, Claude Haiku 4.5).
• Controle: Alle voorwaarden worden strikt begroot tot een gelijk totaal aantal LLM-oproepen (bijv. 4 nodes $\times$ 62 iteraties $\approx$ 1 node $\times$ 250 iteraties).

3. Belangrijkste Bijdragen

1. DEI-kader: Een gedistribueerd QD-zoeksysteem dat expliciet heterogene LLM-ensembles benut als mutatie-operatoren, waarbij distincte modellen aan distincte nodes worden toegewezen om gedragsdekking te maximaliseren.
2. Integratie van Async Gossip: Een communicatieprotocol dat deelname van heterogene hardware mogelijk maakt zonder synchronisatiebarrières, waardoor een hogere throughput wordt bereikt dan bij synchrone benaderingen.
3. Empirische Isolatie van Diversiteit: Door het totale rekenbudget constant te houden, tonen de auteurs aan dat prestatiewinst wordt gedreven door modeldiversiteit in plaats van extra berekening.
4. Cross-Model Adversariële Druk: De introductie van kampioenen van verschillende modelfamilies als tegenstanders, wat robuustheid bevordert die verder gaat dan intra-model self-play.

4. Resultaten

Geëvalueerd op het Core War-domein, toonde het heterogene ensemble significante verbeteringen ten opzichte van zowel single-node baselines als homogene ensembles:

• QD-Score: Het diverse ensemble behaalde een +124% hogere samengevoegde-archief QD-Score (45,90 versus 20,46) vergeleken met de single-node baseline.
• Dekking: Het diverse ensemble dekte +28% meer cellen (80,6% versus 63,0%) van de gedragsruimte dan de baseline.
• Generaliteit: Over alle vier geteste modelfamilies heen behaalde het diverse samenwerkingsverband een hogere generaliteit (prestaties tegen een vastgehouden set van menselijke warriors) dan homogene samenwerking of solo-operatie.
• Niche-noviteit: De metriek $\eta$ (fractie van ontvangen kampioenen die landen in eerder lege cellen) was significant hoger in diverse ensembles, wat bevestigt dat peers gaten vullen die individuele modellen niet kunnen bereiken.
• Vergelijking met Homogene Ensembles: Het diverse ensemble presteerde beter dan het even begrote homogene ensemble op QD-Score, dekking en generaliteit. Opmerkelijk is dat, hoewel het homogene ensemble soms een hogere fitness per cel bereikte (geconcentreerd op specifieke niches), het diverse ensemble de breedste dekking van de oplossingsruimte bood.

5. Betekenis en Claims

Het artikel claimt de eerste empirische bewijzen te leveren dat modeldiversiteit, en niet louter parallelisme, de sleuteldrijver is van winst in gedistribueerd op LLM's gebaseerd QD-zoeken.

• Cognitieve Schaalbaarheid: De auteurs betogen dat het schalen van LLM-zoeken moet worden gezien als "parallelle cognitie". Door distincte inductieve biases toe te wijzen aan verschillende nodes, dekt het systeem een grotere gedragsruimte dan welk enkel model ook alleen zou kunnen bereiken.
• Robuustheid: De cross-model adversariële druk creëert een robuuster evolutionair proces, waardoor stagnatie wordt voorkomen die kan optreden wanneer de biases van een enkel model de zoektocht domineren.
• Democratisering: De asynchrone architectuur stelt onderzoekers met beperkte middelen (bijv. het draaien van lokale open-weight modellen) in staat om bij te dragen aan collaboratief zoeken naast frontier-modellen, zonder dat ze worden geblokkeerd door latentieverschillen.

De auteurs handhaven bescheidenheid wat betreft de reikwijdte van hun bevindingen, met de opmerking dat hoewel de theoretische intuïtie suggereert dat toepasbaarheid op andere domeinen bestaat, hun empirische resultaten strikt beperkt zijn tot het Core War-domein. Zij identificeren toekomstig werk in adaptieve topologieën, heterogene gedragsassen per node, en uitbreiding naar multi-agent collaboratieve taken.