Soft Quality-Diversity Optimization

Deze paper introduceert 'Soft QD', een nieuwe formulering van kwaliteits-diversiteitsoptimalisatie die discretisatie overbodig maakt en leidt tot het schaalbare, differentieerbare algoritme SQUAD, dat concurrerend is met de state-of-the-art op standaard benchmarks en beter presteert in hoogdimensionale ruimtes.

De kern

Hier is een uitleg van het onderzoek in simpel, alledaags Nederlands, met behulp van creatieve vergelijkingen.

Het Probleem: De "Stempel" van de Kunstgalerij

Stel je voor dat je een kunstgalerij wilt vullen met de beste schilderijen die er bestaan. Maar je wilt niet één perfect schilderij; je wilt een verzameling van prachtige schilderijen die er allemaal anders uitzien. Misschien wil je één portret in olieverf, één in waterverf, één abstract en één hyperrealistisch.

In de wereld van kunstmatige intelligentie (AI) heet dit Kwaliteit-Variatie (Quality-Diversity) optimalisatie. De AI moet niet alleen zoeken naar het "beste" antwoord, maar naar een hele reeks goede antwoorden die ook nog eens verschillend zijn.

Hoe deden ze dit vroeger?
Vroeger maakten de algoritmen een rooster (een soort raster) van de wereld. Stel je een grote kaart voor die ze in duizenden kleine vierkante vakjes verdelen.

• In elk vakje mocht er maar één schilderij hangen: het beste dat ze daar vonden.
• Als je een nieuw schilderij vond dat in vakje A paste, en het was beter dan het oude, werd het oude eruit gegooid.

Het probleem met deze methode:

1. Te veel vakjes: Als je de kaart heel gedetailleerd maakt (bijvoorbeeld met 1000 dimensies in plaats van 2), exploderen het aantal vakjes. Je hebt dan meer vakjes dan atomen in het heelal. Het is onmogelijk om ze allemaal te vullen.
2. Stijfheid: Als een vakje al bezet is door een goed schilderij, kan een nieuw, iets minder perfect maar heel uniek schilderij er niet bij. De AI wordt "gevangen" in de vakjes.

De Oplossing: "Soft QD" (Zachte Kwaliteit-Variatie)

De auteurs van dit paper (Saeed Hedayatian en Stefanos Nikolaidis) zeggen: "Waarom maken we geen rooster? Laten we de ruimte gewoon 'zacht' maken."

Ze introduceren een nieuw idee: Soft QD.

De Analogie van de Verlichting
Stel je voor dat elk schilderij dat de AI maakt, een lamp is die op de vloer van de galerij staat.

• Hoe beter het schilderij (de kwaliteit), hoe helderder de lamp brandt.
• Hoe dichter de lamp bij een punt op de vloer staat, hoe helderder dat punt verlicht is.
• De verlichting vervaagt zachtjes naarmate je verder weg loopt (geen harde randen zoals bij een vakje).

De Soft QD Score is simpelweg de totale hoeveelheid licht in de hele galerij.

• Wil je veel licht? Dan moet je veel lampen (oplossingen) hebben.
• Wil je dat de hele galerij verlicht is? Dan moeten de lampen verspreid staan (diversiteit).
• Wil je dat het heel helder is? Dan moeten de lampen krachtig zijn (kwaliteit).

Er zijn geen muren of vakjes. Als twee lampen dicht bij elkaar staan, overlapt hun licht. Dat is prima! Het systeem straalt gewoon uit hoeveel "goede dekking" je hebt.

Het Nieuwe Algorithm: SQUAD

Op basis van dit idee hebben ze een nieuwe AI-methode bedacht genaamd SQUAD (Soft QD Using Approximated Diversity).

Hoe werkt SQUAD?
SQUAD is als een danser die twee dingen tegelijk probeert:

1. Beter worden: Hij probeert zijn eigen "lichtkracht" te verhogen (de kwaliteit van het schilderij verbeteren).
2. Uit elkaar blijven: Hij voelt een afstotende kracht van andere dansers. Als iemand te dicht bij hem komt, duwt hij die persoon zachtjes weg, zodat ze allebei hun eigen plek in de kamer kunnen veroveren.

Dit is heel slim omdat het differentieerbaar is. Dat betekent dat de AI precies weet in welke richting hij moet bewegen om beter te worden én verder weg van de anderen. Het is alsof je een auto hebt die niet alleen op een weg rijdt, maar ook een GPS heeft die je vertelt: "Ga naar links voor betere kwaliteit, maar houd afstand van die andere auto's voor variatie."

Waarom is dit geweldig?

1. Het werkt in hoge dimensies: De oude methode (roosters) faalde als je te veel variabelen had (zoals bij het genereren van complexe 3D-modellen of menselijke gezichten). SQUAD maakt zich niet druk om vakjes, dus het werkt ook in die complexe werelden.
2. Het is flexibel: Je kunt de "afstotende kracht" instellen.
   • Zet de kracht laag? Dan krijg je veel oplossingen die heel goed zijn, maar lijken op elkaar.
   • Zet de kracht hoog? Dan krijg je een enorme verscheidenheid, zelfs als ze niet perfect zijn.
   • Je kunt dit in één knop draaien.
3. Het is snel: Omdat het geen enorme lijsten met vakjes hoeft bij te houden, kan het sneller rekenen in moeilijke situaties.

Samenvatting in één zin

In plaats van te proberen een gigantisch raster van vakjes te vullen met de beste oplossing per vakje (wat onmogelijk wordt bij complexe problemen), laten we de AI een "lichtveld" creëren waar goede oplossingen elkaar zachtjes wegduwen om de hele ruimte te verlichten.

Dit maakt het mogelijk om in de toekomst veel creatievere en robuustere AI-systemen te bouwen, van robots die op verschillende manieren kunnen lopen, tot kunstenaars die in duizenden stijlen kunnen schilderen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Soft Quality-Diversity Optimization" (ICLR 2026), geschreven in het Nederlands.

Titel: Soft Quality-Diversity Optimization (Zachte Kwaliteit-Variatie Optimalisatie)

Auteurs: Saeed Hedayatian & Stefanos Nikolaidis (USC & Archimedes AI)

---

1. Het Probleem

Kwaliteit-Variatie (Quality-Diversity of QD) optimalisatie richt zich op het vinden van een verzameling oplossingen die niet alleen hoog presteren (kwaliteit), maar ook gedragsmatig divers zijn. Traditionele QD-algoritmen (zoals MAP-Elites) werken door de gedragsruimte (behavior space) te partitioneren in discrete cellen (een "archief" of "tessellation"). Het doel is om de beste oplossing te vinden voor elke cel.

Deze aanpak stuit echter op twee fundamentele beperkingen in moderne machine learning-toepassingen:

1. Niet-differentieerbaarheid: De discretisatie van de ruimte maakt het onmogelijk om directe gradienten te gebruiken voor optimalisatie, wat essentieel is voor moderne deep learning-methoden.
2. Vervloekting van de dimensie (Curse of Dimensionality): In hoge dimensies groeit het aantal benodigde cellen exponentieel. Dit maakt het onpraktisch om een fijnmazig raster te onderhouden, en vereist vaak dimensiereductie (zoals PCA), wat informatie verliest.

2. Methodologie: Soft QD en SQUAD

De auteurs introduceren een nieuwe formulering genaamd Soft QD die de noodzaak voor discretisatie elimineert, gevolgd door een nieuw algoritme SQUAD (Soft QD Using Approximated Diversity).

Soft QD Score

In plaats van oplossingen toe te wijzen aan discrete cellen, wordt elke oplossing beschouwd als een lichtbron die de gedragsruimte verlicht. De "helderheid" is evenredig met de kwaliteit van de oplossing en neemt af naarmate de afstand in de gedragsruimte toeneemt (gebruikmakend van een Gaussische kernel).

• De Soft QD Score wordt gedefinieerd als de integraal van deze verlichtingsfunctie over de hele gedragsruimte.
• Dit zorgt voor een continue, differentieerbare objectieve functie die zowel kwaliteit als variatie meet zonder harde grenzen.

Het SQUAD Algoritme

Het direct maximaliseren van de Soft QD Score is lastig vanwege de integraal. De auteurs leiden een ondergrens (lower bound) af die analytisch berekenbaar en volledig differentieerbaar is.

• De Doelfunctie: De benaderde score bestaat uit twee termen:
  1. Een kwaliteitsterm: De som van de kwaliteiten van alle oplossingen (trekt oplossingen naar hogere prestaties).
  2. Een diversiteitsterm: Een paarsgewijze afstotingskracht (repulsie) tussen oplossingen die gedragsmatig dicht bij elkaar liggen. Deze strafe is gewogen met de geometrische gemiddelde van hun kwaliteiten. Dit betekent dat hoogwaardige oplossingen die te veel op elkaar lijken zwaar worden gestraft, terwijl oplossingen met lage kwaliteit eerst mogen focussen op het verbeteren van hun kwaliteit voordat diversiteit een rol speelt.
• Efficiëntie: Om de $O(N^2)$ complexiteit van paarsgewijze interacties te vermijden, berekent SQUAD de afstoting alleen voor de $k$-dichtstbijzijnde buren in de gedragsruimte.
• Behandeling van begrenzingen: Voor problemen met een begrenste gedragsruimte (bijv. [0,1]) wordt een logit-transformatie toegepast om de ruimte naar $\mathbb{R}^d$ te transformeren, wat stabiliteit garandeert.

3. Belangrijkste Bijdragen

1. Soft QD Formulering: Een nieuwe, theoretisch onderbouwde definitie van QD die discretisatie overbodig maakt en monotone eigenschappen bezit (het toevoegen van oplossingen of het verbeteren van kwaliteit verlaagt de score nooit).
2. SQUAD Algoritme: Een volledig differentieerbaar QD-algoritme dat end-to-end training met gradient-based optimizers (zoals Adam) mogelijk maakt.
3. Scalabiliteit en Prestaties: Empirisch bewijs dat SQUAD beter schaalt naar hoge dimensies dan de state-of-the-art methoden, zonder dat discretisatie nodig is.

4. Resultaten

De auteurs evalueren SQUAD op drie benchmarks:

• Linear Projection (LP): Test schaalbaarheid in hoge dimensies (4, 8, 16 dimensies).
  • Resultaat: SQUAD presteert aanzienlijk beter dan baselines (zoals CMA-MEGA en CMA-MAEGA) in de hogere dimensies (16D). Traditionele methoden lijden onder de verdunning van hun discretisatie-archief in hoge dimensies.
• Image Composition (IC): Een taak om een doelafbeelding te reconstrueren met cirkels, met een 5-dimensionale gedragsruimte.
  • Resultaat: SQUAD levert een hogere gemiddelde kwaliteit en een betere Vendi Score (variatiemaatstaf) dan concurrenten. De parameter $\gamma^2$ (kernel breedte) fungeert als een knop om de afweging tussen kwaliteit en variatie te sturen.
• Latent Space Illumination (LSI): Generatie van diverse afbeeldingen (bijv. "Tom Cruise" of "detective uit een noir-film") in de latente ruimte van StyleGAN2.
  • Resultaat: SQUAD overtreft alle baselines met een grote marge in zowel QD Score als Quality-weighted Vendi Score (QVS). Andere methoden faalden vaak of bleven steken in lokale optima in deze complexe, niet-lineaire ruimte.

5. Betekenis en Impact

Dit werk markeert een verschuiving in het domein van Quality-Diversity optimalisatie:

• Overbrugging van de kloof: Het maakt QD-toepassingen mogelijk in domeinen waar gradienten beschikbaar zijn (zoals deep learning en generatieve modellen), wat eerder beperkt was tot evolutionaire of niet-differentieerbare methoden.
• Schaalbaarheid: Het lost het probleem van de "curse of dimensionality" op bij het beheren van gedragsruimtes, wat essentieel is voor complexe AI-taken.
• Flexibiliteit: Door de afwezigheid van een vast raster, biedt het een soepelere en meer natuurlijke manier om de trade-off tussen kwaliteit en diversiteit te beheren via hyperparameters.

Kortom, SQUAD biedt een krachtig, schaalbaar en differentieerbaar kader voor het ontdekken van diverse, hoogwaardige oplossingen in complexe optimalisatieproblemen.