Technische Samenvatting: Parameter-efficiënte Neuro-evolutie voor Diverse LLM-Generatie

Probleemstelling

Grote Taalmodellen (LLMs) vertonen frequent mode collapse, waarbij ze homogene output produceren die het volledige ruimte van geldige oplossingen niet verkent. Bij taken zoals codegeneratie of creatief schrijven neigen modellen ertoe te convergeren naar syntactisch vergelijkbare varianten of voorspelbare patronen. Deze beperking hindert toepassingen die diverse oplossingen vereisen, zoals het ontdekken van meerdere algoritmische benaderingen, het genereren van uitgebreide testsuites of het verkennen van creatieve richtingen. Hoewel Quality-Diversity (QD)-algoritmen dit succesvol hebben aangepakt in robotica en spelontwerp door archieven van diverse, hoogpresterende oplossingen te onderhouden, is hun toepassing op LLMs beperkt gebleven. Eerdere benaderingen (bijv. QDAIF, LMX) behandelen LLMs als vaste black-box-generatoren, waarbij alleen discrete prompts worden geëvolueerd of LLMs worden gebruikt als evaluatoren zonder enige neurale parameters te wijzigen. Dit verhindert integratie met het bredere neuro-evolutieparadigma, dat historisch netwerkgewichten of -architecturen evolueert om diverse, hoogpresterende oplossingen te ontdekken.

Methodologie: Het QD-LLM Framework

Het artikel stelt QD-LLM voor, een framework voor parameter-efficiënte neuro-evolutie dat QD-optimalisatie verbindt met LLM-generatie door het evolueren van prompt-embeddings.

1. Geëvolueerde Prompt-Embeddings

In plaats van het hele model te fine-tunen of discrete tokens te evolueren, evolueert QD-LLM zachte prompt-embeddings — leerbare continue vectoren ($p \in \mathbb{R}^{n \times d}$) die aan de input worden voorafgeplaatst.

• Parameter-efficiëntie: Het framework evolueert een compact neurale interface van ongeveer 32.000 parameters (8 virtuele tokens × 4096 dimensies) om een bevroren LLM met 70B+ parameters te sturen.
• Mechanisme: Deze embeddings fungeren als een indirecte codering, waarbij extra sleutel-waardeparen in het attentiemechanisme worden aangemaakt die de informatieflow door het hele netwerk wijzigen.
• Implementatie:
  • Voor open-source modellen (bijv. Llama-3-70B) worden embeddings direct in de embedding-laag geïnjecteerd.
  • Voor API-modellen (bijv. GPT-4) wordt een geprojecteerde discrete benadering gebruikt, waarbij continue embeddings worden gemapt naar de dichtstbijzijnde vocabulaire-tokens, met een begrenste projectiefout.
• Optimalisatie: Het systeem maakt gebruik van gradient-vrije optimalisatie (een kernprincipe van neuro-evolutie). Het maakt gebruik van adaptieve mutatiesterkte (gebaseerd op CMA-ME-principes) en gradient-schatting via eindige verschillen voor gerichte behaviorale mutaties.

2. Hybride Behaviorale Karakterisering

Om het QD-archief te organiseren, definieert het framework een behaviorale descriptor $b(t)$ die twee componenten combineert:

• Semantische Component: Afgeleid van SBERT-embeddings die via UMAP zijn gereduceerd om hoge-level semantische diversiteit vast te leggen.
• Expliciete Component: Taakspecifieke kenmerken (bijv. cyclomatische complexiteit, aantal regels code en algoritmisch paradigma voor code; sentiment, formaliteit en leesbaarheid voor schrijven).
• Hybride Fusie: Deze worden gecombineerd via gewogen concatenatie. Het artikel biedt Stelling 5, die formele dekkinggrenzen vaststelt voor deze hybride descriptor onder de aanname van bijna-onafhankelijkheid tussen componenten. Empirische validatie bevestigt lage wederzijdse informatie (NMI $\approx$ 0,08–0,11), wat de theoretische garantie van bijna-multiplicatieve verbetering van de dekking ondersteunt.

3. Co-evolutionaire Variatie-operatoren

Het framework maakt gebruik van operatoren die prompt-embeddings en de resulterende tekst gezamenlijk muteren:

• Gerichte Behaviorale Mutatie: Gebruikt gradient-schatting via eindige verschillen om embeddings te sturen naar onderverkenne gebieden van de behaviorale ruimte.
• Verkenning-mutatie: Past Gaussische verstoringen toe voor bredere exploratie.
• Crossover: Interpoleert embeddings tussen twee ouders en vraagt de LLM hun tekstoplossingen te combineren.

4. Archiefbeheer

Het systeem breidt CVT-MAP-Elites uit met onzekerheidsbehandeling geïnspireerd door Extract-QD. Het onderhoudt een buffer van evaluaties per archiefvermelding, gebruikt mediane fitness voor vergelijkingen om LLM-stochasticiteit te hanteren, en evalueert elites periodiek opnieuw.

Belangrijkste Bijdragen

1. Geëvolueerde Prompt-Embeddings voor QD: Een gradient-vrije optimalisatiemethode voor zachte promptvectoren die behaviorale sturing mogelijk maakt zonder model-finetuning. Deze aanpak is toepasbaar op zowel open-source LLMs (directe toegang) als API-modellen (geprojecteerde benadering).
2. Hybride Behaviorale Karakterisering met Formele Garanties: Een principiële combinatie van semantische en expliciete kenmerken. Stelling 5 biedt formele dekkinggrenzen onder bijna-onafhankelijkheid, empirisch gevalideerd met lage genormaliseerde wederzijdse informatie (NMI).
3. Co-evolutionaire Variatie-operatoren: Nieuwe operatoren, waaronder gerichte behaviorale mutatie via gradient-schatting met eindige verschillen en crossover in de embedding-ruimte.
4. Uitgebreide Validatie en Downstream Nut: Uitgebreide evaluatie over benchmarks voor code en creatief schrijven, waarbij wordt aangetoond dat diverse archieven downstream-taken verbeteren, zoals testgeneratie en de kwaliteit van data voor finetuning.

Experimentele Resultaten

Het framework werd geëvalueerd op HumanEval (164 problemen), MBPP (974 problemen) en benchmarks voor creatief schrijven (ROCStories, WritingPrompts) met behulp van Llama-3-70B, Mistral-Large en GPT-4-turbo.

• Prestaties: QD-LLM behaalde een 41,4% hogere QD-Score en 46,4% hogere dekking dan de vorige state-of-the-art (QDAIF) op HumanEval ($p < 0,001$, Vargha-Delaney $A = 0,94$).
• Ablatiestudies: Het verwijderen van de hybride behaviorale karakterisering verlaagde de prestaties met 18,6% (alleen semantisch) en 27,0% (alleen expliciet). Het uitschakelen van prompt-evolutie liet de QD-Score met 16,0% dalen.
• Cross-model Generalisatie: De methode presteerde significant beter dan baselines op Llama-3, Mistral-Large en GPT-4 (zelfs met geprojecteerde benadering).
• Downstream Nut:
  • Testgeneratie: Diverse archieven van QD-LLM ontdekten 34% meer edge cases in testinputs vergeleken met QDAIF.
  • Finetuning: Modellen die zijn gefinetuned op QD-LLM-archieven behaalden een 8,3% accuratesse-verbetering op HumanEval-problemen die niet in de trainingsset zaten, vergeleken met die getraind op QDAIF-oplossingen.

Betekenis en Claims

Het artikel claimt evolutie van prompt-embeddings te vestigen als een effectief paradigma om neuro-evolutie en moderne LLMs te verbinden. Door een compacte neurale interface (indirecte codering) te evolueren in plaats van het volledige netwerk, overwint QD-LLM de computationele prohibitiviteit van volledige model-evolutie, terwijl het de voordelen van neuro-evolutionaire diversiteit behoudt.

De auteurs benadrukken dat dit werk verder gaat dan het behandelen van LLMs als statische black boxes; in plaats daarvan evolueert het de conditionele signalen die direct de attentiemechanismen wijzigen. De aangetoonde downstream nut – specifiek in het genereren van diverse testcases en het verbeteren van de kwaliteit van data voor finetuning – suggereert praktische waarde voor software-engineering en data-augmentatie. Het werk valideert dat parameter-efficiënte neuro-evolutie de oplossingsruimtes van enorme, bevroren foundation-modellen effectief kan verkennen.