SPRIG: Improving Large Language Model Performance by System Prompt Optimization

Titel: SPRIG: Verbetering van de prestaties van Large Language Models door optimalisatie van systeemprompts

1. Het Probleem

Hoewel Large Language Models (LLM's) indrukwekkende prestaties leveren, hangt hun kwaliteit sterk af van de gebruikte prompts. Bestaand onderzoek focust zich voornamelijk op het optimaliseren van taalspecifieke prompts (de instructies die direct bij een specifieke taak horen). Dit leidt echter tot een groot probleem:

• Gebrek aan generalisatie: Voor elke nieuwe taak moet een nieuwe, geoptimaliseerde prompt worden ontworpen, wat schaalbaarheidsproblemen oplevert.
• Onderschatting van systeemprompts: Er is weinig aandacht besteed aan het optimaliseren van systeemprompts (de algemene instructies die voorafgaan aan taalspecifieke details, zoals "denk stap voor stap" of persona's). Bestaande methoden voor systeemprompts zijn vaak geïsoleerd, handmatig ontworpen en niet systematisch getest op generalisatie.
• Complexiteit: De zoekruimte voor systeemprompts is enorm, en bestaande optimalisatiemethoden (zoals gradient-based) zijn vaak niet toepasbaar op gesloten LLM's of te kostbaar.

2. Methodologie: SPRIG

De auteurs introduceren SPRIG (System Prompt Refinement for Increased Generalization), een edit-gebaseerd genetisch algoritme dat systeemprompts iteratief optimaliseert om prestaties te maximaliseren over een breed scala aan scenario's.

Kerncomponenten van SPRIG:

• Prompt Component Corpus: In plaats van tekst willekeurig te genereren, bouwt SPRIG prompts op uit een corpus van semantisch complete eenheden ("componenten"). Dit corpus bevat 9.000 componenten in 9 categorieën (bijv. Chain-of-Thought, rollen, emoties, veiligheidsinstructies, gedragsregels), afgeleid van menselijke expertise en synthetische data gegenereerd door GPT-4o.
• Prompt Reward Model: Omdat het evalueren van elke kandidaat-prompt op 47 benchmarks te duur is, trainen de auteurs een gespecialiseerd Reward Model (gebaseerd op Modern-BERT). Dit model leert om de kwaliteit van prompts te schatten op basis van paarvergelijkingen, wat de zoekruimte efficiënter maakt.
• Genetische Pijplijn:
  1. Selectie: Een populatie van prompts wordt beoordeeld door het Reward Model; de onderste 50% wordt verwijderd.
  2. Mutatie en Crossover: De beste prompts ondergaan mutaties (Toevoegen, Rephrasen, Wisselen, Verwijderen, Samenvoegen van componenten) of kruisingen met andere prompts.
  3. Evaluatie: Een subset van de nieuwe populatie wordt daadwerkelijk getest op de echte benchmarks om "ground-truth" scores te verkrijgen.
  4. Iteratie: Het Reward Model wordt hergetraind met deze nieuwe data en het proces herhaalt zich gedurende 25 iteraties.

3. Belangrijkste Bijdragen

1. Prestatie op pariteit met taalspecifieke optimalisatie: De auteurs tonen aan dat één geoptimaliseerde systeemprompt prestaties levert die vergelijkbaar zijn met prompts die specifiek voor elke individuele taak zijn geoptimaliseerd.
2. Complementariteit: Systemen en taalniveaus optimaliseren complementaire strategieën. Het combineren van een geoptimaliseerde systeemprompt met een geoptimaliseerde taakprompt leidt tot verdere verbeteringen die de som der delen overstijgen.
3. Generalisatie: Geoptimaliseerde systeemprompts generaliseren effectief over verschillende model-families, parametergroottes en talen, beter dan taalspecifieke optimalisaties.
4. Inzicht in de zoekruimte: Het paper analyseert welke componenten (zoals CoT en gedragsregels) het meest bijdragen aan succes en hoe deze zich ontwikkelen tijdens het optimalisatieproces.

4. Resultaten

De experimenten zijn uitgevoerd op 47 verschillende taaktypes (redeneren, wiskunde, sociale kennis, taalbegrip, etc.) en drie middelgrote LLM's (Llama 3.1-8B, Mistral-Nemo, Qwen2.5-7B).

• Prestatieverbetering: SPRIG verbetert de prestaties met ongeveer 10% ten opzichte van een ongeoptimaliseerde basis. Dit presteert significant beter dan de standaard "Chain-of-Thought" (CoT) instructie ("Let's think step by step").
• Combinatie-effect: De combinatie van SPRIG (systeem) en PROTEGI (taalspecifieke optimizer) levert de hoogste scores op, wat aantoont dat ze verschillende aspecten van het probleem aanpakken.
• Componentanalyse: Tijdens de iteraties neemt het aantal CoT-componenten en Gedragscomponenten (bijv. "decompose first") sterk toe. Interessant genoeg worden "Rol"-componenten (bijv. "Je bent een AI-assistent") zelden geselecteerd, ondanks hun populariteit in standaard prompts.
• Generalisatie:
  • Talen: SPRIG-prompten werken goed in meertalige benchmarks (zoals MGSM en XCOPA), terwijl taalspecifieke optimalisaties (PROTEGI) daar minder effectief zijn.
  • Modelgrootte: Hoewel prompts geoptimaliseerd op een kleiner model (8B) niet direct lineair schalen naar grotere modellen (70B) zonder aanpassing, toont de combinatie van systeem- en taakoptimalisatie wel generalisatie naar grotere modellen.
• Embedding Ruimte: PCA-analyses tonen aan dat systeemprompt-optimalisatie de verdeling van de verborgen staten (hidden states) van het model significant verschuift naar een nieuw, hoger presterend gebied in de vectorruimte, terwijl taakoptimalisatie voornamelijk lokale aanpassingen doet binnen hetzelfde gebied.

5. Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in prompt engineering. Het demonstreert dat het systematisch optimaliseren van algemene systeeminstructies een krachtige, schaalbare strategie is die de noodzaak voor constante, taalspecifieke prompt-engineering kan verminderen.

• Efficiëntie: Het biedt een "eenmalige oplossing" die werkt over diverse domeinen, in plaats van het handmatig of automatisch ontwerpen van prompts voor elke nieuwe taak.
• Complementair: Het benadrukt dat systeem- en taakprompts niet in conflict zijn, maar samenwerken om de capaciteiten van LLM's te maximaliseren.
• Toekomstig Onderzoek: De bevindingen suggereren dat toekomstige optimalisatiestrategieën eerst de globale gedragingsruimte van het model moeten verkennen via systeemprompts, voordat ze zich richten op lokale taakoptimalisatie.

Kortom, SPRIG bewijst dat een goed ontworpen, geoptimaliseerde "hoofdopdracht" (systeemprompt) de basis kan leggen voor superieure prestaties in vrijwel elke context die een LLM tegenkomt.