Technische Samenvatting: Efficiënte Multi-Doel Promptoptimalisatie via Pure-Exploratie Bandits

Probleemformulering

Prompt-engineering is centraal voor het benutten van Large Language Models (LLM's), maar bestaande methoden richten zich voornamelijk op het optimaliseren van één doel (bijvoorbeeld taaknauwkeurigheid). In real-world toepassingen is promptprestatie van nature veelzijdig, met afwegingen tussen concurrerende metrieken zoals coherentie, betrouwbaarheid, vloeiendheid en veiligheid. Een enkele prompt domineert zelden op alle dimensies. Bovendien is promptevaluatie kostbaar, waarbij een beperkt budget aan queries aan een LLM vereist is.

Dit artikel behandelt het Multi-Doel Promptselectie-probleem onder een vast evaluatiebudget $B$. De auteurs formaliseren twee specifieke doelen:

1. Identificatie van de Beste Haalbare Prompt: Het identificeren van een prompt die een primair doel maximaliseert (bijvoorbeeld nauwkeurigheid) terwijl constraints op andere doelen worden nageleefd (bijvoorbeeld drempels voor veiligheid of beknoptheid).
2. Identificatie van de Pareto Promptset: Het herwinnen van de set van niet-gedomineerde prompts (het Pareto-front) die de optimale afwegingen tussen alle doelen vertegenwoordigen.

Het probleem wordt geplaatst binnen het Pure-Exploratie Multi-Doel Bandits-kader. De kandidaat-promptset $\mathcal{X}$ wordt behandeld als een set armen. Het trekken van een arm komt overeen met het evalueren van een prompt op een gesamplede invoer, wat een stochastische beloningvector oplevert. De uitdaging ligt in het efficiënt identificeren van de optimale arm(en) gezien de hoge kosten van evaluatie en de complexe structuur van multi-doel afwegingen.

Methodologie

De auteurs stellen een algemeen kader voor dat gebruikmaakt van de inherente correlaties tussen prompts om de steekproefficiëntie te verbeteren, en gaat voorbij aan het behandelen van elke prompt als een onafhankelijke arm.

Algemeen Kader

De aanpak maakt gebruik van een rondgebaseerde armeliminatiestrategie. Het proces omvat $R$ rondes met een totaalbudget $B$. In elke ronde:

1. Budgettoewijzing: Prompts worden geselecteerd voor evaluatie op basis van een toewijzer (bijvoorbeeld uniforme sampling of G-optimale ontwerp).
2. Evaluatie: Prompts worden bevraagd bij de LLM en beloningvectoren worden waargenomen.
3. Beloningsschatting: Een schatter update de verwachte prestatievector $\hat{\mu}(x)$ voor actieve prompts. Het kader ondersteunt algemene beloningsfuncties $g_\theta(\phi(x))$, waarbij $\phi(x)$ een feature-embedding van de prompt is en $\theta$ een onbekende parameter die gedeeld wordt door alle prompts.
4. Armeliminatie: Prompts worden gerangschikt en geëlimineerd op basis van specifieke criteria afhankelijk van het doeldoel.

Algoritmen

Twee specifieke algoritmen worden geïntroduceerd op basis van dit kader:

1. GENSEC (Generalized Successive Elimination under Constraints):

   • Doel: Identificatie van de Beste Haalbare Prompt.
   • Mechanisme: Het construeert een empirische haalbare set op basis van constraint-drempels. Armen worden eerst gerangschikt op haalbaarheid, vervolgens op de schatting van het primaire doel. De top $l_r$ armen worden behouden voor de volgende ronde.
   • Theoretische Garantie: Voor lineaire beloningssituaties ($\mu(x) = \phi(x)^\top \theta$) bewijzen de auteurs dat de kans om te falen bij het identificeren van de optimale haalbare prompt exponentieel afneemt met het budget $B. Opmerkelijk is dat de foutgrens afhangt van $\log_2 K$ (waarbij $K$ het aantal prompts is) in plaats van $K^3$, wat de schaalbaarheid aanzienlijk verbetert ten opzichte van eerdere stochastische bandit-resultaten.

2. GENPSI (Generalized Pareto Set Identification):

   • Doel: Identificatie van de Pareto Promptset.
   • Mechanisme: Het hanteert de Empirische Pareto-Gap als maatstaf voor eliminatie. Deze gap meet de moeilijkheid om een arm te classificeren als Pareto-optimaal of suboptimaal. Het algoritme verenigt en generaliseert bestaande banditalgoritmen (zoals EGE en GEGE) voor zowel standaard als lineaire situaties.

Featuregebruik

Om grote promptsets efficiënt te verwerken, maakt de methode gebruik van een feature-map $\phi: \mathcal{X} \to \mathbb{R}^d$. In de lineaire setting stelt dit het algoritme in staat om de gedeelde parameter $\theta$ over alle prompts te leren, wat de convergentie versnelt. In experimenten worden prompt-embeddings geëxtraheerd met GPT-3.5-turbo en gereduceerd via PCA.

Experimentele Resultaten

De auteurs evalueerden GENSEC en GENPSI op twee samenvattingsbenchmarks (XSum en CNN/DailyMail) met LLaMA-3-8B en Gemma-7B. De doelen waren ROUGE-L (kwaliteit) en Brevity Score (lengte).

• Identificatie van de Beste Haalbare Prompt:

  • De op bandits gebaseerde algoritmen (CSR en MLP-CSR varianten) presteerden significant beter dan uniform-sampling baselines.
  • Onder beperkte budgetten herstelden de voorgestelde methoden 80–90% van de nuttigheid van de optimale beperkte prompt, terwijl baselines slechts 20–50% bereikten.
  • De MLP-CSR-variant, die gebruikmaakt van gedeelde structuur via een neurale netwerkschatter, presteerde consequent beter dan de onafhankelijke-arm CSR-variant, wat het voordeel aantoont van het benutten van promptcorrelaties.

• Identificatie van de Pareto-set:

  • Met Hypervolume (HV) als maatstaf herstelden GENPSI-gebaseerde algoritmen (EGE en MLP-EGE) >90% van het hypervolume van de ground-truth Pareto-set.
  • Baselines bleven in het lage tot midden 80%-bereik.
  • MLP-EGE toonde een bijzonder voordeel in regimes met lage budgetten, wat de efficiëntie van het leren van gedeelde parameters benadrukt.

Belangrijkste Bijdragen

1. Formalisatie: Dit werk presenteert de eerste formalisatie van multi-criteria promptselectie als een multi-doel pure-exploratie bandit-probleem.
2. Algoritmische Innovatie: De introductie van GENSEC en GENPSI, die bestaande banditalgoritmen generaliseren om constraints en Pareto-optimaliteit te hanteren terwijl gedeelde structuren tussen prompts worden benut.
3. Theoretische Garanties: Het artikel biedt theoretische foutgrenzen voor GENSEC in de lineaire setting, wat een aanzienlijke verbetering toont in de afhankelijkheid van het aantal prompts ($K$) ten opzichte van eerdere werken.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat op bandits gebaseerde benaderingen principieel en efficiënt zijn, en aanzienlijke verbeteringen bieden ten opzichte van baselines bij het herstellen van optimale haalbare prompts en Pareto-fronten onder strikte evaluatiebudgetten.

Betekenis en Claims

Het artikel claimt een "principieel en efficiënt kader" te vestigen voor multi-doel promptoptimalisatie. Door prompt-engineering te verbinden met multi-doel bandits, betogen de auteurs dat het mogelijk is voorbij te gaan aan ad-hoc of enkel-metriek strategieën. Het werk adresseert de praktische realiteit dat promptprestaties inherente afwegingen omvatten die niet alleen door gescalariseerde metrieken kunnen worden vastgelegd. De auteurs positioneren hun methoden als een oplossing voor scenario's waar evaluatiebudgetten beperkt zijn, zoals in gereguleerde domeinen of bij het omgaan met dure LLM-inferentie. Het artikel concludeert dat dit kader nieuwe kansen opent voor schaalbare promptoptimalisatie onder complexe evaluatiecriteria, hoewel het erkent dat toekomstig werk nodig is om deze methoden uit te breiden naar diverse taken en rijker metrieken zoals eerlijkheid en efficiëntie op te nemen.