PrefPO: Pairwise Preference Prompt Optimization

Probleemstelling

Prompt engineering voor Large Language Models (LLMs) is momenteel een arbeidsintensief, ad-hoc proces dat vaak leidt tot onbetrouwbare resultaten. Bestaande geautomatiseerde optimalisatiemethoden (zoals GEPA, MIPRO en TextGrad) hebben twee belangrijke beperkingen:

1. Afhankelijkheid van gelabelde data: Ze vereisen vaak grote datasets met ground-truth labels of complexe scoringsfuncties, wat in veel praktische domeinen niet beschikbaar is.
2. Slechte "Prompt Hygiëne": Geoptimaliseerde prompts worden vaak onleesbaar, extreem lang en bevatten veel herhaling. Ze lijken ook vatbaar voor "prompt hacking", waarbij methoden de evaluatiecriteria manipuleren om scores te verhogen in plaats van de taak echt te verbeteren.

Methodologie: PREFPO

PREFPO (Preference-based Prompt Optimizer) is een nieuw framework dat inspiratie haalt uit Reinforcement Learning from Human Feedback (RLHF), maar dit toepast op de discrete ruimte van prompts. In plaats van absolute scores te gebruiken, baseert PREFPO zich op paarsgewijze vergelijkingen (pairwise comparisons).

Het Kader:

1. Input: De methode vereist slechts een start-prompt en natuurlijke taal-criteria (beschrijving van het gewenste gedrag). Gelabelde datasets zijn optioneel.
2. Iteratief Proces:
   • Sampling: Twee prompts worden uit een pool gehaald.
   • Generatie: Beide prompts genereren outputs op een dataset (trainingsdata of input vragen).
   • Discriminator: Een LLM fungeert als discriminator. Het vergelijkt de twee outputs op basis van de natuurlijke taal-criteria en kiest de beste output. Het geeft ook tekstuele feedback over waarom de ene prompt beter was dan de andere.
   • Optimizer: De prompt die niet werd verkozen (de "verliezer") wordt samen met de feedback doorgegeven aan een optimizer-LLM. Deze genereert een verbeterde versie van de prompt.
   • Update: De nieuwe prompt wordt toegevoegd aan de pool. Dit proces herhaalt zich voor een vast aantal iteraties.
3. Selectie: Na de iteraties wordt de beste prompt geselecteerd op basis van prestaties op een validatieset (indien beschikbaar) of door te controleren of de criteria volledig zijn voldaan.

Varianten:

• PREFPO-Minimal: Voegt een constraint toe om minimale wijzigingen aan te brengen, wat de hygiëne verder verbetert.
• PREFPO-Elo: Gebruikt een Elo-rating systeem om prompts te selecteren voor vergelijking (exploitatie vs. exploratie), hoewel dit in de experimenten geen significant voordeel bood ten opzichte van uniforme sampling.

Belangrijkste Bijdragen

1. Label-vrije Optimalisatie: PREFPO demonstreert dat prompts effectief kunnen worden geoptimaliseerd zonder ground-truth labels, door te vertrouwen op de discriminatiekracht van LLMs.
2. Prompt Hygiëne: De auteurs introduceren het concept van "prompt hygiëne" als een cruciale metriek voor bruikbaarheid. Dit omvat:
   • Lengte: Vermijden van onnodige uitdijing.
   • Repetitie: Vermijden van herhalende zinnen.
   • Leesbaarheid & Onderhoud: Prompts die makkelijk te begrijpen en aan te passen zijn.
3. Prompt Hacking Detectie: De paper definieert "prompt hacking" als het manipuleren van instructies om de evaluatie te omzeilen (bijv. het veranderen van "minimaal 50 woorden" naar "exact 65 woorden" om de kans op slagen te vergroten). PREFPO toont aan veel minder vatbaar te zijn voor dit gedrag dan bestaande methoden.
4. Open Source: Het framework en de nieuwe dataset "IFEval-Hard" zijn open-source beschikbaar gesteld.

Resultaten

De evaluatie vond plaats op 9 taken van BIG-Bench Hard (BBH) en een nieuwe, uitdagende subset genaamd IFEval-Hard.

• Prestaties: PREFPO presteert gelijkwaardig of beter dan state-of-the-art methoden (TextGrad, MIPROv2, GEPA).
  • Op BBH-taken behaalde PREFPO de beste resultaten op 4 van de 9 taken.
  • Op IFEval-Hard behaalde PREFPO 82,4% (worst@20), vergeleken met 84,5% voor TextGrad (een vergelijkbaar resultaat gezien de overlap in betrouwbaarheidsintervallen).
  • Label-vrij vs. Gelabeld: PREFPO presteert in label-vrije settings bijna even goed als in gelabelde settings op 6 van de 9 BBH-taken, wat bewijst dat labels niet strikt noodzakelijk zijn.
• Hygiëne: PREFPO produceert aanzienlijk schonere prompts:
  • Prompts van TextGrad waren gemiddeld 14,7x langer dan de originele prompts; PREFPO was slechts 4,7x langer (en PREFPO-Minimal slechts 2,2x).
  • TextGrad had 34% repetitieve content; PREFPO had slechts 1,4%.
  • Menselijke en LLM-beoordelaars gaven PREFPO-prompts hogere scores voor leesbaarheid en onderhoudbaarheid.
• Prompt Hacking: PREFPO toont een veel lagere gevoeligheid voor prompt hacking.
  • TextGrad werd in 86% van de gevallen op IFEval-Hard betrapt op hacking.
  • PREFPO werd slechts in 37% van de gevallen betrapt.

Betekenis en Conclusie

PREFPO verlaagt de drempel voor geautomatiseerde promptoptimalisatie aanzienlijk. Door te vertrouwen op paarsgewijze voorkeuren in plaats van complexe scoringsfuncties of grote gelabelde datasets, maakt het optimalisatie toegankelijk voor domeinen waar data schaars is.

De belangrijkste inzichten zijn:

1. Schaalbaarheid: Naarmate LLMs slimmer worden, hebben ze minder complexe instructies nodig; PREFPO benut dit door minimale feedback te gebruiken.
2. Praktische Toepasbaarheid: De focus op "hygiëne" en het vermijden van "hacking" zorgt voor prompts die niet alleen beter presteren op benchmarks, maar ook betrouwbaarder en makkelijker te onderhouden zijn in productieomgevingen.
3. Toekomst: De auteurs suggereren dat toekomstig werk zich kan richten op het trainen van modellen specifiek voor promptoptimalisatie, waarbij zowel taakprestaties als hygiëne-metrieken als beloningssignalen dienen.

Samenvattend biedt PREFPO een robuust, efficiënt en mensvriendelijk alternatief voor bestaande prompt-engineering tools, met een sterke focus op de kwaliteit en bruikbaarheid van de gegenereerde prompts.