Technische Samenvatting: Tweestaps Prompt-optimalisatie voor Few-Shot Relatie-extractie

Probleemstelling

Automatische Prompt-optimalisatie (APO) blijft onderbelicht voor episodische Few-Shot Relatie-extractie (FSRE), met name bij het gebruik van kleinere taalmodellen (LLM's). Hoewel eerder werk de FSRE heeft verbeterd door middel van betere redenering, retrieval en voorbeeldselectie, worden de prompts zelf doorgaans handmatig ontworpen in plaats van automatisch geoptimaliseerd. Bestaande APO-methoden volgen over het algemeen twee geïsoleerde richtingen: redeneringsgebaseerde optimalisatie, die feedback gebruikt om brede semantische en logische verbeteringen aan te brengen in natuurlijke taal, en gradiëntgebaseerde optimalisatie, die verlies (loss) en gradiëntsignalen gebruikt om specifieke hoog-impactvolle tokens of spans te identificeren en te bewerken. Het artikel stelt dat deze richtingen complementair zijn, maar niet systematisch zijn gecombineerd voor natuurlijke taal-prompt-optimalisatie in de uitdagende episodische FSRE-setting, waarbij prompts moeten functioneren naast een kleine set ondersteunende voorbeelden per relatie in elk episode.

Methodologie

De auteurs stellen een tweestaps-framework voor dat redeneringsgebaseerde globale zoektochten integreert met gradiëntgestuurde lokale verfijning.

Fase 1: Redeneringsgebaseerde Globale Zoektocht

De eerste fase maakt gebruik van een redeneringsgebaseerde optimizer om brede verbeteringen aan de prompt aan te brengen in natuurlijke taal. De auteurs evalueren drie verschillende optimizers in deze fase:

• RPO (Reasoning-based Prompt Optimization): Een iteratieve zoekmethode die een populatie van prompts onderhoudt. Het bemonsterd trainingsvoorbeelden, verzamelt feedback over successen en fouten, en gebruikt een optimizer-model om herziene prompts te genereren op basis van deze feedback.
• EvoPrompt-DE: Een evolutionair algoritme dat een populatie van prompts onderhoudt en nieuwe kandidaten genereert door bestaande prompts te combineren met behulp van een genetisch algoritme (specifiek de Differential Evolution-variant).
• ETGPO (Error Taxonomy-Guided Prompt Optimization): Een feedbackgestuurde methode die fouten uit een grote steekproef aggregeert, deze samenvat in een foutentaxonomie, en in één stap een herziene prompt genereert op basis van de meest voorkomende foutcategorieën.

Fase 2: Gradiëntgestuurde Lokale Verfijning (GradPO)

De tweede fase introduceert GradPO, een nieuwe gradiëntgestuurde optimizer die ontworpen is om de output van de eerste fase te verfijnen. In tegenstelling tot methoden die één token tegelijk bewerken, identificeert en bewerkt GradPO meerdere hoog-impactvolle spans gelijktijdig.

• Span Identificatie: GradPO berekent token-niveau gradiënten op basis van de loss over een trainingssubset. Het groepeert nabijgelegen hoog-gradiënt tokens in bewerkbare spans, waarbij ze worden uitgebreid totdat naburige tokens onder een gradiëntdrempel vallen.
• Kandidaatgeneratie: Voor elke geselecteerde span genereert GradPO kandidaat-vervangingen. Dit kan gebeuren via LLM prompting (GradPO-Gen) of door tokens te selecteren op basis van de token-waarschijnlijkheden van het doelmodel (GradPO-Prob).
• Beam Search: Om meerdere span-bewerkingen af te handelen terwijl de natuurlijke taalstructuur behouden blijft, gebruikt GradPO beam search. Het past iteratief kandidaat-vervangingen toe op de huidige beam van prompts en scoort deze met een gecombineerd objectief van taak-loss en een perplexiteit-gebaseerde vloeiendheidsstraf (fluency penalty).
• Constraints: De methode vermijdt het gebruik van een apart optimizer-model voor kandidaatgeneratie en vertrouwt uitsluitend op het doelmodel, en schakelt redenering uit tijdens deze stappen om het proces lichtgewicht te houden.

Belangrijkste Bijdragen

1. Tweestaps-framework: Het artikel presenteert de eerste systematische studie naar het combineren van redeneringsgebaseerde globale zoektochten met gradiëntgebaseerde lokale verfijning voor natuurlijke taal-prompt-optimalisatie in episodische FSRE.
2. GradPO: De introductie van een gradiëntgestuurde lokale verfijner die meerdere hoog-impactvolle spans bewerkt in plaats van enkele tokens, wat een rijkere lokale zoekruimte mogelijk maakt terwijl de promptstructuur behouden blijft.
3. Empirische Validatie: Uit uitgebreide experimenten blijkt dat GradPO de prompts gegenereerd door diverse redeneringsgebaseerde optimizers (RPO, EvoPrompt, ETGPO) consistent verbetert en dient als de meest robuuste tweede-fase verfijner.

Resultaten

Experimenten werden uitgevoerd op FS-TACRED en FS-FewRel met behulp van Qwen3-4B en Gemma3-4B als doelmodellen.

• Prestatiewinst: Het tweestaps-framework bereikt State-of-the-Art (SOTA) prestaties op FS-TACRED met Qwen3-4B, waarbij de F1-score wordt verbeterd van 27,6 (vorige beste) naar 29,0. Op FS-FewRel blijft de aanpak competitief met eerder werk.
• Complementariteit: De resultaten tonen aan dat lokale verfijning zeer effectief is na globale zoektochten. In 19 experimentele gevallen werden er 17 verbeterd door ten minste één tweede-fase methode. GradPO was de meest consistente verfijner en verbeterde 14 van de 19 prompts.
• Stabiliteit: Hoewel redeneringsgebaseerde optimalisatie instabiel kan zijn over iteraties heen, biedt een enkele stap van GradPO-verfijning na de eerste fase stabiele verbeteringen in bijna alle gevallen.
• Efficiëntie: GradPO brengt slechts een bescheiden extra computationele kost met zich mee (ongeveer 10,3% van de dev-set evaluatiekosten in de grootste setting) terwijl het een aanzienlijk rijkere lokale edit-ruimte verkent vergeleken met single-token baselines zoals GreaTer.
• Modelspecificiteit: Het artikel merkt op dat GradPO-bewerkingen grotendeels model-specifiek zijn; de cross-model transfer van geoptimaliseerde prompts levert beperkte winst op, aange het de verfijningen afhangen van de specifieke loss en gradiëntsignalen van het doelmodel.

Betekenis en Claims

Het artikel claimt dat het combineren van globale redeneringsgebaseerde zoektochten met lokale gradiëntgebaseerde verfijning een effectieve richting is voor prompt-optimalisatie in episodische FSRE. De auteurs benadrukken dat hun framework geen taakspecifieke fine-tuning vereist en vertrouwt op kleinere LLM's (4B parameters), wat het toegankelijk en praktisch maakt.

De betekenis ligt in het aantonen dat:

1. Prompts gevonden door globale zoektochten vaak lokaal suboptimale woordkeuzes bevatten die kunnen worden gecorrigeerd via gradiëntgestuurde verfijning.
2. GradPO een stabiel en consistent mechanisme biedt voor deze lokale verfijning, waarbij het andere baselines zoals LPO en GreaTer overtreft.
3. De aanpak bereikt nieuwe prestatie-benchmarks zonder de promptlengte te vergroten, waardoor de natuurlijke taalstructuur van de instructies behouden blijft.

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van hyperparameters, het gebrek aan een gegarandeerde verbetering voor elke prompt, en de huidige focus op niet-redeneer-taken en kleinere modellen. Zij suggereren dat toekomstig werk dit framework kan uitbreiden naar redeneer-gebaseerde taken en grotere LLM's.