Technische Samenvatting: Weten hoe te bewerken: Betrouwbare evaluatiesignalen voor het diagnosticeren en optimaliseren van prompts op query-niveau

Probleemstelling

Hoewel promptoptimalisatie een centraal mechanisme is geworden voor het oproepen van prestaties uit Large Language Models (LLM's), bestaat er een kritieke kloof tussen promptevaluatie en promptoptimalisatie. Huidig onderzoek ontwikkelt deze doorgaans als geïsoleerde componenten:

1. Evaluatie richt zich vaak op het meten van kwaliteit zonder aan te geven hoe prompts moeten worden gewijzigd.
2. Optimalisatie vertrouwt frequent op heuristische, instabiele of opake signalen (bijv. door LLM gegenereerde tekstuele feedback of black-box beloningsmodellen) die een systematische gronding in evaluatie missen.

Deze scheiding roept een fundamentele vraag op: Hoe kan evaluatie betrouwbare signalen leveren voor het beslissen waar en hoe prompts moeten worden verfijnd? Bovendien zijn bestaande evaluatiemetrieken vaak responsgebaseerd, wat herhaalde modeluitvoeringen vereist, waardoor ze computationeel duur en moeilijk inzetbaar zijn in query-niveau of multi-agent settings. Daarnaast slagen statische template-optimalisatiemethoden er niet in om zich aan te passen aan de heterogeniteit van real-world queries, terwijl dynamische, query-afhankelijke methoden vaak een gebrek hebben aan interpreteerbare mechanismen om bewerkingen te sturen.

Methodologie

De auteurs stellen een evaluatie-geïnstrueerd promptoptimalisatiesysteem voor dat uitgebreide evaluatie en dynamische optimalisatie verenigt binnen een enkele gesloten lus. De aanpak bestaat uit vier hoofdfasen:

1. Generatie van de trainingsdataset

Om een generaliseerbare evaluator te trainen, hebben de auteurs een diverse dataset samengesteld van 11.530 prompt-kandidaten die variëren in structuur, stijl en prestatieniveau. De prompts werden gegenereerd uit drie bronnen:

• Statische Templates: Vijf mainstream paradigma's (bijv. Chain-of-Thought, Tree-of-Thought).
• LLM-gegenereerde Prompts: Zes verschillende prompting-stijlen (bijv. Socratische vraagstelling, expertdiscussie) gegenereerd met een hoge temperatuur.
• Evolutionaire Recombinatie: Semantische decompositie en cross-combinatie van ouder-prompts om hybride structuren te creëren.

2. Metriekselectie en Framework

De auteurs evalueerden acht kandidaat-metrieken en selecteerden vier prestatie-reflectieve metrieken die een hoge belangrijkheid en complementariteit vertonen bij het voorspellen van de downstream taaknauwkeurigheid (gedefinieerd als >50% gemiddelde nauwkeurigheid over 10 executies):

• NLL Score: Meet de negatieve log-likelihood van het genereren van het juiste antwoord (semantische sturing).
• Stability Score: Kwantificeert de responsconsistentie over herhaalde executies.
• Mutual Information (MI): Meet de semantische uitlijning tussen de query en de output.
• Query Entropy: Legt de intrinsieke moeilijkheidsgraad/onzekerheid van de query zelf vast.

3. Evaluator Architectuur

Een lichtgewicht, executie-vrije evaluator ($E_\theta$) is gebouwd op een LLaMA-8B-Instruct backbone met LoRA-adaptatie. Deze fungeert als een multi-task model dat de volgende taken uitvoert:

• Binaire Classificatie: Voorspellen of een prompt een nauwkeurigheid van >50% zal behalen.
• Metriek Regressie: Voorspellen van continue scores voor de vier geselecteerde metrieken.
• Bi-level Training: Het model optimaliseert de classificatieverlies geassisteerd door regressieverlies, met gradiënt-geïnformeerde metriek-weging. Dit mechanisme past de invloed van elke metriek dynamisch aan op basis van de gradiëntbijdrage aan het classificatie-objectief, waardoor het model zich focust op prestatie-relevante signalen.

4. Metriek-bewuste Optimalisatie

Wanneer de evaluator een kwalitatief minder goede prompt identificeert, initieert het een gerichte optimalisatieproces:

• Attributie: Het systeem berekent de gradiënt van de classificatieverlies met betrekking tot elke voorspelde metriek om de specifieke factoren te identificeren die tot falen leiden (bijv. lage vertrouwen, hoge ambiguïteit).
• Diagnostische Modules: Specifieke diagnostische modules (bijv. instructie-conflict detector voor NLL, format guard voor stabiliteit) analyseren de prompt op metriek-specifieke problemen.
• Gerichte Revisie: De optimizer stelt correctieve bewerkingen voor en past deze toe (bijv. het toevoegen van fixed-slot formaten, het verduidelijken van variabelen, het verwijderen van conflicterende instructies) op basis van de gediagnosticeerde metriek.
• Query-zijde Augmentatie: Bij een hoge query-entropie augmented het systeem de query met verduidelijkingen in plaats van de systeem-prompt te wijzigen.

Belangrijkste Bijdragen

1. Prestatie-reflectieve Promptevaluatie: De auteurs hebben een uitgebreid evaluatiesysteem opgezet en een executie-vrije evaluator getraind die in staat is om multidimensionale kwaliteit en downstream prestaties te voorspellen met 83,7% nauwkeurigheid, wat aanzienlijk beter presteert dan embedding-gebaseerde baselines (69%).
2. Evaluatie-geïnstrueerde Optimalisatiemechanisme: Het artikel overbrugt de kloof tussen evaluatie en optimalisatie in query-afhankelijke settings. Door evaluatiesignalen direct te gebruiken om optimaliseringsrichtingen te sturen, verbetert de methode robuustheid en interpreteerbaarheid, wat gerichte prompt-verfijning mogelijk maakt zonder herhaalde modelexecuties.
3. Verenigde Pipeline: Dit werk stelt de eerste prompt evaluatie–optimalisatie pipeline voor die uitgebreide evaluatie en dynamische optimalisatie verenigt in een enkele gesloten lus.

Experimentele Resultaten

De voorgestelde aanpak werd geëvalueerd over 8 benchmark datasets (waaronder BBH, GPQA, LegalBench, MATH500 en MedQA) en 3 backbone LLM's (LLaMA-3-8B, LLaMA-3.1-8B en GPT-4o).

• Prestaties: De methode presteerde consistent beter dan bestaande baselines, inclusclusief statische template-optimizers (APE, TextGrad) en query-afhankelijke methoden (Self-Refine, Pro-Refine). Opvallende winsten waren een verbetering van ~10% op LegalBench en 5–6% op de onbekende MedQA taak.
• Generalisatie: Ondanks dat de evaluator uitsluitend is getraind op LLaMA-3-8B samples, demonstreerde de evaluator sterke cross-model generalisatie, waarbij positieve winsten werden geboekt bij LLaMA-3.1 en GPT-4o.
• Efficiëntie: Het executie-vrije karakter van de evaluator elimineert de noodzaak voor herhaalde modelexecuties tijdens de optimalisatielus, wat de hoge computationele kosten van respons-gebaseerde metrieken aanpakt.

Betekenis en Claims

Het artikel claimt dat betrouwbare en efficiënte evaluatiesignalen kunnen dienen als een effectieve basis voor robuuste en interpreteerbare promptoptimalisatie.

Belangrijke claims met betrekking tot de betekenis van dit werk zijn onder meer:

• Ontkoppeling van Executie: Effectieve promptoptimalisatie kan worden bereikt zonder de onderliggende LLM te hertrainen of te vertrouwen op kostbare multi-executie feedbackloops.
• Interpreteerbaarheid: Door promptkwaliteit te deconstrueren in interpreteerbare metrieken, biedt het framework een geprincipeerde manier om te beslissen waar en hoe prompts te bewerken, waarmee men verder gaat dan opake black-box optimalisatie.
• Schaalbaarheid: De aanpak biedt een schaalbare basis voor toekomstige executie-vrije, prestatiegerichte promptoptimalisatie in zowel standalone als multi-agent systemen.

De auteurs merken bescheiden op dat promptoptimalisatie de inherente capaciteitslimieten van een LLM niet fundamenteel kan overwinnen (bijv. kleine modellen kunnen geen complexe symbolische wiskunde uitvoeren, ongeacht de promptkwaliteit), maar dat het framework de potentiële winsten maximaliseert binnen de bestaande capaciteitsgrenzen van een model.