Technische Samenvatting: PromptPex: Automatische Testgeneratie voor Taalmodel-prompts

Probleemstelling

Large Language Model (LLM) prompts worden steeds vaker geïntegreerd in softwareapplicaties als code-achtige artefacten die inputs accepteren, outputs genereren en specifieke functies uitvoeren. Echter, in tegen tegenover traditionele software, kampen prompts met unieke engineering-uitdagingen:

1. Niet-determinisme en Modelafhankelijkheid: De output van een prompt hangt af van het specifieke AI-model dat de prompt interpreteert. Een prompt die correct functioneert op het ene model, kan onjuiste of onverwachte resultaten produceren op een ander, wat modelmigratie en portabiliteit bemoeilijkt.
2. Onvoorspelbare Impact van Wijzigingen: Hoewel natuurlijke taal-prompts gemakkelijk aan te passen zijn, zijn de gevolgen van kleine wijzigingen moeilijk te voorspellen, wat robuuste bewerking en regressietesten uitdagend maakt.
3. Gebrek aan Geautomatiseerde Testtools: Bestaande benaderingen richten zich op prompt-optimalisatie voor specifieke modellen of handmatige unit test-creatie. Er is een gebrek aan tools die diverse, gerichte unit tests automatisch genereren om te evalueren hoe een prompt zich gedraagt over verschillende modellen heen en om regressies te identificeren.

Methodologie: PromptPex

De auteurs ontwikkelden PromptPex, een LLM-gebaseerde tool ontworpen om automatisch unit tests te genereren en te evalueren voor een gegeven prompt (de Prompt Under Test, of PUT). Het systeem werkt via een vierfasige pipeline:

1. Specificatie-extractie

PromptPex gebruikt een LLM (specifiek gpt-5_2025-08-07 in de experimenten) om twee cruciale artefacten uit de PUT te extraheren:

• Input Specificatie (IS): Een set beperkingen die geldige inputs definieert (bijv. "input moet een zin en een woord zijn"). Dit helpt bij het identificeren van onderspecificatie of ambiguïteit in de inputvereisten van de prompt.
• Output Regels (OR): Een set onafhankelijke, concrete en controleerbare beperkingen die de verwachte output beschrijven (bijv. "retourneer alleen de tag", "als onbekend, retourneer 'Onbekend'"). Deze regels fungeren als asserties of post-condities, afgeleid strikt uit de tekst van de prompt zonder kennis van de input te veronderstellen.

2. Testgeneratie

Met behulp van de geëxtraheerde IS en OR genereert PromptPex testgevallen:

• Regel-gebaseerde Generatie: Tests worden gegenereerd om specifieke outputregels te voldoen, waardoor de dekking van de beperkingen van de prompt wordt gewaarborgd.
• Inverse Regel Generatie: Om uitdagende testgevallen te creëren, genereert het systeem "inverse regels" (semantische inversies die de oorspronkelijke regels schenden, bijv. "output moet de tag bevatten en een beschrijving"). De LLM genereert vervolgens inputs die ontworpen zijn om deze inverse scenario's te triggeren, wat effectief de naleving van de prompt aan zijn beperkingen onder druk zet.
• Validiteitshandhaving: De IS wordt gebruikt om te garanderen dat gegenereerde tests geldige inputs zijn, waarbij onderscheid wordt gemaakt tussen "geldige tests die falen" (wat duidt op een fout in de prompt) en "ongeldige tests" (die minder actiegericht zijn).

3. Executie

De gegenereerde tests worden uitgevoerd tegen meerdere Models Under Test (MUTs). In de evaluatie hebben de auteurs tests gedraaid op vier diverse modellen: gpt-oss, gemma2:9b, qwen2.5:3b, en llama3.2:1b.

4. Testevaluatie (Compliance vs. Correctheid)

Omdat grondwaarheid (ground-truth) correcte outputs niet altijd beschikbaar zijn voor open-ended prompts, gebruikt PromptPex een LLM-as-a-Judge (o4-mini_2025-04-16) om de compliance (naleving) te evalueren in plaats van de correctheid. De judge controleert of de output van het model voldoet aan de geëxtraheerde Output Regels (OR) en de oorspronkelijke prompt-beperkingen, en geeft een pass/fail status en een uitleg terug.

Belangrijkste Bijdragen

1. Systematische Geautomatiseerde Testgeneratie: PromptPex is de eerste tool die zich specifiek richt op automatische testgeneratie voor prompts, waardoor ontwikkelaars het gedrag van prompts over meerdere modellen heen kunnen begrijpen.
2. Specificatie-extractie voor Testing: Het artikel introduceert een nieuwe benadering voor het extraheren van input-specificaties en output-regels uit natuurlijke taal-prompts. Deze artefacten dienen als fundament voor testgeneratie en helpen ontwikkelaars hun prompts te verfijnen door onderspecificatie of ambiguïteit bloot te leggen.
3. Evaluatie van Model Compliance: De auteurs tonen aan dat het extraheren van specificaties leidt tot kwalitatief betere tests. Ze bieden een benchmark-suite van 22 prompts en laten zien dat specificatie-gestuurde tests effectiever zijn in het identificeren van modelbeperkingen dan baseline-benaderingen.

Evaluatieresultaten

De auteurs evalueerden PromptPex tegen een geavanceerde baseline (een zero-shot LLM-gebaseerde testgenerator) met behulp van 22 benchmark-prompts en vier verschillende modellen.

• Hogere Detectie van Non-Compliance: De primaire metriek voor testkwaliteit was het percentage non-compliant outputs (tests die ervoor zorgden dat het model de regels van de prompt overtrad). PromptPex genereerde consistent tests die resulteerden in hogere non-compliance rates over alle modellen vergeleken met de baseline. Dit geeft aan dat PromptPex beter is in het blootleggen van hiaten in de prompt-beperkingen.
• Effectiviteit van Inverse Regels: Tests gegenereerd vanuit inverse regels bleken bijzonder effectief in het veroorzaken van non-compliance, en presteerden vaak beter dan tests gegenereerd vanuit standaard regels. Dit bevestigt dat het expliciet uitdagen van de regels helpt bij het identificeren van edge cases.
• Model Differentiatie: De gegenereerde tests slaagden erin de capaciteiten van verschillende modellen te onderscheiden. Bekwamer gere de modellen (bijv. gpt-oss) vertoonden lagere non-compliance rates, terwijl kleinere modellen hogere rates vertoonden. Echter, de tests onthulden ook dat sommige kleinere modellen goed presteerden op specifieke prompts, wat hielp bij de modelselectie.
• Kwaliteit van Specificaties: De geëxtraheerde Output Regels vertoonden een hoge groundedness (89% van de regels was aanwezig in de oorspronkelijke prompt) en een hoge spec agreement (96,8% gelijkenis in gedrag tussen de oorspronkelijke prompt en een prompt die is aangevuld met de geëxtraheerde regels), wat het extractieproces valideert.
• Input Validiteit: Bijna alle door PromptPex gegenereerde tests werden als geldig beschouwd volgens de geëxtraheerde Input Specificatie, wat garandeert dat de tests realistische gebruiksscenario's vertegenwoordigen.

Betekenis en Claims

Het artikel positioneert PromptPex als een cruciale stap naar het behandelen van prompts als robuuste software-artefacten. De betekenis ligt in:

• Verschuiving van Optimalisatie naar Verificatie: Het bewegen voorbij het optimaliseren van prompts voor één enkel model naar het verifiëren van hun robuustheid en portabiliteit over verschillende modellen.
• Actiegericht Feedback: Door specificaties te extraheren, biedt PromptPex ontwikkelaars concrete inzichten in hoe een model hun prompt interpreteert, waarbij ambiguïteiten (bijv. of "retourneer alleen de tag" ruimte laat voor redeneertekst) worden gehighlight die anders onopgemerkt zouden blijven.
• Regressietesten: De gegenereerde testsuites dienen als regressietests voor toekomstige prompt-wijzigingen en faciliteren veiligere modelmigraties.

De auteurs erkennen beperkingen, waaronder de huidige ondersteuning voor enkelvoudige-input prompts, de afhankelijkheid van LLM-as-a-Judge (wat potentiële bias introduceert), en het gebrek aan ondersteuning voor gestructureerde inputs zoals RAG-data. Zij concluderen dat hoewel PromptPex niet alle problemen van prompt engineering oplost, het een fundamentele tool biedt voor geautomatiseerd testen, specificatie-extractie en modelevaluatie.