Technische Samenvatting: BT-APE voor Requirements Classificatie

Probleemstelling

Large Language Models (LLMs) worden steeds vaker toegepast op Requirements Engineering (RE) taken, zoals requirements classificatie, vanwege hun vermogen om natuurlijke taalinstructies op te volgen zonder taakspecifieke training. De prestaties van deze modellen zijn echter sterk afhankelijk van de kwaliteit van de prompts die worden gebruikt om hen te sturen. In het RE-domein blijft promptontwerp een grotendeels handmatig, ad-hoc proces dat steunt op trial-and-error en de intuïtie van de praktijkbeoefenaar. Dit gebrek aan systematische optimalisatie leidt tot inconsistente, suboptimale resultaten en beperkt de reproduceerbaarheid. Bovendien bestaan er wel Automatic Prompt Engineering (APE) technieken in algemene Natural Language Processing (NLP), maar de toepasbaarheid ervan op domeinspecifieke RE-taken en hun effectiviteit vergeleken met klassieke prompting-strategieën blijven onverkend. Verder brengen bestaande APE-methoden vaak hoge computationele kosten met zich mee, wat ze ongeschikt maakt voor omgevingen met beperkte middelen die gebruikelijk zijn in RE, waar gegevensvertrouwelijkheid vaak lokale implementatie op kleinere servers noodzakelijk maakt.

Methodologie: BT-APE

De auteurs stellen BT-APE (Backtracking APE) voor, een computationeel lichtgewicht framework dat promptontwerp formuleert als een optimalisatieprobleem. De methode verfijnt prompts iteratief met behulp van door LLM's gegenereerde kandidaten, een backtracking zoekstrategie en dynamische voorbeeldselectie.

Kernworkflow

Het proces is verdeeld in drie fasen met behulp van een dataset die is gesplitst in drie disjuncte pools: een pool voor het samplen van voorbeelden ($D_{pool}$), een validatieset ($D_{val}$) en een uitgestelde testset ($D_{test}$).

1. Initialisatie: Een initiële prompt wordt gescoord op de validatieset om een baseline vast te stellen.
2. Iteratieve Verfijning:
   • Kandidaatgeneratie: Een LLM stelt een nieuwe kandidaat-prompt voor, geconditioneerd op de huidige prompt en een gebalanceerde dynamische voorbeeldbatch. Deze batch wordt bij elke iteratie ververst om één correct geclassificeerd positief voorbeeld, één correct geclassificeerd negatief voorbeeld, één foutief geclassificeerd positief voorbeeld en één foutief geclassificeerd negatief voorbeeld uit $D_{pool}$ te bevatten.
   • Evaluatie: Kandidaten worden gescoord op $D_{val}$ met behulp van 3-run majority voting om stochasticiteit te mitigeren.
   • Begrensde Backtracking: In tegen tegenstelling tot methoden die onmiddellijk terugkeren bij een enkele mislukking, houdt BT-APE een gerangschikte lijst van alle geëvalueerde kandidaten bij. Het vervolgt een traject totdat een configureerbare patience threshold ($X=3$) van opeenvolgende niet-verbeterende iteraties is bereikt. Pas daarna wordt er teruggegaan naar de eerstvolgende beste prompt in de geschiedenis, wat voorkomt dat de zoektocht vastloopt in onproductieve regio's.
3. Uitgestelde Evaluatie: De beste prompt die tijdens de zoektocht is gevonden, wordt exact één keer geëvalueerd op de uitgestelde testset ($D_{test}$) om een definitieve, onbevooroordeelde prestatiemetriek te leveren.

Belangrijke Ontwerponderstellingen

BT-APE wordt expliciet gecontrasteerd met PE2, een state-of-the-art APE-baseline. Hoewel beide single-trajectory, geschiedenisbewuste methoden zijn, verschilt BT-APE op drie belangrijke punten om de computationele voetafdruk te verkleinen:

• Begrensde Context: PE2 conditioneert voorstellen op de volledige geschiedenis van top-$n$ prompts, waardoor de inputcontext lineair groeit. BT-APE conditioneert enkel op de huidige prompt en een compacte, gebalanceerde batch, waardoor de contextgrootte begrensd blijft.
• Gebalanceerde Voorbeeldselectie: BT-APE dwingt een strikte vier-tuple af (succes/falen $\times$ klasse), terwijl PE2 een ongeconstreerde foutenbatch gebruikt.
• Expliciete Geduld (Patience): BT-APE gebruikt een vaste patience threshold voor backtracking, terwijl PE2 meer direct reageert op niet-verbeteringen.

Experimenteel Ontwerp

De studie evalueert BT-APE over:

• Datasets: Drie benchmark RE-datasets: PROMISE (NFR), PROMISE-Refined, en SecReq.
• Modellen: Vijf instruction-tuned LLM's in de range van 7–8B parameters (Qwen2, Falcon3, Granite-3.2, Ministral, LLaMA-3).
• Baselines: Vier klassieke prompting-strategieën (Zero-shot, Few-shot, Chain-of-Thought, CoT+Few-shot) en de PE2 APE-baseline.
• Initialisatievarianten: Twee initialisatiestrategieën werden getest: BT-APE-Uninformed (simpele, intuïtieve definities) en BT-APE-Informed (definities gecureerd uit de RE-literatuur).

Belangrijkste Resultaten

Prestaties vs. Klassieke Baselines

BT-APE presteert aanzienlijk beter dan alle vier de klassieke prompting-strategieën over bijna alle dataset- en modelcombinaties.

• Statistische Significantie: De gemiddelde verbetering in gewogen F1 ($wF1$) ten opzichte van klassieke baselines varieert van +0,049 tot +0,143, met grote effectgroottes ($r \ge 0,50$) en statistische significantie ($p < 0,05$ na Holm-Bonferroni correctie).
• Consistentie: BT-APE evenaart of overtreft de beste klassieke baseline in 11 van de 15 model-dataset configuraties.

Prestaties vs. PE2 (APE Baseline)

• Nauwkeurigheid: BT-هَا BT-APE bereikt een prestatie die statistisch ononderscheidbaar is van PE2 (gemiddeld verschil $\Delta = +0,001$, verwaarloosbare effectgrootte). Beide methoden convergeren naar een vergelijkbaar prestatieplafond.
• Efficiëntie: Ondanks de equivalente nauwkeurigheid is BT-APE aanzienlijk efficiënter. Het verbruikt ongeveer 72% minder cumulatieve inputtokens en 66% minder wandkloktijd dan PE2. Dit maakt BT-APE beter geschikt voor implementatie op kleine, hulpbronnenbeperkte of air-gapped servers.

Analyse van Prompt Kenmerken (RQ3)

Een analyse via een lineair gemengd effectmodel van de evolutie van prompts onthulde specifieke correlaten van hoogpresterende prompts:

• Positieve Correlaten: Een hoger werkwoordenaantal (actiegerichte taal) en een hoger interpunctiemarkeraantal (structurele helderheid) zijn geassocieerd met betere prestaties.
• Negatieve Correlaten: Langere zin/woord-aantallen, hogere lexicale diversiteit en grotere syntactische complexiteit correleren met lagere prestaties.
• Semantische Drift: Iteraties met grotere semantische veranderingen (semantische drift) zijn geassocieerd met prestatieverbeteringen, wat suggereert dat substantiële revisie effectiever is dan oppervlakkige parafrasering.

Impact van Initialisatie (RQ4)

• Informed vs. Uninformed: Het verstrekken van domein-geïnformeerde klasse-definities (BT-APE-Informed) leverde geen statistisch significante verbetering op in de uiteindelijke prestaties ten opzichte van minimale, ongeïnformeerde definities (BT-APE-Uninformed).
• Robuustheid: Het iteratieve optimalisatieproces was robuust genoeg om zwakkere initiële prompts te compenseren, waarbij een vergelijkbare uiteindelijke prestatie werd bereikt ongeacht de initialisatiestrategie.

Significantie en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Een Lichtgewicht APE Framework: BT-APE biedt een computationeel efficiënt alternatief voor bestaande APE-methoden, waarbij het staat-van-de-kunst nauwkeurigheid bereikt met een aanzienlijk gereduceerde resource footprint. Dit maakt de toepassing van geautomatiseerde prompt engineering mogelijk in RE-omgevingen waar lokale, private implementatie vereist is.
2. Systematische Empirische Evaluatie: Dit werk biedt de eerste systematische vergelijking van APE tegenover klassieke prompting voor requirements classificatie over meerdere datasets en LLM's. Het toont aan dat APE robuust overdraagbaar is naar RE-taken met grote effectgroottes.
3. Inzichten in Prompt Evolutie: De studie identificeert specifieke structurele en semantische kenmerken van effectieve prompts (beknopt, actiegericht, structureel helder) en toont aan dat domein-geïnformeerde initialisatie niet strikt noodzakelijk is voor het succes van het optimalisatieproces.

De auteurs positioneren BT-APE als een praktische oplossing die de kloof overbrugt tussen de hoge prestaties van automatische prompt optimalisatie en de beperkingen in middelen van real-world RE-omgevingen. Zij stellen een interactieve tool en een replicatiepakket beschikbaar om adoptie en verder onderzoek te faciliteren.