Technisches Resümee: BT-APE für die Klassifizierung von Anforderungen

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend für Aufgaben des Requirements Engineering (RE) eingesetzt, wie etwa die Klassifizierung von Anforderungen, aufgrund ihrer Fähigkeit, natürliche Sprachinstruktionen ohne aufgabenspezifisches Training zu befolgen. Die Leistung dieser Modelle hängt jedoch stark von der Qualität der verwendeten Prompts ab, die sie leiten. Im RE-Bereich bleibt das Prompt-Design ein weitgehend manueller, Ad-hoc-Prozess, der auf Versuch und Irrtum sowie auf der Intuition der Praktiker beruht. Dieser Mangel an systematischer Optimierung führt zu inkonsistenten, suboptimalen Ergebnissen und schränkt die Reproduzierbarkeit ein. Zudem existieren Methoden des Automatic Prompt Engineering (APE) zwar im allgemeinen Natural Language Processing (NLP), ihre Anwendbarkeit auf domänenspezifische RE-Aufgaben und ihre Effektivität im Vergleich zu klassischen Prompting-Strategien sind jedoch noch unerforscht. Darüber hinaus verursachen bestehende APE-Methoden oft hohe Rechenkosten, was sie für ressourcenbeschränkte Umgebungen ungeeignet macht, in denen die Vertraulichkeit von Daten in der RE häufig eine lokale Bereitstellung auf kleineren Servern erfordert.

Methodik: BT-APE

Die Autoren schlagen BT-APE (Backtracking APE) vor, ein recheneffizientes Framework, das das Prompt-Design als Optimierungsproblem formuliert. Die Methode verfeinert Prompts iterativ unter Verwendung von durch LLMs generierten Kandidaten, einer Backtracking-Suchstrategie und einer dynamischen Beispielselektion.

Kernablauf

Der Prozess ist in drei Phasen unterteilt, wobei ein Datensatz in drei disjunkte Pools aufgeteilt wird: ein Pool zur Stichprobenziehung von Beispielen ($D_{pool}$), ein Validierungsset ($D_{val}$) und ein gehaltenes Testset ($D_{test}$).

1. Initialisierung: Ein initialer Prompt wird auf dem Validierungsset bewertet, um eine Baseline zu etablieren.
2. Iterative Verfeinerung:
   • Kandidatengenerierung: Ein LLM schlägt einen neuen Kandidaten-Prompt vor, der auf dem aktuellen Prompt und einem balancierten dynamischen Beispiel-Batch basiert. Dieser Batch wird in jeder Iteration aktualisiert und enthält ein korrekt klassifiziertes positives, ein korrekt klassifiziertes negatives, ein falsch klassifiziertes positives und ein falsch klassifiziertes negatives Beispiel aus $D_{pool}$.
   • Evaluierung: Kandidaten werden auf $D_{val}$ mittels 3-Durchlauf-Mehrheitsentscheidung (Majority Voting) bewertet, um die Stochastizität zu mildern.
   • Begrenztes Backtracking (Bounded Backtracking): Im Gegensatz zu Methoden, die bei einem einzelnen Fehlschlag sofort umkehren, führt BT-APE eine geordnete Liste aller evaluierten Kandidaten. Es folgt einem Pfad, bis eine konfigurierbare Geduldsschwelle ($X=3$) aufeinanderfolgender nicht verbessernder Iterationen erreicht ist. Erst dann erfolgt ein Backtracking zum nächstbesten Prompt in der Historie, um zu verhindern, dass die Suche in unproduktiven Regionen stecken bleibt.
3. Evaluierung auf dem gehaltenen Set: Der während der Suche gefundene beste Prompt wird genau einmal auf dem gehaltenen Testset ($D_{test}$) evaluiert, um eine endgültige, unvoreingenommene Leistungsmetrik zu liefern.

Zentrale Design-Unterschiede

BT-APE wird explizit mit PE2, einer State-of-the-Art APE-Baseline, verglichen. Obwohl beide Methoden Single-Trajectory- und historienbewusst sind, unterscheidet sich BT-APE in drei wesentlichen Punkten, um den Rechenaufwand zu reduzieren:

• Begrenzter Kontext: PE2 konditioniert Vorschläge auf die vollständige Historie der Top-$n$ Prompts, wodurch der Input-Kontext linear anwächst. BT-APE konditioniert nur auf den aktuellen Prompt und einen kompakten, balancierten Batch, wodurch die Kontextgröße begrenzt bleibt.
• Balancierte Beispielselektion: BT-APE erzwingt eine strikte Vierer-Gruppe (Erfolg/Fehler $\times$ Klasse), während PE2 einen unbeschränkten Fehler-Batch verwendet.
• Explizite Geduld: BT--APE nutzt eine feste Geduldsschwelle für das Backtracking, während PE2 stärker unmittelbar auf Nicht-Verbesserungen reagiert.

Experimentelles Design

Die Studie evaluiert BT-APE über:

• Datensätze: Drei Benchmark-RE-Datensätze: PROMISE (NFR), PROMISE-Refined und SecReq.
• Modelle: Fünf instruktionsgestimmte LLMs im Bereich von 7–8 Milliarden Parametern (Qwen2, Falcon3, Granite-3.2, Ministral, LLaMA-3).
• Baselines: Vier klassische Prompting-Strategien (Zero-shot, Few-shot, Chain-of-Thought, CoT+Few-shot) und die PE2 APE-Baseline.
• Initialisierungs-Varianten: Zwei Strategien zur Initialisierung wurden getestet: BT-APE-Uninformed (einfache, intuitive Definitionen) und BT-AE-Informed (aus der RE-Literatur kuratierte Definitionen).

Zentrale Ergebnisse

Performance gegenüber klassischen Baselines

BT-APE übertrifft alle vier klassischen Prompting-Strategien signifikant über nahezu alle Datensatz- und Modellkombinationen hinweg.

• Statistische Signifikanz: Die mittlere Verbesserung der gewichteten F1-Metrik ($wF1$) gegenüber klassischen Baselines liegt zwischen +0,049 und +0,143, mit großen Effektstärken ($r \ge 0,50$) und statistischer Signifikanz ($p < 0,05$ nach der Holm-Bonferroni-Korrektur).
• Konsistenz: BT-APE erreicht oder übertrifft die beste klassische Baseline in 11 von 15 Modell-Datensatz-Konfigurationen.

Performance gegenüber PE2 (APE-Baseline)

• Genauigkeit: BT-APE erreicht eine statistisch ununterscheidbare Leistung im Vergleich zu PE2 (mittlere Differenz $\Delta = +0,001$, vernachlässigbare Effektstärke). Beide Methoden konvergieren zu einem ähnlichen Leistungsmaximum.
• Effizienz: Trotz äquivalenter Genauigkeit ist BT-APE wesentlich effizienter. Es verbraucht etwa 72 % weniger kumulative Input-Token und benötigt 66 % weniger Wandzeit (Wall-clock time) als PE2. Dies macht BT-APE besser geeignet für den Einsatz auf kleinen, ressourcenbeschränkten oder isolierten (air-gapped) Servern.

Analyse der Prompt-Merkmale (RQ3)

Eine Analyse mittels linearer gemischter Effektmodelle der Prompt-Evolution offenbarte spezifische Korrelate leistungsstarker Prompts:

• Positive Korrelate: Eine höhere Verbanzahl (aktionsorientierte Sprache) und eine höhere Anzahl an Satzzeichen (strukturelle Klarheit) sind mit besserer Leistung assoziiert.
• Negative Korrelate: Größere Satz- und Wortzahlen, eine höhere lexikalische Diversität und eine größere syntaktische Komplexität korrelieren mit geringerer Leistung.
• Semantische Drift: Iterationen, die mit größeren semantischen Änderungen (semantische Drift) einhergingen, sind mit Leistungsverbesserungen assoziiert, was darauf hindeutet, dass substanzielle Revisionen effektiver sind als oberflächliche Paraphrasierung.

Einfluss der Initialisierung (RQ4)

• Informed vs. Uninformed: Die Bereitstellung domänenspezifischer, informierter Klassendefinitionen (BT-APE-Informed) führte zu keiner statistisch signifikanten Verbesserung der Endleistung gegenüber minimalen, uninformed Definitionen (BT-APE-Uninformed).
• Robustheit: Der iterative Optimierungsprozess war robust genug, um schwächere initiale Prompts zu kompensieren und konvergierte unabhängig von der Initialisierungsstrategie zu einer vergleichbaren Endleistung.

Bedeutung und Beiträge

Das Paper beansprucht drei primäre Beiträge:

1. Ein leichtgewichtiges APE-Framework: BT-APE bietet eine recheneffiziente Alternative zu bestehenden APE-Methoden und erreicht eine SOTA-Genauigkeit (State-of-the-Art) bei einem deutlich reduzierten Ressourcenverbrauch. Dies ermöglicht die Anwendung von automatisiertem Prompt-Engineering in RE-Umgebungen, in denen eine lokale, private Bereitstellung erforderlich ist.
2. Systematische empirische Evaluierung: Diese Arbeit bietet den ersten systematischen Vergleich von APE gegenüber klassischem Prompting für die Klassifizierung von Anforderungen über mehrere Datensätze und LLMs hinweg. Sie zeigt, dass APE robust auf RE-Aufgaben übertragbar ist, mit großen Effektstärken.
3. Einblicke in die Prompt-Evolution: Die Studie identifiziert spezifische strukturelle und semantische Merkmale effektiver Prompts (prägnant, aktionsorientiert, strukturell klar) und zeigt, dass eine domänenspezifische Initialisierung für den Erfolg des Optimierungsprozesses nicht zwingend erforderlich ist.

Die Autoren positionieren BT-APE als praktische Lösung, die die Lücke zwischen der hohen Leistung automatisierter Prompt-Optimierung und den Ressourcenbeschränkungen realer RE-Umgebungen schließt. Sie stellen ein interaktives Tool und ein Replikationspaket zur Verfügung, um die Anwendung und weitere Forschung zu fördern.