🤖 AI

Multi-Sample Prompting and Actor-Critic Prompt Optimization for Diverse Synthetic Data Generation

Die Studie stellt Synthline vor, ein Tool zur synthetischen Datengenerierung, das Multi-Sample-Prompting und Actor-Critic-Prompt-Optimierung kombiniert, um die Vielfalt und Leistungsfähigkeit von KI-Modellen in der Anforderungsengineering-Klassifizierung zu steigern und dabei in datenarmen Szenarien sogar menschliche Daten zu übertreffen.

Ursprüngliche Autoren: Abdelkarim El-Hajjami, Camille Salinesi

Veröffentlicht 2026-03-31

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Abdelkarim El-Hajjami, Camille Salinesi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einen Kochkurs für eine sehr spezielle Küche geben – sagen wir, „Rezepte für die Zukunft". Aber Sie haben ein riesiges Problem: Es gibt kaum echte, gute Rezepte, die Sie Ihren Schülern zeigen können. Vielleicht sind die Originalrezepte geheim, zu teuer oder einfach nicht vorhanden.

Was tun? Sie bitten einen Künstlichen Intelligenz-Koch (einen LLM), neue Rezepte für Sie zu erfinden. Das klingt toll, aber hier liegt das Problem: Der KI-Koch ist oft etwas langweilig. Wenn Sie ihn bitten, ein Rezept für „Pizza" zu schreiben, schreibt er vielleicht 100 Mal fast das gleiche Rezept, nur mit winzigen Unterschieden. Das ist wie wenn ein Schüler immer nur die gleiche Antwort auf eine Prüfung gibt, nur mit anderen Wörtern. Das hilft Ihren Schülern nicht wirklich, die echte Vielfalt der Welt zu verstehen.

Diese Forscher haben nun zwei geniale Tricks entwickelt, um den KI-Koch zu zwingen, kreativere und nützlichere Rezepte zu schreiben. Hier ist die Geschichte ihrer Arbeit, einfach erklärt:

1. Der erste Trick: „Der Gruppenauftrag" (Multi-Sample Prompting)

Stellen Sie sich vor, Sie fragen den KI-Koch: „Schreib mir ein Rezept für Pizza."
Der Koch denkt kurz nach und liefert das Standard-Rezept.

Jetzt sagen Sie: „Schreib mir 20 verschiedene Pizzarezepte auf einmal!"
Das ist der Trick des Multi-Sample Prompting.

Wie es funktioniert: Wenn der KI-Koch weiß, dass er 20 Varianten liefern muss, versucht er automatisch, sich nicht zu wiederholen. Er muss sich anstrengen, um 20 unterschiedliche Ideen zu finden.
Das Ergebnis: Die Forscher haben gesehen, dass diese 20 Rezepte viel vielfältiger waren als 20 einzelne, hintereinander generierte Rezepte. Und das Beste: Die Schüler (die KI-Modelle), die mit diesen vielfältigen Rezepten lernten, wurden viel besser in ihrer Prüfung als diejenigen, die nur die langweiligen Standardrezepte hatten.
Ein weiterer Vorteil: Es ist auch schneller und billiger. Statt 20 Mal den Koch zu wecken (20 API-Aufrufe), wecken Sie ihn nur einmal und bitten um 20 Rezepte.

2. Der zweite Trick: „Der strengen Kritiker" (PACE)

Stellen Sie sich vor, der KI-Koch soll nicht nur Rezepte schreiben, sondern er soll auch besser werden, bevor er den Kurs startet. Dafür brauchen Sie einen Kritiker.

Das System PACE funktioniert wie eine Probestunde:

Der KI-Koch (der „Akteur") schreibt ein paar Test-Rezepte.
Ein anderer KI-Kritiker schaut sich diese an und sagt: „Hey, das hier ist zu langweilig! Das hier klingt alle gleich. Versuch es nochmal anders!"
Der Koch nimmt den Rat an, ändert seine Anweisungen und schreibt neue, kreativere Rezepte.
Dieser Kreislauf wiederholt sich ein paar Mal, bis der Kritiker zufrieden ist.

Das Ergebnis: Dieser Trick machte die Rezepte tatsächlich sprachlich sehr vielfältig (weniger Wiederholungen von Wörtern).
Aber: Es gab einen Haken. Manchmal waren die Rezepte so kreativ, dass sie für den eigentlichen Zweck (die Prüfung) nicht mehr so gut passten. Bei manchen Aufgaben half es enorm, bei anderen machte es die KI sogar schlechter. Es ist wie wenn ein Koch versucht, so kreativ wie möglich zu sein, aber dabei vergisst, dass die Gäste eigentlich nur eine einfache Pizza wollen.

3. Das große Fazit: Kann die KI den Menschen schlagen?

Die Forscher haben am Ende geprüft: Sind die von der KI erfundenen Rezepte besser als die echten, von Menschen geschriebenen Rezepte?

Ja, in manchen Fällen! Besonders dort, wo es kaum echte Rezepte gibt (wie bei sehr speziellen Sicherheitsanforderungen oder Fehleranalysen), haben die KI-Rezepte die menschlichen sogar übertroffen. Die KI konnte hier die Lücken füllen und hat die Schüler besser vorbereitet als die wenigen echten Beispiele.
Nein, in anderen Fällen: Wenn es schon viele, sehr gute echte Rezepte gibt, sind diese immer noch besser. Die KI kann nicht alles ersetzen, aber sie ist ein fantastischer Helfer, wenn die echten Daten fehlen.

Zusammenfassung in einem Bild

Stellen Sie sich vor, Sie bauen ein Haus.

Das alte Problem: Sie haben nur 5 Ziegelsteine, aber Sie brauchen 1000. Die KI liefert Ihnen 1000 Steine, aber alle sehen exakt gleich aus. Wenn Sie damit bauen, fällt das Haus schnell um.
Der erste Trick (Gruppenauftrag): Sie sagen der KI: „Gib mir 1000 Steine, aber sie müssen alle unterschiedliche Texturen haben!" Plötzlich haben Sie ein stabiles Haus.
Der zweite Trick (Kritiker): Sie lassen die KI die Steine polieren und formen, bis sie perfekt aussehen. Manchmal sind sie dann so perfekt geformt, dass sie nicht mehr in das Mauerwerk passen (zu kreativ), aber manchmal sind sie genau das Richtige.

Die Lehre: Wenn Sie Daten für KI-Modelle brauchen, ist es oft besser, die KI zu bitten, viele Varianten auf einmal zu liefern, als sie einzeln zu befragen. Und wenn Sie die KI optimieren wollen, müssen Sie aufpassen, dass sie nicht nur „bunt" wird, sondern auch noch das tut, was Sie eigentlich wollen.

1. Problemstellung

Hochwertige, gelabelte Datensätze sind essenziell für das Training und die Evaluierung von Machine-Learning-Modellen. In Domänen wie dem Gesundheitswesen und der Requirements Engineering (RE) bestehen jedoch erhebliche Barrieren aufgrund von Datenknappheit, Datenschutzbeschränkungen oder proprietären Einschränkungen.
Obwohl Large Language Models (LLMs) eine vielversprechende Lösung für die Generierung synthetischer Daten (Synthetic Data Generation, SDG) bieten, leiden diese generierten Daten oft unter geringer Vielfalt und Wiederholungsneigung. Dies liegt häufig an einem „Typicality Bias" durch das Post-Training-Alignment, bei dem LLMs zu stereotypen Ausgaben neigen (Mode Collapse). Das zentrale Problem dieser Arbeit ist: Wie kann die Vielfalt (Diversity) von LLM-generierten synthetischen Daten verbessert werden, ohne deren Nützlichkeit (Utility) für nachgelagerte Klassifizierungsaufgaben zu beeinträchtigen?

2. Methodik

Die Autoren integrieren zwei innovative Mechanismen in Synthline, einen konfigurierbaren synthetischen Datengenerator, der auf einem Feature-Modell (Feature Model) basiert. Die Evaluation erfolgte im Kontext von vier RE-Klassifizierungsaufgaben (Defekterkennung, Funktionale vs. Nicht-Funktionale Anforderungen, Qualitätsanforderungen, Sicherheitsanforderungen).

Die beiden untersuchten Mechanismen sind:

Multi-Sample Prompting:
Anstatt pro Prompt nur ein einzelnes Datenbeispiel zu generieren, fordert dieser Ansatz mehrere Beispiele (z. B. 20) innerhalb eines einzigen Prompts an.
- Ziel: Nutzung des „Within-Context Awareness" des LLMs, um Wiederholungen zu reduzieren und die lexikalische sowie semantische Vielfalt zu erhöhen.
- Effizienz: Reduziert die Anzahl der API-Aufrufe um den Faktor $1/n$ im Vergleich zur Einzelgenerierung.
Prompt with Actor-Critic Editing (PACE):
Ein automatisierter Optimierungsansatz, der vor der eigentlichen Generierung eine Schleife durchläuft.
- Ablauf: Ein „Actor"-LLM generiert eine Batch von Kandidaten-Prompts. Ein „Critic"-LLM bewertet diese Batches basierend auf einer Scoring-Funktion (hier: Maximierung des durchschnittlichen paarweisen Cosinus-Abstands der Sentence-BERT-Embeddings) und gibt Feedback zur Verbesserung des Prompts. Dieser Zyklus wird iterativ wiederholt, bis der beste Prompt für die Hauptgenerierung ausgewählt wird.
- Ziel: Automatisierte Suche nach Prompts, die die Vielfalt maximieren, ohne manuelles Prompt-Engineering.

Experimentelles Setup:

LLM: GPT-4.1-nano-2025-04-14.
Vergleichsgruppen:
1. synthetic_1: Single-Sample Prompting (Basis).
2. synthetic_20: Multi-Sample Prompting (20 Samples/Prompt).
3. synthetic_20_pace: Multi-Sample + PACE-Optimierung.
Evaluation:
- Vielfalt (Diversity): Gemessen durch INGF (Inter-sample N-gram Frequency) für lexikalische Vielfalt und APS (Average Pairwise Similarity) für semantische Vielfalt.
- Nützlichkeit (Utility): Trainieren von BERT-Klassifikatoren auf den synthetischen Daten und Testen auf realen, zurückgehaltenen Testdaten (F1-Score, Precision, Recall).

3. Wichtige Beiträge

Empirische Evaluation: Erste umfassende Untersuchung der Kombination aus Multi-Sample Prompting und PACE für SDG.
Synthline Framework: Veröffentlichung eines konfigurierbaren, feature-basierten Generators, der diese Mechanismen integriert (Open Source).
Erkenntnisse zur Diversität vs. Utility: Die Arbeit zeigt, dass Diversität und Utility nicht immer korrelieren und dass reine Diversitäts-Optimierung (wie bei PACE) je nach Aufgabe unterschiedliche Auswirkungen haben kann.

4. Ergebnisse

Die Ergebnisse wurden über vier RE-Klassifizierungsaufgaben hinweg analysiert:

RQ1: Multi-Sample Prompting:
- Diversität: Deutliche Verbesserung. INGF-Werte sanken um 25–28 % (weniger Wiederholungen), APS-Werte um 22–28 % (höhere semantische Vielfalt).
- Utility: Konsistente und signifikante Steigerung der Klassifizierungsleistung. Der F1-Score verbesserte sich um 6 bis 43,8 Prozentpunkte gegenüber dem Single-Sample-Ansatz.
- Fazit: Multi-Sample Prompting ist eine robuste Methode, die sowohl Vielfalt als auch Nützlichkeit steigert.
RQ2: PACE-Optimierung:
- Diversität: Konsistente Verbesserung der lexikalischen Vielfalt (10–19 % niedrigere INGF-Werte).
- Utility: Die Ergebnisse waren aufgabenabhängig.
  - Positiv: Bei „Functional Requirements" stieg der F1-Score um 32,5 Punkte; bei „Quality" um 1,9 Punkte.
  - Negativ: Bei „Security" (-4,5 Punkte) und „Defects" (-7,8 Punkte) verschlechterte sich die Leistung im Vergleich zum reinen Multi-Sample-Ansatz.
- Fazit: Eine reine Optimierung auf Diversität (via Cosine-Distance) garantiert keine bessere Klassifizierungsleistung und kann sogar schädlich sein, wenn die Scoring-Funktion nicht die Anforderungen des Downstream-Tasks berücksichtigt.
RQ3: Synthetische vs. Menschliche Daten:
- Synthetische Daten können menschlich erstellte Daten in bestimmten Szenarien übertreffen.
- Besonders bei Aufgaben mit knappen oder unausgewogenen realen Daten (z. B. Defekterkennung mit nur 131 realen Samples) erreichte die synthetische Variante einen F1-Score-Vorteil von bis zu 15,4 Prozentpunkten.
- Bei Aufgaben mit großen realen Datensätzen (z. B. Funktionale Anforderungen) blieben menschliche Daten überlegen, aber synthetische Daten lieferten dennoch wettbewerbsfähige Ergebnisse.

5. Bedeutung und Implikationen

Praktische Anwendbarkeit: Multi-Sample Prompting bietet eine einfache, infrastrukturfreie Methode, um die Qualität synthetischer Daten signifikant zu steigern und gleichzeitig Kosten (API-Aufrufe) zu senken.
Warnung vor reiner Diversitäts-Optimierung: Die Studie zeigt, dass die Automatisierung von Prompts (PACE) nicht blind auf Diversität optimiert werden darf. Scoring-Funktionen müssen die spezifischen Anforderungen der downstream-Aufgabe (Utility) einbeziehen, um negative Effekte zu vermeiden.
Lösung für Datenknappheit: In Domänen mit begrenzten gelabelten Daten (wie RE oder Healthcare) kann synthetische Generierung nicht nur eine Alternative, sondern eine überlegene Option sein, insbesondere durch die Möglichkeit, ausgewogene Klassenverteilungen und große Datenmengen on-demand zu erzeugen.
Domänenübergreifend: Die Erkenntnisse sind nicht auf Requirements Engineering beschränkt, sondern gelten für alle Bereiche, in denen LLMs zur Trainingsdatengenerierung eingesetzt werden (z. B. Medizin, Recht, Finanzen).

Zusammenfassend demonstriert das Paper, dass durch die Kombination von Multi-Sample Prompting und einer sorgfältig abgestimmten Prompt-Optimierung synthetische Daten von hoher Qualität erzeugt werden können, die reale Daten in spezifischen, datenarmen Szenarien übertreffen.