Multi-Sample Prompting and Actor-Critic Prompt Optimization for Diverse Synthetic Data Generation

Probleemstelling

Hoogwaardige, gelabelde datasets zijn essentieel voor het trainen en evalueren van machine learning-modellen, maar het verkrijgen hiervan is vaak kostbaar, tijdrovend en beperkt door privacy- of proprietary-beperkingen (bijvoorbeeld in de gezondheidszorg en Requirements Engineering). Hoewel Large Language Models (LLMs) een veelbelovende oplossing bieden voor het genereren van synthetische data (Synthetic Data Generation - SDG), lijden deze gegenereerde datasets vaak onder repetitie en gebrek aan diversiteit.

Dit fenomeen wordt toegeschreven aan "post-training alignment" en "typicality bias": LLMs neigen naar stereotiepe uitkomsten omdat menselijke annotators vaak vertrouwde tekst prefereren. Dit leidt tot "mode collapse", waarbij de gegenereerde data de variabiliteit van real-world scenario's niet voldoende weerspiegelt, wat de effectiviteit van downstream-taken (zoals classificatie) beperkt. De kernvraag is hoe de diversiteit van synthetische data kan worden verbeterd zonder de bruikbaarheid (utility) voor specifieke taken te verliezen.

Methodologie

De auteurs introduceren Synthline, een configureerbare synthetische data-generator gebaseerd op een Feature Model (FM). Ze integreren twee mechanismen om de diversiteit te vergroten en evalueren deze op vier classificatietaken binnen Requirements Engineering (RE):

1. Defect-classificatie (identificeren van fouten in specificaties).
2. Functioneel vs. Niet-functioneel classificatie.
3. Kwaliteit vs. Niet-kwaliteit classificatie.
4. Beveiliging vs. Niet-beveiliging classificatie.

De twee geïntegreerde mechanismen zijn:

1. Multi-Sample Prompting:

   • In plaats van één voorbeeld per prompt, vraagt de prompt om meerdere voorbeelden (bijv. 20) in één keer.
   • Dit maakt gebruik van "within-context awareness" van de LLM om herhaling te verminderen.
   • Het biedt ook efficiency-voordelen: het vereist minder API-calls dan het genereren van individuele samples.

2. Prompt with Actor-Critic Editing (PACE):

   • Een geautomatiseerde prompt-optimalisatiecyclus die plaatsvindt vóór de hoofdgeneratie.
   • Actor: Genereert een batch samples op basis van de huidige prompt.
   • Critic: Evalueert deze samples en geeft feedback om de prompt te verfijnen.
   • Scoring: De functie maximaliseert de gemiddelde paarsgewijze cosine-afstand tussen de Sentence-BERT-embeddings van de gegenereerde samples, met als doel maximale semantische diversiteit.
   • Dit proces herhaalt zich voor een vast aantal iteraties om de beste prompt te selecteren.

Experimenteel Opzet:

• Model: GPT-4.1-nano (OpenAI) als backend.
• Varianten:
  • synthetic_1: Enkelvoudige samples (standaard).
  • synthetic_20: Multi-sample prompting (20 samples per prompt).
  • synthetic_20_pace: Multi-sample + PACE-optimalisatie.
• Evaluatie:
  • Diversiteit: Gemeten via INGF (Inter-sample N-gram Frequency, lexicaal) en APS (Average Pairwise Similarity, semantisch).
  • Utility: Getrainde BERT-classificatoren op synthetische data, getest op een vastgehouden set van echte data (train-on-synthetic, test-on-real). De primaire metriek is de gewogen F1-score.

Belangrijkste Resultaten

1. Impact van Multi-Sample Prompting (RQ1):

• Diversiteit: Een significante verbetering. De datasets toonden 25-28% minder lexicaal herhaling (lagere INGF) en 22-28% minder semantische gelijkenis (lagere APS) vergeleken met enkelvoudige prompting.
• Utility: Consistente verbetering van de downstream prestaties. De F1-scores steeg met 6 tot 43,8 procentpunten over de verschillende taken. De grootste winst werd behaald bij de Beveiligingstaken (+43,8 pp).
• Conclusie: Multi-sample prompting verbetert zowel de diversiteit als de bruikbaarheid, zonder de labelnauwkeurigheid te schaden.

2. Impact van PACE (RQ2):

• Diversiteit: PACE verbeterde consistent de lexicaal diversiteit (10-19% lagere INGF), maar had een minimaal effect op de semantische diversiteit (APS).
• Utility: De resultaten waren taakafhankelijk en soms negatief:
  • Positief: Grote verbetering bij Functionele vereisten (+32,5 pp F1) en matige verbetering bij Kwaliteit (+1,9 pp).
  • Negatief: Duidelijke achteruitgang bij Beveiliging (-4,5 pp) en Defect-classificatie (-7,8 pp).
• Conclusie: Het optimaliseren van prompts puur voor diversiteit (via cosine-afstand) is riskant. Het kan leiden tot data die wel divers is, maar minder bruikbaar voor specifieke classificatiedoelen.

3. Vergelijking met Menselijke Data (RQ3):

• Synthetische data kon in bepaalde scenario's menselijk gegenereerde data evenaren of overtreffen.
• Bij Defect-classificatie (waar echte data schaars en onbalans was) presteerde synthetische data 15,4 procentpunten beter in F1-score dan de menselijke baseline.
• Bij taken met grote, bestaande datasets (zoals Functionele vereisten) bleef menselijke data echter superieur.

Bijdragen

1. Empirische Evaluatie: Het paper biedt het eerste uitgebreide bewijs dat multi-sample prompting zowel diversiteit als utility verbetert voor SDG, terwijl PACE alleen diversiteit garandeert en utility variabel maakt.
2. Synthline Tool: Publicatie van een open-source, configureerbare generator (Synthline) die deze mechanismen integreert, wat reproduceerbaarheid bevordert.
3. Inzicht in Trade-offs: Het benadrukt dat het maximaliseren van diversiteit niet automatisch leidt tot betere modelprestaties; scoring-functies voor prompt-optimalisatie moeten rekening houden met de specifieke downstream-taak.

Betekenis en Implicaties

• Efficiëntie: Multi-sample prompting biedt een kosteneffectieve manier om diverse datasets te genereren met minder API-calls.
• Schaalbaarheid: Synthetische data kan een oplossing bieden voor domeinen met schaarste aan gelabelde data (zoals privacy-gevoelige sectoren), mits de juiste prompting-strategie wordt gekozen.
• Voorzichtige Optimisatie: De bevindingen waarschuwen tegen het blindelings toepassen van "diversity-only" optimalisatie (zoals PACE met cosine-scoring). Voor succesvolle SDG moeten scoring-functies een balans vinden tussen diversiteit en de specifieke behoeften van de downstream-taak.
• Algemene Toepasbaarheid: Hoewel getest in Requirements Engineering, zijn de inzichten relevant voor elke sector waar LLMs worden gebruikt voor data-augmentatie, zoals gezondheidszorg, juridische domeinen en financiën.