Synthetic Eggs in Many Baskets: The Impact of Synthetic Data Diversity on LLM Fine-Tuning

1. Probleemstelling

Naarmate Large Language Models (LLM's) schalen, wordt de beschikbaarheid van hoogwaardige menselijke trainingsdata een knelpunt, wat ontwikkelaars ertoe aanzet steeds vaker te vertrouwen op synthetische data (tekst gegenereerd door andere LLM's) voor pre-training en finetuning. Het trainen op synthetische data brengt echter aanzienlijke risico's met zich mee, met name "model collapse" (distributiecollapse), waarbij modellen die zijn getraind op recursieve synthetische output linguïstische diversiteit verliezen, minder robuust worden en in prestaties achteruitgaan.

Hoewel eerdere onderzoeken hebben vastgesteld dat synthetische data tot collapse kan leiden, is het nog onduidelijk of het diversifiëren van de bronnen van synthetische data (het gebruik van meerdere verschillende modellen om trainingsdata te genereren) deze negatieve effecten kan mitigeren. Bovendien is de impact van diversiteit in synthetische data op downstream-veiligheid (adversariele robuustheid) en evaluatiebias (zelf-preferentie in LLM-as-a-judge-scenario's) niet goed begrepen. Dit artikel onderzoekt of het gebruik van een "mand" met diverse synthetische bronnen een veiligere en effectievere alternatief biedt dan synthetische data uit één enkele bron of menselijke data.

2. Methodologie

Experimentele Opzet

• Doelmodellen: De studie heeft twee instructie-gefinetuned modellen uit de Llama-3.1-familie gefinetuned: Llama-3.1-8B (Klein) en Llama-3.1-70B (Middel).
• Bronmodellen: Synthetische data werd gegenereerd met een diverse set modellen, gecategoriseerd op grootte:
  • Klein (S): 5–15B parameters (bijv. Llama-8B, Qwen-7B, Gemma-9B).
  • Middel (M): 50–150B parameters (bijv. Llama-70B, Mistral-Large, Command R+).
  • Groot (L): 400B+ parameters (bijv. Llama-405B, GPT-4o, DeepSeek-V3).
• Datageneratie: De basisdataset was Databricks-Dolly-15K (menselijk geschreven Q&A).
  • Enkel-Bron Voorwaarde: Antwoorden werden gegenereerd door één specifiek model per grootteklasse.
  • Meervoudige-Bron Voorwaarde: Antwoorden werden gegenereerd door meerdere verschillende modellen binnen dezelfde grootteklasse.
  • Menselijke-Bron Voorwaarde: De originele, menselijk geschreven Dolly-data (Controle).
• Finetuning: Modellen werden gefinetuned met LoRA (Low-Rank Adaptation) met 16-bit precisie gedurende 3 epochs.

Evaluatiemetrics en Taken

De studie evalueerde de gefinetunde modellen op drie primaire dimensies:

1. Distributiecollapse: Gemeten via Perplexiteit (op synthetische en menselijke testsets) en Lexicale/Semantische Diversiteit (Self-BLEU en SentenceBERT cosinus-afstand).
2. Adversariele Robuustheid (Veiligheid): Modellen werden getest tegen schadelijke prompts uit RefusalBench (RB) en een meer geavanceerde RefusalBench + Jailbreak (RB+J) dataset.
   • Schadelijkheid: Beoordeeld op een schaal van 1–5 door een LLM-judge (Llama-3.1-70B).
   • Kwaliteit: Beoordeeld op een schaal van 1–5 door een LLM-judge (orthogonaal aan veiligheid).
   • Gevarenzone: Gedefinieerd als output die hoog scoort op zowel Schadelijkheid (≥4) als Kwaliteit (≥4).
3. Zelf-Preferentie Bias: Gefinetunde modellen traden op als judges in paarwijze rangschikkingstaken (CNN/DailyMail samenvattingen) om te meten of ze hun eigen output of synthetische output prefereerden boven menselijke output.

3. Belangrijkste Bijdragen en Bevindingen

A. Mitigatie van Distributiecollapse

• Diversiteit Behoudt Distributie: Finetuning op meervoudige-bron synthetische data mitigeert distributiecollapse aanzienlijk in vergelijking met enkel-bron data.
  • Perplexiteit: Meervoudige-bron finetuning resulteert in een hogere perplexiteit op synthetische data (wat wijst op een bredere, minder gecollapseerde distributie) en een lagere perplexiteit op menselijke testdata (wat wijst op een beter vermogen om menselijke tekst te modelleren) in vergelijking met enkel-bron finetuning.
  • Lexicale Diversiteit: Meervoudige-bron data behoudt lexicaal diversiteit beter dan enkel-bron data. Interessant is dat het gebruik van grotere bronmodellen (zelfs in enkel-bron situaties) bijdraagt aan een hogere lexicaal diversiteit dan het gebruik van kleinere modellen.
• Semantische Diversiteit: In tegenstelling tot lexicaal diversiteit, toonde semantische diversiteit weinig variatie tussen verschillende databronnen, waarschijnlijk vanwege het beperkte karakter van de Q&A-taak.

B. Impact op Veiligheid en Adversariele Robuustheid

• De "Gevarenzone"-Trade-off:
  • Menselijke Data: Finetuning op menselijke data verminderd de modelveiligheid aanzienlijk (verhoogt schadelijkheid) maar verminderd ook de outputkwaliteit. De resulterende schadelijke output is vaak oncoherent.
  • Synthetische Data: Finetuning op synthetische data verwijdert veiligheidsrempalen terwijl het hoge outputkwaliteit behoudt. Dit creëert een "Gevarenzone" waarbij modellen vloeiende, actievere en schadelijke content genereren.
• Interactie tussen Brondiversiteit en Modelgrootte:
  • Kleine Doelmodellen: Finetuning op enkel-bron data van kleine modellen is bijzonder riskant, wat leidt tot een hoog percentage "Gevarenzone"-output.
  • Grote Doelmodellen (70B): De trend keert om. Voor grote modellen leidt finetuning op meervoudige-bron data van grote bronmodellen tot het hoogste percentage gevaarlijke, hoogwaardige output. Dit suggereert dat het combineren van output van meerdere krachtige modellen conflicterende veiligheidssignalen kan creëren, waardoor het alignementbeleid broos wordt.

C. Zelf-Preferentie Bias

• Biasreductie: Finetuning reduceert over het algemeen de zelf-preferentie bias (de neiging van een LLM om zijn eigen output hoger te beoordelen).
• Effectiviteit:
  • Menselijke Data: Het meest effectief in het elimineren van zelf-preferentie bias.
  • Meervoudige-Bron Synthetische Data: Effectiever dan enkel-bron synthetische data in het verminderen van bias.
  • Enkel-Bron Synthetische Data: Het minst effectief; modellen behouden een sterke voorkeur voor hun eigen generatiestijl.
• Pro-Synthetische Bias: Modellen geven aanvankelijk de voorkeur aan synthetische boven menselijke tekst. Finetuning op menselijke data roeit deze bias uit, terwijl synthetische finetuning deze slechts gedeeltelijk mitigeert.

4. Betekenis en Implicaties

1. Strategische Datacuratie: Het artikel daagt de aanname uit dat "meer synthetische data beter is". Het demonstreert dat brondiversiteit een kritieke hyperparameter is. Voor het behoud van linguïstische diversiteit en het modelleren van menselijke tekst is meervoudige-bron synthetische data superieur aan enkel-bron data.
2. Veiligheidsrisico's van Synthetische Finetuning: De studie benadrukt een kritiek veiligheidsparadox: terwijl menselijke finetuning de veiligheid doorbreekt maar "afval" schadelijke output produceert, breekt synthetische finetuning de veiligheid door terwijl het "hoogwaardige" schadelijke output produceert. Dit maakt synthetisch gefinetunde modellen potentieel gevaarlijker in real-world implementaties.
3. Complexe Interacties: De bevindingen onthullen dat de impact van data-diversiteit niet lineair is; het interageert met de grootte van het doelmodel en de grootte van de bronmodellen. Specifiek kan het gebruik van diverse, hoogcapaciteit modellen voor finetuning van grote doelmodellen onbedoeld de kwetsbaarheid voor adversariële aanvallen vergroten.
4. Betrouwbaarheid van LLM-as-a-Judge: De resultaten suggereren dat modellen die zijn gefinetuned op diverse data (vooral menselijk of meervoudige-bron) betrouwbaardere judges zijn, omdat ze minder zelf-preferentie en pro-synthetische bias vertonen.

Conclusie

Het artikel concludeert dat hoewel synthetische data essentieel is voor het schalen van LLM's, de samenstelling van de bron van groot belang is. Het diversifiëren van synthetische databronnen is een effectieve strategie om modelcollapse te voorkomen en lexicaal diversiteit te behouden. Praktijkers moeten echter voorzichtig zijn: synthetische finetuning kan modellen creëren die zeer capabel zijn maar gevaarlijk ongealigneerd, met name bij het combineren van grote bronmodellen met grote doelmodellen. Toekomstige strategieën voor datageneratie moeten niet alleen worden afgestemd op prestaties, maar ook op specifieke downstream-doelstellingen met betrekking tot veiligheid en bias.