Technische Samenvatting: Het ontrafelen van Fixed-Source Synthese versus Source Expansion in de schaling van synthetische data

Probleemstelling

Synthetische data is een standaardcomponent geworden bij het trainen van grote taalmodellen (LLM's), waarbij de prestaties van downstream-taken voorspelbaar schalen met de omvang van de dataset. Echter, bestaande schalingsstudies verwarren vaak twee verschillende routes voor het uitbreiden van synthetische datasets:

1. Source Expansion (SE): Het vergroten van de informatiebronnen door het toevoegen van zaadmaterialen (bijv. nieuwe documenten of vragen) of het overstappen op sterkere generatoren.
2. Fixed-Source Synthesis (FSS): Het vast houden van de bron (zaadvragen en teacher-model) terwijl het generatiebudget wordt opgeschaald (dat wil zeggen: meer reacties genereren per zaadvraag).

Voorgaand werk richt zich voornamelijk op SE, waardoor de opbrengsten van FSS onderbelicht blijven. Dit artikel beoogt FSS te isoleren om de schalingslimieten te bepalen, een voorspellende schalingswet voor FSS af te leiden, en de effectiviteit ervan te vergelijken met SE en diverse syntheseprotocollen bij een gelijkwaardig totaal budget aan samples.

Methodologie

De auteurs modelleren de synthetische datapijplijn als een tripel $(Q, T, p)$, waarbij $Q$ een pool van zaadvragen (seed-questions) is, $T$ een teacher-model, en $p$ een syntheseprotocol. Zij isoleren FSS door $(Q, T)$ vast te houden en alleen het aantal reacties per vraag $r$ te variëren via Rejection Sampling (RS).

Experimentele Opzet:

• Domeinen: Wiskunde en Natuurkunde (afkomstig van SuperGPQA).
• Modellen: Het primaire teacher-model is DeepSeek-V3.1 ($T_{DS}$); het primaire student-model is Qwen2-7B-Instruct ($S_{Q7}$). Cross-pair controles gebruiken Qwen2.5-72B ($T_{Q72}$) en Llama-3.1-8B ($S_{L8}$).
• Baseline Protocol: RS met temperatuur 1.2, waarbij tot maximaal 32 correcte reacties per zaadvraag worden verzameld.
• Evaluatiemetriek: Mean@8 (het gemiddelde deel van de correcte reacties wanneer 8 student-outputs worden gesampled bij temperatuur 0.7).
• Schaal: De studie omvatte ongeveer 2 miljard teacher-inference tokens en meer dan 500 student fine-tuning runs.

Onderzoeksvragen (RQ's):

1. RQ1 (FSS Schaling): Verbeteren de student-accuratesse met FSS wanneer $(Q, T)$ vaststaat, en hoe schaalt de winst met $r$?
2. RQ2 (SE vs. FSS): Hoe verhouden de winsten van SE (toevoegen van zaadvragen) zich tot FSS (verhogen van $r$) bij een gelijkwaardig totaal aantal samples?
3. RQ3 (Protocol Effectiviteit): Presteren geavanceerde syntheseprotocollen (diversificatie, selectie, herschrijven) binnen FSS beter dan plain RS?

Belangrijkste Bijdragen en Resultaten

1. FSS Schalingswet en Verminderde Meeropbrengst (RQ1)

De auteurs leiden een specifieke schalingsvorm voor FSS af op basis van de "quanta view" van leren, waarbij kenmerken binair worden gedekt (geleerd of niet). In tegen tegenstelling tot standaard schalingswetten, waarbij de datagrootte de as is, schaalt FSS een vaste bron.

• Afgeleide Vorm: De prestatie $P(r)$ volgt een power-law verval naar een door de bron bepaalde plafondwaarde:
  $$P(r) \approx P_{\infty} - A r^{-\alpha}$$
  Hier is $P_{\infty}$ het plafond bepaald door de vaste bron $(Q, T)$, en niet door de intrinsieke ruis van de taak.
• Bevindingen: FSS verbetert de student-accuratesse consistent, maar de winsten nemen snel af naarmate $r$ toeneemt. De curve verzadigt eerder bij zwakkere teachers.
• Voorspelling: Een vorm die is aangepast op lage budgetten ($r \le 16$) voorspelt succesvol de prestaties bij het gehouden budget met de hoogste capaciteit ($r=32$) voor alle teacher-student paren.

2. Source Expansion Presteert Beter dan Fixed-Source Schaling (RQ2)

De studie vergelijkt SE (vergroten van het aantal zaadvragen $|Q|$) met FSS (vergroten van het aantal reacties $r$) bij een gelijkwaardig totaal aantal voorbeelden ($B = |Q| \times r$).

• Bevindingen: Bij kleine budgetten zijn SE en FSS vergelijkbaar. Echter, naarmate het budget groter wordt, presteert het uitbreiden van de werkelijke zaadvraagset (SE) aanzienlijk beter dan het besteden van hetzelfde budget aan meer reacties van minder zaadvragen.
• Vraag-synthese: Het synthetiseren van nieuwe vragen vanuit bestaande zaadvragen (een FSS-variant) levert geen winst op ten opzichte van plain RS wanneer ze gelijk worden gesteld op het totaal aantal samples. Het schijnbare voordeel van prompt-synthese in eerder werk wordt toegeschreven aan budgeteffecten in plaats van de kwaliteit van de synthese.

3. Beperkte Effectiviteit van Syntheseprotocollen (RQ3)

Onder een vaste $(Q, T)$ evalueerden de auteurs diverse protocollen tegenover plain RS, waaronder:

• Temperatuurvarianten (0.6, 0.001).
• Embedding-gebaseerde diversiteitsselectie.
• Persona prompting.
• Judge-free filtering (toelaten van foutieve sporen).
• Trace-level repair (herschrijven $\to$ controleren $\to$ herstellen).
• Bevindingen: Hoewel deze protocollen erin slaagden hun doelgerichte intrinsieke metrieken te verschuiven (bijv. diversiteit, ruisniveaus), verbeterde geen van hen de student-prestaties consistent ten opzichte van plain RS over de gehele budget-sweep. De winsten van protocolwijzigingen zijn verwaarloosbaar zodra de bron vaststaat.

4. Robuustheid op Heterogene Bronnen

Experimenten op een gemengde STEM-dataset bevestigden dat de FSS-grens standhoudt, zelfs met heterogene bronnen. Bij gelijkwaardige budgetten blijft het vergroten van de dekking van werkelijke zaadvragen (SE) superieur aan het verhogen van het aantal reacties op een kleinere pool.

Betekenis en Claims

Het artikel claimt een gecontroleerde setting te bieden voor het evalueren van synthetische data schaling door het onderscheid te maken tussen source expansion en binnen-bron synthese.

• Begrensde Schaling: FSS is een begrensde schalingsas. Het verbetert de prestaties, maar wordt beperkt door het "bron-plafond" ($P_{\infty}$) dat wordt gedefinieerd door de zaadpool en de kracht van de teacher.
• Protocol Evaluatie: De fixed-source setting dient als een rigoureuze controle voor het vergelijken van syntheseprotocollen. De auteurs stellen vast dat onder vaste bronnen, variaties in protocollen weinig bijdragen vergeleken met de fundamentele keuze voor source expansion.
• Resource Allocatie: Voor beoefenaars suggereren de resultaten dat wanneer men synthetische data schaalt, het toevoegen van nieuwe, diverse zaadvragen (Source Expansion) een betrouwbaardere strategie is dan simpelweg het verhogen van het generatiebudget op een vaste set zaadvragen of het vertrouwen op complexe syntheseprotocollen.

De auteurs concluderen dat eerdere toeschrijvingen van winsten aan "synthetische data schaling" vaak de voordelen van source expansion hebben verward met die van verhoogde sampling of protocolverfijning. Door FSS te isoleren, demonstreren zij dat hoewel het een geldige schalingsroute is, het inherent begrensd is en minder effectief is dan het uitbreiden van de ondersteuning van de bron.