💬 NLP

When Does Generating More Help? Disentangling Fixed-Source Synthesis from Source Expansion in Synthetic Data Scaling

Diese Arbeit isoliert und analysiert Fixed-Source Synthesis (FSS), indem sie die Ausgangsmaterialien und Lehrer-Modelle konstant hält, während sie die Antwort-Budgets variiert, wodurch aufgezeigt wird, dass die FSS-Leistung über ein abgeleitetes Skalierungsgesetz vorhersagbar ist, Source Expansion jedoch letztlich die FSS bei großen Budgets übertrifft, was FSS als eine begrenzte, aber kontrollierte Achse zur Evaluierung synthetischer Datenprotokolle etabliert.

Ursprüngliche Autoren: Xu Guo, Jian Tong, Zhihui Lu, Qipeng Guo

Veröffentlicht 2026-07-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xu Guo, Jian Tong, Zhihui Lu, Qipeng Guo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Schüler (einem KI-Modell) beizubringen, wie man schwierige Mathe- oder Physikprobleme löst. Sie haben einen sehr klugen Lehrer (eine große KI) und ein Notizbuch mit Übungsaufgaben (die „Quelle“).

Die Arbeit stellt eine einfache, aber entscheidende Frage: Wenn Sie bessere Ergebnisse erzielen wollen, sollten Sie mehr Übungsaufgaben kaufen oder den Lehrer einfach dazu bringen, mehr Antworten auf dieselben wenigen Fragen zu schreiben?

Die Autoren bezeichnen diese beiden Ansätze als:

Source Expansion (SE - Quellen-Erweiterung): Ein größeres Notizbuch mit mehr einzigartigen Fragen kaufen.
Fixed-Source Synthesis (FSS - Synthese aus fester Quelle): Dasselbe Notizbuch behalten, aber den Lehrer bitten, für jede einzelne Frage 1, 2, 4 oder sogar 32 verschiedene Antworten zu schreiben.

Hier ist das, was sie herausgefunden haben, erklärt durch einfache Analogien:

1. Die „Mehr Antworten“-Strategie hat eine Decke (FSS)

Wenn Sie bei denselben wenigen Fragen bleiben und den Lehrer einfach nur bitten, immer mehr Antworten für sie zu schreiben, wird der Schüler zwar anfangs klüger, aber die Verbesserung stößt sehr schnell an eine Wand.

Die Analogie: Stellen Sie sich vor, Sie lernen für eine Prüfung, indem Sie nur drei Übungsfragen verwenden.
- Erste Antwort: Der Lehrer erklärt die Lösung klar. Sie lernen viel.
- Zweite Antwort: Der Lehrer erklärt es auf eine etwas andere Weise. Sie lernen ein wenig mehr.
- Zehnte Antwort: Der Lehrer wiederholt im Grunde nur dieselbe Logik mit leicht anderen Worten. Sie lernen nichts Neues mehr.
- Hundertste Antwort: Sie lernen nur noch die Stimme des Lehrers auswendig, nicht mehr die eigentliche Mathematik.

Die Arbeit fand heraus, dass das Schreiben von mehr Antworten auf dieselben Fragen nach einem gewissen Punkt einen abnehmenden Grenznutzen hat. Der Schüler stößt auf eine „Decke“, die dadurch bestimmt wird, wie gut der Lehrer ist und wie viele einzigartige Fragen Sie zu Beginn hatten. Egal wie oft Sie den Lehrer bitten, dieselben drei Fragen erneut zu erklären, der Schüler wird niemals die Konzepte lernen, die in den anderen 997 Fragen verborgen sind, die er nicht gesehen hat.

2. Die „Mehr Fragen“-Strategie ist besser (SE)

Als die Forscher ihr Budget verglichen – also ob sie es in mehr Antworten oder in mehr Fragen investieren sollten –, war der Gewinner fast immer mehr Fragen.

Die Analogie: Sie haben ein Budget von 100 $.
- Option A: Kaufen Sie 100 Kopien derselben 3 Übungsfragen und lesen Sie die Antworten jeweils 33 Mal.
- Option B: Kaufen Sie 100 verschiedene Übungsfragen und lesen Sie die Antwort zu jeder davon einmal.

Die Arbeit fand heraus, dass Option B (Source Expansion) den Schüler viel klüger macht. Selbst wenn Sie insgesamt weniger „Lerneinheiten“ haben, lehrt Sie das Sehen einer größeren Vielfalt an Problemen, wie man mit neuen Situationen umgeht. Wenn man bei denselben wenigen Problemen bleibt, selbst mit tausenden Antworten, bleiben Wissenslücken zurück.

3. „Umverpacken“ hilft nicht viel

Die Forscher testeten auch ausgeklügelte Tricks, um die „Mehr Antworten“-Strategie effektiver zu machen. Sie versuchten:

Den Lehrer zu bitten, eine bestimmte Rolle einzunehmen (Persona).
Die „unterschiedlichsten“ Antworten auszuwählen, um Vielfalt zu gewährleisten.
Den Lehrer Fehler machen zu lassen und diese dann zu korrigieren (Trace Repair).
Die Analogie: Es ist, als würde man dieselben drei Übungsfragen nehmen und versuchen, sie anders aussehen zu lassen, indem man die Schriftart, die Farbe des Papiers oder den Akzent des Lehrers ändert.
Das Ergebnis: Keiner dieser Tricks war besser als die einfache Methode, einfach nach mehr Antworten zu fragen (Rejection Sampling). Sobald man mit einem begrenzten Satz an Fragen feststeckt, hilft es nicht viel, die Art und Weise zu ändern, wie man nach Antworten fragt. Das Problem ist nicht der Stil der Antwort, sondern der Mangel an neuen Fragen.

Das große Fazit

Die Arbeit kommt zu dem Schluss, dass synthetische Datenskalierung zwei verschiedene Pfade hat:

Der „Mehr Antworten“-Pfad (Fixed-Source): Dieser ist nützlich für das Fine-Tuning und um zu prüfen, ob ein Protokoll funktioniert, aber er ist begrenzt. Man wird irgendwann am Ende der neuen Informationen sein, die aus derselben Quelle stammen.
Der „Mehr Fragen“-Pfad (Source Expansion): Dies ist der wahre Wachstumsmotor. Wenn Sie eine intelligentere KI bauen wollen, müssen Sie sie mit mehr einzigartigen, realen Beispielen (neuen Seeds) füttern und nicht nur mit mehr Variationen derselben alten Beispiele.

Kurz gesagt: Fragen Sie nicht immer wieder dieselbe Frage in der Hoffnung auf eine bessere Antwort. Finden Sie neue Fragen, die Sie stellen können.

Technisches Resümee: Entkopplung von Fixed-Source-Synthese und Source-Expansion in der Skalierung synthetischer Daten

Problemstellung

Synthetische Daten sind zu einem Standardbestandteil beim Training großer Sprachmodelle (LLMs) geworden, wobei die Downstream-Performance mit der Datensatzgröße vorhersagbar skaliert. Bestehende Skalierungsstudien konfundieren jedoch zwei unterschiedliche Wege zur Erweiterung synthetischer Datensätze:

Source Expansion (SE) [Quellen-Erweiterung]: Vergrößerung der Informationsquellen durch Hinzufügen von Seed-Materialien (z. B. neue Dokumente oder Fragen) oder den Wechsel zu stärkeren Generatoren.
Fixed-Source Synthesis (FSS) [Fixierte-Quelle-Synthese]: Beibehaltung der Quelle (Seed-Fragen und Teacher-Modell) bei gleichzeitiger Skalierung des Generierungsbudgets (d. h. Generierung von mehr Antworten pro Seed).

Vorherige Arbeiten konzentrierten sich überwiegend auf SE und lassen die Erträge von FSS untererforscht. Diese Arbeit zielt darauf ab, FSS zu isolieren, um deren Skalierungsgrenzen zu bestimmen, ein prädiktives Skalierungsgesetz für FSS abzuleiten und dessen Effektivität im Vergleich zu SE und verschiedenen Syntheseprotokollen bei angeglichenen Gesamt-Stichproben-Budgets zu vergleichen.

Methodik

Die Autoren modellieren die Pipeline der synthetischen Daten als Tripel $(Q, T, p)$ , wobei $Q$ ein Pool an Seed-Fragen ist, $T$ ein Teacher-Modell darstellt und $p$ ein Syntheseprotokoll ist. Sie isolieren FSS, indem sie $(Q, T)$ fixieren und nur das Antwort-Budget $r$ pro Frage mittels Rejection Sampling (RS) variieren.

Experimentelles Setup:

Domänen: Mathematik und Physik (aus SuperGPQA).
Modelle: Das primäre Teacher-Modell ist DeepSeek-V3.1 ( $T_{DS}$ ); das primäre Student-Modell ist Qwen2-7B-Instruct ( $S_{Q7}$ ). Cross-Pair-Checks nutzen Qwen2.5-72B ( $T_{Q72}$ ) und Llama-3.1-8B ( $S_{L8}$ ).
Baseline-Protokoll: RS mit einer Temperatur von 1,2, wobei bis zu 32 korrekte Antworten pro Seed-Frage gesammelt werden.
Evaluationsmetrik: Mean@8 (der mittlere Anteil korrekter Antworten beim Sampling von 8 Student-Outputs bei einer Temperatur von 0,7).
Skala: Die Studie umfasste etwa 2 Milliarden Teacher-Inferenz-Token und über 500 Student-Fine-Tuning-Läufe.

Forschungsfragen (RQs):

RQ1 (FSS-Skalierung): Verbessert FSS die Genauigkeit des Studenten, wenn $(Q, T)$ fixiert sind, und wie skaliert der Gewinn mit $r$ ?
RQ2 (SE vs. FSS): Wie vergleichen sich die Gewinne aus SE (Hinzufügen von Seeds) mit denen von FSS (Erhöhen von $r$ ) bei angeglichenen Gesamt-Stichproben-Budgets?
RQ3 (Protokoll-Effektivität): Übertreffen fortgeschrittene Syntheseprotokolle (Diversifizierung, Selektion, Umschreiben) innerhalb von FSS das einfache RS?

Zentrale Beiträge und Ergebnisse

1. FSS-Skalierungsgesetz und abnehmende Erträge (RQ1)

Die Autoren leiten eine spezifische Skalierungsform für FSS basierend auf der „Quanta-Ansicht“ des Lernens ab, bei der Merkmale binär abgedeckt werden (gelernt oder nicht gelernt). Im Gegensatz zu Standard-Skalierungsgesetzen, bei denen die Datengröße die Achse bildet, skaliert FSS eine feste Quelle.

Abgeleitete Form: Die Performance $P(r)$ folgt einem Potenzgesetz-Abfall hin zu einer durch die Quelle bestimmten Decke:
$P(r) \approx P_{\infty} - A r^{-\alpha}$
Hierbei ist $P_{\infty}$ die durch die feste Quelle $(Q, T)$ bestimmte Decke, nicht das intrinsische Rauschen der Aufgabe.
Ergebnisse: FSS verbessert die Genauigkeit des Studenten konsistent, aber die Gewinne nehmen mit steigendem $r$ rapide ab. Die Kurve sättigt bei schwächeren Teachern früher.
Vorhersage: Eine auf niedrigen Budgets ( $r \le 16$ ) angepasste Form sagt die Performance beim gehaltenen höchsten Budget ( $r=32$ ) für alle Teacher-Student-Paare erfolgreich voraus.

2. Source Expansion übertrifft Fixed-Source Scaling (RQ2)

Die Studie vergleicht SE (Erhöhen der Anzahl der Seed-Fragen $|Q|$ ) mit FSS (Erhöhen der Antworten $r$ ) bei angeglichenen Gesamtzahl der Stichproben ( $B = |Q| \times r$ ).

Ergebnisse: Bei kleinen Budgets sind SE und FSS vergleichbar. Mit wachsendem Budget jedoch übertrifft die Erweiterung des realen Seed-Fragen-Sets (SE) signifikant die Verwendung desselben Budgets für mehr Antworten aus weniger Seeds.
Fragensynthese: Die Synthese neuer Fragen aus bestehenden Seeds (eine FSS-Variante) liefert keinen Gewinn gegenüber einfachem RS, wenn sie auf die Gesamtzahl der Stichproben abgeglichen wird. Der scheinbare Vorteil von Prompt-Synthese in früheren Arbeiten wird auf Budget-Effekte und nicht auf die Qualität der Synthese zurückgeführt.

3. Begrenzte Effektivität von Syntheseprotokollen (RQ3)

Unter der Bedingung eines fixierten $(Q, T)$ evaluierten die Autoren verschiedene Protokolle gegen einfaches RS, darunter:

Temperatur-Varianten (0,6, 0,001).
Embedding-basierte Diversitätsselektion.
Persona-Prompting.
Judge-freie Filterung (Zulassen falscher Spuren/Traces).
Trace-level Repair (Umschreiben $\to$ Prüfen $\to$ Korrigieren).
Ergebnisse: Obwohl diese Protokolle ihre gezielten intrinsischen Metriken (z. B. Diversität, Rauschpegel) erfolgreich verschoben, verbesserte keines davon konsistent die Student-Performance gegenüber einfachem RS über den gesamten Budget-Verlauf. Die Gewinne durch Protokolländerungen sind vernachlich, sobald die Quelle fixiert ist.

4. Robustheit auf heterogenen Quellen

Experimente auf einem gemischten STEM-Datensatz bestätigten, dass die FSS-Grenze auch bei heterogenen Quellen bestehen bleibt. Bei angeglichenen Budgets bleibt die Erhöhung der Abdeckung realer Seed-Fragen (SE) überlegen gegenüber der Erhöhung der Antwortzahlen auf einem kleineren Pool.

Bedeutung und Behauptungen

Das Paper beansprucht, einen kontrollierten Rahmen zur Evaluierung der Skalierung synthetischer Daten zu bieten, indem es die Source Expansion von der Synthese innerhalb der Quelle entkoppelt.

Begrenzte Skalierung: FSS ist eine begrenzte Skalierungsachse. Sie verbessert die Performance, ist aber durch die „Source Ceiling“ ( $P_{\infty}$ ) begrenzt, die durch den Seed-Pool und die Stärke des Teachers definiert wird.
Protokoll-Evaluierung: Das Fixed-Source-Setting dient als rigorose Kontrolle für den Vergleich von Syntheseprotokollen. Die Autoren stellen fest, dass unter fixierten Quellen Protokoll-Variationen im Vergleich zur fundamentalen Entscheidung für Source Expansion wenig beitragen.
Ressourcenallokation: Für Praktiker legen die Ergebnisse nahe, dass es bei der Skalierung synthetischer Daten eine zuverlässigere Strategie ist, neue, diverse Seed-Fragen hinzuzufügen (Source Expansion), als lediglich das Generierungsbudget auf einem festen Satz von Seeds zu erhöhen oder sich auf komplexe Syntheseprotokolle zu verlassen.

Die Autoren kommen zu dem Schluss, dass frühere Zuschreibungen von Gewinnen an „synthetische Datenskalierung“ oft die Vorteile der Source Expansion mit denen von erhöhtem Sampling oder Protokollverfeinerung konfundiert haben. Durch die Isolierung von FSS zeigen sie, dass dies zwar ein valider Skalierungsweg ist, dieser aber inhärent begrenzt und weniger effektiv ist als die Erweiterung des Source-Supports.