💬 NLP

Domain-Aware Scaling Laws Uncover Data Synergy

Dieses Paper formalisiert und quantifiziert „Datensynergie“ beim Pretraining von Sprachmodellen, indem es Beobachtungsdaten aus diversen Open-Weight-LLMs nutzt, um zu schätzen, wie verschiedene Dom Kombinationen interagieren, und demonstriert dabei, dass das vorgeschlagene Framework domänenagnostische Skalierungsgesetze übertrifft und die Modellperformenz-Rankings basierend auf optimalen gegenüber anti-optimalen Datenmischungen präzise vorhersagt.

Ursprüngliche Autoren: Kimia Hamidieh, Lester Mackey, David Alvarez-Melis

Veröffentlicht 2026-07-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kimia Hamidieh, Lester Mackey, David Alvarez-Melis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie backen den köstlichsten Kuchen der Welt. Lange Zeit dachten alle, dass nur die Menge des verwendeten Mehls entscheidend sei. Je größer der Mehlschüttel (Daten), desto besser der Kuchen (KI-Modell). Aber dieses neue Paper legt nahe, dass dies nur die halbe Wahrheit ist. Es stellt sich heraus, dass es genauso wichtig ist, was man in das Mehl mischt, wie die Gesamtmenge.

Die Forscher nennen dies „Datensynergie“. Denken Sie an ein Geheimrezept, bei dem bestimmte Zutaten nicht einfach nur addiert werden, sondern ihre Magie gegenseitig multiplizieren. Wenn man „Code“ und „Mathematik“ mischt, steigt der Kuchen höher auf, als wenn man sie getrennt backen würde. Aber wenn man „Bücher“ und „Code“ mischt, könnte der Teig seltsam werden und der Kuchen könnte in sich zusammenfallen. Das Paper argumentiert explizit gegen die alte Vorstellung, dass alle Datentoken austauschbar sind, wie identische Lego-Steine. Stattdessen zeigen sie, dass die spezifische Kombination von Daten beeinflusst, wie schnell die KI lernt.

Die „magische Mathematik“ des Mischens
Das Team hat nicht nur geraten; sie haben eine neue Reihe von Regeln (genannt „Skalierungsgesetze“) entwickelt, um dies zu messen. Sie untersuchten 52 verschiedene KI-Modelle, die bereits „in freier Wildbahn“ existierten und auf unterschiedlichen „Mischungen“ von Daten trainiert wurden, wie etwa Webseiten, Bücher, Code und mathematische Probleme.

Sie fanden zwei Arten von Magie:

Der „Boost“-Effekt: Einige Daten machen die KI einfach besser in spezifischen Aufgaben. Zum Beispiel macht das Training mit Code-Daten die KI signifikant besser darin, mathematische Probleme zu lösen. Das Paper fand heraus, dass für einen Coding-Test namens HumanEval der Synergie-Koeffizient für mathematische Daten +1,34 betrug, während der für Code-Daten bei +0,47 lag. Diese Werte geben an, wie sehr diese Datentypen die Lernrate im Vergleich zum Baselines beschleunigen, anstatt lediglich einen einfachen multiplikativen Boost für die Endpunktzahl darzustellen.
Der „Doppel-Boost“-Effekt: Das ist der wirklich coole Teil. Manchmal müssen zwei Arten von Daten gleichzeitig im Topf sein, um eine Superkraft freizusetzen. Das Paper legt nahe, dass wenn „Code“- und „Wissenschafts“-Daten zusammen auftreten, sie einen „Bonus“-Effekt erzeugen, der stärker ist als die bloße Summe ihrer individuellen Vorteile. Es ist wie bei Erdnussbutter und Gelee: Sie sind einzeln gut, aber zusammen ergeben sie ein Sandwich, das größer ist als die Summe seiner Teile.

Was sie ausschlossen
Das Paper ist sehr deutlich darüber, was nicht funktioniert. Es lehnt explizit die Idee ab, dass man einfach irgendwelche zufälligen Daten in die Mischung werfen kann und das gleiche Ergebnis erwartet. Sie zeigen auch, dass das bloße Zählen der Gesamtzahl der Wörter (Token) nicht ausreicht, um vorherzusagen, wie intelligent die KI wird. Tatsächlich war ihre Vorhersage der Leistung, wenn sie nur die Gesamtmenge der Daten verwendeten, völlig ungenau (mit einem niedrigen Genauigkeitswert von 0,17). Sobald sie jedoch anfingen, die Mischung der Daten zu berücksichtigen, wurden ihre Vorhersagen fast perfekt (sie erreichten eine Genauigkeit von 1,00).

Wie sicher sind sie sich?
Die Autoren sind vorsichtig damit, zu behaupten, sie hätten das KI-Training „gelöst“. Stattdessen schlagen sie diese Effekte vor und schätzen sie basierend auf der Beobachtung bestehender Modelle. Sie haben dies nicht nur am Computer simuliert; sie haben ihre Theorie tatsächlich in der realen Welt getestet.

Um zu beweisen, dass ihr „Rezept“ funktionierte, trainierten sie zwei winzige neue Modelle (eines mit 30 Millionen Parametern und eines mit 150 Millionen Parametern).

Sie fütterten ein Modell mit der „optimalen“ Mischung (viel Mathe- und Code-Daten für Coding-Aufgaben).
Sie fütterten das andere mit der „anti-optimalen“ Mischung (viel Bücher und Enzyklopädien für Coding-Aufgaben).

Das Ergebnis? Das „optimale“ Modell deklassierte das „anti-optimale“. Beim HumanEval-Coding-Test war die optimale Mischung auf der größeren Skala um 16,9 % besser als die ausgewogene Baseline, während die anti-optimale Mischung im Vergleich zur Leistung der Baseline um 21,9 % schlechter abschnitt. Dies bestätigt, dass ihre „Synergie“-Schätzungen korrekt vorhersagten, welche Mischung gewinnen würde.

Das Fazit
Das Paper legt nahe, dass die Zukunft beim Bau smarterer KI nicht nur darin besteht, mehr Daten zu sammeln, sondern die richtige Mischung an Daten zu finden. Es ist wie die Erkenntnis, dass man für den Bau einer Rakete nicht nur mehr Treibstoff braucht, sondern das richtige Verhältnis von Treibstoff zu Sauerstoff. Wenn man das Verhältnis falsch wählt, stottert die Rakete. Wenn man es richtig wählt, erreicht man vielleicht die Sterne. Die Autoren fanden heraus, dass für Coding- und Mathe-Aufgaben das Mischen von Code- und Mathe-Daten dieses perfekte Verhältnis ist, während das Mischen von Büchern und Code die Entwicklung tatsächlich verlangsamen kann. Es ist eine spielerische Erinnerung daran, dass in der Welt der KI Qualität und Kombination genauso wichtig sind wie Quantität.

Technisches Resümee: Domänenspezifische Skalierungsgesetze enthüllen Datensynergie

Problemstellung

Während der Fortschritt im maschinellen Lernen häufig auf die Skalierung der Modellgröße und des Datensatzvolumens zurückgeführt wird, wird die Zusammensetzung der Vortrainingsdaten oft als undifferenzierte Token-Anzahl behandelt. Empirische Belege deuten darauf hin, dass die Datenzusammensetzung entscheidend ist: Die Kombination von Datensätzen aus verschiedenen Domänen (z. B. Code, Mathematik, Web) liefert nicht-triviale Interaktionen, bei denen der gemeinsame Beitrag der Domänen den Summeffekt ihrer isolierten Effekte übersteigen oder unterschreiten kann. Diese Interaktionen, bezeichnet als Datensynergie, werden von Standard-Skalierungsgesetzen (z. B. Chinchilla), die davon ausgehen, dass alle Token unabhängig von ihrer Quelle gleichermaßen beitragen, derzeit übersehen. Bestehende Methoden behandeln Korpora entweder als homogen oder modellieren die Zusammensetzung, ohne die spezifischen Interaktionen zwischen den Domänen zu erfassen, wodurch sie nicht zwischen dem aggregierten Nutzen von mehr Daten und dem spezifischen Effekt ihrer Zusammensetzung unterscheiden können.

Methodik

Die Autoren schlagen domänenspezifische Skalierungsgesetze vor, ein Framework, das Datensynergie im Vortraining von Sprachmodellen formalisiert und quantifiziert. Anstatt sich auf kontrollierte Experimente mit einer großen Anzahl trainierter Modelle zu verlassen, nutzt dieser Ansatz die beobachtbare Variation über 52 Open-Weight Large Language Models (LLMs) mit diversen, dokumentierten Vortrainings-Mischungen.

Das Framework erweitert Standard-Skalierungsgesetze durch die Einführung zweier distinkter Arten von Synergiekoeffizienten:

First-Order Domain $\to$ Benchmark Synergy ( $\gamma_{j,k}$ ):
Dies erfasst, wie die Vortrainingsdaten aus einer spezifischen Domäne $k$ die Rate modifizieren, mit der der Verlust (Loss) auf einem spezifischen Benchmark $j$ sinkt, über den Erwartungswert der gesamten Token-Anzahl hinaus.
- Ein positives $\gamma_{j,k}$ deutet auf einen synergistischen Effekt hin, bei dem Tokens aus Domäne $k$ den Loss schneller reduzieren als der Basis-Skalierungsexponent $\beta_j$ .
- Ein negatives $\gamma_{j,k}$ impliziert Interferenz, bei der Tokens den Loss langsamer reduzieren.
- Mathematisch modifiziert dies den Datenskalierungsexponenten zu $\beta_j + \gamma_{j,k}$ , was die Datenterm basierend auf dem Anteil der Domäne und der absolenken Token-Anzahl reskaliert.
Second-Order Domain-Domain Synergy ( $\sigma_{kk'}$ ):
Dies erfasst nicht-additive Effekte, die entstehen, wenn zwei Domänen $k$ und $k'$ in der Trainingsmischung gemeinsam vorkommen.
- Diese Interaktionen werden als "Bonus-Tokens" modelliert, die nur existieren, wenn beide Domänen präsent sind, und skalieren mit dem kleineren der beiden Log-Token-Budgets.
- Der Interaktionsterm verschwindet, falls eine der beiden Domänen fehlt, was sicherstellt, dass das Modell echte Ko-Okkurrenz-Abhängigkeiten erfasst und keine einfachen additiven Effekte.
- Diese Koeffizienten werden über alle Benchmarks geteilt und spiegeln fundamentale Komplementaritäten oder Interferenzen innerhalb des Vortrainingskorpus selbst wider.

Schätzstrategie:
Die Parameter werden aus Beobachtungsdaten mittels eines zweistufigen Fitting-Verfahrens geschätzt:

Stufe 1: Ein domänenagnostischer Chinchilla-Baseline-Fit, um Priors für die Skalierungsexponenten zu etablieren.
Stufe 2: Ein Fit des vollständigen Synergie-Modells (First-Order oder Second-Order) unter Verwendung eines Huber-Loss für Robustheit gegenüber verrauschten Metadaten, $\ell_1$ - und $\ell_2$ -Regularisierung zur Erzwingung von Sparsamkeit (Sparsity) und Handhabung von Kollinearität sowie einem Prior auf den Datenskalierungsexponenten, um Trade-offs zwischen $\beta$ und $\gamma$ zu verhindern.
Validierung: Die Unsicherheit wird mittels Bootstrap-Resampling quantifiziert, und die Modellselektion stützt sich auf die Parameterstabilität über Kreuzvalidierungs-Folds hinweg.

Kernergebnisse

1. Verbesserte Vorhersagegenauigkeit

Die domänenspezifischen Modelle übertreffen die domänenagnostische Chinchilla-Baseline bei der Vorhersage der Performance auf gehaltenen Benchmarks signifikant.

First-Order (FO) Modell: Erreicht ein medianes kreuzvalidiertes $R^2$ von 0,906 über alle Benchmarks. Die Verbesserung ist am ausgeprägtesten bei Code-Benchmarks (HumanEval und MBPP), wo das Baseline- $R^2$ so niedrig wie 0,20–0,41 war, während das FO-Modell 0,88–0,92 erreichte.
Second-Order (SO) Modell: Erreicht ein medianes $R^2$ von 0,912 und verbessert die Vorhersagen auf Benchmarks wie GSM8K und IFEval weiter, bei denen First-Order-Effekte bereits stark waren.

2. Identifizierte Synergien und Interferenzen

Das Framework rekonstruiert stabile, interpretierbare Schätzungen der Dateninteraktionen:

Starke positive Synergien: Der robusteste Befund ist die gegenseitige Verstärkung zwischen den Domänen Code und Mathematik. Beispielsweise ist auf HumanEval $\gamma_{\text{code}} = +0,47$ und $\gamma_{\text{math}} = +1,34$ . Die Second-Order-Analyse zeigt eine starke paarweise Synergie ( $\sigma_{\text{code,math}} = +2,40$ ), was darauf hindeutet, dass ihr gemeinsames Vorkommen Vorteile liefert, die größer sind als die Summe ihrer individuellen Effekte. Code und Science zeigen ebenfalls eine starke positive Synergie ( $\sigma_{\text{code,science}} = +2,55$ ).
Negative Interferenz: Das Framework identifiziert konsistente Interferenz, insbesondere zwischen Books/Encyclopedia und Code Benchmarks, wobei die Präsenz dieser Domänen die Leistungssteigerungen bei Coding-Aufgaben verlangsamt.
Benchmark-Spezifität: Der Skalierungsexponent $\beta$ ist nicht statisch; er variiert signifikant basierend auf der Zusammensetzung. Beispielsweise reduziert das Entfernen von Code aus einer Mischung den Datenskalierungsexponenten auf HumanEval von 0,45 auf 0,18.

3. Validierung via Mischungsoptimierung

Um die Anwendbarkeit dieser beobachtungsbasierten Schätzungen zu testen, trainierten die Autoren Modelle (30M und 150M Parameter) auf Mischungen, die als optimal (Maximierung der Synergiekoeffizienten) und anti-optimal (Minimierung dieser) für drei Aufgaben vorhergesagt wurden: HumanEval, GSM8K und IFEval.

Ergebnisse: Die vorhergesagten optimalen Mischungen übertrafen die anti-optimalen Mischungen konsistent über alle Aufgaben und Skalen hinweg.
Größenordnung: Auf HumanEval bei 30M Parametern erreichte die optimale Mischung eine Verbesserung von 12,4 % in Bits-per-Byte (BPB) gegenüber der balancierten Baseline, während die anti-optimale Mischung 18,6 % schlechter abschnitt. Bei 150M vergrößerte sich die Lücke, wobei die optimale Mischung eine Verbesserung von 16,9 % gegenüber der Baseline zeigte.
Fazit: Die rein aus Beobachtungsdaten abgeleiteten Synergie-Schätzungen konnten die Performance-Rankings erfolgreich vorhersagen, was bestätigt, dass die identifizierten Interaktionen für die Datenkuratierung handlungsrelevant sind.

Bedeutung und Ansprüche

Das Paper beansprucht, die erste formale, quantifizierbare Definition von Datensynergie zu liefern, die den aggregierten Nutzen des Datenvolumens vom Effekt der Zusammensetzung trennt. Durch den Schritt über domänenagnostische Skalierungsgesetze hinaus demonstrieren die Autoren:

Tokens sind nicht austauschbar: Der Wert eines Tokens hängt stark von den anderen in der Trainingsmischung anwesenden Domänen ab.
Synergie ist aus Beobachtung rekonstruierbar: Trotz des Fehlens kontrollierter Interventionen können stabile und interpretierbare Synergiekoeffizienten aus bestehenden Open-Weight-Modellen geschätzt werden.
Handlungsrelevante Erkenntnisse: Diese Schätzungen bieten ein fundiertes Werkzeug für die Datenkuratierung, das es Praktikern ermöglicht, Vortrainingsmischungen zu entwerfen, die spezifische Fähigkeiten (z. B. logisches Denken oder Programmieren) maximieren, indem sie identifizierte Synergien nutzen und Interferenzen vermeiden.

Die Autoren weisen auf Limitationen hin, einschließlich der Abhängigkeit von Beobachtungsdaten (die Assoziation statt strikter Kausalität etablieren) und der geringen Skalierung der Validierungsexperimente. Sie schlagen vor, dass zukünftige Arbeiten prüfen sollten, ob diese Synergien bei größeren Modellskalen bestehen bleiben und ob sie auch unter Supervised Fine-Tuning oder Reinforcement Learning fortwirken.