💬 NLP

Is More Data Worth the Cost? Dataset Scaling Laws in a Tiny Attention-Only Decoder

Die Studie zeigt, dass bereits etwa 30 % der Trainingsdaten ausreichen, um in einem stark vereinfachten, reinen Aufmerksamkeits-Decoder-Modell rund 90 % der Genauigkeit des Voll-Datensatzes zu erreichen, was wertvolle Hinweise für die Kosten-Nutzen-Abwägung bei begrenzten Ressourcen liefert.

Ursprüngliche Autoren: Götz-Henrik Wiegand, Lorena Raichle, Rico Städeli, Tomas Hrycej, Bernhard Bermeitinger, Siegfried Handschuh

Veröffentlicht 2026-04-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Götz-Henrik Wiegand, Lorena Raichle, Rico Städeli, Tomas Hrycej, Bernhard Bermeitinger, Siegfried Handschuh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🍕 Die große Frage: Brauchen wir wirklich alles an Daten?

Stell dir vor, du möchtest einen Kochkurs geben, um einen perfekten Pizza-Teig zu backen.
Die alte Regel war: „Je mehr Rezepte du hast, desto besser wird dein Teig." Also hast du riesige Bibliotheken voller Kochbücher gekauft. Aber das kostet Zeit, Geld und Nerven.

Die Forscher aus diesem Papier haben sich gefragt: Muss man wirklich alle Bücher lesen, um ein Meister zu werden? Oder reicht es vielleicht, nur die besten 30 % zu lesen, um 90 % des Ergebnisses zu erreichen?

Um das herauszufinden, haben sie ein kleines, aber cleveres Experiment gemacht.

🔬 Das Experiment: Der „Mini-Koch" ohne Hilfskräfte

Normalerweise sind KI-Modelle riesige Monster, die schwer zu kontrollieren sind. Um die Sache klar zu sehen, haben die Forscher einen winzigen KI-Koch gebaut.

Der „Gedächtnis-Trainer": Dieser kleine Koch hat ein festes, vorgefertigtes Wörterbuch (die „Embeddings"). Er muss nicht erst lernen, was ein Wort bedeutet. Er kann sich das merken.
Keine Hilfskräfte: Normalerweise haben KIs viele kleine Helfer (die „MLP-Schichten"), die den Teig kneten. Unser kleiner Koch hat diese Helfer entfernt. Er muss den Teig also nur mit seinen eigenen Händen (der „Aufmerksamkeits-Mechanismus") kneten.
Das Ziel: Wir wollen genau sehen, wie viel besser er wird, wenn wir ihm einfach mehr Rezepte geben – und zwar ohne dass er durch andere Tricks (wie das Lernen neuer Wörter) „gecheatet" wird.

📈 Was haben sie herausgefunden?

Sie haben dem kleinen Koch immer größere Stapel von Rezepten gegeben (von winzigen Häufchen bis zu riesigen Bergen).

Das Ergebnis war überraschend klar:

Der Anfang ist riesig: Wenn du dem Koch von 0 auf 100 Rezepte gibst, wird er sofort viel besser. Das ist wie der erste große Sprung in der Lernkurve.
Der Abflachungseffekt (Diminishing Returns): Sobald er aber schon eine ganze Bibliothek (sagen wir, 30 % der Gesamtmenge) gelesen hat, bringt das Hinzufügen von noch mehr Büchern kaum noch etwas.
Die magische Zahl: Mit nur 30 % der Daten erreichte der kleine Koch bereits 90 % der Leistung, die er mit 100 % der Daten erreicht hätte.

Die Analogie:
Stell dir vor, du lernst eine Sprache.

Die ersten 100 Wörter (Hallo, Danke, Essen) bringen dich sofort weit.
Die nächsten 1.000 Wörter machen dich fließend.
Aber die nächsten 100.000 Wörter? Die bringen dich nur noch von „fast perfekt" zu „perfekt". Das kostet aber enorm viel Zeit.

💰 Die Kosten-Nutzen-Rechnung

Das ist der wichtigste Teil für jeden, der KI entwickelt:
Wenn du nur 30 % der Daten nimmst, sparst du dir 70 % der Rechenzeit und Energie.
Das ist wie beim Reisen: Du musst nicht das ganze Land durchqueren, um die schönsten Sehenswürdigkeiten zu sehen. Wenn du die Top-30-Städte besuchst, hast du schon 90 % des Erlebnisses, aber du hast nur 30 % der Reisezeit investiert.

🧠 Warum ist das wichtig?

Für kleine Labore: Du musst nicht Milliarden Dollar ausgeben, um gute Modelle zu trainieren. Oft reicht ein kleiner, gut gewählter Datensatz.
Für die Umwelt: Weniger Daten bedeuten weniger Stromverbrauch. Das ist grüner und nachhaltiger.
Die Theorie stimmt: Selbst bei diesen winzigen Modellen gilt das gleiche Gesetz wie bei den riesigen Industriemodellen: Mehr Daten sind gut, aber irgendwann lohnt sich der Aufwand nicht mehr.

🎯 Das Fazit

Die Forscher sagen: Hör auf, blind nach immer mehr Daten zu jagen.
Wenn du ein kleines Modell trainierst (oder sogar ein großes, wenn du schnell Ergebnisse brauchst), reicht oft ein kleiner, repräsentativer Ausschnitt der Daten völlig aus.

Es ist wie beim Lernen für eine Prüfung: Du musst nicht jedes einzelne Buch der Bibliothek lesen, um die Note „Sehr Gut" zu bekommen. Du musst nur die wichtigsten Kapitel verstehen. Und das spart dir eine Menge Zeit und Nerven!

Titel

Ist mehr Daten den Aufwand wert? Skalierungsgesetze von Datensätzen in einem winzigen Attention-Only-Decoder.

1. Problemstellung und Motivation

Das Training von Large Language Models (LLMs) ist extrem rechen- und datenintensiv. Während Skalierungsgesetze (Scaling Laws) zeigen, dass die Leistung mit zunehmender Datenmenge, Modellgröße und Rechenkapazität verbessert wird, bleiben die Implikationen in kontrollierten, kleinen Umgebungen wenig erforscht.

Herausforderung: In industriellen Maßstäben werden Modellgröße, Datenmenge und Rechenbudget oft gemeinsam skaliert, was es schwierig macht, den individuellen Beitrag der einzelnen Komponenten zu isolieren.
Ziel: Die Autoren untersuchen, ob die charakteristischen Gesetze der abnehmenden Erträge (diminishing returns) bei der Datenskalierung auch in „Tiny Models" (sehr kleinen Modellen) gelten, die primär auf dem Selbst-Aufmerksamkeitsmechanismus (Self-Attention) basieren. Dies ist besonders relevant für ressourcenbeschränkte Umgebungen wie kleine Forschungslabore.

2. Methodik und Experimentelles Setup

Architektur: Attention-Only Decoder

Um den Einfluss der Datensatzgröße zu isolieren, wurde eine stark reduzierte Architektur entwickelt, die auf dem 117M-GPT-2-Design basiert, aber folgende Einschränkungen aufweist:

Eingebettete Schichten (Embeddings): Die vortrainierten Token-Embeddings und die Ausgabe-Projektion (Output Projection) sind eingefroren (frozen). Dies verhindert, dass das Modell im kleinen Datensatz-Regime Zeit damit verbringt, Repräsentationen neu zu lernen, und isoliert das Lernen auf den Selbst-Aufmerksamkeitsmechanismus.
MLP-Entfernung: Die Multi-Layer-Perceptron (MLP)-Subschichten wurden vollständig entfernt. Da MLPs den Großteil der Parameter in einem Decoder-Block ausmachen, reduziert dies die Modellkapazität kontrolliert.
Trainierbare Parameter: Das Modell hat insgesamt ca. 79,6 Mio. Parameter, aber nur 2,36 Mio. Parameter sind trainierbar (reine Attention-Schichten).

Datensatz und Subsets

Datenquelle: „All the News 2.0" (ca. 2,7 Mio. Nachrichtenartikel), da dieser Datensatz nicht im ursprünglichen GPT-2-Trainingskorpus enthalten war.
Subsets: Es wurden verschachtelte Teilmengen (Nested Subsets) erstellt, die sich in der Größe verdoppeln ( $2^k$ Sequenzen, wobei $k$ von 7 bis 17 reicht). Dies reicht von sehr kleinen Mengen (ca. 128 Sequenzen) bis zum vollständigen Datensatz (ca. 131.072 Sequenzen).
Qualitätssicherung: Es wurde analysiert, ob zufällige Subsets die Token-Verteilung des Gesamtdatensatzes abbilden (mittels Jensen-Shannon-Divergenz). Schon moderate Subsets ( $2^{12}$ Sequenzen) zeigen eine fast identische Verteilung zum Gesamtkorpus.

Training

Hardware: Ein einzelner Tesla V100 GPU.
Hyperparameter: AdamW-Optimierer, Lernrate $3 \times 10^{-4}$ , Batch-Größe 16, 150 Epochen.
Design: Keine Learning-Rate-Scheduling oder Early Stopping, um den Einfluss der Datenmenge isoliert zu betrachten.

3. Wichtige Beiträge

Isolierte Architektur: Ein festes, kapazitätsbegrenztes Attention-Only-Modell, das MLPs entfernt und Embeddings einfriert, um reine Datenskalierungseffekte zu studieren.
Kontrollierte Skalierungsstudie: Eine systematische Analyse von Datensatzgrößen in einem kleinen Modell, die zeigt, dass Skalierungsgesetze auch im „Tiny-Model"-Bereich gelten.
Kosten-Leistungs-Analyse: Eine Charakterisierung des Trade-offs zwischen Trainingskosten und Leistung, die zeigt, dass moderate Datensatzgrößen den Großteil der Leistung bei deutlich reduzierten Kosten erreichen.
Robustheitsnachweis: Beweise, dass zufällige Subsets statistisch repräsentativ sind und die Ergebnisse nicht durch Sampling-Bias verzerrt werden.

4. Ergebnisse

Leistungssteigerung und abnehmende Erträge

Die Validierungsleistung (Token-Level-Accuracy) steigt glatt mit der Datensatzgröße, zeigt aber klare abnehmende Erträge.
Schlüsselerkenntnis: Mit nur etwa 30 % der Trainingsdaten wird bereits ca. 90 % der Genauigkeit erreicht, die mit dem vollständigen Datensatz erzielt wird.
Weitere Vergrößerung des Datensatzes führt zu nur noch marginalen Verbesserungen, während die Trainingskosten (Rechenzeit) fast linear steigen.

Kosten-Nutzen-Verhältnis

Um 90 % der maximalen Genauigkeit zu erreichen, sind nur 29 % der Trainingszeit und 26 % der Kosten im Vergleich zum Volltraining nötig.
Bei einem festen Rechenbudget (gleiche Anzahl an Optimierungsschritten) saturiert die Leistung ebenfalls schnell; zusätzliche Daten ohne entsprechende Erhöhung des Trainingsbudgets bringen keinen konsistenten Gewinn.

Skalierungsgesetz-Analyse

Der Vergleich mit den empirischen Skalierungsgesetzen von Kaplan et al. (2020) zeigt, dass die Leistung in diesem Experiment primär durch die Datenverfügbarkeit und nicht durch die Modellkapazität begrenzt ist.
Selbst bei unendlicher Modellkapazität wäre die Verlustverbesserung marginal, wenn keine zusätzlichen Daten vorhanden wären. Dies bestätigt, dass das beobachtete Plateau ein datenlimitiertes Regime darstellt.

5. Bedeutung und Fazit

Das Paper liefert wichtige praktische Erkenntnisse für ressourcenbeschränkte Umgebungen:

Effizienz: Für das Pretraining kleiner Modelle ist es oft ineffizient, den gesamten verfügbaren Datensatz zu nutzen. Stattdessen ist das Training auf repräsentativen Subsets mit frühem Stoppen (Early Stopping) eine fundierte Strategie.
Ressourcenoptimierung: Kleine Forschungslabore können durch die Nutzung moderater Datensatzgrößen (ca. 30 % des Gesamtkorpus) fast die volle Leistung erzielen und dabei Rechenkosten und Energieverbrauch drastisch senken.
Architektonische Validierung: Die Ergebnisse zeigen, dass Skalierungsgesetze auch für stark reduzierte, Attention-only-Architekturen gelten und dass diese Modelle als wertvolle experimentelle Substrate dienen können, um Skalierungsverhalten kostengünstig zu untersuchen.

Zusammenfassend beweist die Arbeit, dass „mehr Daten" ab einem bestimmten Punkt nicht mehr „mehr Wert" bietet, und liefert eine quantitative Grundlage für die Optimierung von Daten- und Rechenbudgets im Bereich der kleinen Sprachmodelle.