💬 NLP

Spokes: Optimizing for Diverse Pretraining Data Selection

Das Paper stellt SPOKES vor, ein probabilistisches Diversifizierungs-Framework, das die Datendiversität direkt unter Verwendung des G-Vendi-Scores und des exponentiellen Gradientenabstiegs optimiert, wobei demonstriert wird, dass die gemeinsame Auswahl von Prätraining-Daten sowohl für Qualität als auch für Diversität die bestehenden Baselines sowie das Zufallssampling in der Downstream-Performance signifikant übertrifft.

Ursprüngliche Autoren: Clarence Lee, Yejin Choi, Luke Zettlemoyer, Pang Wei Koh, Hai Leong Chieu

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Clarence Lee, Yejin Choi, Luke Zettlemoyer, Pang Wei Koh, Hai Leong Chieu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Chefkoch, der versucht, ein perfektes, riesiges Festmahl (ein vortrainiertes KI-Modell) zu kreieren, wofür Ihnen jedoch nur eine begrenzte Menge an Zutaten (Daten) zur Verfügung steht. Sie haben ein Lagerhaus voller Millionen von Rezepten, aber Sie können nur mit einer bestimmten Anzahl dieser Rezepte kochen.

Die große Frage lautet: Welche Rezepte sollten Sie auswählen?

Die meisten Köche (KI-Forscher) haben zwei Hauptwege, um die Auswahl zu treffen:

Eine Handvoll wahllos greifen: Sie könnten eine gute Mischung erhalten, aber Sie könnten versehentlich 50 Rezepte auswählen, die alle exakt wie „scharfes Hähnchen“ schmecken. Das ist langweilig und repetitiv.
Nur die „besten“ bewerteten Rezepte wählen: Sie filtern die schlechten heraus, aber Sie könnten am Ende mit 50 Rezepten enden, die alle „gehobene französische Küche“ sind. Sie vermissen die Vielfalt. Es fehlt Ihnen an Abwechslung – etwa Street Food, Desserts oder Suppen. Es fehlt Ihnen an Varianz.

Dieses Paper stellt ein neues Werkzeug namens SPOKES vor (was für eine Methode zur Optimierung der Datendiversität steht). So funktioniert es, einfach erklärt:

Das Problem: „Diversität“ ist schwer zu messen

Die Autoren sagen, dass „Diversität“ wie die Speichen eines Rades ist. Wenn alle Speichen in einem einzigen Bereich zusammengeklumpt sind, ist das Rad unausgewogen und wird nicht gut rollen. Man möchte, dass die Speichen (Ihre Daten) gleichmäßig über den gesamten Kreis verteilt sind.

Das Problem ist, dass man ein einzelnes Rezept nicht isoliert betrachten kann, um zu sehen, ob es divers ist. Man muss sehen, wie jedes Rezept mit jedem anderen Rezept interagiert. Wenn man versucht, jede mögliche Kombination von Rezepten zu prüfen, um das perfekte Rad zu finden, würde dies länger dauern, als das Universum existiert. Es ist zu komplex zu berechnen.

Die Lösung: SPOKES

Anstatt zu raten oder einfache Regeln zu verwenden (wie „nach Themen gruppieren“), nutzt SPOKES einen cleveren mathematischen Trick, um die Diversität direkt zu optimieren.

1. Der „Gradient“-Kompass
Anstatt nur den Text der Rezepte zu lesen (was so ist, als würde man nur auf den Buchdeckel schauen), betrachtet SPOKES, wie das Rezept das Gehirn des Kochs verändert. In der KI-Terminologie nennt man das einen „Gradienten“.

Stellen Sie sich zwei Rezepte vor: eines für einen Kuchen und eines für eine Pizza.
Wenn Sie dem Koch das Kuchenrezept beibringen, verschiebt sich sein Gehirn in eine Richtung.
Wenn Sie ihm das Pizzarezept beibringen, verschiebt sich sein Gehirnis in eine völlig andere Richtung.
SPOKES misst diese „Gehirn-Verschiebungen“. Es möchte Rezepte auswählen, die das Gehirn des Kochs in so viele verschiedene Richtungen wie möglich lenken, um sicherzustellen, dass der Koch ein breites Spektrum an Fähigkeiten lernt.

2. Die „Speichen“-Analogie
Die Methode behandelt die Daten wie die Speichen eines Rades. Sie verwendet einen mathematischen Score namens G-Vendi-Score, um zu messen, wie gleichmäßig die Speichen verteilt sind.

Zufällige Stichproben (Random Sampling): Die Speichen sind ungeordnet und geklumpt.
SPOKES: Es ordnet die Speichen so an, dass sie perfekt gleichmäßig verteilt sind, wie ein perfektes Fahrradrad.

3. Die Balance zwischen „Qualität“ und „Diversität“
Manchmal möchte man nur die qualitativ hochwertigsten Rezepte (Qualitätsfilterung). Manchmal möchte man die größte Vielfalt (Diversität). SPOKES ermöglicht es Ihnen, diese beiden Ziele zu mischten.

Sie können SPOKES sagen: „Ich möchte 90 % Vielfalt und 10 % Qualität“ oder „Ich möchte eine perfekte Balance aus beidem.“
Die Autoren fanden heraus, dass die besten Ergebnisse durch die Balance beider Faktoren erzielt wurden. Es ist vergleichbar mit einer Speisekarte, die sowohl die am höchsten bewerteten Gerichte als auch eine riesige Vielfalt an Küchen bietet, anstatt nur die top-bewerteten französischen Gerichte zu haben.

Was haben sie herausgefunden?

Die Autoren testeten dies auf zwei massiven „Bibliotheken“ von Internet-Texten (genannt DCLM und FineWeb).

Bessere Varianz: Als sie SPOKES nutzten, um 500.000 Dokumente auszuwählen, stieg der „Diversitäts-Score“ im Vergleich zur zufälligen Auswahl um 489 Punkte. Bestehende Methoden (wie das bloße Entfernen von Duplikaten) erreichten lediglich einen winzigen Sprung von 7 Punkten.
Intelligentere KI: Wenn sie ein kleines KI-Modell (LLaMA-1B) mit den von SPOKES ausgewählten Daten trainierten, wurde das Modell intelligenter.
- Auf dem DCLM-Datensatz verbesserte sich die Leistung um 1,5 Punkte.
- Auf dem FineWeb-Datensatz verbesserte sie sich um 1,4 Punkte.
Die Überraschung: Selbst wenn SPOKES Daten auswählte, die laut Standard-Filtern eine etwas geringere „Qualität“ aufwiesen, performte die KI besser. Dies beweist, dass Vielfalt genauso wichtig ist wie Qualität. Eine diverse Menge an „akzeptablen“ Rezepten lehrte den Koch mehr als eine Menge an „perfekten“, aber repetitiven Rezepten.

Das Fazit

SPOKES ist eine neue Methode zur Auswahl von Trainingsdaten für KI. Anstatt nur die „besten“ oder „zufälligen“ Daten zu wählen, stellt es mathematisch sicher, dass die Daten wie die Speichen eines Rades verteilt sind. Dies schafft ein ausgewogeneres, vielfältigeres und letztlich intelligenteres KI-Modell, selbst wenn man mit einer begrenzten Menge an Daten arbeitet.

Technisches Resümee: SPOKES – Optimierung für diverse Pretraining-Datenselektion

1. Problemstellung

Daten-Diversität ist ein entscheidender Faktor beim Aufbau von Pretraining-Korpora, da sie Redundanz reduziert und die Downstream-Performance unter einem festen Datenbudget verbessert. Die Optimierung der Diversität ist jedoch inhärent schwierig, da es sich um eine Eigenschaft auf Set-Ebene handelt, die von den Interaktionen zwischen den einzelnen Datenpunkten abhängt und nicht von individuellen Beispielen. Die direkte Optimierung der Diversität ist aufgrund der kombinatorischen Natur der Teilmengenwahl rechnerisch unpraktikabel, insbesondere im Maßstab des Pretrainings.

Bestehende Ansätze verlassen sich typischerweise auf Proxys oder Approximationen, wie etwa grobkörniges Clustering (nach Themen, Fähigkeiten oder unüberwachten Clustern) oder semantische Deduplikation. Während diese Methoden eine Repräsentation der Cluster sicherstellen, basieren sie auf niedrig aufgelösten Partitionen und versagen oft dabei, Informationen in der Long-Tail-Verteilung oder unterrepräsentiertem Wissen zu erfassen. Zudem behandeln aktuelle Methoden Diversitätsmetriken (wie den G-Vendi-Score) oft als Post-hoc-Evaluierungswerkzeuge statt als Optimierungsziele. Die zentrale Herausforderung, die diese Arbeit adressiert, ist die Frage, wie man zuverlässig diverse Teilmengen aus großskaligen Pretraining-Korpora extrahiert, um die Downstream-Ergebnisse zu verbessern, ohne sich auf Heuristiken zu verlassen, die nicht skalieren oder feinkörnige Diversität erfassen können.

2. Methodik: SPOKES

Die Autoren führen SPOKES (Spokes: Optimizing for Diverse Pretraining Data Selection) ein, ein skalierbares Framework, das Diversität direkt unter Verwendung des G-Vendi-Scores innerhalb eines probabilistischen Diversifizierungskonzepts optimiert.

2.1 Kernziel

Die Methode formuliert die Datenselektion als globales Optimierungsproblem, das gleichzeitig Qualität und Diversität maximiert. Gegeben sei ein Datensatz von $n$ Beispielen, ist das Ziel, eine Teilmenge $S$ der Größe $k$ zu wählen, die folgendes maximiert:
$\max_{S \subseteq [n], |S|=k} \alpha \ln \left( \frac{1}{k} \sum_{i \in S} q_i \right) + (1 - \alpha) \ln \text{Vendi}(K_S)$
Wobei:

$q_i$ den Qualitätswert des Beispiel $i$ darstellt (z. B. von einem FineWeb-Edu-Klassifikator).
$K_S$ der auf die ausgewählte Teilmenge beschränkte Ähnlichkeitskern ist.
$\alpha \in [0, 1]$ ein abstimmbarer Parameter ist, der den Trade-off zwischen Qualität und Diversität steuert.

2.2 Gradientenbasierte Diversität (G-Vendi)

Im Gegensatz zu traditionellen Methoden, die statische Embeddings verwenden, operiert SPOKES im Gradientenraum. Es berechnet Gradienten $\nabla_\theta \ell(x_i)$ bezüglich der Modellparameter $\theta$ für jeden Datenpunkt unter Verwendung eines Proxy-Modells. Der G-Vendi-Score misst die Diversität, indem er die Entropie des Spektrums der Ähnlichkeitsmatrix untersucht, die aus diesen Gradienten konstruiert wurde. Dieser Ansatz fördert die Orthogonalität unter Repräsentationsvektoren, wodurch Redundanzen in den Update-Richtungen reduziert und unabhängigere, informativere Optimierungsschritte gefördert werden.

2.3 Optimierung via Exponentiated Gradient Descent

Um das kombinatorische Problem der Teilmengenwahl zu lösen, verwendet SPOKES eine relaxierte Optimierungsstrategie:

Kontinuierliche Relaxation: Anstatt einer diskreten Selektion wird jedem Datenpunkt ein kontinuierlicher, nicht-negativer Gewichtungsvektor $w$ zugewiesen, der auf dem Simplex beschränkt ist ( $w \in \Delta_n$ ).
Kernkonstruktion: Ein gewichtshängiger Kern $K(w)$ wird definiert, dessen Einträge durch $\sqrt{w_i w_j}$ skaliert sind.
Optimierung: Das Ziel wird mittels Exponentiated Gradient Descent optimiert. In jeder Iteration werden die Gewichte via $w_i^{(t+1)} \propto w_i^{(t)} \exp(-\eta g_i^{(t)})$ aktualisiert und normalisiert, um ein Kollabieren auf wenige hochgewichtete Beispiele zu verhindern.
Diskrete Rekonstruktion: Nach der Konvergenz wird die endgültige Teilmenge durch Auswahl der Top- $k$ -Einträge des gelernten Gewichtungsvektors wiederhergestellt.

2.4 Skalierbarkeitsverbesserungen

Um diesen Ansatz im Maßstab des Pretrainings praktikabel zu machen, implementieren die Autoren mehrere Effizienzstrategien:

Trunkierte Gradienten: Anstatt vollständige Modellgradienten zu berechnen, approximiert die Methode diese unter Verwendung nur der letzten $n$ Transformer-Layer (typischerweise 2 Layer). Dies reduziert die Rechenkosten erheblich, während die Struktur des Ähnlichkeitskerns erhalten bleibt.
Johnson-Lindenstrauss (JL) Projektion: Um hochdimensionale Gradientenvektoren (z. B. 200 Mio. Parameter) zu handhaben, wenden die Autoren Zufallsprojektionen (Rademacher-Matrizen) an, um die Dimensionalität zu reduzieren. Empirische Ergebnisse zeigen, dass selbst niedrigdimensionale Projektionen (z. B. $k=1024$ ) eine hohe Stabilität der Teilmenge aufweisen (95,5 % Überlappung mit hochdimensionalen Referenzen).
Parallelisierung: Der Datensatz kann in disjunkte Teilmengen partitioniert werden, die unabhängig voneinander optimiert werden, was eine lineare Beschleunigung ermöglicht.

3. Zentrale Beiträge

SPOKES Framework: Einführung einer skalierbaren, prinzipienbasierten Technik zur Diversitätsoptimierung, die effizient im Maßstab moderner Pretraining-Datensätze arbeitet und über heuristisches Clustering hinausgeht.
Direkte G-Vendi Optimierung: Demonstration, dass der G-Vendi-Score direkt via Exponentiated Gradient Descent optimiert werden kann, um hochdiverse Teilmengen zu extrahieren, anstatt lediglich als Post-hoc-Metrik zu dienen.
Gemeinsame Qualitäts-Diversitäts-Optimierung: Nachweis, dass die gemeinsame Optimierung von Qualität und Diversität überlegene Ergebnisse liefert im Vergleich zur Optimierung eines einzelnen Ziels oder der Verwendung von Standard-Baselines.
Effizienzsteigerungen: Validierung, dass trunkierte Gradientenberechnung und Dimensionalitätsreduktion via JL-Projektion die Methode ermöglichen, auf massive Korpora zu skalieren, ohne prohibitive Rechenkosten zu verursachen.

4. Experimentelle Ergebnisse

Die Methode wurde auf zwei großskaligen Pretraining-Korpora evaluiert: DCLM (Dolmino-Subset, aggressiv gefiltert) und FineWeb (weniger aggressiv gefiltert). Modelle wurden von Grund auf auf einer LLaMA-1B Architektur mit 100 Milliarden Token trainiert.

4.1 Diversitätsmetriken

Steigerung des G-Vendi-Scores: Auf einer 500k-Stichprobe erreichte SPOKES eine Steigerung des G-Vendi-Scores um +489 Punkte im Vergleich zum Random Sampling. Im Gegensatz dazu erreichte die semantische Deduplikation (SemDeDup) lediglich eine Steigerung von +7 Punkten.
Batch-Diversität: Während des Trainings behielten durch SPOKES ausgewählte Batches konsistent höhere durchschnittliche Diversitätswerte (Anstieg von 315 auf 520 bei DCLM) im Vergleich zum Random Sampling bei.

4.2 Downstream-Performance

Die Evaluierung erfolgte anhand von 10 englischen Benchmarks der OLMES-Suite.

Nur Diversität: SPOKES (nur Diversität) verbesserte die durchschnittliche Downstream-Performance um +0,4 (DCLM) und +0,5 (FineWeb) Punkte gegenüber Random Sampling.
Gemeinsame Optimierung: Die stärksten Ergebnisse wurden durch die gemeinsame Optimierung von Qualität und Diversität erzielt. SPOKES erreichte Gewinne von +1,5 (DCLM) und +1,4 (FineWeb) Punkten gegenüber Random Sampling und übertraf damit alle Baselines, einschließlich semantischer Deduplikation und reiner Qualitätsfilterung.
Komplementäre Stärken: Die Ergebnisse deuten darauf hin, dass Qualität und Diversität unterschiedliche, aber komplementäre Eigenschaften erfassen. Während die Qualitätsfilterung bei wissensintensiven Benchmarks (z. B. MMLU) exzellent abschneidet, verbessert die Diversitätsoptimierung das Common-Sense-Reasoning (z. B. HellaSwag). Die gemeinsame Optimierung überbrückt diese Lücke und liefert über alle Aufgaben hinweg wettbewerbsfähige Ergebnisse.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die direkte Optimierung der Diversität sowohl im großen Maßstab handhabbar als auch praktisch vorteilhaft ist. Durch die Abkehr von grobkörnigen Approximationen und Heuristiken zeigt SPOKES, dass:

Diversität eine kritische Achse ist: Selbst ohne explizite Qualitätsüberwachung führt die Optimierung der Diversität zu konsistenten Gewinnen, was darauf hindeutet, dass eine diverse Gradienten-Repräsentation der Datenverteilung die Generalisierung verbessert.
Qualitätsmetriken unzureichend sind: Standard-Qualitätsmetriken erfassen den Nutzen von Daten nicht vollständig. Die gemeinsame Optimierung von Diversität kann komplementäre Trainingssignale liefern, die zu einer besseren Downstream-Performance führen, selbst wenn die ausgewählte Teilmenge einen niedrigeren durchschnittlichen Qualitätswert als eine reine Qualitäts-Baseline aufweist.
Skalierbarkeit: Die vorgeschlagene Methode extrahiert erfolgreich dichte, hochdiverse Teilmengen aus massiven Pretraining-Korpora und bietet damit eine praktikable Alternative zu bestehenden Selektions-Pipelines, die auf semantischer Deduplikation oder Random Sampling basieren.

Die Autoren positionieren SPOKES als Werkzeug zur Konstruktion hochwertiger und diverser Teilmengen und betonen, dass die Vorteile der Diversität zuverlässig über Datensätze mit unterschiedlichen Filterregimen und Rauschprofilen hinweg übertragen werden können.