🤖 AI

GRACE: Gradient-aligned Reasoning Data Curation for Efficient Post-training

GRACE ist eine skalierbare, belohnungsmodellfreie Methode zur Datenselektion, die die Effizienz des Nachtrainierens verbessert, indem sie durch gradientenabgestimmte Signale auf Ebene der einzelnen Schritte Reasoning-Daten bewertet und auswählt und dabei mit nur 5 % des Datensatzes die Leistung des vollständigen Datensatzes erreicht.

Ursprüngliche Autoren: Junjie Li, Ziao Wang, NingXuan Ma, Jianghong Ma, Xiaofeng Zhang

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junjie Li, Ziao Wang, NingXuan Ma, Jianghong Ma, Xiaofeng Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: „Das Ganze ist nicht gleich der Summe seiner Teile"

Stellen Sie sich vor, Sie versuchen, einem Schüler beizubringen, ein komplexes Matheproblem zu lösen. Sie geben ihm eine Textbuchseite, die die vollständige Lösung zeigt: Schritt 1, Schritt 2, Schritt 3, bis hin zur endgültigen Antwort.

Der alte Weg (Aktuelle Methoden):
Die meisten KI-Trainingsysteme behandeln diese gesamte Seite als eine einzige „gute" oder „schlechte" Lektion. Wenn die endgültige Antwort korrekt ist, erhält die gesamte Seite einen goldenen Stern. Wenn die Antwort falsch ist, erhält die gesamte Seite ein rotes X.

Der Fehler: In der Realität sind einige Schritte auf dieser Seite brillante Einsichten, während andere nur das Wiederholen dessen sind, was der Schüler drei Zeilen zuvor gesagt hat, oder das Abschweifen in einen verwirrenden Seitenpfad, der nirgendwohin führt. Indem die gesamte Seite als eine Einheit behandelt wird, verschwendet die KI Zeit damit, die langweiligen oder verwirrenden Teile zu studieren, und könnte möglicherweise die brillanten Einsichten übersehen, die in der Mitte verborgen sind.

Die Lösung: GRACE (Der „Schritt-für-Schritt"-Coach)

Die Autoren entwickelten eine Methode namens GRACE (Gradient-aligned Reasoning dAta Curation). Anstatt die gesamte Seite zu benoten, agiert GRACE wie ein superaufmerksamer Coach, der den Schüler beobachtet, wie er das Problem Schritt für Schritt löst.

So funktioniert GRACE, unter Verwendung einer Wander-Analogie:

Stellen Sie sich vor, die KI ist ein Wanderer, der versucht, einen Berggipfel zu erreichen (die korrekte Antwort). Die Denkspur ist der Pfad, den der Wanderer einschlägt.

Das „Antwort-Ausrichtung"-Signal (Blick auf den Gipfel):
- GRACE fragt: „Zeigt dieser spezifische Schritt in Richtung des Berggipfels?"
- Wenn ein Schritt den Wanderer näher an die Spitze bringt, erhält er eine hohe Punktzahl.
- Wenn ein Schritt den Wanderer im Kreis laufen lässt oder in Richtung einer Klippe führt, erhält er eine niedrige Punktzahl.
Das „Trajektorien-Konsistenz"-Signal (Blick auf den zurückgelegten Pfad):
- GRACE fragt auch: „Macht dieser Schritt angesichts dessen, woher der Wanderer gerade kam, Sinn?"
- Wenn der Wanderer einen steilen Hang hinaufsteigt und plötzlich versucht, in einem Fluss zu schwimmen, ist das ein seltsamer Sprung. Selbst wenn der Fluss wunderschön ist, unterbricht er den Fluss des Aufstiegs. GRACE bestraft Schritte, die sich von den vorherigen Schritten abgekoppelt anfühlen.

Das Geheimnis: Der „Magische Spiegel" (Kein Zurückspulen erforderlich)

Normalerweise müsste man, um zu wissen, ob ein Schritt gut ist, den gesamten Trainingsprozess simulieren, anhalten, zurückspulen und genau berechnen, wie dieser eine Schritt das Gehirn der KI verändert hat. Das ist wie der Versuch, den Wind zu messen, indem man ein Rennauto anhält, den Motor zerlegt und die Gänge überprüft. Das dauert ewig und ist für massive Datensätze zu langsam.

Die Innovation von GRACE:
GRACE verwendet einen cleveren Trick namens „Repräsentationsebenen-Gradienten-Proxy".

Die Analogie: Anstatt den Motor zu zerlegen, betrachtet GRACE die „Abgase" (die internen Signale), die aus dem Motor kommen, während das Auto vorwärts fährt.
Indem GRACE diese Signale während eines einzigen Vorwärtsdurchlaufs (nur einmaliges Lesen des Textes) betrachtet, kann es genau abschätzen, wie nützlich ein Schritt war, ohne jemals zurückspulen oder komplexe Rückwärtsberechnungen durchführen zu müssen. Es ist wie die Beurteilung der Fähigkeiten eines Kochs am Geruch des Essens während des Kochens, anstatt jeden einzelnen Bissen nach dem Ende des Essens zu probieren.

Die Ergebnisse: Weniger Daten, bessere Leistung

Das Papier testete diese Methode an einem massiven Datensatz von Matheproblemen (MMathCoT-1M) unter Verwendung eines Vision-Language-Modells (Qwen3-VL).

Der alte Weg: Um großartige Ergebnisse zu erzielen, muss man der KI normalerweise alle Daten zuführen (100 %).
Der GRACE-Weg:
- Mit nur 20 % der Daten (die besten 1 von 5 Schritten) performte die KI 8,8 % besser als wenn sie auf 100 % der Daten trainiert worden wäre.
- Mit nur 5 % der Daten performte die KI genauso gut wie mit dem vollständigen Datensatz.

Warum wurde es mit weniger Daten besser?
Das Training mit alles ist wie ein Schüler zu zwingen, jede einzelne Seite einer Bibliothek zu lesen, einschließlich der Seiten mit Tippfehlern, langweiliger Wiederholung und falschen Abzweigungen. Das verwirrt den Schüler. GRACE filtert das „Rauschen" heraus und füttert die KI nur mit den „reinen Gold"-Schritten. Dies verhindert, dass die KI durch schlechte Beispiele verwirrt wird, und hilft ihr, schneller und klüger zu lernen.

Zusammenfassung

Das Problem: Das aktuelle KI-Training behandelt jeden Schritt in einer Denkkette als gleich wichtig und verschwendet Zeit an schlechten Schritten.
Die Lösung: GRACE bewertet jeden einzelnen Schritt individuell basierend darauf, ob er hilft, die Antwort zu erreichen und ob er zur bisherigen Geschichte passt.
Der Trick: Es verwendet einen „nur Vorwärtsdurchlauf"-Abkürzung, um Schritte sofort zu bewerten, ohne langsame, komplexe Berechnungen durchführen zu müssen.
Das Ergebnis: Sie können eine intelligentere KI mit einem winzigen Bruchteil der Daten trainieren, sparen Zeit und Rechenleistung und verbessern gleichzeitig die Leistung.

Das Papier kommt zu dem Schluss, dass der Wert von Denkdaten nicht nur darin besteht, ob die endgültige Antwort richtig ist; es geht darum, ob die Reise zu dieser Antwort ein konstruktiver, logischer Pfad war. GRACE findet diese konstruktiven Pfade und wirft den Rest weg.

Technische Zusammenfassung: GRACE – Gradientenausgerichtete Datenkuratierung für das Reasoning zur effizienten Nachtrainierung

Problemstellung

Bestehende Pipelines zur Kuratierung von Reasoning-Daten (Chain-of-Thought, CoT) arbeiten typischerweise auf Stichprobenebene und weisen einer gesamten Reasoning-Spur einen einzelnen Score zu, basierend auf Metriken wie der Korrektheit der finalen Antwort oder den Scores eines Reward-Modells. Dieser Ansatz behandelt jeden Zwischenschritt innerhalb einer Spur als gleichwertig wertvoll. Reasoning-Spuren sind jedoch heterogen; einige Schritte unterstützen die finale Antwort direkt, während andere Inhalte wiederholen, irrelevante Abschweifungen erkunden oder Rauschen einführen. Das gleichmäßige Training auf solchen Spuren verschwendet Rechenbudget bei geringwertigen Schritten und verwässert den Beitrag nützlicher Schritte. Darüber hinaus fehlt aktuellen Methoden ein Mechanismus, um zu bewerten, wie einzelne Reasoning-Schritte zum Optimierungsprozess beitragen, wodurch die „schrittspezifischen Optimierungsrollen" innerhalb einer Spur häufig übersehen werden.

Methodik: GRACE

Die Autoren schlagen GRACE (Gradient-aligned Reasoning dAta Curation for Efficient post-training) vor, eine Methode, die die Kuratierungsgranularität von der Stichprobenebene auf die Schrittebene verlagert. GRACE betrachtet eine Reasoning-Spur nicht als statisches Überwachungsziel, sondern als eine Sequenz von Optimierungsereignissen.

1. Optimierungsnutzen auf Schrittebene

GRACE definiert den Nutzen eines Reasoning-Schritts basierend auf seinem Beitrag zur Optimierung eines Zielziels. Jeder Schritt $k$ wird mit zwei komplementären Signalen bewertet, die aus den internen Optimierungsdynamiken des Modells abgeleitet werden:

Antwortorientierte Ausrichtung ( $A_{ans}^k$ ): Misst die Kosinusähnlichkeit zwischen dem durch den aktuellen Schritt induzierten Gradienten ( $g_k$ ) und dem durch das finale Antwortsegment induzierten Gradienten ( $g_{ans}$ ). Dies bestimmt, ob der Schritt das finale Ziel konstruktiv unterstützt.
Trajektorienkonsistenz ( $A_{hist}^k$ ): Misst die Kosinusähnlichkeit zwischen dem Gradienten des aktuellen Schritts und einer historischen Referenzrichtung ( $r_k$ ), die ein gewichteter Durchschnitt der Gradienten aus vorangegangenen Schritten ist. Dies stellt sicher, dass der Schritt mit der sich entwickelnden Reasoning-Trajektorie kohärent bleibt.

Der finale Schrittscore ist eine gewichtete Kombination:
$\text{Score}_k = \alpha A_{ans}^k + (1-\alpha) A_{hist}^k$
wobei $\alpha$ die beiden Signale ausbalanciert. Diese Schrittscores werden aggregiert, um einen Stichprobenwert $V(z)$ zu berechnen, der zur Auswahl der Top- $\rho$ -Teilmenge der Daten verwendet wird.

2. Repräsentationsbasierter Gradienten-Proxy

Eine primäre Herausforderung besteht darin, dass die Berechnung echter schrittspezifischer Gradienten eine Zerlegung der Spuren und wiederholte Rückwärtsdurchläufe erfordert, was im großen Maßstab rechnerisch nicht handhabbar ist. Um dies zu adressieren, führt GRACE einen repräsentationsbasierten Gradienten-Proxy ein:

Anstatt Gradienten im Parameterraum ( $\nabla_\theta L$ ) zu berechnen, arbeitet die Methode mit aufwärtsgerichteten Signalen an der Repräsentationsschnittstelle (den versteckten Zuständen vor der Ausgabe-Projektion).
Für jedes Token $t$ wird ein aufwärtsgerichtetes Signal $u_t = W_{out}(p_t - y_t)$ berechnet, wobei $p_t$ die vorhergesagte Wahrscheinlichkeit und $y_t$ der Ground Truth ist.
Schrittspezifische Gradienten werden durch Mittelung dieser token-spezifischen Signale angenähert ( $g_k = \frac{1}{|T_k|} \sum u_t$ ).
Entscheidend ist, dass dieser Proxy die Schätzung der schrittspezifischen Ausrichtung unter Verwendung nur eines einzigen Vorwärtsdurchlaufs pro Stichprobe ermöglicht, wodurch Rückwärtspropagierung pro Schritt und die Notwendigkeit externer Reward-Modelle oder schrittspezifischer Annotationen vermieden werden.

Hauptbeiträge

Optimierungsbasierte Perspektive: Das Papier stellt die Kuratierung von Reasoning-Daten neu dar, indem es Spuren als Sequenzen von Optimierungsereignissen modelliert und hervorhebt, dass die schrittspezifische Ausrichtung mit dem Ziel und der Trajektorie für effektives Lernen entscheidend ist.
GRACE-Framework: Eine neuartige Kuratierungsmethode, die schrittspezifische Optimierungssignale (Antwortausrichtung und Trajektorienkonsistenz) für eine feinkörnige Teilmengenauswahl aggregiert.
Skalierbarer Proxy: Die Entwicklung eines repräsentationsbasierten Gradienten-Proxys, der eine effiziente, schrittspezifische Datenbewertung ohne die Rechenkosten der schrittspezifischen Gradientenberechnung ermöglicht.

Experimentelle Ergebnisse

Die Autoren bewerteten GRACE durch Nachtrainieren von Qwen3-VL-2B-Instruct auf dem MMathCoT-1M-Datensatz (ein groß angelegtes multimodales Korpus für mathematisches Reasoning) und Testen auf diversen Benchmarks, einschließlich mathematischem Reasoning (MathVista, MathVision) und allgemeinem visuellem Fragenbeantworten (HallusionBench, MMBench, MME).

Leistung vs. Datenvolumen:
- Unter Verwendung von nur 20 % der kuratierten Daten erreichte GRACE 108,8 % der Leistung mit den vollständigen Daten (durchschnittlich über alle Benchmarks) und übertraf damit signifikant den vollständigen Datensatz sowie alle Baselines.
- Unter Verwendung von nur 5 % der Daten behielt GRACE 100,2 % der Leistung mit den vollständigen Daten bei.
Vergleich mit Baselines: GRACE übertraf konsistent heuristische Selektoren (Random, Longest, Stepmax) und state-of-the-art gradientenbasierte Datenselektionsmethoden (LESS, ICONS, CADC). Beispielsweise übertraf GRACE (108,8 %) bei 20 % Daten CADC (102,6 %) und LESS (101,7 %).
Übertragbarkeit: Von GRACE mit einem Qwen3-VL-2B-Bewertungsmodell ausgewählte Teilmengen übertrugen sich effektiv auf andere Backbones (Qwen2.5-VL-3B, LLaVA-1.5-7B, Qwen3-VL-8B) und übertrafen dabei konsistent ihre jeweiligen Baselines mit vollständigen Daten. Dies deutet darauf hin, dass der erfasste Datenwert inhärent zur Reasoning-Struktur und nicht modellspezifisch ist.
Effizienz: Der Proxy-Extraktionsprozess ist leichtgewichtig und erfordert nur Vorwärtsdurchläufe. Die Autoren berichten, dass das Sammeln von Signalen für den Kandidatenpool 6,5 Single-Node-Stunden und 5,7 GB Speicherplatz benötigte und die teuren Rückwärtsdurchläufe vermied, die für Gradienten-Projektionsmethoden erforderlich sind.

Bedeutung und Behauptungen

Das Papier behauptet, dass der Wert von Reasoning-Daten nicht lediglich von externen Qualitätsindikatoren (Korrektheit, Länge oder Preference-Scores) abhängt, sondern davon, ob Zwischenschritte die Optimierungstrajektorie konstruktiv unterstützen.

GRACE zeigt, dass:

Schrittspezifische Granularität essenziell ist: Die Behandlung von Reasoning-Spuren als unteilbare Einheiten übersieht den variierenden Nutzen von Zwischenschritten.
Interne Signale ausreichen: Hochwertige Datenkuratierung kann unter Verwendung nur der internen Optimierungssignale des Modells (Gradienten/Proxys) ohne externe Reward-Modelle oder menschliche Annotationen erreicht werden.
Effizienz und Leistung: Optimierungsorientierte Kuratierung ermöglicht es Modellen, die Leistung mit vollständigen Daten mit einem Bruchteil der Trainingsdaten zu erreichen oder zu übertreffen, was die Nachtrainierungskosten (GPU-Stunden) erheblich reduziert, während die Downstream-Fähigkeiten erhalten oder verbessert werden.

Die Autoren weisen auf Einschränkungen hin, darunter die Abhängigkeit von einer festen Konfiguration des Bewertungsmodells und den aktuellen Fokus auf multimodale CoT-Daten, und schlagen vor, dass zukünftige Arbeiten diese Prinzipien auf reines sprachbasiertes Reasoning oder auf Reinforcement-Learning-basiertes Nachtrainieren ausweiten könnten.