🤖 machine learning

Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition

Diese Arbeit zeigt auf, dass das Fine-Tuning eines kompakten Qwen2.5-7B-Studentenmodells mit Chain-of-Thought-Daten, die mittels eines Dual-Agent-Frameworks und Early Stopping aus dem DeepSeek-R1-Lehrermodell destilliert wurden, dessen Genauigkeit beim John O'Bryan Mathematics Competition und den MATH-500-Benchmarks signifikant verbessert, während gleichzeitig aufgezeigt wird, dass kürzere Antwortlängen mit einer reduzierten Reasoning-Qualität korrelieren.

Ursprüngliche Autoren: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, weltklasse Mathematiktutor (nennen wir ihn Professor DeepSeek). Er ist fantastisch, aber er ist riesig, langsam und benötigt einen massiven Supercomputer, um zu laufen. Sie möchten einer kleineren, schnelleren und günstigeren Schülerin (nennen wir sie Schülerin Qwen) beibringen, wie der Professor zu denken, damit sie denselben Job auf einem normalen Laptop erledigen kann.

Dieses Paper ist die Geschichte, wie die Forscher versucht haben, die Schülerin mithilfe eines speziellen Satzes von Mathematikaufgaben aus dem John O'Bryan Mathematics Competition (ein echter Wettbewerb, der von 2011 bis 2025 an der Northern Kentucky University stattfand) zu unterrichten.

Hier ist die Geschichte ihres Experiments, einfach aufgeschlüsselt:

1. Die Trainingsmethode: „Zeig deinen Rechenweg“

Die Forscher gaben der Schülerin nicht einfach nur die Endergebnisse. Sie verwendeten eine spezielle Technik namens Chain-of-Thought (CoT) Distillation (Gedankenkette-Destillation).

Der Lehrer: Zuerst löste der „Professor DeepSeek“ 671 vergangene Wettbewerbsaufgaben. Aber anstatt nur das Ergebnis aufzuschreiben, schrieb er jeden einzelnen Schritt seines Denkprozesses auf, so wie ein Schüler seinen Rechenweg bei einer Prüfung zeigt.
Der Verifizierer: Eine zweite KI überprüfte die Arbeit des Professors, um sicherzustellen, dass die Schritte tatsächlich korrekt waren. Nur die perfekten Lösungen wurden beibehalten.
Die Schülerin: Die „Schülerin Qwen“ (ein kleineres Modell) wurde dann darauf trainiert, diese schrittweisen Lösungen nachzuahmen.

2. Die „Überübungs“-Falle

Die Forscher sahen sich mit einem klassischen Problem konfrontiert: Overfitting (Überanpassung).
Stellen Sie sich einen Schüler vor, der die exakten Antworten einer Übungsprüfung auswendig lernt, anstatt die mathematischen Konzepte zu verstehen. Wenn man ihm eine leicht abgewandelte Frage stellt, scheitert er.

Die Forscher ließen die Schülerin anfangs für 1.000 „Runden“ (Iterationen) trainieren.
Das Ergebnis: Die Schülerin begann, die spezifischen Wörter der Trainingsaufgaben auswendig zu lernen, anstatt die Logik zu verstehen. Ihre Leistung verschlechterte sich bei neuen Problemen sogar.
Die Lösung: Sie erkannten, dass die Schülerin bei 200 Runden ihren Höhepunkt erreichte. Danach kopierte sie nur noch. Also stoppten sie das Training frühzeitig (bei 200 Runden), um sie „frisch“ und fähig zur Generalisierung zu halten.

3. Die Ergebnisse: Eine solide Verbesserung

Durch das frühe Stoppen verbesserte sich die Schülerin signifikant:

Vor dem Training: Die Schülerin löste etwa 65 % der Wettbewerbsaufgaben richtig.
Nach dem Training: Sie sprang auf etwa 60,4 % hoch.
Der Bonus: Sie wurde nicht nur bei diesen spezifischen Problemen besser; sie verbesserte sich auch bei einem anderen, berühmten Mathematik-Benchmark namens MATH-500, was bewies, dass sie tatsächlich die Fähigkeit des logischen Schlussfolgerns gelernt hatte, nicht nur die Antworten.

4. Das „Wortzahl“-Experiment

Die Forscher wollten wissen: Wie viel „Denkraum“ benötigt die Schülerin?
Sie zwangen die Schülerin dazu, Probleme mit strengen Limits für die Anzahl der Wörter zu lösen (wie eine strikte Wortgrenze bei einer Prüfung).

Kein Limit (R1): Sie schrieb etwa 220 Wörter und löste 69 % richtig.
Moderates Limit (R2): Sie schrieb etwa 120 Wörter und fiel auf 62 % ab.
Striktes Limit (R6): Sie wurde gezwungen, nur etwa 31 Wörter zu schreiben. Ihre Genauigkeit stürzte auf 42 % ab.

Die Analogie: Es ist, als würde man jemanden bitten, ein komplexes Rätsel zu lösen. Wenn man ihm ein kleines Notizbuch gibt (wenige Wörter), muss er Schritte überspringen und raten. Wenn er ein ganzes Notizbuch hat (viele Wörter), kann er die Logik aufschreiben und es richtig lösen. Die Studie fand heraus, dass man für diese schwierigen Probleme etwa 50 bis 100 Wörter an „Denkraum“ benötigt, um eine gute Antwort zu erhalten.

5. Wo sie Schwierigkeiten hatte

Geschwindigkeit vs. Logik: Die Schülerin war am schwächsten im Bereich „Two-Person Speed“ des Wettbewerbs. Diese Aufgaben erforderten schnelle, mehrstufige Berechnungen. Wenn die Wortzahl gering war, konnte sie die notwendigen Berechnungsschritte nicht unterbringen, und ihre Genauigkeit brach stärker ein als in anderen Abschnitten.
Formatierungsfehler: Interessanterweise fanden die Forscher, dass etwa 40 % der Fehler der Schülerin nicht darauf zurückzuführen waren, dass sie schlecht in Mathe war. Sie hatte tatsächlich die richtige Zahl gefunden, aber sie auf eine unordentliche Weise aufgeschrieben (wie z. B. einen Bruch nicht vereinfacht zu lassen oder zu vergessen, die Antwort in ein Kästchen zu setzen). Wenn ein Mensch oder ein einfaches Skript ihr Schreiben aufgeräumt hätte, wäre ihre Punktzahl noch höher gewesen.

Das Fazit

Dieses Paper beweist, dass man eine riesige, leistungsstarke KI nehmen und eine kleinere, günstigere KI lehren kann, mathematische Probleme effektiv durch logisches Schlussfolgern zu lösen – aber nur, wenn man das Training stoppt, bevor sie anfängt, auswendig zu lernen.

Es gibt jedoch einen Haken: Denken braucht Platz. Wenn man die KI zwingt, zu prägnant zu sein (zu wenige Wörter), verliert sie die Fähigkeit, schwierige Probleme zu lösen. Der „Sweet Spot“ für diese Arten von Mathematikwettbewerben scheint darin zu liegen, der KI genug Raum zu geben, um etwa 50 bis 100 Wörter an Argumentation aufzuschreiben.

Technisches Resümee: Wissensdestillation von großen Reasoning-Modellen auf kompakte Student-Modelle

Problemstellung

Große Sprachmodelle (LLMs) mit fortgeschrittenen mathematischen Fähigkeiten, wie etwa DeepSeek-R1, erfordern oft erhebliche Rechenressourcen, was eine lokale Bereitstellung unpraktikabel macht. Während die Wissensdestillation (Knowledge Distillation, KD) einen Weg bietet, um Denkfähigkeiten auf kleinere, effizientere „Student“-Modelle zu übertragen, stützt sich die bestehende Forschung überwiegend auf generische Benchmarks (z. B. MATH-500, GSM8K), die anfällig für Kontaminationen in den Vortrainingsdaten sein können. Es mangelt an Verständnis darüber, wie sich die Destillation auf domänenspezifischen, von Experten kuratierten Aufgabensätzen mit geringerem Kontaminationsrisiko verhält und wie spezifische Einschränkungen, wie etwa Token-Budgets, die Qualität des destillierten Denkprozesses beeinflussen.

Methodik

Die Autoren schlagen eine Pipeline vor, um die Denkfähigkeiten eines großen Teacher-Modells auf ein kompaktes Student-Modell unter Verwendung des John O'Bryan Mathematics Competition (2011–2025) als spezialisiertem Korpus zu destillieren.

1. Datensatzkonstruktion

Korpus: 671 Probleme aus 15 Jahren, kategorisiert in Freshman/Sophomore, Junior/Senior und Two-Person Speed Sektionen.
Splittung: Eine chronologische Splittung wurde angewandt, um Datenlecks zu vermeiden: 2011–2021 (Training), 2022–2023 (Validierung) und 2024–2025 (Test).
Dual-Agent-Framework: Ein zweistufiger Prozess unter Verwendung der DeepSeek-R1 API:
- Agent 1 (Solver): Generiert schrittweise Chain-of-Thought (CoT) Reasoning-Traces (Denkpfade).
- Agent 2 (Verifier): Validiert den Output des Solvers gegen die Ground-Truth-Antwort und gibt ein CORRECT/INCORRECT-Urteil zurück.
- Nur Traces, die als korrekt verifiziert wurden (594 von 651 Versuchen), wurden für das Training beibehalten.

2. Modellarchitektur und Training

Teacher: DeepSeek-R1 (über API aufgerufen).
Student: Qwen2.5-7B-Instruct (4-Bit quantisiert).
Feinabstimmung: Low-Rank Adaptation (LoRA) wurde unter Verwendung des MLX-Frameworks auf Apple Silicon Hardware angewendet.
- Konfiguration: Rank $r=8$ , $\alpha=16$ , Dropout $0,05$, gezielt auf Query-, Key-, Value- und Output-Projektionsmodule.
- Parameter: 11,534 Mio. trainierbare Parameter (0,151 % der Gesamtzahl).
Trainingsprotokoll:
- Diagnoselauf: Ein 1.000-Iterationen umfassender Lauf identifizierte schwerwiegendes Overfitting; der Validierungsverlust minimierte sich bei Iteration 200, bevor er wieder anstieg.
- Finale Läufe: Fünf unabhängige Trainingsläufe wurden durchgeführt, die jeweils auf 200 Iterationen begrenzt waren und unterschiedliche Random Seeds (42, 123, 256, 512, 999) verwendeten, um Stabilität zu gewährleisten.
- Early Stopping: Die Modelle wurden fusioniert und basierend auf dem 200-Iterationen-Checkpoint evaluiert.

3. Evaluationsstrategie

Metriken: Antwortgenauigkeit (bewertet durch DeepSeek-R1, um äquivalente mathematische Formen zu handhaben) und Perplexity.
Generalisierung: Out-of-Domain-Evaluation auf dem MATH-500 Benchmark.
Token-Budget-Experiment: Das feinabgestimmte Modell wurde unter sechs Reasoning-Leveln (R1–R6) mit progressiv eingeschränkten Token-Limits (von unbegrenzt bis hinunter zu 100 Tokens) evaluiert, um den Einfluss der Antwortlänge auf die Qualität des Denkprozesses zu untersuchen.

Kernergebnisse

Leistungssteigerungen

Basismodell: Qwen2.5-7B erreichte 64,67 % Genauigkeit auf dem Wettbewerbs-Testset.
Destilliertes Modell: Das durch 200 Iterationen mittels LoRA feinabgestimmte Modell erreichte eine mittlere Genauigkeit von 69,43 % ± 0,17 %, was einer Verbesserung von 4,76 Prozentpunkten entspricht.
Stabilität: Die geringe Standardabweichung (0,17 pp) über fünf Seeds hinweg bestätigt, dass die Verbesserung robust ist und nicht ein Artefakt der Initialisierung darstellt.
Overfitting: Ein Fortsetzen des Trainings auf 1.000 Iterationen führte zu einer geringeren Genauigkeit (67,59 %) und höherer Perplexity, was bestätigt, dass Early Stopping bei der Destillation kleiner Korpora entscheidend ist.

Generalisierung

Auf dem MATH-500 Benchmark verbesserte sich das destillierte Modell von einem Basiswert von 70,1 % auf 73,1 % ± 0,18 %.
Die Leistungssteigerungen waren über die Fachbereiche hinweg ungleichmäßig verteilt: Signifikante Verbesserungen zeigten sich in Algebra (93,5 %) und Zahlentheorie (82,3 %), die gut im Trainingskorpus repräsentiert sind, während Intermediate Algebra, Geometrie und Präkalkül schwächere Leistungen zeigten.

Einfluss des Token-Budgets

Länge vs. Genauigkeit: Es zeigt sich ein konsistenter Rückgang der Genauigkeit, wenn die Token-Budgets schrumpfen.
- R1 (Unbegrenzt, ~220 Wörter): 69,43 %
- R6 (100 Tokens, ~31,2 Wörter): 41,9 %
Kritischer Schwellenwert: Der signifikanteste Abfall erfolgte zwischen R3 (~~96 Wörter) und R4 (~~55 Wörter), was auf eine praktische Untergrenze von 50–100 Wörtern für mehrstufige Wettbewerbsprobleme hindeutet.
Sektions-Sensitivität: Die „Two-Person Speed“-Sektion reagierte am empfindlichsten auf die Reduktion der Tokens und sank von R2 zu R6 um 34,5 Prozentpunkte, während konzeptionelle Sektionen (Freshman/Sophomore, Junior/Senior) robuster waren.

Fehleranalyse

Eine qualitative Analyse von 197 fehlerhaften Antworten ergab, dass 40 % der Fehler auf Formatierungs- oder Extraktionsprobleme zurückzuführen waren (z. B. nicht gerendertes LaTeX, nicht reduzierte Brüche) und nicht auf mathematische Denkfehler. Dies deutet darauf hin, dass ein Post-Processing einen signifikanten Teil dieser Fehler beheben könnte, ohne ein erneutes Training zu erfordern.

Bedeutung und Ansprüche

Das Paper beansprucht, die erste Studie zu sein, die CoT-Destillation auf den Korpus des John O'Bryan Mathematics Competition anwendet und damit eine kontrollierte Umgebung mit geringem Kontaminationsrisiko bietet. Die primären Beiträge sind:

Nachweis der Machbarkeit: Der Nachweis, dass CoT-Destillation via LoRA mit Early Stopping effektiv die Denkfähigkeiten von einem großen Modell (DeepSeek-R1) auf ein kompaktes Modell (Qwen2.5-7B) auf domänenspezifischen Daten übertragen kann.
Quantifizierung von Einschränkungen: Die Feststellung, dass die Antwortlänge ein kritischer Faktor für die Qualität des mathematischen Denkens ist, wobei eine praktische Untergrenze für das Token-Budget bei mehrstufigen Problemen identifiziert wurde.
Methodische Stringenz: Die Hervorhebung der Notwendigkeit von Early Stopping beim Fine-Tuning kleiner Korpora zur Vermeidung von Overfitting sowie des Wertes der Multi-Seed-Validierung für die Stabilität.

Die Autoren wahren einen bescheidenen Ton und merken an, dass das Modell aufgrund der Fehlerrate von etwa 30 % und potenzieller Verzerrungen durch den Korpus einer einzelnen Institution noch nicht bereit für den vollautonomen Einsatz im Bildungsbereich ist. Sie positionieren das Modell als Werkzeug für Entwürfe in Human-in-the-loop-Workflows und schlagen vor, dass zukünftige Arbeiten sich auf diverse Korpora und das Training auf komprimierten CoT-Traces konzentrieren sollten, um die Leistung unter engen Token-Beschränkungen zu verbessern.