CORE: Concept-Oriented Reinforcement for Bridging the Definition-Application Gap in Mathematical Reasoning

Das Paper stellt CORE vor, ein Reinforcement-Learning-Framework, das die Lücke zwischen Definition und Anwendung im mathematischen Schlussfolgern schließt, indem es explizite Konzepte als feingranulare Supervision nutzt, um Large Language Models zu echtem konzeptionellem Verständnis statt nur zum Mustererkennen zu führen.

Das Wesentliche

Stell dir vor, du hast einen sehr schlauen Schüler, der wie ein genialer Schachspieler wirkt. Er kann die schwierigsten Aufgaben lösen, die ihm gestellt werden, und kommt fast immer auf das richtige Ergebnis. Aber wenn du ihn fragst: „Warum hast du diesen Zug gemacht? Welches Prinzip steckt dahinter?", stottert er. Er hat die Antwort auswendig gelernt oder ein Muster erkannt, aber er versteht das Spiel eigentlich nicht.

Genau dieses Problem haben große KI-Modelle (LLMs) bei Matheaufgaben. Sie können Aufgaben lösen, indem sie Oberflächenmuster erkennen (wie ein Schachcomputer, der nur die Zugfolge kennt), aber sie scheitern oft daran, das eigentliche mathematische Konzept wirklich zu verstehen und anzuwenden.

Die Forscher von CORE (Concept-Oriented REinforcement) haben eine Lösung entwickelt, um diese Lücke zwischen „Definition kennen" und „Anwendung beherrschen" zu schließen. Hier ist die Erklärung, wie sie das gemacht haben, mit ein paar einfachen Vergleichen:

1. Das Problem: Der „Pauker", der nur auswendig lernt

Stell dir vor, du lernst für eine Matheprüfung.

• Der alte Weg (Vanilla-Modelle): Der Schüler lernt tausende von Beispielaufgaben auswendig. Wenn die Aufgabe genau so aussieht wie im Buch, klappt es. Aber wenn du nur eine Zahl änderst oder die Fragestellung leicht umformulierst (wie einen neuen Zug im Schach), ist er ratlos. Er hat die Antwort gelernt, nicht die Logik.
• Der Test: Die Forscher haben den KI-Modellen eine Definition vorgelesen (z. B. „Was ist der rationale Wurzelsatz?"). Die KIs konnten die Definition perfekt aufsagen. Aber als sie dann eine Aufgabe bekamen, bei der sie diesen Satz anwenden mussten, machten sie Fehler. Sie wussten was es ist, aber nicht wie man es benutzt.

2. Die Lösung: CORE – Der „Konzept-Trainer"

CORE ist wie ein neuer, smarter Nachhilfelehrer, der dem Schüler nicht nur die Lösungen gibt, sondern ihm zwingend hilft, die Werkzeuge (die Konzepte) zu verstehen, bevor er die Aufgabe löst.

Der Prozess läuft in drei Schritten ab, die wie ein Trainingsschema funktionieren:

Schritt A: Der neue Lehrplan (Daten)

Statt zufälliger Aufgaben aus dem Internet nutzen die Forscher ein hochwertiges, klassisches Mathebuch.

• Die Analogie: Stell dir vor, statt zufälliger Rätselbücher zu kaufen, bekommst du ein Buch, bei dem jede Aufgabe direkt mit dem dazugehörigen Gesetz verknüpft ist. Jede Übung ist ein „Ziel" und jedes Gesetz ist das „Werkzeug", das man dafür braucht.

Schritt B: Der Eingriff (Das Training)

Hier passiert die Magie. Wenn der KI-Schüler eine Aufgabe falsch löst (weil er nur gerät oder ein Muster verwechselt), greift der Trainer ein. Es gibt drei Methoden, wie CORE das macht:

1. CORE-Base (Der direkte Weg): Der Schüler übt einfach nur mit diesen neuen, konzeptbasierten Aufgaben. Er lernt durch Versuch und Irrtum, die Werkzeuge richtig zu nutzen.
2. CORE-CR (Der „Rettungsring"): Das ist der coolste Teil. Wenn der Schüler bei einer Aufgabe komplett scheitert (alle seine Versuche sind falsch), sagt der Trainer: „Stopp! Schau dir erst mal an, wie man das mit dem richtigen Werkzeug macht."
   • Der Trainer generiert eine Lösung, bei der das Konzept explizit genannt wird (z. B. „Ich nutze hier den Satz von Pythagoras, weil...").
   • Diese „korrekte" Lösung wird als Beispiel in den Trainingsprozess eingefügt. Der Schüler muss sich diese Lösung ansehen und daraus lernen, wie man richtig denkt, nicht nur wie man richtig antwortet.
   • Vergleich: Es ist, als würde ein Trainer, wenn der Spieler den Ball verfehlt, sofort eine perfekte Demonstration zeigen und sagen: „Schau genau hin, wie ich den Ball getroffen habe, bevor du es nochmal versuchst."
3. CORE-KL (Der „Gedanken-Check"): Hier wird der Schüler nicht nur mit der Lösung gefüttert, sondern er muss seine eigenen Gedanken mit denen des „konzeptbewussten" Modells abgleichen.
   • Vergleich: Stell dir vor, der Schüler denkt laut nach. Der Trainer hört zu und sagt: „Moment, dein Gedankengang weicht von dem ab, wie man es mit dem richtigen Werkzeug macht. Versuche, deine Gedanken so zu strukturieren, dass sie dem Konzept entsprechen."

3. Das Ergebnis: Vom „Befehlsempfänger" zum „Versteher"

Was passiert, wenn man CORE einsetzt?

• Robustheit: Der Schüler ist nicht mehr so leicht zu verwirren. Wenn man die Aufgabe leicht verändert (z. B. die Reihenfolge der Antwortmöglichkeiten tauscht), bleibt er ruhig und wendet das Konzept korrekt an. Er verlässt sich nicht mehr auf oberflächliche Hinweise.
• Übertragbarkeit: Das, was er gelernt hat, funktioniert auch bei Aufgaben, die er noch nie gesehen hat. Er hat das Prinzip verstanden, nicht nur die Aufgabe.
• Kein „Schummeln": Die Forscher haben gezeigt, dass die KI nicht einfach nur die Lösungen eines besseren Modellers kopiert (Wissensdistillation). Sie hat tatsächlich gelernt, wie man mathematisch denkt.

Zusammenfassung in einem Satz

CORE verwandelt KI-Modelle von bloßen „Muster-Erkennern", die nur auswendig lernen, in echte „Denker", die die zugrundeliegenden mathematischen Werkzeuge verstehen und sicher anwenden können, selbst wenn die Aufgaben anders aussehen als erwartet.

Es ist der Unterschied zwischen jemandem, der eine Landkarte auswendig gelernt hat, und jemandem, der wirklich weiß, wie ein Kompass funktioniert und sich in jedem neuen Gelände zurechtfindet.

Technische Zusammenfassung

1. Problemstellung: Die Lücke zwischen Definition und Anwendung

Große Sprachmodelle (LLMs) zeigen zwar beeindruckende Fähigkeiten beim Lösen komplexer mathematischer Aufgaben, versagen jedoch häufig bei der konzeptuellen mathematischen Reasoning. Das Hauptproblem ist eine Diskrepanz zwischen dem Wissen über mathematische Konzepte (Definitionen) und deren korrekter Anwendung in Problemlösungsszenarien.

• Oberflächliches Muster-Erkennen: Modelle lösen Aufgaben oft durch das Erkennen von Oberflächenmustern, Schlüsselwörtern oder durch das Nachahmen von Lösungsschemata, anstatt die zugrunde liegenden mathematischen Konzepte (z. B. lineare Unabhängigkeit, Stetigkeit, Konvexität) zu verstehen und anzuwenden.
• Limitationen von RLVR: Herkömmliche Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) optimieren nur die Endantwort (korrekt/falsch). Diese Signale sind zu grob, um dem Modell mitzuteilen, welches Konzept angewendet werden muss, wo es im Argumentationsprozess einzufügen ist oder wie es die weiteren Schritte stützt.
• Diagnose: Das Paper zeigt durch „Sanity Probes", dass Modelle Definitionen oft korrekt auswendig lernen (reproduzieren), aber bei Quizfragen, die diese Konzepte erfordern, versagen. Dies belegt eine signifikante Lücke zwischen parametrischem Wissen und dessen Anwendung.

2. Methodik: Das CORE-Framework

CORE (Concept-Oriented REinforcement) ist ein RL-Trainingsframework, das explizite mathematische Konzepte in einen steuerbaren Supervisions-Signal umwandelt. Es ist algorithmus-agnostisch und kann auf Standard-Policy-Gradient-Algorithmen (wie GRPO oder PPO) aufgesetzt werden.

Der Ansatz gliedert sich in drei Hauptphasen:

A. Datensatz-Kuration

• Quelle: Ein hochwertiges, menschlich verifiziertes Lehrbuch (Advanced Algebra, 3. Auflage), das Konzepte und Übungen klar verknüpft.
• Vorteil: Durch die manuelle Übersetzung aus dem Chinesischen wird das Risiko von Datenkontamination in englischen Trainingskorpora minimiert.
• Ergebnis: 236 Konzepttexte, 703 Beispiele und 140 Multiple-Choice-Übungen, die als „In-Domain"-Testset und Seed-Daten dienen.
• Synthese: LLMs generieren zusätzliche konzeptausgerichtete Quizfragen (Concept Probes), die durch strenge Validierung gefiltert werden (1.110 hochwertige Fragen).

B. Gap-Diagnostik

Bevor das Training beginnt, wird die Lücke quantitativ gemessen. Modelle werden getestet, ob sie robuste Antworten geben, wenn die Reihenfolge der Multiple-Choice-Optionen permutiert wird. Die Ergebnisse zeigen einen massiven Leistungsabfall bei Standardmodellen unter robusten Bedingungen, was bestätigt, dass sie auf oberflächlichen Heuristiken basieren.

C. Die drei Trainings-Rezepte (Design-Entscheidungen)

CORE untersucht drei Strategien, um konzeptuelles Reasoning zu fördern:

1. CORE-Base (Standard RL):

   • Direktes Training auf den generierten konzeptausgerichteten Quizfragen mittels GRPO.
   • Ziel: Implizites Lernen von Konzepten durch die Frage-Antwort-Paare.

2. CORE-CR (Concept-Guided Trajectory Replacement):

   • Mechanismus: Wenn ein Modell in einer GRPO-Gruppe (Batch) alle Antworten falsch liefert, wird eine Intervention ausgelöst.
   • Ablauf: Das Modell wird mit einem Prompt neu gestartet, der die ursprüngliche Frage mit dem relevanten Konzepttext (Ground Truth) kombiniert. Es generiert neue, konzept-geleitete Trajektorien.
   • Update: Diese neuen, korrekten Trajektorien ersetzen die fehlgeschlagenen Original-Trajektorien im Batch und erhalten einen zusätzlichen Bonus für die Belohnung.
   • Ziel: Korrektur von Fehlern durch explizite Konzept-Einblendung zur Erzeugung eines besseren Lernsignals.

3. CORE-KL (Concept-Guided KL-Regularization):

   • Mechanismus: Statt Trajektorien zu ersetzen, wird eine Regularisierung eingeführt.
   • Ablauf: Bei einem Fehler wird eine Referenz-Trajektorie generiert, die durch den Konzept-Prompt geleitet wird.
   • Verlustfunktion: Ein Forward-KL-Divergenz-Term wird hinzugefügt, der die ungesteuerte Policy (ohne Konzept-Prompt) dazu zwingt, sich der Verteilung der konzept-geleiteten Policy anzunähern.
   • Ziel: Das Modell lernt intern, den konzeptuellen Denkprozess auch ohne expliziten Hinweis nachzuahmen.

3. Wichtige Beiträge

• Überbrückung der Definition-Anwendungs-Lücke: CORE ist das erste Framework, das explizit Konzepte als steuerbares Signal in den RL-Prozess integriert, um das reine Muster-Erkennen zu überwinden.
• Algorithmus-Unabhängigkeit: Das Framework ist als „Wrapper" um Standard-RL-Algorithmen (GRPO, PPO) konzipiert und erfordert keine architektonischen Änderungen am Modell.
• Robuste Evaluation: Einführung von „Concept Probes" und Robustheits-Tests (Permutation von Optionen), um echtes konzeptuelles Verständnis von oberflächlichen Heuristiken zu unterscheiden.
• Selbstüberwachtes Lernen: Demonstration, dass CORE auch ohne externe „Experten"-Modelle funktioniert (Self-Supervised), indem das Modell selbst Quizfragen generiert und validiert.

4. Ergebnisse

Die Experimente wurden an mehreren Modellen durchgeführt (Qwen2-Math-7B, DeepSeek-R1-Distill-Qwen-1.5B, Qwen2.5-Math-1.5B, Llama-3-8B-Instruct).

• In-Domain-Leistung: Auf dem Textbook-Testset erzielte CORE-Base auf Qwen2-Math-7B bis zu +9,3% Verbesserung gegenüber dem Vanilla-Baseline.
• Out-of-Domain-Generalisierung:
  • Auf Benchmarks wie MMLU-STEM, SVAMP, TabMWP und OlympiadBench zeigten CORE-Varianten konsistente Verbesserungen.
  • Beispiel: CORE-CR verbesserte DeepSeek-R1-DQ-1.5B um +1,3% auf MMLU-STEM und Llama-3-8B-Instruct um +3,3% auf TabMWP.
• Robustheit: Modelle, die mit CORE trainiert wurden, waren deutlich robuster gegenüber irrelevanter Konzept-Perturbation (Hinzufügen von ablenkenden Konzepten), was zeigt, dass sie weniger anfällig für oberflächliche Heuristiken sind.
• Mechanismus-Analyse: Eine qualitative Analyse zeigte, dass die Leistungssteigerungen tatsächlich auf eine verbesserte Konzept-Auswahl und -Anwendung zurückzuführen sind und nicht auf das bloße Auswendiglernen von Mustern.
• Ablation-Studien: Es wurde bewiesen, dass die Verbesserungen nicht durch zufällige Belohnungen oder einfachere Erhöhung der Anzahl der Rollouts (Top-k) entstehen, sondern spezifisch durch die CORE-Interventionen.

5. Bedeutung und Fazit

CORE adressiert ein fundamentales Problem in der KI-Mathematik: Die Fähigkeit, mathematische Konzepte nicht nur zu definieren, sondern sie flexibel und korrekt in neuen Situationen anzuwenden.

• Paradigmenwechsel: Statt nur auf das Endergebnis zu optimieren, führt CORE eine feinkörnige, konzeptbasierte Supervision ein.
• Generalisierung: Die Methode funktioniert sowohl bei Base-Modellen als auch bei Instruction-Tuned-Modellen und verbessert die Transferfähigkeit auf unbekannte Problemtypen.
• Zukunftsausblick: Die Arbeit legt den Grundstein für Trainingsansätze, die auf Prinzipien und Konzepten basieren, anstatt nur auf Datenmenge oder oberflächlichen Mustern, und ist somit auch für andere Domänen relevant, die tiefes logisches Reasoning erfordern.

Zusammenfassend beweist CORE, dass die explizite Einbettung mathematischer Konzepte in den Reinforcement-Learning-Prozess die Reasoning-Fähigkeiten von LLMs signifikant und nachhaltig verbessert, ohne dabei die Architektur zu verändern.