Strategy Executability in Mathematical Reasoning: Leveraging Human-Model Differences for Effective Guidance

1. Problemstellung

Die Arbeit adressiert die Instabilität von beispielbasierter Anleitung (Example-Based Guidance) bei der mathematischen Schlussfolgerung in großen Sprachmodellen (LLMs). Obwohl das Bereitstellen von Lösungswegen, Hinweisen oder Mustern (In-Context Learning) die Leistung oft verbessert, ist dieser Effekt höchst unzuverlässig. Selbst korrekte und problemrelevante Anleitungen führen oft nicht zum Erfolg oder verschlechtern die Leistung sogar.

Der Kern des Problems liegt in einer bisher wenig untersuchten Diskrepanz zwischen:

• Strategienutzung (Strategy Usage): Ob eine Denkstrategie in einer erfolgreichen Lösung (z. B. von einem Menschen) vorkommt.
• Strategie-Exekutierbarkeit (Strategy Executability): Ob diese Strategie, wenn sie als explizite Anleitung an ein Zielfmodell übergeben wird, tatsächlich von diesem Modell erfolgreich ausgeführt werden kann.

Die Autoren zeigen, dass menschliche Lösungen oft auf strukturellen Einsichten und globalen Mustern basieren, während Modell-Lösungen eher prozedurale und algebraische Transformationen bevorzugen. Eine Strategie, die für Menschen intuitiv ist, kann für ein Modell schwer zu operationalisieren sein, wenn sie als reine Anleitung gegeben wird.

2. Methodik

A. Datengrundlage und Analyse (HM-ReasoningBench)

Die Autoren haben HM-ReasoningBench erstellt, ein Datenset mit 4.850 mathematischen Wettbewerbsaufgaben, die jeweils mit einer menschlich verfassten und einer modellgenerierten Lösung gepaart sind.

• Strategie-Abstraktion: Lösungen werden nicht als Schritt-für-Schritt-Spuren, sondern als Kombinationen hochrangiger Denkstrategien (z. B. „Hilfslinien konstruieren", „Fallunterscheidung", „Koordinatensystem aufsetzen") analysiert.
• Erkenntnisse: Es gibt eine systematische Divergenz:
  • Menschen nutzen häufiger geometrische Struktur- und Symmetrie-Strategien.
  • Modelle nutzen häufiger algebraische Manipulationen und Koordinaten-basierte Ansätze.
  • Kritischer Befund: Die Häufigkeit einer Strategie in erfolgreichen Lösungen korreliert nicht mit ihrer Exekutierbarkeit als Anleitung für ein anderes Modell. Eine Strategie, die von Menschen stammt, ist in Geometrie oft besser exekutierbar, während prozedurale Strategien von Modellen in anderen Domänen besser funktionieren.

B. Proposed Framework: Selective Strategy Retrieval (SSR)

Um dieses Problem zu lösen, schlagen die Autoren SSR vor, einen Testzeit-Framework (Inference-Time), der die Exekutierbarkeit explizit modelliert.

1. Strategie-Wissensgraph: Ein heterogener Graph verbindet Probleme, Strategien und Kategorien. Knoten repräsentieren diese Entitäten, Kanten zeigen beobachtete Nutzungsmuster.
2. Multi-Route Retrieval (Mehrstufige Suche): Anstatt nur nach semantischer Ähnlichkeit zu suchen, werden Kandidaten-Strategien über drei Routen gesammelt:
   • Route A (Kategorie-basiert): Strategien, die für die Problemkategorie empirisch robust sind.
   • Route B (Problem-Transfer): Strategien, die bei ähnlichen Problemen im Trainingsset erfolgreich waren.
   • Route C (Semantischer Fallback): Strategien basierend auf semantischer Ähnlichkeit, wenn andere Daten fehlen.
3. Modellierung der Exekutierbarkeit:
   • Ein Exekutierbarkeits-Prädiktor (ein parametrischer Schätzer) bewertet die Wahrscheinlichkeit, dass eine bestimmte Strategie $s$ für ein Problem $x$ und ein Zielfmodell $m$ erfolgreich ist.
   • Das Training erfolgt durch Beta-Binomial-Modelle, die die Stochastik des Decodierens berücksichtigen (basierend auf mehreren Decodierungs-Versuchen im Training).
   • Der Prädiktor nutzt Features aus dem Wissensgraphen (strukturelle Nähe) und semantische Ausrichtung.
4. Selektion und Anleitung: SSR wählt die Top-Strategien basierend auf dem vorhergesagten Nutzen aus und gibt diese als abstrakte Hinweise (nicht als vollständige Lösungen) an das Modell aus.

3. Wichtige Beiträge

1. Identifikation der Diskrepanz: Nachweis einer systematischen Trennung zwischen der Nutzung einer Strategie in erfolgreichen Lösungen und ihrer Exekutierbarkeit als Anleitung für ein Zielfmodell.
2. HM-ReasoningBench: Erstellung eines gepaarten Datensets (Mensch vs. Modell) zur Analyse von Strategien auf Wettbewerbsniveau.
3. SSR Framework: Entwicklung eines leichten, testzeitbasierten Frameworks, das Strategien basierend auf empirischen Exekutierbarkeits-Signalen selektiv kombiniert, anstatt sie blind zu kopieren.
4. Ressourcen: Öffentliche Bereitstellung von Code und Benchmark.

4. Ergebnisse

Die Evaluation erfolgte auf drei Benchmarks (HM-ReasoningBench, AIME25, Apex) mit verschiedenen Modellen (Qwen3-8B/14B, DeepSeek-R1-Distill-Qwen-7B).

• Leistungssteigerung: SSR übertrifft konsistent direkte Lösung (Direct Solving), In-Context Learning (ICL) und Einzelquellen-Anleitungen (nur menschlich oder nur modellbasiert).
  • Auf AIME25 wurde die Genauigkeit um bis zu +13 Punkte (z. B. bei Qwen3-8B von 67,33% auf 74,00%) verbessert.
  • Auf Apex (sehr schwierige Probleme) wurden +5 Punkte erreicht.
• Robustheit: Die Verbesserungen sind besonders stark bei komplexen, langfristigen Reasoning-Aufgaben, wo die Diskrepanz zwischen Mensch und Modell am größten ist.
• Effizienz: Im Gegensatz zu Methoden wie Self-Consistency oder Tree-of-Thoughts, die viele Inferenz-Versuche benötigen, erreicht SSR diese Ergebnisse mit einer einzigen generierten Antwort pro Problem und reduziert sogar die Anzahl der benötigten Token (weniger ineffizientes „Herumprobieren").
• Ablationsstudie: Alle drei Retrieval-Routen (Kategorie, Transfer, Fallback) sind notwendig; das Entfernen einer Route führt zu signifikanten Leistungseinbußen.

5. Bedeutung und Fazit

Das Paper stellt einen Paradigmenwechsel in der Interpretation von Reasoning-Guidance dar. Es zeigt, dass die bloße Verfügbarkeit einer korrekten Strategie oder deren semantische Relevanz nicht ausreicht. Stattdessen muss die Operationalisierbarkeit einer Strategie für das spezifische Zielfmodell im Vordergrund stehen.

• Für die Forschung: Es unterstreicht die Notwendigkeit, Trainingsdaten und Evaluationsmetriken so zu gestalten, dass sie die Fähigkeit von Modellen messen, verschiedene Arten von Denkstrategien (strukturell vs. prozedural) effektiv auszuführen.
• Für die Praxis: SSR bietet einen effizienten Weg, um die Leistung von kompakten Reasoning-Modellen zu steigern, ohne das Modell neu zu trainieren oder rechenintensive Suchverfahren einzusetzen. Die Methode nutzt die komplementären Stärken menschlicher und modellgenerierter Lösungen, indem sie diejenige Strategie auswählt, die das Modell am besten „verstehen" und ausführen kann.

Zusammenfassend beweist die Arbeit, dass die Überbrückung der Lücke zwischen menschlicher Intuition und maschineller Ausführung durch eine exekutierbarkeitsbewusste Auswahl von Anleitungen entscheidend für robustes mathematisches Reasoning ist.