Technisches Resümee: TrajFusion zur Skalierung mathematischer Argumentation

Problemstellung

Große Sprachmodelle (LLMs) haben signifikante Fortschritte im Bereich des mathematischen Schließens erzielt, primär durch Supervised Fine-Tuning (SFT) auf hochwertigen Lösungstrajektorien. Das dominante Paradigma für die Konstruktion dieser Daten ist das Rejection Sampling Fine-Tuning (RFT). Bei RFT generiert ein Teacher-Modell mehrere Kandidaten-Argumentationspfade für ein gegebenes Problem, wobei nur jene mit korrekten Endergebnissen für das Training beibehalten werden; alle fehlerhaften Trajektorien werden verworfen.

Obwohl dieser Ansatz effektiv ist, behandelt er die Aufsicht als binären Filter. Er schließt systematisch die vom Teacher-Modell generierten Fehler aus, wodurch eine Lücke entsteht, wie Fehlermodi während des Trainings modelliert werden. Die Autoren argumentieren, dass fehlerhafte Trajektorien wertvolle diagnostische Informationen enthalten – wie etwa häufige Rechenfehler, fehlende Annahmen oder logisch plausible, aber ungültige Argumentationspfade –, die helfen könnten, Modelle zu befähigen, spezifische Fehlermodi zu erkennen und zu vermeiden. Aktuelle Methoden behandeln diese Fehler als Rauschen, das verworfen werden soll, statt als strukturierte Aufsicht, die genutzt werden könnte. Deren aktuelle Ansätze betrachten diese Fehler als Rauschen, das verworfen werden sollte, anstatt sie als strukturierte Aufsicht zu nutzen.

Methodik: TrajFusion

Das Paper schlägt TrajFusion vor, eine Fine-Tuning-Strategie, die RFT von einem binären Filtermechanismus in einen Prozess der strukturierten Aufsichtskonstruktion umformt. TrajFusion integriert ausgewählte fehlerhafte Argumentationsverläufe mit korrekten in eine einzige fusionierte Trainingsprobe und modelliert explizit einen Trial-and-Error-Argumentationsprozess.

Kernkomponenten

1. Sampling und Analyse: Für jedes Problem $x$ sampelt das Teacher-Modell $K$ Trajektorien. Diese werden mithilfe eines automatischen Verifizierers in korrekte ($Y^+$) und inkorrekte ($Y^-$) Mengen unterteilt.
2. Adaptive Selektion: Die Methode bestimmt adaptiv, wie viele inkorrekte Trajektorien einbezogen werden sollen, basierend auf zwei Statistiken:
   • Fehlerrate ($r(x)$): Die Häufigkeit fehlerhafter Versuche.
   • Fehlerdiversität ($u(x)$): Die Anzahl der eindeutigen Endergebnisse unter den inkorrekten Versuchen (gemessen durch die Shannon-Entropie oder die Anzahl eindeutiger Antworten).
     Die Anzahl der beibehaltenen inkorrekten Trajektorien $k(x)$ wird wie folgt berechnet:
     $$k(x) = \min(k_{max}, \lfloor \alpha \cdot r(x) \cdot u(x) \rfloor)$$
     Dies stellt sicher, dass Probleme mit vielfältigen und häufigen Fehlern eine reichere Aufsicht erhalten, während Probleme mit spärlichen oder wenig informativen Fehlern natürlich zu herkömmlichem RFT degenerieren.
3. Konstruktion der fusionierten Probe: Die ausgewählten inkorrekten Trajektorien werden mit festen Reflexions-Prompts (z. B. „Warte... das scheint nicht richtig zu sein. Versuchen wir es noch einmal.“) mit der korrekten Trajektorie verschachtelt. Die endgültige Struktur ist:
   $$T(x) = [y_{e1}, \rho_1, \dots, y_{ek}, \rho_k, y^*]$$
   wobei $y_{ei}$ inkorrekte Pfade sind, $\rho_i$ die Reflexions-Prompts darstellen und $y^*$ die korrekte Lösung ist.
4. Training: Die fusionierten Sequenzen werden mittels Standard-Next-Token-Prediction (SFT) trainiert, ohne Änderungen an der Modellarchitektur oder dem Trainingsziel.

Zentrale Beiträge

• Formalisierung einer Aufsichtslücke: Die Autoren identifizieren und formalisieren die systematische Exklusion von vom Teacher-Modell generierten inkorrekten Trajektorien in RFT und argumentieren, dass diese Fehler diagnostischen Wert für die Modellierung von Argumentationsfehlern bieten.
• TrajFusion-Framework: Ein strukturiertes Aufsichtsframework, das inkorrekte und korrekte Trajektorien adaptiv fusioniert. Es behandelt die Fehlerdiversität als explizites Kontrollsignal, was es der Methode ermöglicht, robust über Probleme unterschiedlicher Schwierigkeitsgrade hinweg zu skalieren, ohne Hilfsmodelle, Kritiker-Generatoren oder externe Schwierigkeitslabels zu benötigen.
• Empirische Validierung: Die Methode zeigt konsistente Verbesserungen gegenüber herkömmlichem RFT über mehrere Basismodelle (LLaMA3-8B, DeepSeekMath-7B), Datensatz-Regime (15K bis 100K Beispiele) und Kontextlängen (bis zu 32K) hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten TrajFusion auf sechs mathematischen Argumentations-Benchmarks (GSM8K, MATH, CollegeMath, DeepMind-Mathematics, OlympiadBench, TheoremQA) und Wettbewerbs-Datensätzen (AIME24, AIME25, MATH-500).

• Leistungssteigerungen: TrajFusion übertraf herkömmliches RFT konsistent. Auf dem MATH-Datensatz mit LLaMA3-8B (100K Daten) erreichte TrajFusion eine Genauigkeit von 51,4 % im Vergleich zu 48,5 % bei RFT. Auf DeepSeekMath-7B erreichte es 52,3 % gegenüber 50,2 %.
• Einfluss auf die Komplexität: Die Verbesserungen waren am deutlichsten bei anspruchsvollen, langwierigen Argumentations-Benchmarks (MATH, OlympiadBench, TheoremQA), bei denen die Argumentationspfade länger und die Fehlermodi vielfältiger sind. Die Gewinne bei einfacheren Datensätzen wie GSM8K waren geringer, aber dennoch positiv.
• Dateneffizienz: TrajFusion erzielte kompetitive Ergebnisse mit nur 15K Trainingsbeispielen und übertraf damit Baselines, die signifikant größere Datensätze verwendeten (z. B. MMIQC mit 2,3M Beispielen).
• Skalierbarkeit auf langen Kontext: Bei Anwendung auf eine 32K-Kontextversion von Qwen2.5-Math-7B unter Verwendung von langwierigen Daten, die von DeepSeek-R1 destilliert wurden, verbesserte TrajFusion die Pass@1 auf AIME24 von 40,0 % (RFT) auf 43,3 %.
• Ablationsstudien:
  • Die Erhöhung der Anzahl der fusionierten Fehler ($k_{max}$) verbesserte die Leistung bis zu einem gewissen Punkt (abnehmende Grenzerträge bei $k_{max}=6$ beobachtet).
  • Die Auswahl von Fehlern basierend auf Diversität (HighDiv) lieferte bessere Ergebnisse als die Auswahl allein basierend auf Häufigkeit (LowDiv), was darauf hindeutet, dass strukturell unterschiedliche Fehlermodi informativer sind.
  • Modelle, die mit TrajFusion trainiert wurden, generierten anfangs längere Sequenzen, wurden aber allmählich prägnanter und erhöhten gleichzeitig die Frequenz von Reflexions-Token, was auf eine effizientere Nutzung der strukturellen Muster hindeutet.

Bedeutung und Ansprüche

Das Paper behauptet, dass TrajFusion eine einfache, aber effektive Möglichkeit bietet, die mathematische Argumentation zu skalieren, indem es Aufsichtssignale nutzt, die normalerweise verworfen werden. Indem es Rejection Sampling als Prozess zur Konstruktion strukturierter Trial-and-Error-Trajektorien umformt, bietet die Methode eine reichere Aufsicht ohne architektonische Modifikationen oder komplexe Reinforcement-Learning-Pipelines.

Die Autoren betonen, dass TrajFusion besonders wertvoll für anspruchsvolle und langwierige Argumentationsprobleme ist, bei denen die Unterscheidung zwischen validen und fehlerhaften Argumenten entscheidend ist. Sie behaupten, dass die adaptive Natur von TrajFusion die Robustheit gewährleistet: Sie bereichert die Aufsicht, wenn Fehler informativ sind, und kehrt sicher zum Standard-RFT-Verhalten zurück, wenn dies nicht der Fall ist. Dieser Ansatz schließt die Lücke zwischen binärer Korrektheitsfilterung und der nuancierten Realität von Argumentationsfehlern, indem er es Modellen ermöglicht, in einem überwachten Setting aus ihren eigenen Fehlern zu lernen.