Technisches Fazit: GAC – Rauschbewusstes adaptives Mischen für hybrides SFT-RL-Nachtraining

1. Problemstellung

Large Language Models (LLMs) werden typischerweise mittels eines hybriden Paradigmas nachtrainiert, das Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) kombiniert. SFT stabilisiert das Ausgabeformat des Modells durch Experten-Demonstrationen, während RL das belohnungsorientierte Verhalten durch on-policy Rollouts verbessert. Diese Ziele können jedoch nicht vollständig entkoppelt werden, ohne gegenseitige Verschlechterungen in Kauf zu nehmen (Niu et al., 2026).

Aktuelle hybride Methoden verlassen sich häufig auf feste Mischpläne oder heuristische Regeln, um SFT- und RL-Gradienten auszugleichen. Diese statischen Ansätze versagen, wenn sich das relative Rauschen der beiden Signale während des Trainings verändert. Insbesondere können sie folgende Aspekte nicht berücksichtigen:

• Sich entwickelnde Policy-Drift: Änderungen in der Verteilung des Modells über die Zeit.
• Belohnungsrauschen: Variabilität in den RL-Vorteilsschätzungen.
• Gradienten-Abweichung: Konflikte zwischen SFT- und RL-Zielen.

Dieser Mangel an Anpassungsfähigkeit kann zu Entropie-Kollaps, späten Überimitationen oder Reward-Hacking führen. Während neuere Arbeiten (z. B. CHORD, SRFT, HPT) dynamische Gewichtung oder konfliktbewusste Kopplung eingeführt haben, modelliert keine davon explizit sowohl die Gradienten-Rauschvarianz als auch die SFT–RL-Abweichung gleichzeitig, um ein optimales Mischgewicht abzuleiten.

2. Methodik: GAC (Guided Adaptive Controller)

Die vorgeschlagene Methode, GAC, fasst das Mischproblem als rauschbewusste Steuerungsaufgabe neu. Sie besteht aus einem theoretischen geschlossenen Schätzer und einem praktischen gesteuerten Regler.

2.1 Theoretische Grundlage: Geschlossener $\mu^*$-Schätzer

Der Kernbeitrag ist die Herleitung eines optimalen Mischgewichts $\mu^*$ durch Minimierung des mittleren quadratischen Fehlers (MSE) zwischen dem gemischten stochastischen Gradienten und einem Zielgradienten.

• Annahmen: Seien $\hat{g}_s$ und $\hat{g}_r$ Gradientenschätzer für SFT und RL, zusammengesetzt aus rauschfreien Gradienten ($g^*_s, g^*_r$) und mittelwertfreiem Rauschen ($\varepsilon_s, \varepsilon_r$) mit den Varianzen $\sigma^2_s$ und $\sigma^2_r$.
• Ziel: Minimierung von $E(\mu) = E[\|\mu\hat{g}_s + (1-\mu)\hat{g}_r - g^*\|^2]$, wobei $g^*$ ein Zielgradient ist, der durch ein gewünschtes Trade-off-Verhältnis $\alpha_{tgt}$ definiert wird.
• Ergebnis: Unter Unabhängigkeitsannahmen ist der eindeutige Minimierer:
  $$\mu^* = \frac{\alpha_{tgt} \Delta g^2 + \sigma^2_r}{\Delta g^2 + \sigma^2_s + \sigma^2_r}$$
  wobei $\Delta g^2 = \|g^*_s - g^*_r\|^2$ die Gradienten-Abweichung darstellt.
• Interpretation: Diese Formel verkörpert einen Bias–Varianz-Trade-off. Wenn die Abweichung ($\Delta g^2$) gering ist, nähert sich das Gewicht einer inversen Varianzgewichtung an. Bei hoher Abweichung weicht das Gewicht auf die vom Benutzer spezifizierte Präferenz $\alpha_{tgt}$ zurück.

2.2 Praktische Umsetzung: Proxy-Signale & Online-Schätzung

Da echte Gradientenstatistiken bei jedem Schritt teuer zu berechnen sind, verwendet GAC rechnerisch handhabbare Proxy-Signale, die online aus vorhandenen Trainings-Tensoren geschätzt werden:

1. RL-Unsicherheit ($\sigma^2_r$): Geschätzt über die Dispersion der Vorteile auf Sequenzebene.
2. SFT-Unsicherheit ($\sigma^2_s$): Geschätzt über die längennormierte, getrimmte Varianz der Negativen Log-Likelihood (NLL).
3. Abweichungs-Proxy ($\Delta \tilde{g}^2$): Geschätzt über die Varianz der z-normalisierten Koeffizientendifferenzen zwischen RL- und SFT-Gradienten.

Diese Proxies wurden als hoch korreliert mit echten Gradientenstatistiken validiert (Pearson-Korrelation $r \approx 0,76\text{--}0,84$).

2.3 Stabilitätsmotivierte Designrichtlinien

Um abrupte Verschiebungen zu verhindern und die Trainingsstabilität sicherzustellen, wird der rohe Schätzer $\mu^*$ durch einen Guided Adaptive Controller mit drei geschützten Schritten verarbeitet:

1. EMA-Glättung: $\mu_{ada} = \beta \mu_{t-1} + (1-\beta)\mu^*$ zur Dämpfung hochfrequenter Rauschanteile.
2. Schedule-Prior-Vermischung: $\mu_{blend} = (1-\lambda)\mu_{prior} + \lambda \mu_{ada}$, wobei $\mu_{prior}$ ein Warmup-/Cosine-Plan ist, der sicherstellt, dass der Regler nicht zu weit von einer vernünftigen Basislinie abweicht.
3. Begrenzte Updates: Die Schrittänderung $\delta_t$ wird auf eine kleine Schranke $\bar{c}$ (z. B. 0,01) gekappt, um destabilisierende Sprünge zu verhindern.

Zusätzlich wird das Zielverhältnis $\alpha_{tgt}$ unter Verwendung einer KL-gesteuerten Hysterese-Regel dynamisch an $\alpha_{ctrl}$ angepasst, um Policy-Drift zu verhindern.

3. Hauptbeiträge

1. Rauschbewusster Mischregler (C1): Eine geschlossene Lösung für das optimale Mischgewicht, abgeleitet aus der MSE-Minimierung, die Gradienten-Rauschvarianz und Zielkonflikte ausbalanciert. Sie wird durch z-normalisierte Proxies instanziiert und in einen Stabilitätsgarantie-Regler mit <1% Rechenaufwand eingebettet.
2. Integration tokenweiser Umgewichtung (C2): Das System übernimmt die tokenweise Umgewichtsfunktion $\phi(p) = p(1-p)$ aus CHORD (Zhang et al., 2025). Die Autoren zeigen, dass diese Komponente orthogonal zum globalen Regler ist und einen zusätzlichen Gewinn von +0,4–1,4 pp liefert.
3. Systematische Evaluation (C3): Umfassende Evaluation über Mathematik-, Code-, Wissenschafts- und Logik-Benchmarks hinweg bei Parameterräumen von 1,5B, 7B und 14B.

4. Experimentelle Ergebnisse

Die Experimente wurden am Qwen2.5-7B-Instruct-Modell (und skaliert auf 1,5B/14B) unter Verwendung von OpenR1-Math-220k und anderen Benchmarks (MBPP, HumanEval, GPQA, SciBench, BBH) durchgeführt.

• Leistungssteigerungen:
  • Mathematik (AMC): GAC + Token-φ erreicht 67,2 %, was den besten hybriden Baseline (HPT, 63,4 %) um +3,8 pp und den rauschbewussten Regler allein (GAC ohne φ) um +3,0 pp gegenüber regelbasierten Controllern übertrifft.
  • Code: GAC erreicht 78,8 % auf MBPP (+3,4 pp gegenüber CHORD) und 83,5 % auf HumanEval.
  • Wissenschaft/Logik: GAC verbessert GPQA um +3,9 pp und die logischen Teilmengen von BBH um +3,1 pp gegenüber HPT.
• Stabilitätsverbesserungen:
  • KL-Drift: Reduzierung der KL-Drift-Fläche um 28 % im Vergleich zu konstantem Mischen.
  • Große Verschiebungen: Reduzierung großer $|\Delta \mu|$-Ereignisse um >70 %.
  • Trainingsdynamik: GAC hält eine höhere Rollout-Genauigkeit aufrecht, moderate Antwortlängen (Vermeidung von Reward-Hacking-Spitzen) und eine schnellere Entropiestabilisierung im Vergleich zu festen Plänen.
• Skalierbarkeit: Die Gewinne skalieren mit der Modellgröße und zeigen +2,2 pp bei 1,5B, +3,8 pp bei 7B und +3,3 pp bei 14B.
• Effizienz: Die Methode fügt nur 3 EMA-Skalare hinzu und verursacht <1% Overhead an Wandzeit ohne messbare Speichererhöhung.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass GAC das SFT–RL-Mischen erfolgreich als rauschbewusstes Steuerungsproblem und nicht als heuristische Planungsaufgabe neu fasst.

• Haupttreiber: Die kausale Attributionsanalyse bestätigt, dass der rauschbewusste Schätzer (das aus dem MSE abgeleitete Signal) der dominante Beitrag zur Leistungssteigerung ist (+3,7 pp), während EMA-Glättung und Schedule-Priors notwendige Stabilität bieten, aber geringere inkrementelle Gewinne liefern.
• Robustheit: Der Regler ist robust gegenüber schwachen oder falsch spezifizierten Prior-Plänen; selbst mit „schlechten" konstanten Priors korrigiert GAC das Mischgewicht effektiv.
• Einschränkungen: Die Autoren weisen darauf hin, dass die Stabilitätsanalyse auf idealisierten Annahmen (L-glatte Verluste, KL-begrenzte Updates) beruht und Designrichtlinien statt strikter Konvergenzgarantien liefert. Die Methode wurde derzeit nur für Aufgaben mit verifizierbaren Belohnungen validiert; die Erweiterung auf offene Ausrichtung mit gelernten Belohnungsmodellen bleibt zukünftige Arbeit.

Zusammenfassend bietet GAC einen theoretisch fundierten, low-overhead-Mechanismus, um SFT und RL basierend auf Echtzeit-Unsicherheitsschätzungen dynamisch auszugleichen und übertrifft feste Pläne sowie heuristische Regler bei diversen Denk-Aufgaben signifikant.