Technisches Resümee: Eine vereinende Perspektive auf Supervised Fine-Tuning durch Zielverteilungsdesign

Problemstellung

Supervised Fine-Tuning (SFT) ist eine entscheidende Phase bei der Anpassung von Large Language Models (LLMs) an spezifische Aufgaben durch das Imitieren von Experten-Demonstrationen. SFT basiert jedoch auf einer starren One-Hot-Zielverteilung, bei der das Modell darauf trainiert wird, die Wahrscheinlichkeit des beobachteten Tokens $y_t$ zu maximieren, während allen anderen Tokens eine Wahrscheinlichkeit von Null zugewiesen wird.

Die Autoren argumentieren, dass diese Formulierung aus mehreren Gründen suboptimal ist:

1. Nicht-Eindeutigkeit: In realistischen Datensätzen lässt ein einzelner Prompt oft mehrere valide Denkpfade, Formulierungen oder Zwischenschritte zu. Ein einzelnes beobachtetes Token ist selten die einzige korrekte Fortsetzung.
2. Rauschen und Fehlausrichtung: Beobachtete Tokens können verrauscht oder nicht mit dem reichen Wissens-Prior sein, der im vortrainierten Modell kodiert ist.
3. Überkonfidenz: Das strikte Anpassen an ein One-Hot-Ziel kann Rauschen verstärken, Überkonfidenz induzieren, den vortrainierten Prior stören und die Generalisierung verschlechtern.

Bestehende Arbeiten versuchen, diese Probleme durch Token-level Reweighting (z. B. DFT, ProFit) oder distributional Regularisierung (z. B. Label Smoothing, KL-Constraints) zu mildern. Diese Methoden werden jedoch oft als disparat algorithmische Entscheidungen präsentiert, denen es an einem vereinheitlichten theoretischen Rahmen mangelt, um ihre Verbindungen zu erklären oder die Konstruktion besserer Zielfunktionen zu leiten.

Methodik: Das Q-Target-Framework

Das Paper interpretiert SFT nicht als ein Verlustminimierungsproblem, sondern als ein Designproblem für die Zielverteilung. Die zentrale Erkenntnis ist, dass jede Token-level Verlustfunktion implizit das Modell dazu treibt, eine spezifische Zielverteilung $Q_t$ zu entsprechen.

Die Q-Target-Formulierung

Die Autoren schlagen das Q-Target-Framework vor, welches die Trainings-Supervision in zwei explizite Designentscheidungen zerlegt:
$$Q_t = \gamma_t \delta_{y_t} + (1 - \gamma_t) \tilde{\pi}_t$$
Wobei:

• $\delta_{y_t}$ die One-Hot-Verteilung des beobachteten Tokens ist.
• $\gamma_t \in [0, 1]$ das Vertrauen (Trust) in das beobachtete Token darstellt. Es steuert, wie viel Wahrscheinlichkeitsmasse dem Label zugewiesen wird.
• $\tilde{\pi}_t$ die Residualverteilung über plausible Alternativen ist, die die verbleibende Wahrscheinlichkeitsmasse $(1 - \gamma_t)$ erhält.

Dieses Framework vereinheitlicht bestehende SFT-Varianten:

• Token-gewichtete Varianten (z. B. DFT, ProFit): Passen primär $\gamma_t$ basierend auf Modellkonfidenz oder Token-Qualität an, setzen aber implizit die Residualverteilung $\tilde{\pi}_t$ auf den eigenen Prior des Modells (Self-Matching), was kein korrigierendes Signal für Alternativen liefert.
• Distributionale Varianten (z. B. Label Smoothing, KL-Constraints): Spezifizieren primär $\tilde{\pi}_t$ (z. B. uniform, Referenzmodell), verwenden aber oft ein festes $\gamma_t$.

TARGET-SFT: Eine konkrete Instanziierung

Aufbauend auf diesem Framework schlagen die Autoren TARGET-SFT vor, welches beide Komponenten des Q-Targets explizit entwirft:

1. Adaptives Vertrauen ($\gamma_t$): Anstatt fester Gewichte wird $\gamma_t$ aus der eigenen prädiktiven Wahrscheinlichkeit des Modells $p_y = \pi_\theta(y_t | x_t)$ abgeleitet.

   • Wenn das Modell konfident ist ($p_y \approx 1$), gilt $\gamma_t \approx 1$ und das Ziel nähert sich dem Standard-SFT an.
   • Wenn das Modell unsicher ist ($p_y \approx 0$), gilt $\gamma_t \approx 0$, was die strikte Imitation des potenziell verrauschten Labels abschwächt.
   • Dies wird durch die Modellierung des "Vertrauens" in ein Token als latente Variable mit einer Beta-Verteilung begründet, deren Posterior-Mittelwert die Modellwahrscheinlichkeit approximiert.

2. Lehrer-gesteuerte Residualverteilung ($\tilde{\pi}_t$): Anstatt die verbleibende Masse auf den eigenen Prior des Studenten zu setzen (der keine neuen Informationen bietet), weist TARGET-SFT diese einer Lehrer-gesteuerten Verteilung zu.

   • Die Residualverteilung wird mittels KL-regularisierter Reward-Shaping konstruiert: $\tilde{\pi}_t \propto \pi_\theta^{1-\eta} \pi_T^{\eta}$, wobei $\pi_T$ eine Lehrer-Verteilung (z. B. ein Instruction-tuned Modell) ist und $\eta$ die Intensität des Lehrer-Signals steuert.
   • Dies ermöglicht es dem Modell, von "plausiblen Alternativen" zu lernen, die vom Lehrer vorgeschlagen werden, wenn das beobachtete Label unsicher ist, was als Fallback-Supervisionsmechanismus dient.

Das finale Ziel ist der Cross-Entropy-Verlust zwischen der Modellverteilung und der konstruierten $Q_t^{TARGET}$:
$$L_{TARGET} = \sum_t \left[ p_y \cdot CE(\delta_{y_t}, \pi_\theta) + (1 - p_y) \cdot CE(\tilde{\pi}_t^{guided}, \pi_\theta) \right]$$

Zentrale Beiträge

1. Perspektive der Zielverteilung: Das Paper führt einen grundlegenden Paradigmenwechsel in der Betrachtung von SFT ein, indem es argumentiert, dass die induzierte Zielverteilung das primäre Objekt des Designs ist, nicht die Verlustfunktion selbst.
2. Q-Target-Framework: Eine vereinende Linse, die SFT-Zielfunktionen in zwei explizite Entscheidungen zerlegt: Label-Vertrauen ($\gamma_t$) und Residual-Allokation ($\tilde{\pi}_t$). Dieses Framework erklärt, wie bestehende Varianten (Reweighting, Regularisierung, Distillation) implizite Entscheidungen innerhalb dieses Raums sind.
3. TARGET-SFT Algorithmus: Eine konkrete Methode, die adaptiv zwischen Label-Imitation und Lehrer-gesteuerter Residual-Supervision abwägt. Es vermeidet das Overfitting auf unsichere Labels, während es das Wissen des Lehrers nutzt, um das Modell zu plausiblen Alternativen zu führen.

Experimentelle Ergebnisse

Die Autoren evaluierten TARGET-SFT über 10 Datensatz-Modell-Einstellungen, die mathematische Argumentation (NuminaMath-CoT, OpenR1-15k) und medizinische Argumentation (m23k) mit Modellen von 1.5B bis 8B Parametern (Qwen2.5, Qwen3, LLaMA) abdecken.

• Performance: TARGET-SFT erreichte konsistent die höchste Average@16 Genauigkeit über alle Einstellungen hinweg und übertraf Standard-SFT, probabilitätsgewichtetes SFT (p-loss) und Knowledge-Distillation-Baselines.
• Mathematische Argumentation: Standard-SFT lieferte oft nur moderate Gewinne oder verschlechterte sogar die Performance (z. B. bei Qwen3-1.7B) aufgrund der starren One-Hot-Anpassung. TARGET-SFT verbesserte sich signifikant gegenüber p-loss, was zeigt, dass das explizite Design der Residualverteilung der bloßen Abmilderung des Labels überlegen ist.
• Medizinische Argumentation: Während Standard-SFT in einigen medizinischen Fällen gut abschnitt (was darauf hindeutet, dass strikte Imitation manchmal valide ist), erzielte TARGET-SFT dennoch die beste durchschnittliche Performance. Dies deutet darauf hin, dass der Lehrer-gesteuerte Residual-Zweig auch dann einen Mehrwert bietet, wenn einfaches Reweighting weniger effektiv ist.
• Ablationsstudien:
  • Die Variation der Intensität des Lehrer-Signals ($\eta$) zeigte, dass die adaptive Gewichtung über verschiedene Intensitäten hinweg robust ist.
  • Das Ersetzen des adaptiven Gewichts $(1-\gamma_t)$ durch eine feste Konstante $c$ verschlechterte die Performance, was die Notwendigkeit der Unsicherheitsabhängigkeit bestätigt.
  • Distillations-Baselines waren hochsensibel gegenüber dem Mischungsgewicht $c$ und konnten die Performance von TARGET-SFT nicht erreichen, was darauf hindeutet, dass die Verwendung eines Lehrers als fixes volles Ziel suboptimal gegenüber einer adaptiven Fallback-Supervision ist.

Bedeutung und Behauptungen

Das Paper behauptet, dass seine Formulierung ein fundamentelleres Designprinzip für das SFT-Training offenbart. Durch die Verschiebung des Fokus von der Verlustfunktion auf die induzierte Zielverteilung gelingt es den Autoren:

• Disparate SFT-Varianten unter einem einzigen theoretischen Rahmen zu vereinheitlichen.
• Einen breiteren Suchraum für SFT-Zielfunktionen aufzuzeigen, der eine explizite Kontrolle darüber ermöglicht, wie viel man Daten imitiert versus wie viel man Priors bewahrt oder externe Führung integriert.
• Zu demonstrieren, dass effektives SFT aus dem sorgfältigen Design sowohl der Imitationsstärke als auch der Allokation der verbleibenden Wahrscheinlichkeitsmasse resultiert, anstatt auf starren One-Hot-Zielen oder statischer Regularisierung zu beruhen.

Die Autoren kommen zu dem Schluss, dass TARGET-SFT eine neue, vollständigere Perspektive auf SFT bietet, die Wege für zukünftiges Objective-Design eröffnet, welches die Balance zwischen Datensatz-Imitation, Prior-Erhaltung und alternativer Supervision besser gestaltet.