💬 NLP

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

Diese Studie zeigt, dass die Leistung von Supervised Fine-Tuning bei großen Sprachmodellen stark vom Fähigkeitsniveau des Modells abhängt, wobei prioritätsorientierte Verlustfunktionen bei leistungsstarken Modellen und die klassische negative Log-Likelihood bei schwächeren Modellen überlegen sind.

Ursprüngliche Autoren: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

Veröffentlicht 2026-03-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen sehr klugen Schüler, den wir „Großes Sprachmodell" nennen. Dieser Schüler hat bereits eine riesige Bibliothek gelesen und weiß unglaublich viel über die Welt. Jetzt willst du ihn für eine spezielle Aufgabe trainieren, zum Beispiel Matheaufgaben zu lösen oder medizinische Diagnosen zu stellen. Das nennt man „Feinabstimmung" (Supervised Fine-Tuning).

Bisher war die Standard-Methode, um diesen Schüler zu verbessern, wie folgt: Der Lehrer zeigt dem Schüler eine Aufgabe und die richtige Antwort. Wenn der Schüler auch nur einen kleinen Fehler macht oder unsicher ist, wird er streng bestraft. Die Regel lautete: „Du musst jede einzelne Silbe der Antwort exakt so vorhersagen, wie sie dort steht, und zwar mit höchster Wahrscheinlichkeit."

Die Forscher dieses Papers haben jedoch festgestellt: Diese alte Regel funktioniert nicht immer gut. Es kommt ganz darauf an, wie gut der Schüler die Aufgabe schon vor dem Training verstanden hat.

Hier ist die einfache Erklärung der Entdeckungen, mit ein paar kreativen Vergleichen:

1. Das Problem: Der „Strenge Lehrer" (NLL)

Der Standard-Ansatz (Negative Log Likelihood) ist wie ein Lehrer, der auf jedes kleine Detail achtet.

Wenn der Schüler schon viel weiß: Stell dir vor, der Schüler soll eine Matheaufgabe lösen, die er schon 100-mal gesehen hat. Er weiß die Antwort zu 90 %. Aber weil er unsicher ist, ob er die letzte Ziffer genau richtig sagt, bestraft ihn der strenge Lehrer für diese kleine Unsicherheit. Das führt dazu, dass der Schüler verwirrt wird und vielleicht sogar die richtige Antwort vergisst, weil er sich zu sehr auf die Fehler konzentriert.
Wenn der Schüler nichts weiß: Stell dir vor, der Schüler soll ein Rätsel lösen, das noch nie jemand gelöst hat (z. B. ein neues Wortspiel). Er weiß gar nichts darüber. Der strenge Lehrer sagt: „Du musst raten und jede Möglichkeit lernen!" Hier hilft die strenge Regel, weil der Schüler wirklich von vorne anfangen muss.

2. Die Lösung: Der „Weise Mentor" (Das Kontinuum)

Die Forscher sagen: Wir brauchen keinen einzigen „perfekten" Lehrer für alle Situationen. Stattdessen müssen wir die Lehrmethode an die Fähigkeiten des Schülers anpassen. Sie nennen dies das „Fähigkeits-Kontinuum".

Stell dir das wie eine Skala vor:

Ende A: Der Starke Schüler (Model-Strong)

Situation: Der Schüler kennt das Thema schon sehr gut (z. B. Mathe oder Coding), weil er in seiner Bibliothek (dem Vorwissen) schon viel darüber gelesen hat.
Das Problem: Der strenge Lehrer (Standard-Methode) bestraft ihn zu sehr für kleine Unsicherheiten.
Die neue Methode: Wir brauchen einen Mentor, der das Selbstvertrauen belohnt. Dieser Mentor sagt: „Hey, du bist dir bei den wichtigsten Teilen schon ziemlich sicher. Ignoriere die kleinen Unsicherheiten am Rand und konzentriere dich darauf, das zu festigen, was du schon gut kannst."
Ergebnis: Der Schüler wird noch besser, weil er nicht durch unnötige Kritik verwirrt wird.

Ende B: Der Schwache Schüler (Model-Weak)

Situation: Der Schüler steht vor etwas völlig Neuem (z. B. ein Rätsel, das es in seiner Bibliothek gar nicht gibt). Er hat keine Ahnung.
Das Problem: Wenn wir jetzt nur das Bestehende belohnen, lernt er nichts, weil er gar kein „Bestehendes" hat, auf das er sich stützen kann.
Die neue Methode: Hier brauchen wir wieder den strengen Lehrer. Er sagt: „Du hast keine Ahnung? Dann musst du jede einzelne Möglichkeit genau analysieren und lernen, was falsch ist, um es richtig zu machen."
Ergebnis: Der Schüler lernt durch harte Arbeit und Korrektur von Fehlern.

Mitte: Der Durchschnittliche Schüler (Intermediate)

Situation: Der Schüler kennt das Thema ein bisschen (z. B. Medizin), aber nicht perfekt.
Das Ergebnis: Hier ist es egal, welche Methode man wählt. Beide Lehrer führen zu ähnlichen Ergebnissen. Es gibt keinen klaren Gewinner.

3. Die große Erkenntnis

Früher dachten alle: „Es gibt die eine beste Methode, um KI zu trainieren."
Die Forscher sagen jetzt: Nein!

Ist die KI schon sehr gut im Thema? -> Dann lass sie auf ihrem Wissen aufbauen und ignoriere kleine Unsicherheiten (Prior-leaning).
Ist die KI noch sehr schlecht im Thema? -> Dann lass sie hart an den Fehlern arbeiten und ignoriere keine Details (Prior-averse / Standard).

Zusammenfassung in einem Bild

Stell dir vor, du trainierst einen Athleten:

Wenn der Athlet schon ein Weltmeister ist (starkes Vorwissen), brauchst du einen Trainer, der ihm hilft, seine Stärken zu perfektionieren und nicht auf jedem kleinen Wackeln herumhackt.
Wenn der Athlet ein Anfänger ist (kein Vorwissen), brauchst du einen Trainer, der ihm jede Bewegung genau korrigiert und ihn zwingt, die Grundlagen zu lernen.

Dieses Paper zeigt uns, dass wir in der KI-Welt oft den falschen Trainer für den falschen Athleten gewählt haben. Wenn wir die Methode an die Fähigkeit des Modells anpassen, werden die Ergebnisse viel besser.

1. Problemstellung

Das Supervised Fine-Tuning (SFT) ist der Standardansatz zum Nachtrainieren von Large Language Models (LLMs), um deren Fähigkeiten zu aktivieren oder zu stärken. Der de-facto Standard für das Trainingsziel (Loss-Funktion) ist dabei die Negative Log-Likelihood (NLL), auch bekannt als Kreuzentropie ( $-\log p$ ).

Die Autoren identifizieren ein kritisches Problem: Obwohl NLL theoretisch optimal für das Training von Grund auf (from scratch) auf kleinen Klassifizierungsaufgaben ist, zeigt SFT bei großen Modellen oft eine eingeschränkte Generalisierungsfähigkeit.

Ursache: SFT findet in einem anderen Paradigma statt als das Training von Grund auf. Die Modelle besitzen bereits durch das Pre-Training starke Priors (Vorwissen) über die Aufgabe. Zudem ist die Supervision oft lang (Chain-of-Thought) und kann verrauscht sein.
Fehler: Das Erzwingen der exakten Reproduktion jedes Tokens durch NLL kann die Generalisierung behindern, insbesondere wenn das Modell bereits gute Vorhersagen trifft, aber NLL dennoch stark auf unsichere (niedrige Wahrscheinlichkeit) Tokens gewichtet, die oft Rauschen darstellen.

2. Methodik

Die Autoren schlagen vor, NLL nicht als universell beste Lösung zu betrachten, sondern untersuchen systematisch eine Familie von wahrscheinlichkeitsbasierten Zielen.

A. Parametrisierte Zielfunktionen

Sie definieren eine allgemeine Familie von Zielfunktionen $f_\alpha(p)$ , die NLL als Spezialfall enthält:
$f_\alpha(p) = \frac{1 - p^\alpha}{\alpha}$

Für $\alpha \to 0$ : Entspricht NLL ( $-\log p$ ).
Für $\alpha = 1$ : Entspricht $1 - p$ (Maximierung der erwarteten Genauigkeit).
Für $\alpha > 1$ : Konvexe Funktionen, die niedrige Wahrscheinlichkeiten stärker bestrafen.
Für $\alpha < 1$ : Konvexe Funktionen, die hohe Wahrscheinlichkeiten stärker gewichten.

B. Klassifizierung der Ziele

Basierend auf der Form des Gradienten (insbesondere dem Gewichtungsterm $W_f(p)$ ) werden Ziele in zwei Kategorien unterteilt:

Prior-leaning (Voreingenommen gegenüber dem Prior): Konzentrieren den Gradienten auf Tokens mit mittlerer bis hoher Wahrscheinlichkeit (z. B. $-p$ , $-p^{10}$ ). Sie vertrauen dem Vorwissen des Modells und ignorieren unsichere Tokens.
Prior-averse (Voreingenommen gegen den Prior): Konzentrieren den Gradienten auf Tokens mit niedriger Wahrscheinlichkeit (z. B. NLL). Sie zwingen das Modell, aus allen Fehlern zu lernen, auch aus sehr unwahrscheinlichen Vorhersagen.

C. Das Kontinuum der Modellfähigkeiten (Model-Capability Continuum)

Die zentrale These ist, dass die Wahl des optimalen Ziels vom Stärkegrad des Priors des Basis-Modells in einem bestimmten Domänenkontext abhängt. Dies wird als Kontinuum definiert:

Model-Strong (MS): Das Modell hat starke Priors (z. B. Mathematik bei Modellen, die viel mathematisches Textmaterial im Pre-Training hatten). Hier sind die Vorhersagen des Modells bereits gut kalibriert.
Model-Weak (MW): Das Modell hat keine relevanten Priors (z. B. neue Rätsel oder Low-Resource-Sprachen). Die Vorhersagen sind zufällig oder schlecht.
Intermediate (MI): Teilweise Abdeckung durch Priors (z. B. medizinisches Wissen).

3. Wichtige Beiträge

Entdeckung des Kontinuums: Die Arbeit zeigt erstmals, dass kein einzelner Loss-Funktion universell überlegen ist. Stattdessen gibt es einen Wechsel der Dominanz basierend auf der Modellfähigkeit.
Theoretische Analyse: Die Autoren leiten Bedingungen her, unter denen Prior-leaning-Objektive im MS-Bereich zu einer schnelleren Risikoreduktion führen, während NLL im MW-Bereich überlegen ist. Dies wird durch eine Analyse des Gradientenflusses (Gradient Flow) untermauert.
Systematische Evaluierung: Umfassende Experimente über 8 Modell-Architekturen, 27 Benchmarks und 7 Domänen (Mathematik, Medizin, Rätsel, Code, etc.).

4. Ergebnisse

Die Experimente bestätigen die Hypothese des Kontinuums:

Im Model-Strong Bereich (z. B. Mathematik-Reasoning):
- Ergebnis: Prior-leaning Ziele (wie $-p$ oder NLL mit einem Schwellenwert, der Tokens mit $p < 0.2$ ignoriert) übertreffen NLL konsistent und signifikant (bis zu 16% Verbesserung).
- Grund: Das Modell weiß bereits viel. NLL bestraft zu stark die wenigen unsicheren Tokens, die oft Rauschen sind. Prior-leaning Ziele konzentrieren das Lernen auf die bereits wahrscheinlichen, korrekten Tokens.
- Beobachtung: Die Leistung verbessert sich mit der Modellgröße (z. B. von 3B auf 32B Parameter), da stärkere Modelle bessere Priors haben.
Im Model-Weak Bereich (z. B. Text-Rätsel, Low-Resource-Sprachen):
- Ergebnis: NLL ( $-\log p$ ) dominiert klar gegenüber Prior-leaning Zielen.
- Grund: Da das Modell keine nützlichen Priors hat, wäre es kontraproduktiv, nur auf die (falschen) hohen Wahrscheinlichkeiten zu vertrauen. NLL zwingt das Modell, aus allen Tokens zu lernen und Fehler breit zu korrigieren.
Im Intermediate Bereich (z. B. Medizin):
- Ergebnis: Es gibt keinen klaren Gewinner; die Unterschiede zwischen NLL und Prior-leaning Zielen sind statistisch nicht signifikant.
- Grund: Die Priors sind weder stark genug für Prior-leaning noch schwach genug für NLL, um einen entscheidenden Vorteil zu bieten.
Allgemeine Instruktions-Tuning:
- Bei allgemeinen Aufgaben (z. B. AlpacaEval) zeigt sich derselbe Trend: Kleinere Modelle (schwächerer Prior) profitieren von NLL, während größere Modelle (stärkerer Prior) von Prior-leaning Zielen profitieren.

5. Bedeutung und Fazit

Die Arbeit stellt einen Paradigmenwechsel in der Diskussion um SFT dar:

Kein "One-Size-Fits-All": Die Annahme, dass NLL immer die beste Wahl ist, ist falsch, sobald Modelle bereits vortrainiertes Wissen besitzen.
Praktische Implikation: Die Wahl des Loss-Funktion sollte dynamisch an die Domäne und die Stärke des Basis-Modells angepasst werden.
- Für starke Modelle in gut abgedeckten Domänen: Prior-leaning Ziele (z. B. $-p$ oder Thresholding) verwenden, um Rauschen zu filtern und die Generalisierung zu verbessern.
- Für schwache Modelle oder neue Domänen: Bei NLL bleiben, um eine breite Lernkurve zu gewährleisten.
Verbindung zu RL: Die Autoren zeigen, dass viele Reinforcement Learning (RL) Ansätze (wie DPO oder PPO) implizit Prior-leaning-Updates durchführen, was erklärt, warum sie in bestimmten Szenarien besser funktionieren als reines SFT.

Zusammenfassend bietet das Paper eine fundierte, theoretische und empirische Basis, um SFT-Ziele nicht als statische Konstante, sondern als anpassbare Komponente im Kontext der Modellkapazität zu verstehen. Der Code ist öffentlich verfügbar, um diese Erkenntnisse in der Praxis zu testen.