💬 NLP

PriFT: Prior-Support Guided Supervised Fine-Tuning

PriFT (Prior-Support Guided Fine-Tuning) verbessert die Generalisierung des Supervised Fine-Tunings sowie die RL-Initialisierung, indem es stabile Token-Reweighting-Signale aus einem eingefrorenen vortrainierten Modell ableitet, um die durch die Verwendung der Online-Modell-Distribution verursachten selbstverstärkenden Dynamiken zu vermeiden.

Ursprüngliche Autoren: Ke Wang, Shuangqi Li, Mathieu Salzmann, Pascal Frossard

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ke Wang, Shuangqi Li, Mathieu Salzmann, Pascal Frossard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten Schüler (das KI-Modell), der bereits Millionen von Büchern gelesen und ein enormes Allgemeinwissen erworben hat. Dies ist das vortrainierte Modell (pretrained model). Nun möchten Sie diesem Schüler eine neue, spezifische Fähigkeit beibringen, wie zum Beispiel das Lösen komplexer mathematischer Probleme oder das Schreiben von Programmcode. Diese Lernphase wird als Supervised Fine-Tuning (SFT) bezeichnet.

Normalerweise zeigen Lehrer dem Schüler ein Lehrbuch mit den richtigen Antworten und sagen: „Lerne diese Zeile auswendig, Wort für Wort.“ Der Autor argumentiert jedoch, dass dieses „Zeile-für-Zeile“-Auswendiglernen einen Fehler hat: Der Schüler versucht möglicherweise, Antworten auswendig zu lernen, die ihm basierend auf seinem bisherigen Wissen eigentlich gar keinen Sinn ergeben. Dies führt dazu, dass der Schüler übermäßig lernt (Overfitting) – er lernt das spezifische Lehrbuch so gut auswendig, dass er scheitert, wenn er mit leicht abweichenden Fragen konfrontiert wird.

Das Problem: Der „bewegliche Ziel“-Lehrer

Neuere Versuche, dies zu beheben, beinhalteten einen „intelligenten Lehrer“, der sich ansieht, was der Schüler gerade lernt, und entscheidet: „Okay, diese Antwort ergibt für den Schüler gerade jetzt Sinn, also konzentrieren wir uns darauf. Diese andere Antwort ist verwirrend, also ignorieren wir sie.“

Der Artikel nennt dies Online-Reweighting. Das Problem ist laut den Autoren, dass dieser Lehrer instabil ist. Während der Schüler lernt, verändert sich sein Gehirn. Der „intelligente Lehrer“ ist in Wirklichkeit das eigene Gehirn des Schülers, das in einen Spiegel schaut.

Die Falle: Wenn der Schüler anfangs eine bestimmte Art von Antwort mag, verstärkt der Lehrer diese immer weiter. Wenn der Schüler eine andere Art von Antwort nicht mag, hört der Lehrer auf, sie zu lehren.
Das Ergebnis: Der Schüler wird zu einer „Reiche-werden-reicher“-Maschine. Er wird extrem gut in den wenigen Dingen, die er bereits mochte, aber er verliert die Fähigkeit, neue, vielfältige Wege zur Problemlösung zu erkunden. Er wird starr und verliert das breite Wissen, das er zuvor besaß.

Die Lösung: PriFT (Die „eingefrorene“ Referenz)

Die Autoren schlagen eine neue Methode namens PriFT (Prior-Support Guided Fine-Tuning) vor.

Anstatt den sich ständig verändernden Geist des Schülers zu fragen, was er lernen soll, fragt PriFT das ursprüngliche Gehirn des Schülers (die „eingefrorene Referenz“) um Rat.

Stellen Sie es sich so vor:

Der alte Weg: Sie fragen einen Schüler, der gerade gestresst und verwirrt ist: „Was sollte ich lernen?“ Er könnte antworten: „Nur das, was ich schon weiß!“, weil er Angst vor dem Neuen hat.
Der PriFT-Weg: Sie fragen das „vergangene Ich“ des Schülers (die Version vor Beginn dieses speziellen Kurses): „Welche Teile dieser neuen Lektion stimmen mit dem überein, was ich bereits weiß?“ Das vergangene Ich gibt eine stabile, ruhige Antwort: „Hier sind die Konzepte, die gut zu deinem Fundament passen. Konzentriere dich auf diese, aber ignoriere den Rest nicht.“

Dieses „vergangene Ich“ liefert ein Prior Support-Signal. Es sagt dem Modell: „Dieses Token (Wort) wird durch dein ursprüngliches Wissen gestützt, also ist es sicher zu lernen. Jenes andere Token ist eine zu große Herausforderung, also sei vorsichtig.“

Wie PriFT funktioniert (Zwei Varianten)

Der Artikel stellt zwei Wege vor, wie man den Rat des „vergangenen Ichs“ nutzen kann:

PriFT-prob (Der Wahrscheinlichkeitscheck): Es prüft, wie wahrscheinlich es für das „vergangene Ich“ war, ein bestimmtes Wort zu sagen. Wenn das vergangene Ich sehr sicher war, gibt es diesem Wort ein hohes Gewicht. Wenn das vergangene Ich unsicher war, gibt es ihm ein niedrigeres Gewicht.
PriFT-mass (Der Mengen-Check): Manchmal kann ein Wort „einfach“ sein (das vergangene Ich ist sich zu 99 % sicher), aber das bedeutet nicht zwangsläufig, dass es das wichtigste Wort zum Lernen ist. PriFT-mass betrachtet die „kumulative Masse“. Es fragt: „Wird dieses Wort von mindestens der Hälfte der möglichen Optionen gestützt, die das vergangene Ich in Betracht gezogen hat?“ Dies verhindert, dass das Modell nur die superleichten, offensichtlichen Wörter lernt, und zwingt es, auch auf schwierigere, wichtigere Gedankenschritte zu achten.

Die Ergebnisse: Warum es wichtig ist

Die Autoren testeten dies bei drei schwierigen Aufgaben: Mathematik, Programmierung und medizinische Fragen.

Bessere Generalisierung: Mit PriFT trainierte Modelle haben nicht nur die Trainingsdaten auswendig gelernt; sie wurden auch besser darin, neue Probleme zu lösen, die sie zuvor noch nie gesehen hatten.
Mehr Diversität: Im Gegensatz zu den „Online“-Methoden, die das Modell starr machten, bewahrte PriFT die Vielfalt des Denkens des Modells. Es war, als würde man einen Werkzeugkasten mit vielen verschiedenen Werkzeugen behalten, anstatt nur einen einzigen Hammer.
Bessere Vorbereitung auf Reinforcement Learning (RL): Oft wird nach dem SFT Reinforcement Learning eingesetzt (wie ein Videospiel, in dem die KI durch Versuch und Irrtum lernt), um sie noch intelligenter zu machen. Der Artikel fand heraus, dass PriFT einen viel besseren „Startpunkt“ für diese nächste Phase schafft. Da PriFT den Fokus des Modells nicht zu früh verengte, hatte das Modell mehr „Raum zum Wachsen“, als es begann, das RL-Spiel zu spielen.

Das Fazrazit

Die Autoren behaupten, dass indem wir das ursprüngliche Wissen (das eingefrorene, stabile Referenzmodell) nutzen, um den Lernprozess zu leiten, anstatt den sich ständig ändernden Zustand des Modells selbst entscheiden zu lassen, ein intelligenteres und flexibleres KI-Modell erhalten. Es ist der Unterschied zwischen einem Schüler, der blind seiner aktuellen Stimmung folgt, und einem Schüler, der sein solides Wissensfundament konsultiert, um zu entscheiden, was er als Nächstes lernen soll.

Kernaussage: PriFT hilft KI-Modellen, neue Fähigkeiten zu erlernen, ohne ihre Identität zu verlieren oder zu engstirnig zu werden, was zu einer besseren Leistung in Mathematik, Programmierung und Medizin führt und den Weg für noch größeren Erfolg in zukünftigen Trainingsphasen ebnet.

Technisches Resümee: PriFT (Prior-Support Guided Fine-Tuning)

Problemstellung

Supervised Fine-Tuning (SFT) ist eine Standardmethode und recheneffiziente Methode zur Anpassung von vortrainierten Large Language Models (LLMs) an Downstream-Aufgaben und dient oft als Initialisierung für Reinforcement Learning (RL). SFT leidet jedoch unter einer Generalisierungslücke im Vergleich zu RL. Als eine Off-Policy-Methode passt SFT fixierte Demonstrationsdaten Token für Token an. Wenn die Ziel-Tokens in den Demonstrationen schlecht mit der vortrainierten Verteilung des Modells übereinstimmen, kann dieser Prozess zu Overfitting und zur Verzerrung des vortrainierten Wissens führen.

Neuere Ansätze versuchen dies zu mildern, indem sie den Trainingsgewichten der Tokens basierend auf deren Übereinstimmung mit der prädiktiven Verteilung des Modells (z. B. durch Verwendung der Ziel-Token-Wahrscheinlichkeit oder Entropie) nicht-uniforme Gewichte zuweisen. Diese Methoden berechnen diese Gewichte jedoch typischerweise unter Verwendung des Online-Modells, das gerade feinjustiert wird. Das Paper argumentiert, dass dies einen kritischen Fehler erzeugt: Die prädiktive Verteilung des Online-Modells driftet während des Trainings schnell von der vortrainierten Verteilung ab. Infolgedessen wird das Gewichtungssignal mit der Optimierungstrajektorie verflochten, was eine selbstverstärkende Dynamik induziert, bei der das Modell das Lernen auf Tokens konzentriert, die es anfangs bevorzugte, während es andere unterdrückt. Dies reduziert die Sampling-Diversität und begrenzt die Kapazität des Modells für eine weitere On-Policy-Optimierung (RL).

Methodik: PriFT

Um die Instabilität des Online-Reweightings zu adressieren, schlagen die Autoren PriFT (Prior-support guided Fine-Tuning) vor. Die zentrale Erkenntung ist, dass Token-Gewichte von einem eingefrorenen, vortrainierten Referenzmodell abgeleitet werden sollten, anstatt vom sich entwickelnden Online-Modell. Dies liefert eine stabile Schätzung des „Prior Support“ – das Ausmaß, in dem ein Ziel-Token durch das Wissen des Modells vor der aufgabenspezifischen Anpassung unterstützt wird.

Framework

PriFT modifiziert das Standard-SFT-Ziel durch die Einführung von Token-Gewichten $m_t$ , die aus dem eingefrorenen vortrainierten Modell $\pi_{\theta_{pt}}$ abgeleitet werden:
$L_{PriFT}(\theta_{on}) = -\sum_{t=1}^{T} u(\pi_{\theta_{pt}}(\cdot | x, y_{<t}), y_t) \log \pi_{\theta_{on}}(y_t | x, y_{<t})$
wobei $u(\cdot)$ eine Token-Utility-Funktion ist. Durch die Berechnung der Gewichte aus dem eingefrorenen Referenzmodell entkoppelt PriFT die Gewichtsschätzung von der Optimierungstrajektorie und verhindert die beobachtete selbstverstärkende Verzerrung bei Online-Methoden.

Instanziierungen

Das Paper führt zwei spezifische Instanziierungen der Utility-Funktion $u$ ein:

PriFT-prob: Verwendet direkt die vortrainierte Ziel-Token-Wahrscheinlichkeit.
$m_t = \pi_{\theta_{pt}}(y_t | x, y_{<t})$
Dies skaliert die Gradientenamplitude basierend darauf, wie plausibel das Token unter der vortrainierten Verteilung war. Es bewahrt die Standard-SFT-Update-Richtung, gewichtet aber Tokens mit geringem Prior-Support ab.
PriFT-mass: Verwendet die kumulative Wahrscheinlichkeitsmasse unter der vortrainierten Verteilung, um die Verzerrung hin zu „einfachen“ Tokens mit scharfen Verteilungen zu reduzieren.
$m_t = \mathbb{I}[u^{(MASS)}_t \geq 0.5]$
wobei $u^{(MASS)}_t = \sum_{v: \pi_{\theta_{pt}}(v) \leq \pi_{\theta_{pt}}(y_t)} \pi_{\theta_{pt}}(v)$ .
Diese Metrik misst den Anteil der Wahrscheinlichkeitsmasse, der Tokens zugewiesen ist, die weniger wahrscheinlich sind als das Ziel. Ein Schwellenwert von 0,5 wählt Tokens aus, die von mindestens der Hälfte der vortrainierten Wahrscheinlichkeitsmasse unterstützt werden. Im Gegensatz zu PriFT-prob resultiert dies in einer binären Selektionsmaske, bei der alle ausgewählten Tokens das gleiche Gewicht erhalten, was verhindert, dass triviale High-Confidence-Tokens (z. B. Funktionswörter) überbetont werden, während informative Tokens aus schwierigeren Kontexten erhalten bleiben.

Rechenaufwand

PriFT erfordert einen einzigen Forward-Pass des eingefrorenen vortrainierten Modells, um die Token-Gewichte oder Masken vorzuberechnen. Dies fügt einen relativen Overhead von etwa $1/(3E)$ hinzu (wobei $E$ die Anzahl der Epochen ist), der offline durchgeführt werden kann. Im Gegensatz zu KL-Regularisierungsmethoden, die Zugriff auf die Referenzverteilung bei jedem Optimierungsschritt erfordern, benötigt PriFT nur das Speichern von Skalar-Gewichten oder binären Masken, wodurch ein signifikanter Speicher-Overhead vermieden wird.

Wichtigste Beiträge

Identifizierung von Signaldrift: Die Autoren zeigen, dass die Online-Token-Statistiken schnell von der vortrainierten Verteilung abweichen, was eine selbstverstärkende Schleife erzeugt, die das Lernen auf anfänglich bevorzugte Tokens konzentriert und die Generalisierung verschlechtert.
Stabiles Reweighting via Frozen Reference: Sie zeigen, dass die Ableitung der Token-Gewichte aus einem eingefrorenen vortrainierten Modell verschiedene Reweighting-Regeln (wahrscheinlichkeitsbasiert und entropiebasiert) konsistent besser abschneidet als die Verwendung des Online-Modells.
PriFT-Framework: Der Vorschlag eines einfachen, allgemeinen Frameworks, das Gewichte aus einer eingefrorenen Referenz vorberechnet und so das Gewichtungssignal von der Optimierungstrajektorie entkoppelt.
Empirische Validierung: Umfangreiche Experimente zeigen, dass PriFT State-of-the-Art-Ergebnisse unter den SFT-Baselines erzielt und eine überlegene Initialisierung für das anschließende RL-Training bietet.

Experimentelle Ergebnisse

Die Autoren evaluierten PriFT bei mathematischer Argumentation, Code-Generierung und medizinischer Beantwortung von Fragen unter Verwendung von Modellen wie Qwen2.5-Math, Qwen3 und LLaMA-2.

Mathematische Argumentation: Auf Qwen2.5-Math-7B erreichte PriFT-mass eine durchschnittliche Genauigkeit (Avg@16) von 40,67 und einen Pass@16 von 69,60, womit es den stärksten vorherigen Baseline-Wert (TALR) um jeweils 3,97 bzw. 8,75 Punkte übertraf. Bemerkenswert ist, dass während Online-Reweighting-Methoden (wie DFT) oft die Avg@16 auf Kosten der Pass@16 verbesserten, PriFT beide Metriken gleichzeitig verbesserte.
Code-Generierung: Auf Qwen3-4B-Instruct übertrafen die PriFT-Varianten das Standard-SFT und andere Token-reweighted Baselines, insbesondere bei den anspruchsvollen LiveCodeBench-Splits. PriFT-mass zeigte die geringste Leistungsverschlechterung auf HumanEval+ im Vergleich zum Original-Checkpoint, was auf eine bessere Bewahrung bestehender Fähigkeiten hindeutet.
Medizinische Beantwortung von Fragen: PriFT-mass erzielte die beste Gesamtleistung auf den MMLU-Medical- und MedMCQA-Benchmarks und übertraf andere Token-reweighted Methoden.
RL-Initialisierung: Mit PriFT initialisierte Modelle zeigten nach anschließendem RL-Training (DAPO) eine stärkere Leistung im Vergleich zu Modellen, die mit Standard-SFT oder Online-Reweighting-Methoden (DFT) initialisiert wurden. Beispielsweise lieferte PriFT-mass auf Qwen3-8B-Base eine Verbesserung von 9,57 Punkten beim Avg@16 nach dem RL im Vergleich zur Baseline-SFT-Initialisierung.

Bedeutung und Ansprüche

Das Paper behauptet, dass PriFT ein grundlegendes Problem im Token-reweighted SFT adressiert: die Verflechtung des Gewichtungssignals mit der Optimierungstrajektorie. Durch die Nutzung des vortrainierten Modells als stabile Quelle des „Prior Support“ erreicht PriFT:

Bewahrung der Sampling-Diversität: Es vermeidet die selbstverstärkende Konzentration der Wahrscheinlichkeitsmasse auf eine enge Menge von Denkpfaden, wodurch breitere Entropie-Verteilungen und eine bessere Pass@k-Leistung aufrechterhalten werden.
Reduzierung des Distributionsshifts: Es minimiert die KL-Divergenz vom vortrainierten Modell während des Fine-Tunings im Vergleich zu Online-Reweighting-Methoden.
Verbesserte RL-Bereitschaft: Es bietet eine stärkere Initialisierung für RL, indem es die Kapazität des Modells für die weitere On-Policy-Optimierung bewahrt, was darauf hindeutet, dass „gutes SFT“ nicht nur über unmittelbare Leistung definiert ist, sondern über die Aufrechterhaltung der Diversität, die für zukünftiges Lernen erforderlich ist.

Die Autoren weisen auf Einschränkungen hin, einschließlich des Fokus auf mittelgroße Open-Models und spezifische Aufgabenbereiche, was die Untersuchung größerer Modelle und breiterer Utility-Funktionen für die Zukunft offen lässt. Sie behaupten nicht, dass PriFT alle Generalisierungsprobleme löst, sondern positionieren es als eine robuste, generalisierbare Verbesserung des SFT-Paradigmas.