💬 NLP

LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

Dieses Paper schlägt LP-SFT vor, eine Methode des Supervised Fine-Tunings, die die inhärente multimodale Entropiestruktur des vortrainierten Modells unter Nicht-Ziel-Token mittels einer lokal normalisierten KL-Divergenz bewahrt und dadurch die Downstream-Performance verbessert, während sie gleichzeitig die Degradation bestehender Fähigkeiten und der Sampling-Diversität abmildert.

Ursprüngliche Autoren: Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

Veröffentlicht 2026-07-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem brillanten, belesenen Roboter bei, wie man Anweisungen befolgt. Dieser Roboter hat bereits fast das gesamte Internet gelesen und dabei den Rhythmus der Sprache, die Logik der Mathematik und die Struktur von Code gelernt. Diese initiale Lernphase wird als „Pretraining“ bezeichnet. Nun möchten Sie ihm einen spezifischen Job beibringen, wie zum Beispiel das Lösen von Matheaufgaben oder das Schreiben von Computercode. Sie zeigen ihm Beispiele für die richtigen Antworten, und der Roboter passt sein Gehirn an, um diesen Beispielen zu entsprechen. Dieser Prozess wird als „Supervised Fine-Tuning“ (SFT) bezeichnet.

Es gibt jedoch einen Haken. Wenn der Roboter lernt, perfekt in dem neuen Job zu werden, vergisst er manchmal, wie man ein guter allgemeiner Gesprächspartner ist. Er wird so besessen von der einen „richtigen“ Antwort, die Sie ihm gezeigt haben, dass er alle anderen interessanten, validen Möglichkeiten eines Satzendes vergisst. Es ist wie ein Schüler, der eine spezifische Antwort auf eine Matheaufgabe so gut auswendig lernt, dass er eine leicht abgewandelte Version davon nicht mehr lösen kann, oder ein Autor, der nur noch einen Weg kennt, eine Geschichte zu beginnen. Die große Frage in diesem Bereich ist: Wie bringen wir dem Roboter den neuen Job bei, ohne dass er sein altes, reiches Wissen vergisst?

Genau das adressiert das Paper „LP-SFT“. Die Autoren, ein Team von Forschern aus Spitzenuniversitäten, stellten fest, dass die Standardmethode, mit der man diese Roboter lehrt (genannt „Cross-Entropy“), etwas zu stumpf ist. Sie sagt dem Roboter: „Schau nur auf dieses eine Wort, das ich dir gerade zeige; ignoriere alles andere.“ Das Problem ist, dass das ursprüngliche Gehirn des Roboters tatsächlich eine Karte von vielen möglichen „guten“ nächsten Wörtern besitzt, nicht nur von einem. Indem wir den Roboter zwingen, sich nur auf das einzelne Zielwort zu konzentrieren, löschen wir versehentlich die Karte all der anderen Möglichkeiten aus, was zu einem Verlust an Kreativität und einem Phänomen führt, das als „katastrophales Vergessen“ bekannt ist – wobei der Roboter Fähigkeiten verliert, die er zuvor besaß.

Die Forscher entdeckten etwas Faszinierendes darüber, wie diese Roboter denken. Sie fanden heraus, dass das Gehirn des Roboters nicht einfach nur ein Wort auswählt; es schwebt oft zwischen ein paar gleichermaßen guten Optionen, was eine „multimodale Entropie-Struktur“ erzeugt. Denken Sie an eine Weggabelung. Manchmal sieht der Roboter zwei oder drei Pfade, die alle gleichermaßen valide sind. Die Standard-Trainingsmethode zwingt den Roboter, sich nur für einen Pfad zu entscheiden und die anderen niederzubrennen, selbst wenn die anderen Pfade absolut vernünftig gewesen wären.

Um dies zu beheben, schlug das Team eine neue Methode namens LP-SFT (Local-Preserving Supervised Fine-Tuning) vor. Anstatt den Roboter nur anzuschreien: „Wähle dieses Wort!“, sagt LP-SFT: „Wähle dieses Wort, aber bitte vergiss die anderen drei oder vier Wörter nicht, die auch ziemlich gut waren.“

So funktioniert es, unter Verwendung einer einfachen Analogie: Stellen Sie sich vor, Sie trainieren einen Hund darauf, einen spezifischen Ball zu apportieren. Die Standardmethode besteht darin, den Hund nur dann zu belohnen, wenn er genau diesen einen Ball zurückbringt, und alles andere zu ignorieren. Irgendwann wird der Hund aufhören, nach anderen Spielzeugen zu suchen. LP-SFT ist wie zu sagen: „Bring mir den roten Ball (das Ziel), aber während du das tust, erinnere dich daran, dass der blaue Ball und der grüne Ball auch viel Spaß beim Apportieren gemacht hätten.“ Die Methode erstellt eine kleine „Sicherheitszone“ aus den zehn wahrscheinlichsten Wörtern, die der Roboter hätte wählen können. Sie entfernt das eine Wort, das man ihm gerade beibringt (damit er nicht verwirrt wird), und bringt den Roboter dann sanft dazu, die relative Popularität der verbleibenden neun Wörter so beizubehalten, wie sie zuvor war.

Die Ergebnisse dieses Ansatzes sind sehr vielversprechend. Als die Forscher LP-SFT an verschiedenen Modellen (wie Qwen und Llama) und Aufgaben (Mathe, Coding und allgemeiner Chat) testeten, fanden sie heraus, dass es die alten Methoden besser erledigt. Die mit LP-SFT trainierten Roboter waren nicht nur gut in der spezifischen Aufgabe, die man ihnen beigebracht hat (sie erzielten hohe Punktzahlen in Mathe- und Coding-Tests), sondern behielten auch ihre Fähigkeit zur Diversität und Kreativität bei. Sie haben ihr allgemeines Wissen nicht so stark vergessen wie die anderen. Tatsächlich erreichte die Methode das beste Gleichgewicht zwischen dem richtigen Beantworten der einzelnen Frage und dem Erhalt einer breiten Vielfalt an möglichen Lösungen.

Das Paper legt nahe, dass wir, indem wir die ursprüngliche „Karte“ der Möglichkeiten des Roboters respektieren, ihm neue Fähigkeiten beibringen können, ohne sein Gehirn zu beschädigen. Es ist eine Erinnerung daran, dass man manchmal, um einer Maschine Perfektion beizubringen, sie ein wenig ihrer Unsicherheit lassen muss. Die Forscher zeigen, dass diese lokale Bewahrung hilft, den Roboter daran zu hindern, in einen langweiligen, einspurigen Geist zu kollabieren, und ihn stattdessen intelligent, flexibel und bereit für das Kommende hält.

Technisches Resümee: LP-SFT (Local-Preserving Supervised Fine-Tuning)

1. Problemstellung

Supervised Fine-Tuning (SFT) ist das Standardparadigma für die Anpassung vortrainierter Sprachmodelle (PLMs) an Downstream-Aufgaben. Das Standard-SFT, das sich auf den Token-basierten Cross-Entropy (CE)-Loss stützt, induziert jedoch häufig eine Fähigkeitsdegradation in zwei Dimensionen:

Katastrophales Vergessen (Catastrophic Forgetting): Eine Über-Spezialisierung auf die Verteilung des Fine-Tunings führt zum Verlust von Out-of-Domain-Fähigkeiten.
Reduzierte Generierungsdiversität: Das Modell unterdrückt alternative valide Lösungen, was die Verteilung in Richtung eines einzelnen Tokens kollabieren lässt und die durch Sampling zugängliche Diversität (gemessen an pass@k) verringert.

Die Autoren argumentieren, dass diese Degradation aus einer Diskrepanz zwischen dem CE-Ziel und der reichhaltigen Verteilungswissen resultiert, das in PLMs kodiert ist. Während PLMs breite Fähigkeiten erlernen, was zu Next-Token-Verteilungen mit substanzieller Information über das einzelne beobachtete Ziel-Token hinaus führt, ignoriert das Standard-CE die verbleibende Präferenzstruktur. Die wiederholte Unterdrückung plausibler Alternativen während des Fine-Tunings verzerrt die prätrainierte strukturelle Integrität.

2. Zentrale Beobachtung: Multimodale Entropiestruktur

Bevor sie eine Lösung vorschlagen, analysieren die Autoren die Entropiestruktur der Next-Token-Vorhersagen in Basismodellen.

Multimodale Entropie-Peaks: Unter Verwendung der Shannon ( $H_1$ ) und Rényi-2 ( $H_2$ ) Entropien beobachten die Autoren, dass die Entropieverteilung ausgeprägte multimodale Peaks nahe $\ln k$ für ganze Zahlen $k$ aufweist.
Plateau-k-Zustände: Diese Peaks entsprechen „entropie-komprimierten Zuständen“, in denen die Unsicherheit über $k$ $k$ ähnlich plausible Next-Token-Kandidaten verteilt ist.
- Low-order Plateaus ( $k=1\text{--}5$ ): Entsprechen oft logischen oder semantischen Verzweigungen, bei denen mehrere valide Fortsetzungen existieren.
- High-order Plateaus ( $k \approx 10$ ): Entsprechen oft struktureller Ambiguität (z. B. zufällige Ziffern, IDs), wobei das Modell die Wahrscheinlichkeit über eine Menge von Zeichen verteilt.
Implikation: Das Basismodell kodiert intrinsisch reiches Verteilungswissen. Das Standard-CE behandelt alle Tokens einheitlich und verzerrt dadurch unnötigerweise diese heterogene Struktur, indem es das Modell dazu zwingt, diese strukturierten Alternativen zu ignorieren.

3. Methodik: LP-SFT

Um dies zu adressieren, schlagen die Autoren LP-SFT (Local-Preserving Supervised Fine-Tuning) vor. Die Methode nutzt das eingefrorene Basismodell als lokalen strukturellen Referenzpunkt, um die relativen Präferenzen unter den Nicht-Ziel-Alternativen zu bewahren, ohne mit dem überwachten Lernsignal zu kollidieren.

Kernkomponenten

Lokaler Top-K-Erhaltungssatz (Local Top-K Preservation Set):
- An jeder Token-Position $t$ konstruiert die Methode eine Kandidatenmenge $S_t$ aus den Top- $K_{max}$ Tokens der Verteilung des eingefrorenen Basismodells ( $q_t$ ).
- Standardmäßig ist $K_{max} = 10$ , gewählt um sowohl die Low-order Branching als auch das prominente High-order Plateau der Analyse abzudecken.
Entfernung des Ziel-Tokens (Target-Token Removal):
- Um einen Konflikt mit dem primären Cross-Entropy-Ziel (das das überwachte Ziel-Token $y_t$ optimiert) zu vermeiden, wird $y_t$ explizit aus dem Erhaltungssatz entfernt.
- Der Erhaltungssatz wird zu $A_t = S_t \setminus \{y_t\}$ .
Lokale KL-Normalisierung:
- Anstatt eine globale KL-Divergenz über das gesamte Vokabular anzuwenden (was rechenintensiv und zu restriktiv sein kann), wendet LP-SFT eine lokal normalisierte KL-Divergenz über die Menge $A_t$ an.
- Die Wahrscheinlichkeiten des Basismodells ( $q_t$ ) und des trainierbaren Modells ( $p_t$ ) werden nur innerhalb von $A_t$ normalisiert, um $\hat{q}_t$ und $\hat{p}_t$ zu erhalten.
- Der Loss ist definiert als: $L_{LP} = D_{KL}(\hat{q}_t \parallel \hat{p}_t)$ .
- Begründung: Dies bewahrt die relative Präferenzstruktur unter den verbleibenden Nicht-Label-Alternativen, ohne deren absolute Wahrscheinlichkeitsmasse oder die der Menge als Ganzes künstlich zu beschränken.

Trainingsziel

Das finale Ziel kombiniert den Standard-Cross-Entropy-Loss für das Ziel-Token mit dem lokalen Erhaltungs-Loss:
$L_{LP-SFT}(\theta) = \sum_{t=1}^{T} \left[ -\ln p_t(y_t) + \mu \cdot L_{LP}^t \right]$
wobei $\mu$ die Stärke der Erhaltung steuert.

Implementierungseffizienz

Im Gegensatz zu Methoden, die in jedem Trainingsschritt einen Forward-Pass des Basismodells erfordern, verwendet LP-SFT eine zweistufige Implementierung:

Offline-Vorberechnung: Das Basismodell verarbeitet den gesamten Trainingsdatensatz einmal, um die Top- $K_{max}$ Logits zu cachen.
Fine-Tuning: Der Trainingsloop benötigt nur den Forward-Pass des trainierbaren Modells und nutzt die gecachten Logits, um den lokalen Erhaltungs-Loss zu berechnen. Dies reduziert den Rechenaufwand im Vergleich zu Full-Vocabulary-Anchoring-Methoden erheblich.

4. Experimentelle Ergebnisse

Die Autoren evaluierten LP-SFT auf drei Modellfamilien (Qwen3-4B, Llama-3.1-8B, Qwen3-14B) in Mixed-Domain- und Single-Domain-Settings (Math, Code, General Instruction).

Performance vs. Vanilla SFT: LP-SFT übertrifft konsistent das Standard-CE und rezente SFT-Verbesserungs-Baselines (DFT, EAFT, GEM, ASFT) hinsichtlich der durchschnittlichen Gesamtperformance.
Pass@1 vs. Pass@k Trade-off:
- Standard-CE verbessert oft pass@1 (Single-Sample Genauigkeit) auf Kosten von pass@k (Diversität).
- Methoden wie DFT verbessern pass@1, verursachen aber signifikante Einbußen bei pass@k.
- LP-SFT erreicht das beste Gleichgewicht: Es verbessert pass@1 und hält gleichzeitig pass@k stabil oder verbessert es sogar, was zeigt, dass es die durch Sampling zugängliche Diversität beibehält, ohne die Genauigkeit zu opfern.
Katastrophales Vergessen: Im Mixed-Domain Fine-Tuning mildert LP-SFT die Fähigkeitsdegradation signifikant ab. Beispielsweise behielt LP-SFT beim MMLU-Benchmark eine Performance, die nahezu auf dem Niveau des eingefrorenen Basismodells lag, während das Standard-CE starke Einbußen erlitt.
Ablationsstudien: Die Methode ist relativ unempfindlich gegenüber dem Hyperparameter $\mu$ . Sowohl die Entfernung des Ziel-Tokens als auch die lokale KL-Normalisierung wurden als entscheidend für Stabilität und Performance identifiziert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass LP-SFT einen neuartigen Ansatz für das Supervised Fine-Tuning bietet, indem es die inhärente Entropiestruktur vortrainierter Modelle explizit schützt.

Mechanismus: Durch die Entkopplung des Ziel-Token-Lernens von der Bewahrung lokaler struktureller Präferenzen verhindert LP-SFT das „Überschreiben“ der strukturierten Unsicherheit des Basismodells.
Ergebnis: Dieser Ansatz hilft, katastrophales Vergessen zu mildern und die Generierungsdiversität (sampling-accessible solutions) zu bewahren, während gleichzeitig die Single-Sample-Genauigkeit beibehalten oder verbessert wird.
Effizienz: Die Methode bietet diese Vorteile mit moderatem Rechenaufwand im Vergleich zu Full-Vocabulary-Anchoring-Techniken, was sie zu einer praktischen Alternative für die Bewahrung prätrainierter Fähigkeiten während der Domänenanpassung macht.

Die Autoren kommen zu dem Schluss, dass lokale Erhaltung eine effektive Strategie ist, um die Anpassung an Downstream-Aufgaben mit der Beibehaltung allgemeiner Fähigkeiten zu balancieren, und legen nahe, dass das während des Pretrainings gelernte reiche Verteilungswissen während des Fine-Tunings bewahrt statt verworfen werden sollte.