🤖 machine learning

RAFT: Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting

RAFT ist ein zweistufiges Framework, das katastrophales Vergessen während der domänenspezifischen Feinabstimmung durch die Verfeinerung der Trainingsdaten mittels modellkompatibler Umformulierung und den Einsatz von antwortebedingter On-Policy-Destillation mildert, um die ursprünglichen allgemeinen Fähigkeiten des Modells zu bewahren und gleichzeitig die In-Domain-Leistung zu verbessern.

Ursprüngliche Autoren: Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine brillante, belesene Bibliothekarin (das KI-Modell), die ein wenig über alles weiß: Geschichte, Kochen, Programmieren und Poesie. Diese Bibliothekarin ist großartig darin, allgemeine Fragen zu beantworten.

Stellen Sie sich nun vor, Sie möchten diese Bibliothekarin zu einer Expertin speziell für das Recht ausbilden. Sie geben ihr einen Stapel Gesetzestexte und sagen: „Lerne das!“

Das Problem: Die „Spezialisten-Falle“
Wenn Sie die Bibliothekarin einfach nur zwingen, diese Gesetzestexte auswendig zu lernen (ein Prozess, den das Paper als Standard SFT bezeichnet), wird sie eine großartige Anwältin. Aber es gibt einen Haken: Sie beginnt zu vergessen, wie man eine gute allgemeine Bibliothekarin ist. Sie vergisst vielleicht, wie man ein Gedicht schreibt, wie man einfachen Anweisungen folgt oder wie man über das Wetter plaudert. Sie wird so sehr auf die neuen Regeln fokussiert, dass sie ihre ursprüngliche Persönlichkeit und ihr breites Wissen verliert. Dies wird als „Katastrophales Vergessen“ bezeichnet.

Das Paper argumentiert, dass dies aus zwei Hauptgründen geschieht:

Der „Stil-Konflikt“: Die Gesetzestexte sind in einem steifen, formellen Stil geschrieben, der nicht dazu passt, wie die Bibliothekarin normalerweise spricht. Sie dazu zu zwingen, wie ein Lehrbuch zu sprechen, macht sie unbeholfen und zerstört ihren natürlichen Redefluss.
Die „Einbahnstraße“: Das Training betrachtet nur die „richtigen“ Antworten in den Büchern. Es kümmert sich nicht darum, ob die Bibliothekarin verwirrt ist, wenn sie versucht, eine Frage aus eigener Kraft zu beantworten. Es ist, als würde ein Lehrer einen Schüler nur anhand eines Multiple-Choice-Tests bewerten, aber niemals beobachten, wie er ein Problem durchdenkt.

Die Lösung: RAFT (Der „Verfeinerte & Adaptive“ Coach)
Die Autoren schlagen eine neue Methode namens RAFT vor. Betrachten Sie RAFT als ein zweistufiges Coaching-Programm, das darauf ausgelegt ist, die Bibliothekarin das Recht lehren zu können, ohne dass sie vergisst, wie man ein Mensch ist.

Schritt 1: Der „Übersetzer“ (Datenverfeinerung)

Bevor die Bibliothekarin überhaupt mit dem Lernen beginnt, fungiert RAFT als Übersetzer.

Das Problem: Die Gesetzestexte sind zu steif.
Die Lösung: Die Bibliothekarin wird gebeten, die rechtlichen Antworten in ihrer eigenen natürlichen Stimme umzuschreiben, während sie die Fakten korrekt beibehält.
Der Filter: Ein kluger Editor prüft: „Hat die Bibliothekarin die Bedeutung verändert, während sie den Stil geändert hat?“ Wenn die umgeschriebene Version immer noch korrekt ist, wird die umgeschriebene Version behalten. Wenn sie unsinnig ist, wird die Originalversion behalten.
Die Fusion: Schließlich kombiniert ein superintelligentes „Fusionsmodell“ (wie ein leitender Redakteur) die ursprüngliche Rechtsantwort und die von der Bibliothekarin umgeschriebene Version zu einer perfekten, hochwertigen Antwort, die sowohl faktisch korrekt als auch für die Bibliothekarin leicht verständlich ist.

Analogie: Anstatt die Bibliothekarin zu zwingen, einen trockenen Rechtsvertrag zu lesen, geben Sie ihr ein „Spickzettel“, der in einfachem Englisch geschrieben ist, aber dennoch alle juristischen Fakten enthält.

Schritt 2: Der „Schatten-Coach“ (Adaptive Destillation)

Nun beginnt die Bibliothekarin unter Verwendung dieser neuen, freundlichen Spickzettel zu lernen. Aber hier liegt der magische Teil:

Das Szenario: Die Bibliothekarin versucht, eine Frage aus eigener Kraft zu beantworten (sie generiert eine „Trajektorie“ oder einen Pfad der Gedanken).
Der Coach: Die ursprüngliche Bibliothekarin (diejenige, die alles über die Welt weiß, nicht nur über das Recht) beobachtet diesen Prozess.
Die Geheimwaffe: Der Coach erhält den „perfekten Spickzettel“ (aus Schritt 1) als Referenz. Wenn die Schüler-Bibliothekarin stecken bleibt oder vom Weg abkommt, sagt der Coach: „Hey, basierend auf den Fakten, die wir kennen, wäre dies eine bessere Art, das zu formulieren“, aber er tut dies sanft.
Das Gleichgewicht: Der Coach sagt nicht einfach nur „Falsch“. Er nutzt eine spezielle Technik (genannt Top-K Temperature), um einige gute Optionen vorzuschlagen, anstatt eine einzige Antwort zu erzwingen. Dies hält die Schülerin kreativ und vielfältig, nicht roboterhaft.
Der Autopilot: Das System passt automatisch an, wie viel sie auf das „Recht“ im Vergleich zum „Allgemeinen Wissen“ des Coaches hört. Wenn die Schülerin zu sehr auf das Recht fokussiert ist und ihre allgemeinen Fähigkeiten vergisst, dreht der Coach automatisch die Lautstärke für das allgemeine Wissen auf.

Analogie: Stellen Sie sich vor, ein Schüler lernt, ein Rennauto (Recht) zu fahren. Ein Standardlehrer schreit nur: „Biege links bei der roten Ampel ab!“ (er erzwingt einen spezifischen Zug). RAFT ist wie ein Fahrlehrer, der auf dem Beifahrersitz sitzt, die Karte hält (die verfeinerten Daten) und den Schüler sanft anleitet: „Du biegst zu schnell ab, denk daran, auch in deine Spiegel zu schauen (allgemeine Fähigkeiten), während du die Kurve fährst.“

Die Ergebnisse

Das Paper testete dies an drei verschiedenen Arten von „Bibliothekarinnen“ (KI-Modellen) über fünf verschiedene Themenbereiche hinweg (Recht, Wissenschaft, Kultur usw.).

Besser im Job: Die RAFT-trainierten Bibliothekarinnen wurden bei der Beantwortung von Rechtsfragen um 23 % besser als diejenigen, die auf die alte Weise trainiert wurden.
Vergaßen den Rest nicht: Entscheidend ist, dass sie nicht ihre allgemeinen Fähigkeiten verloren haben. In Tests für allgemeines logisches Denken und das Befolgen von Anweisungen konnten sie 18 % bzw. 10 % der Fähigkeiten zurückgewinnen, die normalerweise verloren gegangen wären.

Zusammenfassend:
RAFT ist eine Trainingsmethode, die zuerst schwierige neue Informationen in eine Sprache übersetzt, die die KI bereits versteht, und dann einen intelligenten, adaptiven Coach nutzt, um den Lernprozess der KI zu leiten. Dies stellt sicher, dass die KI eine Spezialistin wird, ohne zu vergessen, wie man eine Generalistin ist. Es geht darum, jemandem ein neues Handwerk beizubringen, ohne dass er vergisst, ein Mensch zu sein.

Technisches Resümee: RAFT (Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting)

Problemstellung

Domänenspezifisches Supervised Fine-Tuning (SFT) ist essenziell für die Anpassung von Large Language Models (LLMs) an spezialisierte Aufgaben, führt jedoch häufig zu katastrophalem Vergessen (catastrophic forgetting), bei dem die allgemeinen Fähigkeiten des Modells signifikant degradieren. Die Autoren identifizieren zwei praktische Lücken, die diese Degradation vorantreiben:

Kompatibilitätslücke der Supervision: Domänenspezifische Ground-Truth-Antworten unterscheiden sich oft im Stil und im Begründungsformat von den natürlichen Antworten des Modells. Das Erzwingen der Anpassung des Modells an diese divergierenden Zielvorgaben verursacht abrupte Parameterverschiebungen, die das vortrainierte Wissen überschreiben.
Trajektorien-Erhaltungslücke: Standardmäßiges SFT optimiert auf feste Ziel-Token, ohne das Verhalten des Modells auf seinen eigenen generierten Präfixen zu beschränken. Dieser Mangel an Beschränkung führt dazu, dass die ursprünglichen Verhaltensmuster des Modells während der Optimierung nicht bewahrt werden.

Bestehende Methoden adressieren typischerweise nur eine Seite dieses Problems (z. B. Datenverfeinerung durch Self-Distillation oder Trainingsbeschränkungen durch Regularisierung/KL-Divergenz), aber selten beide, was zu suboptimalen Kompromissen zwischen Domänenanpassung und Erhalt der allgemeinen Fähigkeiten führt.

Methodik

RAFT schlägt ein zweistufiges Framework vor, das Datenverfeinerung mit adaptiver On-Policy-Distillation koppelt, um beide Lücken gleichzeitig zu adressieren.

1. Offline-Distillation (Datenverfeinerung)

Diese Stufe konstruiert eine modellkompatible Supervision, um die Verteilungsmismatch zwischen der Ground Truth und der Output-Verteilung des Modells zu reduzieren.

Self-Conditioned Rewriting: Das ursprüngliche Instruction-tuned Modell schreibt die Ground-Truth-Antworten ( $y_i$ ) unter Berücksichtigung der ursprünglichen Antwort selbst um ( $\tilde{y}_i \sim p_\theta(\cdot | x_i, y_i)$ ), wodurch den Ausdrucksstil an die eigene Verteilung des Modells anpasst, während der faktische Inhalt erhalten bleibt.
Semantische Filterung: Um semantische Drift zu verhindern, wird die Kosinus-Ähnlichkeit zwischen der ursprünglichen und der umgeschriebenen Antwort berechnet. Umschreibungen werden nur akzeptiert, wenn sie einen Schwellenwert $\tau$ überschreiten; andernfalls wird die ursprüngliche Antwort beibehalten.
Multi-Expert Optimal Selection: Für akzeptierte Umschreibungen kombiniert ein stärkeres Fusionsmodell (z. B. Qwen3-3B) die ursprüngliche und die umgeschriebene Antwort. Mehrere Judge-Modelle bewerten den fusionierten Output auf Konsistenz mit der ursprünglichen Antwort, und das am besten bewertete Ergebnis wird als finale verfeinerte Antwort ( $\hat{y}_i$ ) ausgewählt.

2. Adaptive On-Policy-Distillation (Trainingsoptimierung)

Diese Stufe trainiert das Modell unter Verwendung des verfeinerten Datensatzes, während allgemeine Fähigkeiten durch Distillationsbeschränkungen explizit bewahrt werden.

Answer-Conditioned On-Policy-Distillation: Das Student-Modell generiert Trajektorien ( $z_i$ ) autoregressiv. Das ursprüngliche Instruction-tuned Modell fungiert als Teacher und liefert Soft Targets. Entscheidend ist, dass der Teacher auf die fusionierte Antwort ( $\hat{y}_i$ ) als zusätzlichen Kontext konditioniert ist, was es ihm ermöglicht, informativere Anleitungen für die generierte Trajektorie des Studenten bereitzustellen.
Top-K Temperature Distillation: Um Over-Smoothing zu verhindern und die Output-Diversität aufrechtzuerhalten, wird die KL-Divergenz nur über die Top- $K$ -Token der Teacher-Verteilung berechnet, skaliert durch einen Temperaturparameter $T$ .
EMA-basierte adaptive Balance: Anstatt fester Hyperparameter nutzt ein Exponential Moving Average (EMA)-Mechanismus dynamisch das Gewicht ( $\lambda$ ) zwischen dem SFT-Loss (Cross-Entropy) und dem Distillations-Loss (KL-Divergenz). Dies stellt sicher, dass die beiden Ziele während des Trainings ohne manuelles Tuning im Gleichgewicht bleiben.

Wesentliche Beiträge

Identifikation des Problems: Die Arbeit identifiziert die Kopplung von Supervisions-Verteilungs-Mismatch und dem Mangel an expliziten Trajektorien-Erhaltungsbeschränkungen als Grundursachen für das Vergessen bei Domänen-SFT.
Offline-Distillationsstrategie: Einführung einer Pipeline unter Verwendung von Kosinus-Ähnlichkeitsfilterung und Multi-Modell-Fusion zur Generierung hochwertiger, distributionskonsistenter Supervisionsdaten.
Adaptive On-Policy-Distillation: Ein neuartiges Trainingsziel, das Answer-Conditioned On-Policy-Distillation, Top- $K$ Temperatur-Skalierung und EMA-basierte Loss-Balancierung kombiniert.
Empirische Validierung: Nachweis, dass die Kopplung von Datenverfeinerung mit Trajektorien-Erhaltung das Vergessen effektiv mildert und gleichzeitig die Domänenleistung verbessert.

Experimentelle Ergebnisse

RAFT wurde auf drei Instruction-tuned Backbones (SmolLM3-3B, Llama-3.2-3B-Instruct, Phi-4-mini-instruct) über fünf Domänen (Business, Law, Science, Culture, Web) evaluiert.

Domänenleistung: RAFT verbesserte die durchschnittliche Domänen-Genauigkeit (D-Acc) im Vergleich zu Standard-SFT um 23,2 %.
Erhalt allgemeiner Fähigkeiten: RAFT stellte signifikante Teile der durch SFT verursachten Degradation wieder her:
- MS-Bench (subjektive QA): Verbesserte sich um 18,2 % relativ zu SFT.
- IFEval (Instruction Following): Verbesserte sich um 10,2 % relativ zu SFT.
Ablationsstudien:
- Datenfusion: Die alleinige Verwendung fusionierter Daten verbesserte D-Acc und allgemeine Metriken gegenüber den Originaldaten, was den Wert der Stil-Adaption bestätigt.
- Distillation: Das Hinzufügen der adaptiven On-Policy-Distillation zu gefügten Daten-SFT lieferte erhebliche weitere Gewinne sowohl in der Domänen-Genauigkeit als auch in der allgemeinen Fähigkeit.
- Adaptive Balance: Die EMA-basierte Strategie übertraf feste KL-Koeffizienten, die entweder die Domänenanpassung unterdrückten oder es versäumten, allgemeine Fähigkeiten zu bewahren.
Parameteranalyse: Die optimale Leistung wurde mit einem Kosinus-Ähnlichkeits-Schwellenwert $\tau=0,8$ , einer Temperatur $T=1,5$ und Top- $K=512$ gefunden.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass RAFT ein effektives „Rezept“ für das Domänen-Fine-Tuning mit gemindertem Vergessen bietet. Indem das Framework Datenverfeinerung und Trainingsbeschränkungen als gekoppelte statt als unabhängige Probleme behandelt, ermöglicht es Modellen, domänenspezifisches Wissen zu erwerben, ohne die vortrainierten allgemeinen Fähigkeiten zu überschreiben.

Die Autoren betonen, dass ihr Ansatz das Teacher-Modell von einem „konservativen Anker“ zu einem „zielbewussten Guide“ macht. Die Ergebnisse legen nahe, dass die Kopplung von kompatibler Supervision mit Trajektorien-Erhaltung auf Ebene der Pfade eine praktische Lösung für den Trade-off zwischen Spezialisierung und Generalisierung bei LLMs darstellt. Die Arbeit bleibt hinsichtlich der Skalierbarkeit bescheiden und merkt an, dass die Evaluierungen auf kleine Modelle und spezifische Domänen beschränkt waren und dass die Leistung auf größeren Modellen oder spezialisierten Aufgaben (z. B. Code-Generierung) weiterer Untersuchung bedarf.