💬 NLP

InstructDiff: Domain-Adaptive Data Selection via Differential Entropy for Efficient LLM Fine-Tuning

InstructDiff ist ein vereinheitlichtes Framework, das das effiziente Fine-Tuning von LLMs durch die Nutzung differentieller Entropie verbessert, indem es optimal Trainingsbeispiele adaptiv auswählt und so sowohl in den Bereichen Reasoning als auch im allgemeinen Instruction-Following signifikante Leistungssteigerungen gegenüber dem Training mit vollständigen Datensätzen bei Verwendung von nur 10 % der Daten erzielt.

Ursprüngliche Autoren: Junyou Su, He Zhu, Xiao Luo, Liyu Zhang, Hong-Yu Zhou, Yun Chen, Peng Li, Yang Liu, Guanhua Chen

Veröffentlicht 2026-02-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junyou Su, He Zhu, Xiao Luo, Liyu Zhang, Hong-Yu Zhou, Yun Chen, Peng Li, Yang Liu, Guanhua Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber leicht verwirrten Schüler (einem Large Language Model) beizubringen, spezifische Aufgaben zu erledigen, wie zum Beispiel mathematische Probleme zu lösen oder Code zu schreiben. Sie haben eine riesige Bibliothek von Lehrbüchern (die Trainingsdaten).

Die alte Methode bestand darin, den Schüler jede einzelne Seite jedes Buches lesen zu lassen. Das dauert ewig, kostet ein Vermögen an Strom und der Schüler wird oft gelangweilt oder verwirrt durch das schiere Volumen der Informationen, wodurch er weniger lernt, als wenn er einige sorgfältig ausgewählte Seiten gelesen hätte.

Das Problem ist, dass "gute" Seiten je nach Fachgebiet unterschiedlich aussehen.

Für Mathematik sind die besten Seiten diejenigen, die den Schüler dazu bringen, intensiver nachzudenken und viele verschiedene Wege zur Lösung eines Problems zu erforschen.
Für Allgemeinen Chat sind die besten Seiten diejenigen, die dem Schüler helfen, aufzuhören zu raten und sich an klare, standardisierte Antworten zu halten.

Bestehende Methoden versuchen, "gute" Seiten auszuwählen, aber sie sind wie ein Einheitswerkzeug. Ein Werkzeug, das darauf ausgelegt ist, die besten Mathematikseiten auszuwählen, wählt oft die schlechtesten Chatseiten aus, und umgekehrt.

Die neue Idee: „InstructDiff“

Die Autoren dieser Arbeit, InstructDiff, schlagen einen klügeren Weg vor, um die richtigen Seiten auszuwählen. Sie verwenden ein Konzept namens „Differenzielle Entropie“, was kompliziert klingt, aber eigentlich recht einfach ist, wenn wir eine Analogie verwenden.

Die Analogie: Der „Vorher-Nachher“-Schnappschuss

Stellen Sie sich einen Schüler vor, der kurz davor steht, eine neue Fähigkeit zu erlernen.

Das Basismodell: Dies ist der Schüler bevor er den spezifischen Kurs beginnt. Er verfügt über allgemeines Wissen, ist aber noch kein Experte.
Das Kalibrierungsmodell: Bevor der Lehrer das endgültige Lernmaterial auswählt, gibt er dem Schüler eine winzige, zufällige Stichprobe des Kurses (sagen wir 10 Seiten), nur um ihn aufzuwärmen. Dies ist die „Kalibrierung“.

Nun betrachtet der Lehrer das Gehirn des Schülers in zwei Zuständen: Vorher (Basis) und Nachher (Kalibrierung). Er fragt: „Wie sehr hat sich die Unsicherheit des Schülers für dieses spezifische Thema verändert?“

Entropie ist nur ein schicker Begriff für „Unsicherheit“ oder „wie viele verschiedene Antworten der Schüler in Betracht zieht“.
Differenzielle Entropie ist der Unterschied in der Unsicherheit zwischen dem „Vorher“- und dem „Nachher“-Zustand.

Die magische Entdeckung: Zwei verschiedene Regeln für zwei verschiedene Jobs

Das Papier entdeckte ein faszinierendes Muster: Die „besten“ Seiten sind immer diejenigen, die die geringste Änderung der Unsicherheit verursachen, aber wie das aussieht, hängt vom Job ab.

Für Mathematik und logisches Denken (Die „Expansionsphase“):
- Das Ziel: Man möchte, dass der Schüler viele Pfade erforscht.
- Das Signal: Die besten Mathematikaufgaben sind diejenigen, bei denen die Unsicherheit des Schülers nach dem Aufwärmen zunimmt (er beginnt, mehr Möglichkeiten in Betracht zu ziehen).
- Das Ergebnis: Das Papier stellte fest, dass das Auswählen von Problemen, bei denen die Unsicherheit steigt (eine negative Änderung in ihrer spezifischen Mathematik), den Schüler zu einem besseren Problemlöser macht.
Für Allgemeinen Chat und medizinische Fragen (Die „Kompressionsphase“):
- Das Ziel: Man möchte, dass der Schüler selbstbewusst und präzise ist.
- Das Signal: Die besten allgemeinen Fragen sind diejenigen, bei denen die Unsicherheit des Schülers nach dem Aufwärmen abnimmt (er hört auf zu raten und fixiert sich auf die richtige Antwort).
- Das Ergebnis: Das Auswählen von Fragen, bei denen die Unsicherheit sinkt, macht den Schüler zu einem besseren Gesprächspartner.

Die vereinheitlichte Regel: In beiden Fällen wählt die Methode die Stichproben aus, bei denen die Änderung der Unsicherheit am geringsten ist (am nächsten bei Null, egal ob es ein winziger Anstieg oder ein winziger Rückgang ist). Es spielt keine Rolle, ob die Zahl positiv oder negativ ist; es kommt nur darauf an, dass es die „ruhigste“ Änderung ist.

Wie es in der Praxis funktioniert

Das System läuft in zwei schnellen Schritten ab:

Aufwärmen: Es nimmt einen winzigen, zufälligen Teil der Daten (10 %) und lehrt das Modell kurzzeitig. Dies erzeugt das „Kalibrierungsmodell“.
Selektion: Es vergleicht das „Vorher“- und das „Nachher“-Modell für jeden einzelnen Datensatz in der Bibliothek.
- Es wirft den seltsamen Kram raus (Daten, die entweder zu einfach oder zu verwirrend sind).
- Es rankt den Rest nach der Art und Weise, wie wenig sich ihre „Unsicherheit“ verändert hat.
- Es wählt die obersten 10 % mit den geringsten Änderungen aus.

Die Ergebnisse: Weniger Daten, bessere Noten

Das Papier testete dies auf vier verschiedenen „Fächern“: Mathematik, Allgemeiner Chat, Medizinische Fragen und Programmierung.

Die Effizienz: Sie verwendeten nur 10 % bis 20 % der gesamten Daten.
Die Leistung:
- In Mathematik war das Modell 17 % besser als wenn es die gesamte Bibliothek studiert hätte.
- Im Allgemeinen Chat war es 52 % besser.
- Es schlug alle anderen Methoden, einschließlich derer, die versuchten, Daten basierend auf Länge oder Schwierigkeit auszuwählen.

Warum das wichtig ist (ohne den Jargon)

Denken Sie daran, wie man ein Radio abstimmt. Alte Methoden versuchten, den „lautesten“ oder den „klarsten“ Sender zu finden oder eine feste Regel anzuwenden. InstructDiff hört zu, wie sich das Radiosignal ändert, wenn man den Regler ein wenig dreht. Es erkennt, dass man für manche Stationen möchte, dass das Signal etwas unschärfer wird (um zu explorieren), und für andere, dass es schärfer wird (um sich zu fokussieren).

Indem es findet, welche spezifische „Drehung des Reglers“ die geringste Menge an statischem Rauschen verursacht, weiß es automatisch, welche Lieder (Datenpunkte) es für das jeweilige Genre (Aufgabe) spielen muss.

Kurz gesagt: Man muss nicht die ganze Enzyklopädie lesen, um zu lernen. Man muss nur die spezifischen Seiten lesen, die das Gehirn am wenigsten in der Unsicherheit verschieben, sei es, indem man den Geist für neue Ideen öffnet oder ihn auf eine einzige, korrekte Antwort fokussiert. Diese Methode tut dies automatisch und spart Zeit sowie Geld bei gleichzeitig besseren Ergebnissen.

Technisches Resümee: InstructDiff

Problemstellung

Supervised Fine-Tuning (SFT) ist der Eckpfeiler für die Anpassung von Large Language Models (LLMs) an spezifische Aufgaben. Das Training auf vollständigen Datensätzen verursacht jedoch prohibitive Rechenkosten bei gleichzeitig abnehmenden Grenzerträgen. Während die Datenqualität zunehmend als wichtiger als die Datenquantität erkannt wird, leiden bestehende Methoden zur Datenselektion unter einer schweren Domänenspezifität. Techniken, die auf allgemeines Instruktionsfolgen optimiert sind (z. B. durch Verwendung von Einflussfunktionen oder Unsicherheitsmetriken), versagen oft bei Reasoning-Aufgaben, und umgekehrt generalisieren Methoden, die für Reasoning entwickelt wurden (z. B. auf Schwierigkeit basierende Filterung oder Best-of-N-Sampling), nicht auf allgemeine Aufgaben. Es mangelt an einem vereinheitlichten, domänenadaptiven Kriterium, das sich automatisch an die Charakteristika unterschiedlicher Aufgabenstrukturen anpassen kann.

Methodik: InstructDiff

Die Autoren schlagen InstructDiff vor, ein vereinheitlichtes, modellbewusstes Datenselektions-Framework, das die differentielle Entropie als domänenadaptives Selektionskriterium nutzt. Das Framework basiert auf der Beobachtung, dass der Vergleich eines Basismodells ( $\pi_{base}$ ) mit einem minimal instruktionsgetunten „kalibrierten“ Modell ( $\pi_{inst}$ ) distinkte Lernmuster über verschiedene Domänen hinweg offenbart.

Die Methode besteht aus einem zweistufigen Prozess:

1. Warmup-Kalibrierung

Um eine Referenzverteilung zu etablieren, wird eine kleine, zufällige Teilmenge ( $D_{warmup}$ , typischerweise 10 % der Daten) verwendet, um das Basismodell leicht zu finetunen, wodurch ein kalibriertes Modell ( $\pi_{inst}$ ) entsteht. Dieser Schritt aktiviert latente Instruktionsfolgestrukturen, ohne ein vollumfängliches Training zu erfordern.

2. Verteilungsbewusste Selektion

Für jedes Kandidatenbeispiel im vollständigen Datensatz berechnet das Framework zwei Metriken zwischen dem Basismodell und dem kalibrierten Modell:

$\Delta$ NLL (Differenz der negativen Log-Likelihood): Misst die Stärke des Lernsignals.
$\Delta$ H (Entropiedifferenz): Definiert als $H_{base} - H_{inst}$ . Dies offenbart den Modus des Lernens.

Selektionsstrategie:

Bi-direktionale NLL-Filterung: Proben mit extremen $\Delta$ NLL-Werten werden verworfen. Die untersten Perzentile (Duplikate/Redundanzen) und die obersten Perzentile (unverständliche Muster) werden entfernt, um den „lernbaren Bereich“ zu isolieren.
Entropie-basierte Rangfolge: Innerhalb des gefilterten Bereichs werden die Proben nach $\Delta$ H geordnet. Die Methode wählt Proben mit der geringsten absoluten differentiellen Entropie aus.

Domänenadaptiver Mechanismus:
Das Paper identifiziert, dass sich die „geringste differentielle Entropie“ je nach Aufgabe unterschiedlich manifestiert:

Reasoning-Aufgaben (z. B. Mathematik): Optimale Proben weisen eine negative $\Delta$ H (Entropiezunahme) auf. Dies repräsentiert „kognitive Expansion“, wobei das Fine-Tuning die Diversität der Lösungspfade bewahrt.
Allgemeine/Medizinische Aufgaben: Optimale Proben weisen eine kleine positive $\Delta$ H (Entropieverringerung) auf. Dies repräsentiert „kognitive Kompression“, wobei das Fine-Tuning diffuse Priors auf kanonische Verhaltensweisen konzentriert.

Durch die Auswahl der niedrigsten $\Delta$ H unabhängig vom Vorzeichen passt sich das Framework automatisch an die Aufgabe an, ohne eine manuelle Domänenspezifikation zu erfordern. Der Prozess kann iterativ durchgeführt werden, indem das neu feinjustierte Modell als Referenz für die nächste Selektionsrunde dient.

Zentrale Beiträge

Vereinheitlichtes Selektionsprinlement: Das Paper führt eine einzige Metrik (differentielle Entropie) ein, die die Datenselektion über disparate Domänen (Reasoning, allgemeine Instruktionen, medizinische QA, Code) hinweg vereinheitlicht und so die isolierte Natur bisheriger Methoden überwindet.
Kognitive Expansion vs. Kompression: Die Autoren demonstrieren empirisch, dass effektives Reasoning eine Entropiezunahme (Diversität) erfordert, während allgemeine Aufgaben eine Entropieverringerung (Kompression) erfordern, wobei beide durch die Minimierung der Größenordnung der Entropieverschiebung erfasst werden.
Effizienz: Das Framework erzielt eine überlegene Performance mit nur 10 % der Daten (20 % für Code) und reduziert dadurch die Trainingskosten signifikant.
Iterativ und skalierbar: Die Methode unterstützt iterative Verfeinerung, skaliert effektiv auf große Datenpools (z. B. Auswahl von 10k aus 100k) und unterstützt zudem die „Weak-to-Strong“-Kalibrierung, bei der kleinere Modelle Daten für größere Modelle innerhalb derselben Familie auswählen können.

Experimentelle Ergebnisse

Umfangreiche Experimente wurden in vier Domänen durchgeführt: Mathematik (Qwen2.5-7B), Allgemeine Instruktionen (LLaMA3-8B), Medizinische QA (LLaMA3-8B) und Code-Generierung (LLaMA3-8B).

Leistungssteigerungen: InstructDiff übertraf das Training auf vollständigen Datensätzen sowie alle Baselines (einschließlich Random, PPL-basiert, Entropie-basiert, Length-basiert, IFD, SelectIT und ZIP).
- Mathematik: 17 % relative Verbesserung gegenüber dem Full-Data-Training (31,63 vs. 27,05 Durchschnittswert).
- Allgemeine Instruktionen: 52 % relative Verbesserung (12,09 % Win-Rate vs. 8,15 %).
- Medizinische QA: 6,2 % relative Verbesserung.
- Code-Generierung: 4,9 % relative Verbesserung.
Ablationsstudien: Das Entfernen der bi-direktionalen NLL-Filterung führte zu signifikanten Leistungseinbußen in allen Domänen, was die Notwendigkeit der Filterung redundanter und unverständlicher Proben validiert. Die Auswahl der untersten 10 % von $\Delta$ H übertraf konsistent die Auswahl hoher oder mittlerer Entropiebereiche.
Skalierung: Bei Anwendung auf einen 100k-Probenpool übertraf die Auswahl von 10 % via InstructDiff sowohl die Zufallsauswahl als auch das Training auf dem vollen 100k-Datensatz.
Kalibrierungseffizienz: Die Verwendung eines 0,5B-Modells zur Kalibrierung der Daten für ein 7B-Zielmodell behielt ~90 % der Performance einer Kalibrierung mit gleicher Modellgröße bei, während die Rechenkosten um das 14-fache gesenkt wurden.

Bedeutung und Behauptungen

Das Paper behauptet, dass die differentielle Entropie als ein prinzipielles, domänenagnostisches Kriterium für die effiziente LLM-Adaption dient. Durch die Operationalisierung der Differenz der Modellzustände (Basis vs. kalibriert) identifiziert InstructDiff Proben an der „lernbaren Grenze“ des Modells.

Die Autoren betonen, dass dieser Ansatz keine expliziten Domänen-Heuristiken erfordert; das Framework passt sich natürlich an, ob eine Aufgabe kognitive Expansion oder Kompression erfordert. Die Ergebnisse legen nahe, dass sorgfältig kuratierte Teilmengen, die mittels dieser Metrik ausgewählt wurden, vergleichbare oder sogar überlegene Ergebnisse gegenüber dem Training auf vollständigen Datensätzen bei drastisch reduzierten Ressourcen erzielen können, womit die kritische Herausforderung der abnehmenden Grenzerträge beim groß angelegten SFT adressiert wird.

Vom Autor angemerkt Limitationen:

Hyperparameter (Rejektionsverhältnis $\gamma$ und Selektionsverhältnis $\beta$ ) erfordern geringfügige manuelle Anpassungen über verschiedene Domänen hinweg.
Die Selektionsqualität hängt vom Kalibrierungsmodell ab; sehr kleine Warmup-Sets (z. B. 1 %) liefern verrauschte Schätzungen.
Die Konsistenz der Selektion ist familienabhängig; Modelle derselben Familie zeigen eine signifikant höhere Überlappung in den ausgewählten Daten als Modelle verschiedener Familien, was darauf hindeutet, dass die Kalibrierung idealerweise mit dem Zielmodell oder einer Variante derselben Familie durchgeführt werden sollte.