💬 NLP

InstructDiff: Domain-Adaptive Data Selection via Differential Entropy for Efficient LLM Fine-Tuning

InstructDiff is een verenigd framework dat efficiënte LLM-fijnafstemming verbetert door differentiële entropie te benutten om optimaal trainingsmateriaal adaptief te selecteren, waarbij het aanzienlijke prestatiewinsten behaalt ten opzichte van training met de volledige dataset met slechts 10% van de data in zowel redeneer- als algemene instructievolgende domeinen.

Oorspronkelijke auteurs: Junyou Su, He Zhu, Xiao Luo, Liyu Zhang, Hong-Yu Zhou, Yun Chen, Peng Li, Yang Liu, Guanhua Chen

Gepubliceerd 2026-02-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junyou Su, He Zhu, Xiao Luo, Liyu Zhang, Hong-Yu Zhou, Yun Chen, Peng Li, Yang Liu, Guanhua Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar licht verwarde student probeert te leren hoe hij specifieke taken moet uitvoeren, zoals het oplossen van wiskundeproblemen of het schrijven van code. Je hebt een enorme bibliotheek aan tekstboeken (de trainingsdata).

De oude manier van lesgeven was om de student elke enkele pagina van elk boek te laten lezen. Dat duurt eeuwen, kost een fortuin aan elektriciteit, en vaak raakt de student verveeld of verward door de enorme hoeveelheid informatie, waardoor hij minder leert dan wanneer hij een zorgvuldig gekozen paar pagina's had gelezen.

Het probleem is dat "goede" pagina's er anders uitzien afhankelijk van het onderwerp.

Voor Wiskunde zijn de beste pagina's die pagina's die de student dwingen harder na te denken en op veel verschillende manieren een probleem te verkennen.
Voor Algemene Chat zijn de beste pagina's die pagina's die de student helpen om te stoppen met gokken en vast te houden aan duidelijke, standaard antwoorden.

Bestaande methoden proberen "goede" pagina's te selecteren, maar ze zijn als een gereedschap dat voor alles hetzelfde werkt. Een gereedschap dat ontworpen is om de beste wiskundepagina's te kiezen, kiest vaak de slechtste chatpagina's, en vice versa.

Het Nieuwe Idee: "InstructDiff"

De auteurs van dit paper, InstructDiff, stellen een slimmere manier voor om de juiste pagina's te kiezen. Ze gebruiken een concept genaamd "Differential Entropy" (differentieel entropie), wat ingewikkeld klinkt maar eigenlijk heel simpel is als we een analogie gebruiken.

De Analogie: De "Vóór en Na" Snapshot

Stel je een student voor die op het punt staat een nieuwe vaardigheid te leren.

Het Basismodel: Dit is de student voordat hij begint aan de specifieke cursus. Hij heeft algemene kennis, maar is nog geen expert.
Het Kalibratiemodel: Voordat de docent de definitieve studiematerialen kiest, geeft hij de student een kleine, willekeurige steekproef van de cursus (bijvoorbeeld 10 pagina's) om hem even op te warmen. Dit is de "kalibratie".

Nu kijkt de docent naar het brein van de student in twee toestanden: Vóór (Basis) en Na (Kalibratie). De vraag is: "Hoeveel is de onzekerheid van de student veranderd voor dit specifieke onderwerp?"

Entropie is gewoon een chic woord voor "onzekerheid" of "hoeveel verschillende antwoorden de student overweegt."
Differential Entropy is het verschil in onzekerheid tussen de "Vóór"- en "Na"-toestanden.

De Magische Ontdekking: Twee Verschillende Regels voor Twee Verschillende Taken

Het paper ontdekte een fascinerend patroon: De "beste" pagina's zijn altijd de pagina's die de kleinste verandering in onzekerheid veroorzaken, maar wat dat betekent, hangt af van de taak.

Voor Wiskunde en Redeneren (De "Expansiefase"):
- Het Doel: Je wilt dat de student veel paden verkent.
- Het Signaal: De beste wiskundeproblemen zijn de problemen waarbij, na de warming-up, de onzekerheid van de student toeneemt (hij begint meer mogelijkheden te overwegen).
- Het Resultaat: Het paper vond dat het kiezen van problemen waarbij de onzekerheid toeneemt (een negatieve verandering in hun specifieke wiskunde), de student een betere probleemoplosser maakt.
Voor Algemene Chat en Medisch Advies (De "Compressiefase"):
- Het Doel: Je wilt dat de student zelfverzekerd en precies is.
- Het Signaal: De beste algemene vragen zijn de vragen waarbij, na de warming-up, de onzekerheid van de student afneemt (hij stopt met gokken en houdt vast aan het juiste antwoord).
- Het Resultaat: Het kiezen van vragen waarbij de onzekerheid afneemt, maakt de student een betere gesprekspartner.

De Verenigde Regel: In beide gevallen kiest de methode de samples waar de verandering in onzekerheid het laagst is (het dichtst bij nul, of het nu een kleine toename of een kleine afname is). Het maakt niet uit of het getal positief of negatief is; het gaat erom dat het de "rustigste" verandering is.

Hoe het in de Praktijk Werkt

Het systeem werkt in twee snelle stappen:

Warming-up: Het neemt een kleine, willekeurige slice van de data (10%) en leert het model kortstondig. Dit creëert het "Kalibratiemodel."
Selectie: Het vergelijkt het "Vóór"- en "Na"-model voor elk stukje data in de bibliotheek.
- Het gooit de vreemde zaken weg (data die te makkelijk of te verwarrend is).
- Het rangschikt de rest op basis van hoe klein de verandering in hun "onzekerheid" is.
- Het kiest de bovenste 10% met de kleinste veranderingen.

De Resultaten: Minder Data, Betere Cijfers

Het paper heeft dit getest op vier verschillende "vakken": Wiskunde, Algemene Chat, Medische Vragen en Programmeren.

De Efficiëntie: Ze gebruikten slechts 10% tot 20% van de totale data.
De Prestaties:
- Op Wiskunde presteerde het model 17% beter dan wanneer het de hele bibliotheek had bestudeerd.
- Op Algemene Chat presteerde het 52% beter.
- Het versloeg alle andere methoden, inclusief die welke probeerden data te selecteren op basis van lengte of moeilijkheidsgraad.

Waarom Dit Belangrijk Is (Zonder het Jargon)

Denk aan het afstemmen van een radio. Oude methoden probeerden de "luidste" zender of de "helderste" zender te vinden op basis van een vaste regel. InstructDiff luistert naar hoe het radiosignaal verandert wanneer je de knop een klein beetje draait. Het realiseert zich dat je voor sommige zenders wilt dat het signaal een beetje vager wordt (om te verkennen), en voor andere zenders dat het scherper wordt (om te focussen).

Door te zoeken naar de specifieke "draai aan de knop" die de minste ruis veroorzaakt, weet het systeem automatisch welke liedjes (datapunten) het moet afspelen voor het specifieke genre (taak) dat je wilt.

Kortom: Je hoeft niet de hele encyclopedie te lezen om te leren. Je hoeft alleen de specifieke pagina's te lezen die de onzekerheid in je brein het minst veranderen, of dat nu betekent dat je je geest opent voor nieuwe ideeën of dat je je concentreert op één enkel juist antwoord. Deze methode doet dat automatisch, waardoor tijd en geld worden bespaard terwijl de resultaten verbeteren.

Technische Samenvatting: InstructDiff

Probleemstelling

Supervised Fine-Tuning (SFT) is de hoeksteen voor het aanpassen van Large Language Models (LLM's) aan specifieke taken. Het trainen op volledige datasets brengt echter prohibitieve computationele kosten met zich mee met afnemende meeropbrengsten. Hoewel de kwaliteit van data steeds vaker als belangrijker wordt beschouwd dan de kwantiteit, lijden bestaande methoden voor dataselectie onder ernstige domeinspecificiteit. Technieken die geoptimaliseerd zijn voor algemene instructie-opvolging (bijv. door gebruik te maken van influence functions of onzekerheidsmetrieken) falen vaak bij redeneertaken, en omgekeerd werken methoden die ontworpen zijn voor redeneren (bijv. filtering op basis van moeilijkheidsgraad of Best-of-N sampling) niet voor algemene taken. Er is een gebrek aan een verenigd, domein-adaptief criterium dat automatisch kan aanpassen aan de kenmerken van verschillende taakstructuren.

Methodologie: InstructDiff

De auteurs stellen InstructDiff voor, een verenigd, model-bewust dataselectiekader dat differentiele entropie gebruikt als een domein-adaptief selectiecriterium. Het framework werkt op de observatie dat het vergelijken van een basismodel ( $\pi_{base}$ ) met een minimaal instructie-getuned "gekalibreerd" model ( $\pi_{inst}$ ) duidelijke leerpatronen over verschillende domeinen onthult.

De methode bestaat uit een proces in twee fasen:

1. Warmup Kalibratie

Om een referentieverdeling vast te stellen, wordt een kleine willekeurige subset ( $D_{warmup}$ , doorgaans 10% van de data) gebruikt om het basismodel licht te finetunen, wat resulteert in een gekalibreerd model ( $\pi_{inst}$ ). Deze stap activeert latente instructie-opvolgende capaciteiten zonder dat volledige training vereist is.

2. Distributie-bewuste Selectie

Voor elke kandidaat-sample in de volledige dataset berekent het framework twee metrieken tussen het basismodel en het gekalibreerde model:

$\Delta$ NLL (Negative Log-Likelihood Verschil): Meet de kracht van het leersignaal.
$\Delta$ H (Entropie Verschil): Gedefinieerd als $H_{base} - H_{inst}$ . Dit onthult de modus van het leren.

Selectiestrategie:

Bi-directionele NLL-filtering: Samples met extreme $\Delta$ NLL-waarden worden weggegooid. De onderste percentiel (bijna-duplicaten/redundante data) en de bovenste percentiel (onbegrijpelijke patronen) worden verwijderd om de "leerbare range" te isoleren.
Entropie-gebaseerde Ranking: Binnen de gefilterde range worden samples gerangschikt op basis van $\Delta$ H. De methode selecteert samples met de laagste absolute differentiële entropie.

Domein-adaptief Mechanisme:
Het paper identificeert dat "laagste differentiële entropie" zich verschillend manifesteert afhankelijk van de taak:

Redeneertaken (bijv. Wiskunde): Optimale samples vertonen een negatieve $\Delta$ H (entropietoename). Dit vertegenwoordigt "cognitieve expansie", waarbij fine-tuning de diversiteit van oplossingspaden behoudt.
Algemene/Medische Taken: Optimale samples vertonen een kleine positieve $\Delta$ H (entropievermindering). Dit vertegenwoordigt "cognitieve compressie", waarbij fine-tuning diffuse priors concentreert op canonieke gedragingen.

Door de laagste $\Delta$ H te selecteren, ongeacht het teken, past het framework zich automatisch aan de taak aan zonder handmatige domeinspecificatie. Het proces kan worden geïtereerd, waarbij het nieuw gefinetunede model als referentie dient voor de volgende ronde van selectie.

Belangrijkste Bijdragen

Verenigd Selectieprincipe: Het paper introduceert een enkele metriek (differentiele entropie) die de selectie over uiteenlopende domeinen (redeneren, algemene instructie, medische QA, code) verenigt, waarmee de gesiloëerde aard van eerdere methoden wordt overwonnen.
Cognitieve Expansie vs. Compressie: De auteurs demonstreren empirisch dat effectief redeneren een entropietoename (diversiteit) vereist, terwijl algemene taken een entropievermindering (compressie) vereisen, maar dat beide worden gevangen door de magnitude van de entropieverschuiving te minimaliseren.
Efficiëntie: Het framework bereikt superieure prestaties met slechts 10% van de data (20% voor code), wat de trainingskosten aanzienlijk vermindert.
Iteratief en Schaalbaar: De methode ondersteunt iteratieve verfijning, waarbij het nieuw gefinetunede model als referentie dient voor de volgende ronde van selectie. Het schaalt ook effectief naar grote datapoelen (bijv. het selecteren van 10k uit 100k). Het ondersteunt ook "weak-to-strong" kalibratie, waarbij kleinere modellen data kunnen selecteren voor grotere modellen binnen dezelfde familie.

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd over vier domeinen: Wiskunde (Qwen2.5-7B), Algemene Instructie (LLaMA3-8B), Medische QA (LLaMA3-8B) en Code Generatie (LLaMA3-8B).

Prestatiewinst: InstructDiff presteerde beter dan volledige data-training en alle baselines (inclusief Random, PPL-gebaseerd, Entropie-gebaseerd, Lengte-gebaseerd, IFD, SelectIT en ZIP).
- Wiskunde: 17% relatieve verbetering ten opzien van volledige training (31.63 vs 27.05 gemiddelde score).
- Algemene Instructie: 52% relatieve verbetering (12.09% win rate vs. 8.15%).
- Medische QA: 6.2% relatieve verbetering.
- Code Generatie: 4.9% relatieve verbetering.
Ablatie-studies: Het verwijderen van de bi-directionele NLL-filtering veroorzaakte significante prestatiedalingen in alle domeinen, wat de noodzaak van het filteren van redundante en onbegrijpelijke samples valideert. Het selecteren van de onderste 10% van $\Delta$ H presteerde consistent beter dan het selecteren van hoge of middelmatige entropie-ranges.
Schaalbaarheid: Wanneer toegepast op een pool van 100k samples, presteerde het selecteren van 10% via InstructDiff beter dan zowel willekeurige selectie als volledige training op de 100k set.
Kalibratie-efficiëntie: Het gebruik van een 0.5B model om data te kalibreren voor een 7B target model behield ~90% van de prestaties van kalibratie met dezelfde grootte, terwijl de computationele kosten met 14x werden verminderen.

Betekenis en Claims

Het paper claimt dat differentiele entropie dient als een principieel, domein-agnostisch criterium voor efficiënte LLM-adaptatie. Door het verschil in modeltoestanden (basis vs. gekalibreerd) te operationaliseren, identificeert InstructDiff samples op de "leerbare grens" van het model.

De auteurs benadrukken dat deze aanpak geen expliciete domeinheuristieken vereist; het framework past zich vanzelf aan of een taak cognitieve expansie of compressie vereist. De resultaten suggereren dat zorgvuldig gecureerde subsets, geselecteerd via deze metriek, vergelijkbare of zelfs superieure resultaten kunnen behalen ten opzien van volledige data-training met drastisch verminderde computationele middelen, waarmee het cruciale probleem van de afnemende meeropbrengsten bij grootschalige SFT wordt aangepakt.

Beperkingen opgemerkt door de auteurs:

Hyperparameters (rejection ratio $\gamma$ en selection ratio $\beta$ ) vereisen kleine handmatige aanpassingen per domein.
De kwaliteit van de selectie hangt af van het kalibratiemodel; zeer kleine warmup-sets (bijv. 1%) leveren ruizige schattingen op.
De consistentie van de selectie is afhankelijk van de modelfamilie; modellen binnen dezelfde familie vertonen aanzienlijk meer overlap in de geselecteerde data dan modellen uit verschillende families, wat suggereert dat kalibratie bij voorkeur moet worden uitgevoerd met het doelmodel of een variant uit dezelfde familie.