Explainable Token-level Noise Filtering for LLM Fine-tuning Datasets

Dit paper introduceert XTF, een uitlegbaar framework dat ruis op token-niveau filtert door data bij te dragen aan drie attributen (redeneerbelang, kennisnoviteit en taakrelevantie) te analyseren en gradiënten te maskeren, wat de prestaties van afgestemde grote taalmodellen tot 13,7% verbetert.

De kern

Stel je voor dat je een zeer slimme, maar nog wat onervaren kok (een Grote Taalmodel of LLM) wilt trainen om de perfecte pizza te maken. Je geeft hem een receptboek met duizenden recepten.

In het verleden dachten onderzoekers: "Als we het hele receptboek kopiëren en de kok laten oefenen op elk woord in elk recept, wordt hij een meester."

Maar deze paper, getiteld XTF, zegt: "Nee, wacht even. Niet elk woord in die recepten is nuttig. Sommige woorden zijn zelfs verwarrend of overbodig. Als de kok die woorden blijft oefenen, wordt hij juist slechter."

Hier is de uitleg van hun oplossing, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Ruis" in het Recept

Stel je een recept voor: "Neem 2 koppen bloem, voeg 1 ei toe, roer goed en bak 10 minuten."

De paper stelt dat niet elk woord in die zin even belangrijk is voor het leren van de kok:

• Belangrijk: "Roer goed" (dit is de kern van de techniek).
• Minder belangrijk: "10 minuten" (misschien heeft de kok dit al geleerd, of is het te specifiek).
• Verwarrend (Ruis): Soms staan er woorden in die de kok in de war brengen of die hij al perfect kent, maar die hij toch opnieuw moet "leren". Dit is als een kok die urenlang oefent op het woord "en" in plaats van op het snijden van groenten.

De huidige methoden trainen de kok op hele zinnen. De paper zegt: "We moeten trainen op woorden (tokens) en de slechte woorden wegfilteren."

2. De Oplossing: XTF (De Slimme Recept-Filter)

De auteurs hebben een systeem bedacht genaamd XTF. Dit systeem kijkt naar elk woord in het recept en stelt drie vragen. Als een woord op geen van deze vragen een goed antwoord krijgt, wordt het woord als "ruis" beschouwd en genegeerd tijdens het trainen.

Hier zijn de drie vragen, met een analogie:

A. Redeneringsbelang (Reasoning Importance)

• De vraag: "Als ik dit woord weglaat, begrijpt de kok de rest van de zin nog steeds?"
• De analogie: Stel je een detectiveverhaal voor. Als je het woord "moord" weglaat, is het verhaal nog steeds logisch? Nee. Dat woord is cruciaal. Maar als je het woord "de" weglaat, maakt het niet uit.
• XTF doet: Het kijkt of het woord essentieel is voor de logica van het antwoord. Als het woord niet nodig is voor de logica, is het ruis.

B. Nieuwe Kennis (Knowledge Novelty)

• De vraag: "Weet de kok dit woord al?"
• De analogie: Als je een kok al 10.000 keer laat oefenen op het woord "bakken", en hij kent dat woord al uit zijn duim, dan is het zonde van zijn tijd om het opnieuw te oefenen. Hij leert er niets van.
• XTF doet: Het kijkt of de kok het woord al heel goed kan voorspellen. Als hij het al perfect kent, is het woord "te makkelijk" en levert het geen nieuwe kennis op. Die woorden worden genegeerd.

C. Relevantie voor de Taak (Task Relevance)

• De vraag: "Past dit woord bij het type pizza dat we maken?"
• De analogie: Als je een kok traint om een Italiaanse pizza te maken, en in het recept staat ineens een zin over "Japans sushi maken", dan is dat woord niet relevant voor de Italiaanse pizza. Het verwart de kok.
• XTF doet: Het kijkt of het woord past bij het onderwerp (bijv. wiskunde, code of geneeskunde). Woorden die er niet bij horen, worden weggefilterd.

3. Hoe werkt het in de praktijk?

Stel je voor dat je een grote stapel recepten hebt.

1. Lezen: XTF leest elk recept woord voor woord.
2. Scoren: Het geeft elk woord een score op de drie bovengenoemde vragen.
3. Verwijderen: Woorden die te laag scoren (bijvoorbeeld woorden die de kok al kent, of woorden die niets met de taak te maken hebben), worden gemarkeerd.
4. Trainen: Tijdens het trainen van de AI worden deze gemarkeerde woorden genegeerd. De AI leert alleen van de "gouden" woorden die echt nodig zijn.

4. Het Resultaat: Een Beter Kok

De paper toont aan dat door deze "ruis" te verwijderen, de AI veel sneller en beter leert.

• Bij wiskunde werd de prestatie tot 13,7% beter.
• Bij medische vragen ook een enorme verbetering.
• Bij programmeren (code schrijven) werd het ook veel nauwkeuriger.

Het is alsof je de kok niet meer laat oefenen op het lezen van de naam van de kok in het recept, maar alleen op de echte instructies. Hierdoor wordt hij een veel betere kok in minder tijd.

Samenvatting in één zin

XTF is een slimme filter die de "opvullende" of "bekende" woorden uit trainingsdata haalt, zodat een AI zich alleen concentreert op de woorden die echt nieuw en belangrijk zijn, waardoor hij veel slimmer wordt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Explainable Token-Level Noise Filtering for LLM Fine-Tuning Datasets" in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) worden doorgaans aangepast aan specifieke downstream-taken via fine-tuning. Een fundamenteel probleem in de huidige praktijk is de discrepantie tussen de optimalisatiemechanismen van LLMs en de structuur van de datasets:

• Token-level optimalisatie: LLMs trainen token voor token, waarbij de loss wordt berekend op elk individueel token in de output.
• Sentence-level datasets: De meeste fine-tuning-datasets zijn ontworpen op zinsniveau, waarbij de volledige zin als label wordt gebruikt.

Niet alle tokens in een labelzin zijn waardevol voor de prestatieverbetering. Het trainen op de volledige zin introduceert token-level ruis (noise). Deze ruis kan de convergentierichting misleiden en de uiteindelijke prestaties van het gefinetunteerde model verminderen. Bestaande methoden voor data-optimalisatie opereren voornamelijk op het niveau van volledige steekproeven (sample-level) en kunnen deze fijnmazige token-ruis niet elimineren.

Methodologie: XTF (Explainable Token-Level Noise Filtering)

De auteurs stellen XTF voor, een framework dat ruis op token-niveau filtert door de bijdrage van data aan het fine-tuning-proces te ontleden in drie expliciete attributen. Het proces verloopt in drie fasen:

1. Decompositie van Attributen

XTF definieert drie attributen die positief bijdragen aan het fine-tuning-proces. Een token wordt beschouwd als ruis als het geen van deze drie attributen bezit:

1. Redeneringsbelang (Reasoning Importance - RI): Beoordeelt of de aanwezigheid van een token de redeneeruitkomst van het basismodel significant beïnvloedt.
2. Kennisnoviteit (Knowledge Novelty - KN): Beoordeelt of het token nieuwe kennis bevat die het basismodel nog niet kent.
3. Taakrelevantie (Task Relevance - TR): Beoordeelt of het token relevant is voor het doel van de specifieke downstream-taak.

2. Scoremechanismen

Om deze attributen kwantitatief te beoordelen, worden drie scores berekend met behulp van het basismodel:

• RI-score (Attention Score): Gebruikt de attention-scores van het basismodel. Tokens met een lage attention-score hebben minder redeneringsbelang.
• KN-score (Probability of Correct Prediction - PCP): Berekent de waarschijnlijkheid dat het basismodel het token correct voorspelt op basis van de context. Een hoge voorspelkans (hoge PCP) impliceert lage kennisnoviteit (het model kent het al). Tokens met een PCP > 95% worden als ruis gemarkeerd.
• TR-score (Embedding Distance): Berekent de semantische afstand tussen de embedding van een token en de "domeinvector" (gemiddelde embedding van de dataset). Tokens ver weg van het domeincentrum hebben lage taakrelevantie.

3. Filterstrategie en Training

• Filteren: Op basis van de scores worden tokens gefilterd. Er worden specifieke methoden gebruikt voor elke scoreverdeling:
  • RI: Interkwartielafstand (IQR) voor extreme waarden.
  • KN: Heuristische drempel (PCP > 0.95).
  • TR: Multi-Otsu methode voor clustering.
• Gradient Masking: Tijdens het fine-tuning-proces worden de gradients van de gefilterde "ruis" tokens gemaskeerd (waarde -100 in de labels), zodat ze geen bijdrage leveren aan de parameterupdates. Dit zorgt ervoor dat het model alleen leert van de waardevolle tokens.

Belangrijkste Bijdragen

1. Identificatie van een onderzoeksgap: Het paper benadrukt het gebrek aan bestaande methoden voor token-level data-optimalisatie specifiek voor LLM fine-tuning.
2. XTF Framework: Het introduceren van een uitlegbaar framework dat ruis filtert via drie gedecomponeerde attributen (RI, KN, TR), wat een nieuwe kijk biedt op de complexiteit van trainingsmechanismen.
3. Uitgebreide Validatie: Het uitvoeren van experimenten over 7 verschillende LLMs (Llama, Mistral, DeepSeek) en 3 domeinen (wiskunde, code, geneeskunde), wat de robuustheid van de methode aantoont.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd met als belangrijkste bevindingen:

• Prestatieverbetering: XTF leidt tot significante verbeteringen in downstream-taken vergeleken met reguliere fine-tuning en andere baselines (zoals data filtering, augmentatie, en token cleaning).
  • Wiskunde (GSM8K): Tot 13,3% verbetering in nauwkeurigheid.
  • Geneeskunde (PubMedQA): Tot 13,7% verbetering in nauwkeurigheid.
  • Code (HumanEval): Tot 6,3% verbetering in pass@10 metrics.
• Robuustheid: De methode werkt effectief over modellen van verschillende groottes (van 1B tot 14B parameters) en presteert consistent beter dan state-of-the-art baselines.
• Complementariteit: De drie attributen vullen elkaar aan; tokens die door één attribuut als ruis worden gemist, worden vaak door een ander attribuut geïdentificeerd.

Significantie

Dit werk is significant omdat het de focus verschuift van "meer data" of "schoonmaken van volledige zinnen" naar fijnmazige data-optimalisatie op token-niveau.

• Het toont aan dat niet alle tokens in een label zinvol zijn voor het leerproces en dat het verwijderen van ruis de convergentie en eindprestaties kan verbeteren.
• Het biedt een uitlegbare (explainable) aanpak voor het begrijpen van waarom bepaalde tokens nuttig zijn of niet, gebaseerd op redenering, kennis en relevantie.
• Het introduceert een efficiënte methode die inferentie-kosten heeft (in plaats van extra training van een referentiemodel), wat het schaalbaar maakt voor grote datasets.

Kortom, XTF demonstreert dat het optimaliseren van datasets op het laagste niveau (token) een krachtige strategie is om de efficiëntie en prestaties van LLM fine-tuning te maximaliseren.