Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches

Dit artikel toont aan dat voor single-label tekstclassificatie met beperkte middelen, het fijnafstemmen van causale LLM's met een classificatiekop op embeddings van het laatste token aanzienlijk parameter-efficiënter is dan instructie-tuning, terwijl het vergelijkbare of betere prestaties bereikt dan zowel instructie-gefinetuned LLM's als domeinspecifieke BERT-modellen.

De kern

Stel je voor dat je een gigantische, ongelooflijk slimme bibliotheekassistent hebt (een Large Language Model, of LLM) die bijna alles in de wereld heeft gelezen. Je wilt deze assistent inhuren om een enorme stapel octrooidocumenten in specifieke categorieën te sorteren. Het probleem? Deze assistent is enorm, duur om te draaien en meestal getraind om verhalen te schrijven, niet om bestanden te sorteren.

Dit artikel is een handleiding over hoe je deze gigantische assistent efficiënt leert bestanden te sorteren, met slechts één standaard computergrafische kaart (GPU) in plaats van een supercomputer. De auteurs testten twee verschillende manieren om de assistent te trainen en ontdekten dat één methode veel beter is dan de andere voor deze specifieke taak.

Hier is de uiteenzetting van hun bevindingen met behulp van eenvoudige analogieën:

De twee trainingsmethoden

De onderzoekers probeerden twee verschillende "trainingskampen" voor de assistent:

1. De "Map" methode (op embedding gebaseerd)

• Hoe het werkt: Stel je voor dat je de assistent vraagt een document te lezen en je vervolgens een enkel, perfect samenvattend notitie op de laatste pagina geeft. Je plakt dan een kleine, simpele etiketteermachine (een "classificatiekop") op dat notitie om te beslissen in welke map het document hoort.
• De truc: Ze hebben de hele assistent niet opnieuw getraind. Ze leerden de assistent alleen hoe ze dat ene perfecte samenvattende notitie moesten schrijven en hoe ze de etiketteermachine moesten gebruiken. Ze gebruikten een techniek genaamd "LoRA" (Low-Rank Adaptation), wat vergelijkbaar is met het geven van een setje post-it's aan de assistent om op te schrijven in plaats van het herschrijven van hun hele brein.
• Resultaat: Deze methode was ongelooflijk snel, goedkoop en accuraat. Het gebruikte zeer weinig "trainbare" middelen (zoals een klein budget), maar deed de klus perfect.

2. De "Chatbot" methode (op instructie gebaseerd)

• Hoe het werkt: In plaats van om een samenvattende notitie te vragen, praat je met de assistent als met een chatbot. Je zegt: "Hier is een document. Vertel me alsjeblieft tot welke categorie het behoort." De assistent moet dan het antwoord woord voor woord typen.
• De truc: Dit vereist dat de assistent leert hoe ze instructies moeten volgen en tekst in een specifiek formaat moeten genereren.
• Resultaat: Deze methode was trager en vereiste een veel groter budget (meer "trainbare" middelen) om goede resultaten te behalen. Het werkte redelijk voor complexe taken met veel categorieën, maar was vaak kieskeurig over hoe je de vraag stelde. Als de prompt iets afweek, kon de assistent verward raken of extra woorden schrijven die het systeem verstoorden.

De grote confrontatie: Wat ze vonden

De auteurs testten deze methoden op octrooigegevens (juridische documenten over uitvindingen) en vergeleken ze met oudere, kleinere modellen (zoals BERT) die specifiek waren gebouwd voor sorteringstaken.

• Voor single-label sortering (Eén categorie per document):
  De "Map" methode won met overmacht. Het kwam overeen met of versloeg zelfs de oudere, gespecialiseerde modellen en de "Chatbot" methode, maar deed dit terwijl het 10 tot 30 keer minder middelen gebruikte. Het was alsof je een Zwitsers zakmes gebruikt om een biefstuk te snijden: het werkte net zo goed als een chef-kokmes, maar was veel lichter en goedkoper om mee te nemen.

• Voor multi-label sortering (Meerdere categorieën per document):
  De "Chatbot" methode had een klein voordeel, maar alleen als je bereid was veel meer geld uit te geven aan training (een enorm budget aan middelen). Zelfs toen was de "Map" methode nog steeds zeer concurrerend.

• Snelheid en efficiëntie:
  De "Map" methode was veel sneller bij zowel training als uitvoering. De "Chatbot" methode was trager omdat het moest "nadenken" en het antwoord letter voor letter moest typen, terwijl de "Map" methode gewoon naar het samenvattende notitie keek en op een knop drukte.

De "magie" van het kleine budget

Een van de coolste bevindingen is dat je geen enorm, duur model nodig hebt om geweldige resultaten te behalen.

• Ze gebruikten een relatief klein model (3 miljard parameters) met de "Map" methode en dit versloeg de "Chatbot" methode die een veel groter model gebruikte.
• Ze testten zelfs de "Chatbot" methode op de duurste, state-of-the-art modellen die beschikbaar zijn van grote technologiebedrijven (zoals GPT-5 en Claude Opus) zonder ze te trainen. Zelfs deze super-slimme, bevroren modellen konden het kleine, getrainde "Map" model niet verslaan. Het is alsof een goed opgeleide lokale monteur een gloednieuwe, niet-getrainde Formule 1-auto verslaat in een specifieke reparatiewerkzaamheid.

De haken en ogen (Beperkingen)

Het artikel is eerlijk over waar deze methode niet perfect is:

• Snelheid versus nauwkeurigheid: Hoewel de "Map" methode geweldig is, is het nog steeds ongeveer 20 keer trager dan de oudere, gespecialiseerde modellen (BERT) als het gaat om pure snelheid. Als je miljoenen documenten per seconde moet sorteren, zijn de oudere modellen nog steeds de koningen van de snelheid.
• Statistische zekerheid: De "Map" methode was numeriek beter, maar het verschil was niet statistisch "bewezen" om in elke enkele test enorm groot te zijn. Het is consequent beter, maar de winstmarge is soms klein.
• Trainingsinstabiliteit: Soms faalde de "Map" methode om te leren als het willekeurige startpunt (de "seed") ongelukkig was, waardoor de onderzoekers een paar keer moesten proberen om een goed resultaat te krijgen.

De conclusie

Als je tekstdocumenten (zoals octrooien) moet sorteren en je hebt beperkte computerkracht (zoals één grafische kaart), is de beste strategie om het grote AI-model te behandelen als een kenmerkextractor (de "Map" methode). Probeer niet om het te laten chatten of essays te schrijven; vraag het gewoon om het document te samenvatten en een simpele etiketteermachine eraan te plakken. Deze aanpak is goedkoper, sneller en vaak nauwkeuriger dan proberen het AI-model complexe instructies te leren of oudere, gespecialiseerde modellen te gebruiken.

Technische samenvatting

Technische Samenvatting: Fine-Tuning van Causale LLM's voor Tekstclassificatie

Probleemstelling
Tekstclassificatie heeft traditioneel vertrouwd op fine-tuning van encoder-gebaseerde transformers (bijv. BERT, RoBERTa), die een speciaal classificatietoken (bijv. [CLS]) gebruiken om sequentie-informatie te aggregeren. Daarentegen zijn decoder-only (causale) Large Language Models (LLM's) vooraf getraind voor next-token-predicatie met links-naar-rechts-attention, zonder een expliciet classificatietoken en zonder bidirectionele zichtbaarheid over de invoer. Hoewel causale LLM's miljarden parameters bezitten die getraind zijn op biljoenen tokens, is het aanpassen ervan voor classificatie uitdagend vanwege hun omvang, wat volledige fine-tuning vaak onuitvoerbaar maakt op single-GPU-hardware. Dit artikel onderzoekt of causale LLM's effectief kunnen worden gefine-tuned voor classificatie onder resourcebeperkingen en vergelijkt twee verschillende aanpassingsstrategieën: fine-tuning op basis van embeddings versus fine-tuning op basis van instructies.

Methodologie
De auteurs evalueren twee benaderingen met behulp van gekwantiseerde Low-Rank Adaptation (QLoRA) om training mogelijk te maken op een enkele NVIDIA L4 GPU (24 GB VRAM). Alle modellen worden geladen in 4-bits precisie (NF4) met de BitsAndBytes-bibliotheek, waarbij alleen de LoRA-adapters en taakspecifieke koppen worden bijgewerkt.

1. Benadering 1: Fine-tuning op basis van Embeddings (Decoder Tuning)

   • Mechanisme: De causale LLM fungeert als een feature-extractor. De hidden state van het laatste token (dat impliciet naar alle voorgaande tokens attendeert) wordt geëxtraheerd als een sequentierepresentatie. Een lichtgewicht classificatiekop (lineaire laag of feed-forward netwerk) wordt aan deze embedding gekoppeld om klasselabels te voorspellen.
   • Training: Optimaliseert direct de class-posteriors via cross-entropy (single-label) of binary cross-entropy (multi-label). De LoRA-rang ($r$) wordt ingesteld op 8 of 16, waarbij een kleine subset van parameters (typisch 5,6M–42M) wordt bijgewerkt.
   • Inferentie: Een enkele forward pass levert de embedding van het laatste token op, gevolgd door een berekening van de lichtgewicht classificatielaag.

2. Benadering 2: Fine-tuning op basis van Instructies

   • Mechanisme: De classificatietak wordt herformuleerd als een prompt-response-generatieprobleem. Invoeren worden omgezet in prompts (bijv. "Wat is de categorie?"), en het model wordt getraind om de labeltekst als respons te genereren.
   • Training: Optimaliseert de waarschijnlijkheid van de gegenereerde labeltokens met behulp van next-token-predicatieverlies. Dit vereist dat het model specifieke opmaak en verbaal van labels leert. De LoRA-rangen zijn hoger ($r=64$), wat resulteert in een groter trainbaar budget (45M–167M parameters).
   • Inferentie: Vereist sequentiële decoding van de labeltokens, wat latentie introduceert in vergelijking met de embedding-benadering.

Belangrijkste Bijdragen

• Decoder-only Classificatiestrategie: Demonstreert dat causale LLM's effectief kunnen fungeren als classifiers door hun laatste token-embeddings te benutten als geaggregeerde sequentierepresentaties, analoog aan het [CLS]-token in encoders.
• Resource-efficiënt Benchmarken: Rapporteert state-of-the-art resultaten op patentclassificatietaken met single-GPU-vriendelijke methoden (QLoRA + 4-bits kwantisatie), en bewijst dat modellen tot 8B parameters efficiënt kunnen worden gefine-tuned.
• Vergelijkende Analyse: Biedt een systematische vergelijking die aantoont dat voor single-label-classificatie de embedding-benadering de prestaties van instructie-getrainde modellen evenaart of overtreft, terwijl 10–30× minder parameters worden bijgewerkt. Instructietuning wordt alleen concurrerend geacht in multi-label-regimes en alleen met aanzienlijk grotere trainbare budgetten.
• Praktische Richtlijnen: Biedt empirisch bewijs over de afwegingen tussen doorvoer, kalibratie en robuustheid, en suggereert dat embedding-benaderingen robuuster zijn tegen variaties in prompts en betere kalibratie bieden dan instructie-benaderingen.

Resultaten
Experimenten werden uitgevoerd op twee patentdatasets: een proprietair corpus met 5 klassen en single-label (CLV) en het publieke WIPO-Alpha multi-label dataset (14 categorieën).

• Single-label Prestaties: De embedding-benadering (Benadering 1) behaalde consistent concurrerende F1-scores, vaak met superioriteit ten opzichte van instructie-getrainde modellen (Benadering 2) en domeinspecifieke BERT-baselines. Bijvoorbeeld, een Llama-3.2-model met 3,2B parameters en $r=8$ behaalde een F1 van 0,860 op CLV, wat beter was dan de beste BERT-baseline (0,854), terwijl slechts ~12M parameters werden bijgewerkt in vergelijking met 346M voor BERT.
• Multi-label Prestaties: Op de WIPO-dataset behaalde Benadering 2 (specifiek Mistral-7B met $r=64$) de hoogste F1 (0,819), wat Benadering 1 overtrof. Dit vereiste echter 167,8M trainbare parameters, wat het voordeel van "parameter-efficiëntie" in dit specifieke regime tenietdoet.
• Doorvoer: Benadering 1 toonde aanzienlijk hogere training- en inferentiedoorvoer (samples per seconde) in vergelijking met Benadering 2. Hoewel Benadering 1 langzamer was dan BERT-class-encoders (~20× langzamer), merken de auteurs op dat kennisdistillatie de doorvoer van BERT-klasse kan herstellen met minimale F1-kosten (≤1,5 punten).
• Statistische Significantie: Gepaarde McNemar-tests en bootstrap $\Delta$F1 95% betrouwbaarheidsintervallen geven aan dat, hoewel de embedding-benadering numeriek beter presteert dan instructietuning op single-label-taken, het verschil niet statistisch significant is bij $p<0,05$.
• Externe Validatie: Op de AG News-dataset behaalde de embedding-benadering (Llama-3.2-3B, $r=8$) een F1 van 0,929, vergelijkbaar met sterke BERT-baselines en instructie-getrainde modellen, wat generalisatie buiten het patentdomein bevestigt.
• Closed-Source Modellen: Frontier closed-source modellen (bijv. GPT-5, Claude Opus 4.6) die werden gebruikt in zero-shot of few-shot prompting-modi, slaagden er niet in de prestaties van de gefine-tuned Llama-modellen met 1–3B parameters met Benadering 1 te evenaren, wat de noodzaak van supervised adaptatie voor hoog-accurate classificatie onderstreept.

Betekenis en Claims
Het artikel claimt dat parameter-efficiënte, embedding-gebaseerde fine-tuning van causale LLM's een effectief, schaalbaar en hoogpresterend alternatief is voor zowel conventionele BERT-achtige modellen als instructie-getrainde LLM's voor tekstclassificatie.

• Efficiëntie: De studie demonstreert dat hoogpresterende classificatie kan worden bereikt op single-GPU-hardware door het basismodel te bevriezen en slechts een tiny fractie van parameters bij te werken via LoRA.
• Robuustheid: De embedding-benadering wordt geclaimd robuuster te zijn tegen fouten in prompt engineering en biedt beter gekalibreerde waarschijnlijkheidsoutputten in vergelijking met instructie-gebaseerde generatie, die kan lijden onder broosheid in opmaak.
• Praktijkgerichtheid: Voor single-label-taken wordt de embedding-benadering gepresenteerd als de voorkeursstrategie, met een superieure F1-tot-compute trade-off. Voor multi-label-taken erkent het artikel dat, hoewel instructietuning hogere nauwkeurigheid kan opleveren, dit vaak parameterbudgetten vereist die vergelijkbaar zijn met volledige BERT-modellen, waardoor het efficiëntievoordeel beperkt wordt.
• Beperkingen: De auteurs merken bescheiden op dat hun claims begrensd zijn door het gebruik van proprietaire data voor single-label-resultaten, het ontbreken van statistische significantie in head-to-head-vergelijkingen, en de doorvoerstraf van LLM's in vergelijking met BERT (hoewel te mitigeren via distillatie). Zij benadrukken ook dat trainingsinstabiliteit kan optreden bij bepaalde seeds, en raden meerdere runs aan voor reproduceerbaarheid.

Kortom, het werk biedt empirisch bewijs dat gespecialiseerde, resource-beperkte fine-tuning van causale LLM's via embedding-koppen een haalbare en vaak optimale weg is voor domeinspecifieke tekstclassificatie, waardoor de drempel voor het implementeren van geavanceerde taalmodellen in gespecialiseerde NLP-taken wordt verlaagd.