Technische Samenvatting: Boven hun gewicht uitstijgen: Classification-Head Fine-Tuning van Tiny Language Models (TLMs) voor verifieerbare meerkeuze-taken

Probleemdefinitie en Motivatie

Het paper adresseert de groeiende behoefte om Large Language Models (LLMs) te implementeren op mainstream consumentenhardware (bijv. smartphones, laptops met 8GB–16GB geheugen) waar computationele middelen beperkt zijn. Huidig onderzoek richt zich voornamelijk op modellen die te groot zijn voor dergelijke apparaten, wat leidt tot suboptimale implementatiestrategieën voor kleinere modellen.

De auteurs definiëren Tiny Language Models (TLMs) als modellen met ongeveer 3 miljard parameters of minder, die op consumentenapparaten passen met voldoende geheugenoverhead voor het besturingssysteem, de KV-cache en activaties bij bruikbare contextlengtes (meestal vereist dit <8GB geheugen bij BF16/FP16 precisie).

Het kernprobleem dat wordt onderzocht, is hoe TLMs effectief te finetunen en te evalueren voor verifieerbare meerkeuze-taken (bijv. commonsense reasoning, span annotatie). De auteurs observeren dat TLMs vaak slecht presteren in zero-shot settings en dat standaard evaluatieprotocollen (bijv. next-token prediction van antwoordlabels) mogelijk niet overeenkomen met de capaciteiten van deze kleine modellen. Bovendien wordt de gevoeligheid van meerkeuze-evaluatie voor inferentieprotocollen (bijv. tokenisatie-details, probability scoring versus generatie) benadrukt als een bron van prestatievariantie die een systematische investigatie vereist.

Methodologie

1. Model- en Datasetselectie

• Modellen: De studie maakt gebruik van de Qwen3 familie van decoder-only modellen, waarbij specifiek de groottes van 0.6B, 1.7B, 4B en 8B parameters worden geëvalueerd. De 0.6B en 1.7B modellen vallen binnen het gedefinieerde TLM-regime.
• Datasets: Vijf Engelse meerkeuze-benchmarks werden gebruikt:
  • Commonsense Reasoning: HellaSwag, WinoGrande, PIQA.
  • Science/Memorization: SciQ, ARC-Challenge.

2. Fine-Tuning Paradigma's

De auteurs vergelijken drie verschillende fine-tuning benaderingen onder een verenigde LoRA (Low-Rank Adaptation) setup:

1. Label-Generation SFT (Baseline): Het model wordt gefinetuned om het antwoordlabel te genereren (bijv. "A", "B") gegeven een chat-geformatteerde prompt die alle opties bevat. De loss wordt alleen toegepast op het antwoordtoken.
2. Gold-Only SFT: Het model wordt gefinetuned met behulp van next-token prediction op de gold candidate sequence (context + correct antwoord) alleen, waarbij de context-tokens gemaskeerd zijn van de loss. Dit bootst standaard causale taalmodellering na zonder expliciete contrastieve training.
3. Classification-Head SFT (CLS-SFT): De voorgestelde methode. In plaats van een label te genereren, wordt het model getraind om een scalaire score toe te wijzen aan elke kandidaat-sequentie onafhankelijk.
   • Architectuur: De standaard taalmodellering-head wordt vervangen door een sequence-level scoring head (een bias-vrije lineaire projectie $w \in \mathbb{R}^{d \times 1}$) toegepast op de laatste non-padding hidden state van elke kandidaat.
   • Trainingsdoel: Het model wordt getraind om de waarschijnlijkheid van de gold kandidaat-score te maximaliseren ten opzichte van de scores van alle andere kandidaten in de batch, met behulp van cross-entropy over de $K$ kandidaat-scores.
   • Inference: De voorspelling wordt gedaan door de kandidaat met de hoogste scalaire score te selecteren (argmax).

3. Evaluatieprotocollen

De studie benadrukt dat het fine-tuning doel en de evaluatie-interface met elkaar overeen moeten komen.

• Native Evaluatie: CLS-SFT modellen worden geëvalueerd met de classificatie-head; Label-Gen modellen worden geëvalueerd via next-token accuratesse.
• Cross-Interface Diagnostiek: De auteurs evalueren ook modellen met mismatched interfaces (bijv. het toepassen van log-probability scoring op een Label-Gen model) om de gevoeligheid van gerapporteerde prestaties voor het inferentieprotocol aan te tonen.

Belangrijkste Resultaten

1. Superioriteit van Classification-Head SFT op Tiny Schaal

• Prestatiewinst: Op de 0.6B en 1.7B schalen presteert Classification-Head SFT consistent beter dan Label-Generation SFT met +2% tot +3% op commonsense benchmarks (HellaSwag, WinoGrande, PIQA) en SciQ.
  • Voorbeeld: Op HellaSwag verbeterde Qwen3-0.6B van 78.50% (Label-Gen) naar 80.95% (CLS-SFT).
  • Voorbeeld: Op WinoGrande verbeterde Qwen3-0.6B van 67.80% naar 70.80%.
• Statistische Significantie: Vijf van de zes TLM-schaal vergelijkingen op commonsense taken vertoonden statistisch significante verbeteringen ($p < 0.01$).
• State-of-the-Art (SOTA): De gerapporteerde accuratesse voor Qwen3-0.6B en Qwen3-1.7B op HellaSwag, WinoGrande en PIQA zijn de hoogste gepubliceerde voor deze specifieke modellen.

2. Scaling Gedrag

• Verminderende Meeropbrengsten: Naarmate de modelgrootte toeneemt buiten het TLM-regime (4B en 8B), wordt het prestatieverschil tussen CLS-SFT en Label-Gen SFT aanzienlijk kleiner en statistisch niet-significant.
• Interpretatie: Grotere modellen bezitten voldoende capaciteit om effectief kandidaat-teksten te mappen naar antwoordlabels via instruction-following, waardoor de expliciete discriminatieve structuur van CLS-SFT minder cruciaal wordt.

3. Benchmark Specifieke Kenmerken

• Commonsense vs. Science: Het voordeel van CLS-SFT is het meest uitgesproken op commonsense reasoning taken. Op ARC-Challenge (een memorisatie-zware benchmark met een kleine trainingsset van ~1.1k voorbeelden), werd geen significant verschil gevonden tussen de methoden, waarschijnlijk door de afhankelijkheid van de taak van feitelijke extractie in plaats van kandidaat-discriminatie.
• Gold-Only Baseline: Gold-Only SFT presteerde consequent slechter dan zowel CLS-SFT als Label-Gen SFT, vaak met een grote marge (bijv. ~10-20% lager op HellaSwag), wat aangeeft dat trainen op alleen de gold kandidaat onvoldoende is om distractoren effectief te ranken.

4. Interface Gevoeligheid

De studie demonstreert dat fine-tuning doelen nauw gekoppeld zijn aan evaluatie-interfaces.

• Het evalueren van een CLS-SFT model met de standaard log-probability scoring (in plaats van zijn native classificatie-head) veroorzaakt een dramatische daling in accuratesse (bijv. een ~30% daling op HellaSwag voor Qwen3-1.7B).
• Omgekeerd resulteert het gebruik van een Label-Gen adapter om kandidaten te scoren via log-probability ook in een significante prestatievermindering vergeleken met zijn native label-generatie taak.

Betekenis en Claims

Het paper claimt dat de eerder gerapporteerde suboptimale prestaties van TLMs mogelijk een artefact zijn van hoe ze doorgaans worden gefinetuned en geëvalueerd (vaak via instruction-based label generatie en mismatched inferentieprotocollen).

Belangrijkste Bijdragen:

1. Definitie van TLMs: Stelt een praktische, geheugenbeperkte definitie van Tiny Language Models (<3 miljard parameters) vast, die onderscheid maakt van de bredere "Small Language Model" categorie.
2. Discriminatieve Fine-Tuning: Stelt Classification-Head SFT voor en valideert dit als een superieur fine-tuning paradigma voor TLMs op verifieerbare meerkeuze-taken, wat een "veilige default" biedt voor practitioners die modellen implementeren op consumentenhardware.
3. Evaluatie Rigor: Benadrukt dat de keuze van de inferentie-interface (generatie versus scoring) de gerapporteerde accuratesse met tientallen punten kan veranderen voor kleine modellen, wat oproept tot een heroverweging van hoe vooruitgang in de TLM-ruimte wordt gemeten.

De auteurs concluderen dat voor TLMs, het direct trainen van het model om tussen kandidaat-sequenties te discrimineren aanzienlijk betere resultaten oplevert dan het genereren van een labeltoken, waardoor ze effectief in staat zijn om "boven hun gewicht uit te stijgen" en te concurreren met zero-shot of few-shot versies van veel grotere frontier modellen (bijv. GPT-3 175B, PaLM 540B) op specifieke commonsense benchmarks.