Technische Samenvatting: Sub-Billion, Super-Frontier Small Language Models voor Relatie-extractie

Probleemstelling

Large Language Models (LLMs) hebben state-of-the-art prestaties bereikt in Relation Extraction (RE), maar hun implementatie wordt gehinderd door hoge computationele kosten, de afhankelijkheid van propriëtaire API's en privacyzorgen. Hoewel Small Language Models (SLMs) een pad bieden naar efficiënte, on-device en private RE, blijven ze traditioneel achter bij frontier LLMs in complexe redeneertaken, met name in domeinen met impliciete semantiek en complexe narratieve structuren zoals literaire teksten. De centrale vraag die wordt behandeld is of compacte SLMs (variërend van 360M tot 3B parameters), wanneer zij worden onderworpen aan gerichte taakanpassing, de prestatiekloof met zero-shot frontier LLMs kunnen dichten in zowel algemene domeinen als literaire teksten.

Methodologie

De studie maakt gebruik van een rigoureus, gecontroleerd experimenteel ontwerp om vijf open-weight SLMs te evalueren tegenover frontier propriëtaire modellen (GPT-5.4 en Claude Sonnet 4.6) en een discriminatieve RoBERTa-baseline.

Modellen en Schalen

• Sub-billion Modellen: SmolLM2-360M-Instruct en Qwen2.5-0.5B-Instruct.
• Small Modellen (3B): SmolLM3-3B, Qwen2.5-3B-Instruct, en Llama-3.2-3B-Instruct.
• Baselines: Zero-shot frontier LLMs (via OpenRouter API) en een volledig gesuperviseerde entity-marker RoBERTa-classifier.

Experimentele Regimes

De auteurs evalueerden 30 verschillende configuraties afgeleid van vijf basismodellen, drie domein-compositie tuning-regimes en twee prompt-geconditioneerde tuning-stijlen:

1. Tuning Regimes:
   • GenTune: Uitsluitend gefinetuned op algemene domeindatasets (nieuws, Wikipedia, web).
   • LitTune: Uitsluitend gefinetuned op literaire datasets (biografisch, fictie).
   • MixTune: Gefinetuned op een gebalanceerde mix van algemene en literaire data.
2. Prompt-geconditioneerde Stijlen:
   • 0-shot: Geen in-context demonstraties tijdens tuning of inferentie.
   • 2-shot: Twee in-context demonstraties opgenomen tijdens zowel tuning als inferentie.
3. Domain-Adaptive Pretraining (DAPT): Een gerichte casestudy op Llama-3.2-3B waarbij voortgezette pretraining plaatsvond op ongeannoteerde literaire tekst (LitBank) vóór de supervised fine-tuning, om het effect van unsupervised domeinexpositie te isoleren.

Datasets en Evaluatie

De evaluatie beslaat negen benchmarks: zeven algemene domeinen (TACRED, SemEval-2010 Task 8, CoNLL04, NYT11, GIDS, Re-DocRED, REBEL) en twee literaire (Biographical, PG-Fiction).

• Metriek: De primaire metriek is positive-class micro-F1, waarbij de "no-relation" klasse wordt uitgesloten om bias door de meerderheidsklasse te voorkomen.
• Protocol: Alle SLMs werden gefinetuned met behulp van QLoRA (4-bit NormalFloat kwantisatie met LoRA adapters) op consumentenhardware (NVIDIA RTX 4090). Inferentie gebruikte greedy decoding. Frontier-modellen werden zero-shot geëvalueerd.
• Prompting: Twee condities werden getest: schema-enumerated (het opsommen van toegestane labels in de system prompt) en generic (geen lijst met labels). De paper rapporteert primair de schema-enumerated resultaten als een conservatieve ondergrens.

Belangrijkste Bijdragen

1. Systematische SLM Evaluatie: De meest uitgebreide gecontroleerde studie tot nu toe naar domein-compositie en prompt-geconditioneerde tuning voor SLMs in RE, die 30 configuraties over vijf modellen beslaat.
2. Multi-Domein en Cross-Scale Analyse: Een gecontroleerde vergelijking van specialistische (domeinspecifieke) versus generalistische (gemengde domein) modellen, waarbij wordt aangetoond dat één enkel mixed-domain model beide domeinen (algemeen en literair) kan dekken met minimale prestatie-trade-offs.
3. Analyse van Trainingsstrategie: Kwantificering van hoe mixed-domain tuning en prompt-geconditioneerde supervisie de kloof tussen SLMs en frontier LLMs verkleinen. Cruciaal is dat de studie het effect van supervised task adaptation isoleert van unsupervised domain exposure (DAPT).
4. Efficiëntie-georiënteerde Beoordeling: Demonstratie dat sterke RE-prestaties haalbaar zijn met modellen die inzetbaar zijn op een enkele consumenten-GPU of CPU, wat een praktisch alternatief biedt voor API-afhankelijke frontier-systemen.

Belangrijkste Resultaten

Algemene Domein Prestaties

• SLMs Presteren Beter dan Frontier LLMs: Het beste sub-billion model, Qwen2.5-0.5B (gefine-tuned op algemene data met 2-shot prompting), behaalde een General Average F1 van 0.828. Dit presteerde significant beter dan zero-shot GPT-5.4 (0.693) en Claude Sonnet 4.6 (0.662).
• Rol van Fine-Tuning: Het voordeel komt voort uit taakspecifieke adaptatie in plaats van generatieve decoding of ruwe schaal. Een discriminatieve RoBERTa-baseline overtrof ook de frontier-modellen, wat bevestigt dat de winst te danken is aan in-domain training.
• Schaal vs. Strategie: Binnen hetzelfde modelgezin (Qwen2.5) leverde het opschalen van 0.5B naar 3B verwaarloosbare winst op (+0.004) op de algemene domein RE, wat suggereert dat voor goed getunede taken sub-billion modellen voldoende zijn.

Literaire Domein Prestaties

• Significante Kloven: Getunede SLMs presteerden aanzienlijk beter dan frontier-modellen op literaire RE. Het beste 3B model (SmolLM3-3B met LitTune 0-shot) behaalde een Literature Average F1 van 0.833, waarmee het GPT-5.4 (0.578) met ~26 punten en Claude (0.530) met ~30 punten versloeg.
• Supervised Adaptatie is Cruciaal: De DAPT-casestudy toonde aan dat voortgezette unsupervised pretraining op literaire tekst geen praktisch betekenisvolle winst toevoegde (≤0.001 F1) bovenop supervised fine-tuning alleen. De prestatiekloof wordt gedicht door supervised task adaptation, niet door extra unsupervised exposure.
• Effecten van Prompting: Voor sub-billion modellen zorgde 2-shot tuning voor enorme winsten (14–21 F1 punten), wat de beperkte capaciteit compenseerde. Voor 3B modellen was het voordeel van 2-shot tuning marginaal of negatief, wat suggereert dat grotere modellen het schema beter internaliseren via supervised data alleen.

Prompting en Foutanalyse

• Generic vs. Schema-Enumerated: Tegen de verwachting in presteerde generic prompting (zonder het opsommen van labels) gemiddeld +3.2 F1 punten beter dan schema-enumerated prompting, zonder verlies in de welgevormdheid van de output. Dit suggereert dat supervised training voldoende is voor schema-compliance.
• Foutmodi: Veelvoorkomende fouten omvatten verwarring tussen nabijgelegen labels (bijv. specifieke relaties verwarren met hyperoniemen), default-to-negative onder-voorspelling (het missen van impliciete relaties) en gehallucineerde out-of-schema labels. Deze fouten kwamen vaker voor bij mixed-domain training en kleinere modellen.

Betekenis en Claims

De paper claimt dat gerichte trainingsstrategieën en data-gecentreerde optimalisatie compacte SLMs competitief kunnen maken met, en vaak superieur kunnen maken aan, veel grotere propriëtaire systemen voor Relation Extraction.

• Democratisering: De resultaten suggereren dat hoogwaardige RE geen massieve, API-beveiligde modellen vereist. Compacte, taak-geadapteerde modellen kunnen lokaal worden ingezet op consumentenhardware, wat privacy garandeert, latentie vermindert en de energiekosten verlaagt.
• Efficiëntie vs. Prestatie: De studie demonstreert een gunstige performance-efficiëntie trade-off, waarbij sub-billion modellen hoge F1-scores behalen met een fractie van de parameters en opslagvoetafdruk van frontier LLMs.
• Literaire NLP: Het werk daagt het idee uit dat literaire RE primair een "schaalprobleem" is, door aan te tonen dat domeinspecifieke supervised adaptatie de kritieke factor is voor succes in complexe narratieve domeinen.

De auteurs blijven bescheiden over hun claims, waarbij zij opmerken dat schaleffecten verstrengeld zijn met modelfamilies in hun setup, dat alle runs een enkele random seed gebruikten (wat claims over sub-puntverschillen beperkt), en dat de evaluatie Engelstalig is. Zij benadrukken dat hun bevindingen de potentie van taakspecifieke adaptatie boven ruwe schaling of unsupervised domain pretraining voor specifieke extractietaken onderstrepen.