Technische Samenvatting: OCC-RAG: Optimale Cognitieve Kern voor Getrouwe Beantwoording van Vragen

Probleemstelling

Recente vooruitgang in Large Language Models (LLM's) is primair gedreven door schaling, wat heeft geleid tot modellen die enorme hoeveelheden wereldkennis absorberen in hun gewichten. Echter, veel praktische toepassingen, met name die die vragen om Context Question Answering (Context QA), profiteren meer van robuuste redenering en strikte naleving van het verstrekte bewijs dan van uitgebreide parametrische kennis.

Huidige LLM's worden geconfronteerd met drie kritieke uitdagingen in Context QA:

1. Gebrek aan Getrouwheid (Faithfulness): Modellen geven vaak prioriteit aan hun interne parametrische kennis boven de verstrekte context, wat leidt tot hallucinaties of antwoorden die in strijd zijn met de invoertekst (bijv. antwoorden op basis van feiten uit de echte wereld wanneer de context een tegenfeitelijk scenario presenteert).
2. Onvoldoende Multi-hop Redenering: Modellen hebben moeite met het synthetiseren van informatie uit uiteenlopende delen van een context om logische hiaten te overbruggen zonder te vertrouwen op memorische sluiproutes.
3. Onvermogen om te Onthouden (Abstain): Modellen falen vaak in het herkennen wanneer een context onvoldoende, ambigu of ontbeert van de noodzakelijke informatie, wat leidt tot zelfverzekerde maar onjuiste antwoorden in plaats van een gekalibreerde weigering.

Hoewel Small Language Models (SLM's) een principieel, kosteneffectief alternatief bieden, missen ze vaak de gespecialiseerde training om deze taken betrouwbaar uit te voeren zonder te hallucineren of terug te vallen op memorische kennis.

Methodologie

De auteurs introduceren Optimal Cognitive Core (OCC), een familie van SLM's die ontworpen is om de nadruk te leggen op taakspecifieke redeneercapaciteiten boven de kenniscapaciteit. De specifieke variant die wordt gepresenteerd, OCC-RAG, is geoptimaliseerd voor getrouwe, op context gebaseerde beantwoording van vragen.

1. Modelarchitectuur en Trainingsstrategie

• Basismodellen: De auteurs selecteerden Qwen3-0.6B-Base en Qwen3-1.7B-Base als startpunten, omdat deze bepaald werden als de sterkste presteerders onder de open-weight SLM-families (inclusief Gemma3 en SmolLM3) op initiële QA-segmenten.
• Mid-Training: In plaats van pre-training vanaf nul, ondergaan de modellen mid-training (supervised fine-tuning) op een massaal synthetisch corpus. Deze fase is ontworpen om de redeneerarchitectuur van het model expliciet vorm te geven voor Context QA.
• Trainingsdoel: De loss wordt alleen toegepast op de respons-tokens. Het model wordt getraind om gestructureerde redeneersporen te genereren die bronvermeldingen bevatten, gegrond in letterlijke citaten uit de context.

2. Synthetische Datapijplijn

De kern van de methodologie is een nieuwe pijplijn voor het synthetiseren van een corpus van meer dan 3,25 miljoen QA-voorbeelden. De data is ontworpen om drie specifieke gedragingen af te dwingen: multi-hop inferentie, strikte contextuele getrouwheid en gekalibreerde onthouding.

• Data Samenstelling:
  • Single-hop QA: De grootste subset (~2,78M paren), gegenereerd door Wikipedia-pagina's te verwerken, tekst te opschonen en extractieve QA-paren te genereren.
  • Multi-hop QA: Gegenereerd met behulp van een Knowledge Graph (KG) die is geëxtraheerd uit de context (gouden en distractor chunks) via de Wikontic pijplijn. Dit garandeert het bestaan van "brug"-entiteiten en biedt structurele controle over de complexiteit van de redenering. De pijplijn samplet paden uit de KG om vragen te genereren die informatiefusie over meerdere paragrafen vereisen.
  • Onbeantwoordbare (Abstention) QA: Een subset van ~43k voorbeelden waarbij de context doelbewust onvoldoende is. Deze zijn geconstrueerd door een gefinetuned DeBERTa-model te gebruiken om gevallen te identificeren waarin een extractief model het antwoord niet uit een gereduceerde context kan halen, wat wijst op ontbrekende informatie.
• Gestructureerde Redeneersporen: Elk trainingsinstantiem omvat een expliciet redeneerspoor, verdeeld in vier secties:
  1. Query Analyse: Identificeert de intentie van de vraag en de entiteiten.
  2. Bron Analyse: Attribueert feiten aan specifieke bronpassages.
  3. Redenering: Combineert feiten om het antwoord af te leiden.
  4. Status en Antwoord: Een expliciet ANSWERABLE/UNANSWERABLE oordeel gevolgd door het uiteindelijke antwoord.
• Data Mix Strategie: Om te zorgen dat het model redeneercapaciteiten ontwikkelt, oversampled de trainingscurriculum multi-hop voorbeelden (3 keer getoond per epoch) ten opzichte van single-hop voorbeelden (1 keer getoond), ondanks dat single-hop data de token-budget domineert.

3. Evaluatie Benchmarks

De modellen worden geëvalueerd op drie kerndimensies:

• Multi-hop Redenering: HotpotQA, MuSiQue, en TAT-QA (meten van In-Accuracy en F1).
• Getrouwheid (Faithfulness): ConFiQA, die de prestaties op tegenfeitelijke contexten test. Metrieken omvatten In-Accuracy en de Memorization Ratio (MR), die meet hoe vaak het model de voorkeur geeft aan parametrische kennis boven de context.
• Weigering (Refusal): MuSiQue-Un, het meten van het vermogen om correct onbeantwoordbare vragen te identificeren (Refusal Accuracy).

Belangrijkste Resultaten

De uitgebrachte modellen, OCC-RAG-0.6B en OCC-RAG-1.7B, laten zien dat compacte, taakgespecialiseerde SLM's algemene modellen die 2 tot 6 keer hun omvang hebben kunnen evenaren of overtreffen.

• Prestaties versus Grootte:
  • OCC-RAG-0.6B presteert beter dan Gemma3-4B en SmolLM3-3B op alle dimensies (multi-hop, getrouwheid en weigering).
  • OCC-RAG-1.7B bereikt competitieve of superieure resultaten vergeleken met Qwen3-4B in "thinking mode" op multi-hop redenering en overtreft het significant op getrouwheid en weigering.
• Getrouwheid en Memorisatie:
  • OCC-RAG-1.7B vermindert de Memorization Ratio (MR) van 12,7 (Qwen3-1.7B) naar 5,0, wat een sterke capaciteit aantoont om de verstrekte context prioriteit te geven boven interne kennis.
  • Op ConFiQA overtreft OCC-RAG-0.6B Qwen3-1.7B met 9,5 punten.
• Weigeringscapaciteiten:
  • OCC-RAG-1.7B bereikt een 87,2% Refusal Accuracy, waarmee het op gelijke hoogte presteert met modellen van 8B parameters of groter, terwijl kleinere baselines aanzienlijk worstelen.
• Vergelijking met Gespecialiseerde Baselines:
  • OCC-RAG-0.6B overtreft de eerdere gespecialiseerde baseline, Pleias-RAG-1.2B, met 21,6 punten op MuSiQue en presteert significant beter op getrouwheidsmetrieken.

Betekenis en Claims

Het paper stelt dat getrouwheid niet enkel door schaling wordt bepaald. In plaats daarvan kan het worden geleerd via een specifiek trainingscurriculum en supervisieformaat.

• Optimale Cognitieve Kern: De auteurs beargumenteren dat voor toepassingen waar juistheid aan bewijs moet zijn gekoppeld (bijv. juridische, medische of fact-checking domeinen), een "optimale cognitieve kern"—een compacte, taakgespecialiseerde architectuur—een praktisch en efficiënt alternatief is voor steeds grotere algemene modellen.
• Geleerde Onthouding (Learned Abstention): Het werk demonstreert dat "veilige onthouding" kan worden getransformeerd van een heuristiek naar een geleerd redeneergedrag door middel van gestructureerde supervisie, waardoor SLM's betrouwbaarder worden in situaties met hoge inzet.
• Efficiëntie: Door mid-training te doen op een synthetisch corpus van gestructureerde redeneersporen, tonen de auteurs aan dat SLM's het proces van multi-hop inferentie en bewijsvoering kunnen internaliseren zonder de computationele kosten van het opschalen van modelparameters of het gebruik van volledige "thinking mode" inferentie.

Het paper concludeert dat OCC-RAG een herbruikbaar recept biedt voor het bouwen van transparante, efficiënte en robuuste QA-systemen die veerkrachtig zijn tegen ontbrekende of conflicterende informatie.