Technische Samenvatting: Knowledgeless Language Models (KLLMs)

Probleemstelling

Large Language Models (LLMs) verwerven tijdens de pretraining substantiële feitelijke kennis, die is gecodeerd in hun parameters. Hoewel dit brede capaciteiten mogelijk maakt, leidt het vaak tot onbetrouwbaar gedrag, specifiek hallucinatie, wanneer de interne parametrische kennis verouderd, incompleet of niet afgestemd is op de verstrekte context. Standaard mitigatiestrategieën, zoals Retrieval-Augmented Generation (RAG), falen vaak omdat modellen nog steeds zijn getraind om feiten te memoriseren en te reproduceren, wat een mismatch creëert waarbij modellen vertrouwen op parametrische herinnering in plaats van op extern bewijs, zelfs wanneer context beschikbaar is. De centrale vraag die wordt behandeld is of het pretraining-signaal systematisch kan worden gewijzigd om modellen weg te sturen van parametrische herinnering en richting evidence-gebaseerd redeneren, zonder het redeneervermogen op te offeren.

Methodologie

De auteurs introduceren Knowledgeless Language Models (KLLMs), een trainingsparadigma dat het pretraining-signaal wijzigt door entiteiten in de trainingscorpus systematisch te anonimiseren.

• Corpus Anoniem maken: De pretraining-data wordt verwerkt met behulp van een state-of-the-art Named Entity Recognition (NER) model (Flair framework met XLM-R embeddings). Alle geïdentificeerde benoemde entiteiten (bijv. personen, organisaties, locaties) worden vervangen door unieke placeholder-tokens (bijv. PERSON184, ORG42). Cruciaal is dat numerieke en temporele waarden behouden blijven om de semantische coherentie en leesbaarheid te bewaren.
• Trainingsprocedure: KLLMs worden vanaf nul getraind op deze geanonimiseerde corpus met behulp van standaard autoregressieve next-token prediction objectives. Er worden geen architecturale wijzigingen aangebracht; de modellen delen identieke architecturen, tokenizers en optimalisatie-instellingen met standaard Language Models (SLMs) die zijn getraind op de originele, niet-geanonimiseerde data.
• Inference Pipeline: Tijdens de inference wordt dezelfde anonimiseringsprocedure toegepast op de query en de bijbehorende context. Het model genereert een respons op basis van de geanonimiseerde input, en entiteitsnamen worden hersteld via een post-processing stap om de output terug te mappen naar standaard natuurlijke taal.
• Experimentele Opzet: De studie evalueert modellen over meerdere schalen (van 135M tot 3B parameters) en datagrootten (2.5B, 10B en 20B tokens). Vergelijkingen worden gemaakt met gematchte SLM-baselines en originele pretrained checkpoints.

Belangrijkste Bijdragen

1. Epistemisch Trainingsparadigma: Het artikel stelt een fundamentele verschuiving voor in de manier waarop LLM's kennis verwerven, waarbij wordt aangetoond dat het onderdrukken van entiteit-gelinkte supervisie de afhankelijkheid van extern bewijs induceert in plaats van parametrische herinnering.
2. Gecontroleerde Empirische Studie: Door middel van rigoureuze ablatie-studies en gematchte baselines isoleren de auteurs het effect van entiteits-anonimisering van generieke data-corruptie of regularisatie, waarbij zij aantonen dat de specifieke structuur van entiteitsverwijdering de drijvende kracht is.
3. Uitgebreide Evaluatie: Het werk evalueert KLLMs over vier verschillende dimensies:
   • Closed-book factual recall (om de parametrische kennisonderdrukking te meten).
   • Context-gebaseerd vraag beantwoorden en redeneren.
   • Retrieval-gebaseerde inferentie (inclusclusief sparse, dense en tool-augmented settings).
   • Kalibratie en selectieve predictie (abstention gedrag).

Resultaten

De empirische bevindingen onthullen een consistent patroon over verschillende model-schalen:

• Onderdrukking van Parametrische Herinnering: KLLMs vertonen een bijna volledige instorting in closed-book factual recall. Op benchmarks zoals LAMA en SQuAD zonder context daalt de KLLM-nauwkeurigheid tot bijna random niveaus (bijv. ~3-4% vs. ~35-40% voor SLMs), wat de succesvolle verwijdering van entiteit-gelinkte feitelijke herinnering bevestigt.
• Verbeterd Contextueel Redeneren: Wanneer relevante informatie als context wordt verstrekt, evenaren of overtreffen KLLMs standaard LLM's. Ze laten consistente winsten zien in factual QA, fact verificatie (FEVER) en hallucinatie detectie (HaluBench), met verbeteringen die oplopen tot +10.4% nauwkeurigheid bij hallucinatie detectie.
• Robuustheid in Retrieval-Gegronde Settings: In settings met imperfect of ruisachtig bewijs, vertonen KLLMs superieure robuustheid. Ze behalen relatieve winsten van 20–25% ten opzichte van SLMs in retrieval-augmented QA. Opvallend genoeg vertonen KLLMs hogere abstention rates wanneer het bewijs onvoldoende is, wat duidt op een betere afstemming op de kwaliteit van het bewijs.
• Verbeterde Kalibratie: KLLMs vertonen verbeterde kalibratie over meerdere metrieken, inclusief lagere Expected Calibration Error (ECE) en Brier scores, en een hogere AUROC. Ze bieden meer betrouwbare confidence signalen en een betere scheiding tussen correcte en incorrecte voorspellingen.
• Commonsense Redeneren: In tegenstelling tot de hypothese dat het verwijderen van entiteiten het algemene redeneren zou schaden, presteren KLLMs consequent beter dan baselines op commonsense benchmarks (CommonsenseQA, StrategyQA, PIQA), wat suggereert dat anonimisering leidt tot een grotere afhankelijkheid van structurele en relationele patronen in plaats van memorische associaties.
• Trainingsdynamiek: KLLMs vertonen een hogere pretraining loss dan SLMs, wat aangeeft dat de geanonimiseerde objective moeilijker is en niet het gevolg is van gemakkelijke optimalisatie of ondertraining.

Betekenis en Claims

Het artikel claimt dat pretraining-objectieven de epistemische gedragingen van taalmodellen fundamenteel vormgeven. Door entiteit-gelinkte supervisie te onderdrukken, worden KLLMs gedwongen minder te vertrouwen op parametrische kennis en meer op extern bewijs. Dit suggereert dat controle over kennisverwerving tijdens de pretraining retrieval-augmented en tool-gebaseerde systemen kan aanvullen door een basismodel te bieden dat inherent gevoeliger is voor de kwaliteit van bewijs en minder geneigd is tot hallucinatie.

De auteurs positioneren KLLMs niet als een vervanging voor standaardmodellen in alle contexten, maar als een gespecialiseerde oplossing voor scenario's waar betrouwbaarheid, groundedness en het vermogen om te onthouden van ononderbouwde antwoorden cruciaal zijn. Het werk demonstreert dat het mogelijk is om redeneervermogen te ontkoppelen van feitelijke memorisatie, wat een pad biedt naar meer controleerbare en betrouwbare taalmodellen. De geobserveerde effecten blijven standhouden over scaling laws en ablatie-analyses, wat de conclusie ondersteunt dat het anonimiseringsmechanisme de drijvende kracht is achter deze epistemische verschuivingen.