💬 NLP

Epistemic Familiarity is Associated With Belief Stability in Large Language Models

Dit artikel introduceert het P-StaT-framework om aan te tonen dat grote taalmodellen een grotere geloofsstabiliteit vertonen bij het verwerken van bekende fictieve beweringen in vergelijking met onbekende synthetische beweringen, wat onthult dat epistemische bekendheid een sleutelfactor is bij het verminderen van semantisch geïnduceerde geloofsinstabiliteit.

Oorspronkelijke auteurs: Samantha Dies, Courtney Maynard, Germans Savcisens, Tina Eliassi-Rad

Gepubliceerd 2026-07-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Samantha Dies, Courtney Maynard, Germans Savcisens, Tina Eliassi-Rad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot leert het verschil te zien tussen een feit, een leugen en een verzonnen verhaal. Je zou kunnen denken dat zodra de robot de regels van "waarheid" heeft geleerd, hij zich eraan zal houden, ongeacht hoe je de vraag stelt. Maar in de wereld van Large Language Models (LLM's) — de krachtige AI-hersenen achter chatbots en zoekmachines — is het een stuk wankeler. Deze modellen zijn als gigantische bibliotheken die bijna alles op het internet hebben gelezen, maar ze "weten" dingen niet zoals mensen dat doen; ze voorspellen welke woorden logischerwijs volgen op basis van patronen. Een cruciale vraag voor wetenschappers is: als je de context of de manier waarop een vraag wordt gesteld een klein beetje verandert, blijft de overtuiging van de robot over een feit dan stabiel, of wankelt en stort deze in? Dit is de studie van "epistemische stabiliteit". Als een robot vandaag gelooft dat een stad bestaat, maar van mening verandert omdat je een fictief verhaal in de buurt noemde, dan is dat een probleem. We geven erom omdat deze modellen steeds vaker worden gebruikt om ons informatie te geven, en we moeten weten of hun overtuigingen rotsvast zijn of dat ze gemakkelijk worden geschud door een beetje verwarring.

Hier komt een nieuwe studie van Samantha Dies en haar team, die besloten de wereld van de robot te schudden om te zien wat eruit valt. Ze bouwden een raamwerk genaamd P-StaT (wat staat voor Perturbation Stability of Truth). Zie P-StaT als een "geloofsstresstest". De onderzoekers namen 21 verschillende AI-modellen en gaven ze een reeks beweringen om te beoordelen. Sommige beweringen waren echte feiten (zoals "Surat ligt in India"), sommige waren overduidelijke leugens, en het lastige deel waren de "Niet zowel/noch"-beweringen — claims die in de echte wereld noch waar, noch onwaar zijn.

Het team splitste deze "Niet zowel/noch"-beweringen in twee kampen. Het eerste kamp bestond uit Familiar Fictional (bekende fictieve) beweringen. Dit zijn verzonnen dingen die lijken te horen bij een verhalenboek of een film, zoals "De stad Bikini Bottom ligt in de Stille Oceaan." Hoewel Bikini Bottom niet echt is, heeft de AI dit waarschijnlijk gezien in de trainingsdata omdat het een populaire tekenfilm is. Het tweede kamp was de Unfamiliar Synthetic (onbekende synthetische) beweringen. Dit zijn volkomen nieuwe, vreemde combinaties van woorden die de AI waarschijnlijk nog nooit eerder heeft gezien, zoals "De stad Eustapor ligt in Oklanian." Deze zijn ontworpen als totale vreemdelingen voor het model.

De onderzoekers speelden een spel van "wat als". Ze zeiden tegen de AI: "Oké, doe alsof deze verzonnen dingen echt waar zijn," en keken of de AI plotseling zou gaan twijfelen aan zijn echte feiten. Het is alsof je tegen een persoon zegt: "Stel je voor dat draken echt zijn," en vervolgens vraagt: "Dus, is de lucht blauw?" Als die persoon plotseling zegt: "Ik weet het niet zeker, misschien is de lucht groen vanwege de draken," dan is het overtuigingssysteem van die persoon instabiel.

De resultaten waren fascinerend. Wanneer de AI werd blootgesteld aan de Unfamiliar Synthetic beweringen (de totaal nieuwe, vreemde zaken), werd hij erg wankel. In de gedragstesten (waarbij de AI gewoon aan het chatten was), trok de AI zijn overtuigingen over echte feiten vaker terug dan 50% van de tijd. Dat is een muntworp! Als je een munt 100 keer opgooit, verwacht je ongeveer 50 keer kop; hier verloor de AI vaker dan niet zijn vertrouwen in echte feiten, simpelweg omdat hij in de war was door iets dat totaal nieuw was.

Echter, wanneer de AI werd blootgesteld aan de Familiar Fictional beweringen (de tekenfilmsteden en filmmonsters), bleef hij veel rustiger. De AI wist dat Bikini Bottom een tekenfilm was, dus liet hij dat idee zijn kennis over echte steden niet verstoren. De studie suggereert dat de instabiliteit van de AI niet alleen komt door het feit dat de woorden vreemd zijn; het gaat erom hoe onbekend de context aanvoelt. De modellen lijken een "comfortzone" te hebben van dingen die ze al eerder hebben gezien, en wanneer je hen in het onbekende duwt, glipt hun grip op de waarheid weg.

De onderzoekers keken ook naar welke soorten feiten de AI het meest waarschijnlijk losliet wanneer hij in de war raakte. Ze ontdekten dat de AI niet zomaar willekeurig dingen vergat. De AI had de neiging om overtuigingen te laten vallen over zaken die van zichzelf al een beetje vaag waren — zoals technische medische termen, obscure geografie of beweringen die een beetje ambigu waren. Het is alsof het overtuigingssysteem van de AI een kaartenhuis is: wanneer je een zachte bries van bekende fictie blaast, blijft het huis staan. Maar wanneer je een orkaan van onbekende onzin blaast, zijn de kaarten die al enigszins wankel waren (de lastige, technische zaken) de eersten die vallen.

Kortom, dit artikel suggereert dat epistemische bekendheid — hoe goed een AI een onderwerp kent — een enorme factor is in hoe stabiel de overtuigingen zijn. Als een AI gevraagd wordt te redeneren over dingen die hij nog nooit heeft gezien, is de kans veel groter dat hij gaat hallucineren of van mening verandert over dingen die hij eigenlijk wel weet. De auteurs zeggen niet dat de AI kapot is, maar ze laten zien dat "stabiliteit" een nieuwe manier is om te meten hoe betrouwbaar een AI is, naast de gebruikelijke "nauwkeurigheidstests". Het blijkt dat voor deze digitale breinen, de regels van het spel kennen net zo belangrijk is als de feiten van het spel kennen.

Technische Samenvatting: Epistemische Familiariteit is Geassocieerd met Geloofsstabiliteit in Large Language Models

Probleemstelling

Large language models (LLM's) worden steeds vaker vertrouwd als informatiebronnen, maar hun betrouwbaarheid is fragiel; kleine veranderingen in semantische aannames kunnen hun overtuigingen aanzienlijk destabiliseren. Terwijl mensen onderscheid maken tussen Waar, Onwaar en "Geen van beide" (fictieve of synthetische) claims, blijft het onduidelijk of LLM's deze categorieën coherent organiseren in hun interne representaties of of deze organisatie de stabiliteit onder semantische herformulering voorspelt. Deze instabiliteit is bijzonder consequential in situaties met een hoog risico, waar subtiele verschuivingen in context kunnen bijdragen aan hallucinaties.

Huidige onderzoeken benaderen de waarachtigheid van LLM's vanuit twee grotendeels gescheiden richtingen: representatieve probing, die de geometrie van waarheid in de activatieruimte karakteriseert, en gedragsmatige robuustheid, die onderzoekt hoe wijzigingen in bewoording of framing de outputs veranderen. Er bestaat een kritieke kloof: probing-studies testen zelang niet of de representatieve structuur gedragsmatige stabiliteit voorspelt, en evaluaties van robuustheid analyseren doorgaans niet hoe perturbaties interageren met latente representaties. Bov�imentele methoden vertrouwen vaak op duidelijk Onware claims, waardoor ze er niet in slagen de nuance te vatten van hoe LLM's omgaan met "Geen van beide"-statements (claims die noch waar, noch onwaar zijn in een real-world setting).

Methodologie: P-StaT Framework

De auteurs introduceren P-StaT (Perturbation Stability of Truth), een verenigd framework voor het evalueren van de stabiliteit van overtuigingen onder gematchte semantische perturbaties in zowel representatieve als gedragsmatige settings.

1. Operationalisering van Familiariteit

De kerninnovatie is het onderscheid tussen Familiar (bekende) en Unfamiliar (onbekende) "Geen van beide"-statements:

Familiar (Fictief): Statements afkomstig uit cultureel ingebedde corpora (bijv. literatuur, media) die waarschijnlijk aanwezig zijn in de pretraining data (bijv. "De stad Bikini Bottom ligt in de Stille Oceaan").
Unfamiliar (Synthetisch): Statements gegenereerd om eerdere blootstelling te minimaliseren, met behulp van geconstrueerde entiteiten en bigram-distributies die overeenkomen met True/False of Fictionele patronen, maar die geen real-world referenten bevatten (bijv. "De stad Norminsk ligt in Jamoates").

2. Experimenteel Ontwerp

Het framework evalueert stabiliteit door te variëren welke "Geen van beide"-statements als Waar worden beschouwd (semantische aanname $\Theta$ ) en door te meten hoe de overtuigingen van een LLM veranderen.

Baseline ( $\Theta_0$ ): Alleen grondwaarheid True-statements worden als True gelabeld.
Perturbed ( $\Theta$ ): Een subset van "Geen van beide"-statements (ofwel Fictioneel ofwel Synthetisch) wordt herlabeld als True.
Metrieken: Stabiliteit wordt gekwantificeerd door Epistemic Retractions ( $R$ ), gedefinieerd als True-statements die hun "True"-status verliezen onder perturbatie, en Epistemic Expansions ( $E$ ). Ratio's worden genormaliseerd om rekening te houden met de baseline performance.

3. Dubbele Instantiatie

P-StaT wordt op twee manieren geïnstantieerd om cross-setting vergelijking mogelijk te maken:

Representatief: Een lineaire probe (sAwMIL) wordt getraind op de verborgen laag activaties van de LLM met behulp van labels geïnduceerd door $\Theta$ .
Gedragsmatig: De LLM wordt geprompt met een "belief context" ( $C_\Theta$ ) geconstrueerd uit statements die als True gelabeld zijn onder $\Theta$ , waarbij gevraagd wordt nieuwe statements te beoordelen.

4. Datasets en Modellen

De studie beslaat 21 open-source LLM's (Gemma, Llama, Mistral, Qwen families) over drie domeinen:

Stadlocaties: Geografische feiten.
Medische Indicaties: Relaties tussen medicijn en ziektebehandeling.
Woorddefinities: Lexicale semantiek.

Belangrijkste Bijdragen

Nieuwe Datasets: Introductie van lexicaal gematchte Fictionele en Synthetische datasets ontworpen voor gecontroleerde perturbatie-gebaseerde evaluatie van de stabiliteit van overtuigingen.
Verenigd Framework: Voorstel van P-StaT, dat de kloof tussen representatieve en gedragsmatige stabiliteit overbrugt door identieke semantische perturbaties toe te passen in beide settings.
Empirische Bevindingen: Demonstratie dat onbekende Synthetische perturbaties aanzienlijk grotere epistemische instabiliteit induceren dan bekende Fictionele perturbaties, met name in gedragsmatige evaluaties.
Semantische Analyse: Identificatie van terugkerende thema's in geretracteerde statements, inclusief ambiguïteit, technische terminologie en obscure concepten.

Resultaten

1. Verschillen in Stabiliteit door Familiariteit

Gedragsmatige Instabiliteit: Onbekende Synthetische perturbaties induceren consistent hogere retraction rates dan bekende Fictionele perturbaties. In de domeinen Stadlocaties en Woorddefinities overschreed de mediane gedragsmatige retraction rate voor Synthetische perturbaties frequent 0,5 (50%), vergeleken met significant lagere rates voor Fictionele perturbaties.
Representatieve Instabiliteit: Hoewel de representatieve retraction rates over het algemeen lager waren (doorgaans <0,08), hield de trend stand: Synthetische perturbaties induceerden vaak vergelijkbare of grotere instabiliteit dan Fictionele perturbaties, met name in Medische Indicaties en Woorddefinities.
Controlecondities: "Noise"-condities (Gaussische activaties of cross-domein waarheden) dienden als controles, wat bevestigde dat de instabiliteit wordt gedreven door semantische inhoud en niet door statistische artefacten.

2. Validiteit van de Operationalisering van Familiariteit

De auteurs hebben geverifieerd dat de geobserveerde effecten niet te wijten waren aan laag-niveau lexicale of representatieve artefacten:

Lexicale Structuur: Synthetische statements behielden de bigram-distributies van hun respectieve categorieën (True/False of Fictioneel), wat de lexicale gelijkenis garandeerde.
Representatieve Heterogeniteit: Fictionele statements vertoonden geen hogere binnen-groep Euclidische afstanden dan Synthetische statements, wat heterogeniteit als oorzaak voor instabiliteit uitsluit.
Familiariteitsproxy's: Next-token waarschijnlijkheidsanalyse bevestigde dat Synthetische statements consistent minder bekend (lagere waarschijnlijkheid) waren dan Fictionele statements over alle LLM's heen, ondanks vergelijkbare oppervlaktestructuren.

3. Terugkerende Thema's in Geretracteerde Statements

Clusteringanalyses van geretracteerde statements onthulden dat instabiliteit niet willekeurig is, maar concentreert in specifie�ke semantische regio's:

Ambigue Referenten: Termen met meerdere betekenissen (bijv. "Lima" verwijzend naar een stad in de VS versus Peru).
Zeldzame/Technische Concepten: Obscuur vocabulaire of gespecialiseerde wetenschappelijke termen (bijv. "ptomaine," "pseudomonas").
Qualifier-gevoelige Claims: Biomedische relaties die afhankelijk zijn van specifieke subtypes of condities (bijv. morfine voor koliek).
Grensvlak-relaties: Indirecte of graduele semantische verbindingen (bijv. "viool" als een "snaarinstrument").

Betekenis en Claims

Het artikel claimt dat epistemische familiariteit systematisch geassocieerd is met stabiliteit onder semantische herformulering. De primaire betekenis van dit werk ligt in de demonstratie dat:

Stabiliteit als Metriek: Stabiliteitsanalyses kunnen traditionele nauwkeurigheidsbenchmarks aanvullen. Een LLM kan feitelijk accuraat lijken op standaardtests, maar blijft kwetsbaar voor destabilisatie wanneer het wordt blootgesteld aan onbekende semantische contexten.
Diagnostische Waarde: P-StaT biedt een gecontroleerde setting om "semantisch fragiele" claims of domeinen te identificeren die betrouwbaar lijken onder conventionele benchmarks, maar instorten onder perturbatie.
Mechanistisch Inzicht: De alignment tussen representatieve en gedragsmatige instabiliteit suggereert dat de interne organisatie van waarheid in LLM's gevoelig is voor de familiariteit van de semantische context, en niet alleen voor de oppervlaktevorm van de input.

De auteurs positioneren P-StaT als een diagnostisch instrument voor robuustheidsevaluatie, bedoeld om de ontwikkeling en betrouwbaarheid van modellen te ondersteunen in plaats van kwetsbaarheden uit te buiten. Zij merken beperkingen op, waaronder de operationalisering van familiariteit via constructie-proxies en de focus op statische parameters in plaats van evoluerende systemen (bijv. continual learning).