💬 NLP

Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale

Dit artikel toont aan dat hoewel grote taalmodellen over een intern, op activatie gebaseerd signaal beschikken dat bekende en gefabriceerde entiteiten accuraat onderscheidt over diverse schalen, deze "bewustheid" niet vertaalt naar gedragsmatige betrouwbaarheid, aangezien modellen frequent hallucineren over bekende entiteiten en bijna nooit weigeren antwoord te geven, wat een fundamentele discrepantie onthult tussen de bekendheid met een entiteit en feitelijke juistheid.

Oorspronkelijke auteurs: Grzegorz Brzezinka

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Grzegorz Brzezinka

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag

Stel je voor dat je een zeer slimme, goed onderlegde robot (een AI) een vraag stelt. Je wilt weten: Voelt de robot intern anders wanneer hij praat over iets wat hij echt weet, versus wanneer hij iets verzint?

De onderzoekers wilden zien of ze in het brein van de robot (de interne computersignalen) konden kijken voordat hij zelfs zijn zin afmaakte, om te bepalen of hij zelfverzekerd is of dat hij op het punt staat te hallucineren (liegen).

Het Experiment: De "Poolse Robot"

Het team testte een familie van Poolse AI-modellen genaamd Bielik. Ze lieten de robots vragen beantwoorden over vier soorten zaken:

Atleten (Beroemde zoals Lewandowski, minder bekende, en neppers).
Steden (Warschau, kleine dorpjes, verzonnen namen).
Schrijvers en Muzikanten.

Ze maakten drie soorten vragen voor elk onderwerp:

Bekend: Beroemde zaken die de robot zeker weet.
Minder bekend: Echte zaken die de robot waarschijnlijk nog nooit heeft gehoord.
Verzonnen: Verzonnen namen die echt klinken (zoals "Roman Lewandowicz").

De Ontdekking: De "Hersengloed"

De onderzoekers keken naar de interne elektrische activiteit van de robot (genaamd activaties) direct nadat de vraag was gelezen, maar voordat de robot begon met typen. Ze gebruikten twee eenvoudige wiskundige hulpmiddelen om te meten hoe "verspreid" of "geconcentreerd" de hersenactiviteit was.

De Analogie: De Bibliotheek versus de Verwarde Menigte

Wanneer de robot het antwoord weet: Stel je een bibliothecaris voor die rechtstreeks naar één specifieke plank loopt, één specifiek boek pakt en het naar de balie brengt. De activiteit is geconcentreerd en gefocust.
Wanneer de robot het niet weet (of het verzint): Stel je een verwarde menigte voor die door de bibliotheek rent, aan willekeurige planken komt en in alle richtingen schreeuwt. De activiteit is verspreid en rommelig.

Het Resultaat:
De wiskundige hulpmiddelen konden het verschil tussen de "geconcentreerde bibliothecaris" en de "verwarde menigte" meten met een nauwkeurigheid van 95% tot 100%.

Dit werkte voor robots van alle groottes (van kleine modellen van 1,5 miljard parameters tot grote van 11 miljard).
Dit werkte voor alle soorten onderwerpen (atleten, steden, etc.).
Dit werkte direct, met slechts één blik op de hersenen, zonder extra testen nodig te hebben.

De Kanttekening:
De robot weet dat hij het antwoord niet weet in zijn brein, maar hij zegt het niet. Hij blijft gewoon praten.

De Twee Verschillende "Groeicurves"

Dit is het meest verrassende deel van het artikel. De onderzoekers ontdekten dat er twee dingen gebeuren met verschillende snelheden naarmate de robots groter worden:

Weten "Ik weet het niet" (Het hersensignaal):
- Zelfs de kleinste robot (1,5B) had een perfect "Ik weet het niet"-signaal in zijn brein. Hij wist onmiddellijk wanneer hij over een verzonnen persoon werd gevraagd.
- Het groter maken van de robot veranderde dit niet echt; hij was al op het hoogste niveau.
Echt het juiste antwoord geven (Gedrag):
- De kleinste robot was verschrikkelijk in het geven van correcte feiten. Hij zou gokken en het fout hebben.
- Naarmate de robots groter werden, werden ze veel beter in het geven van correcte feiten. De grootste robot (11B) was veel nauwkeuriger.

De Analogie:
Stel je een student voor die een toets maakt.

Kleine student: Weet dat hij aan het gokken is (zijn brein is zenuwachtig), maar schrijft toch een fout antwoord op.
Grote student: Weet dat hij aan het gokken is (brein is zenuwachtig), en heeft genoeg geleerd om daadwerkelijk het juiste antwoord op te schrijven.
De Kloof: De kleine students brein wist dat hij aan het gokken was, maar zijn mond bleef onzin praten. De grote students brein wist het, en zijn mond kreeg eindelijk de feiten goed.

Het "Weigeringsprobleem"

De onderzoekers controleerden of de robots ooit zouden zeggen: "Ik weet het niet" en stoppen met antwoorden.

Van de 2.520 antwoorden weigerden de robots slechts twee keer te antwoorden.
Zelfs hoewel hun hersenen schreeuwden "Dit is nep!" (met 99% zekerheid), bleven hun monden verhalen verzinnen.
Alleen de grootste robot weigerde ooit, en zelfs dan was het zeer zeldzaam.

Wat dit betekent (in eenvoudige termen)

We kunnen leugens detecteren: We kunnen een eenvoudige "leugendetector" voor AI bouwen die de hersenactiviteit controleert voordat de AI spree�ft. Als de hersenactiviteit "verspreid" lijkt, is de AI waarschijnlijk van plan om iets te verzinnen.
Het gaat niet over grootte: Het vermogen om te weten dat je aan het gokken bent, is aanwezig in zelfs kleine modellen. Het vermogen om daadwerkelijk de feiten te weten vereist veel meer omvang en training.
De AI is eigenwijs: De AI weet dat hij aan het gokken is, maar hij stopt niet. Het is also[ een persoon die weet dat hij aan het bluffen is in een pokerspel, maar toch doorgaat omdat hij geprogrammeerd is om altijd een antwoord te geven.

Samenvatting

Het artikel bewijst dat AI-modellen een duidelijk intern signaal hebben dat zegt: "Dit heb ik nog nooit eerder gezien." Dit signaal is perfect en werkt direct. Echter, de modellen zijn erg slecht in het luisteren naar dat signaal en het zichzelf verbieden om dingen te verzinnen. Ze weten dat ze het niet weten, maar ze blijven toch praten.

Technische Samenvatting: Activatie-dispersie scheidt entiteitsbekendheid van feitelijke betrouwbaarheid

Probleemstelling

Large Language Models (LLM's) hallucineren frequent wanneer ze worden bevraagd over entiteiten die ze niet zijn tegengekomen tijdens de pretraining. Hoewel mechanistische studies suggereren dat kennisretentie gepaard gaat met gelokaliseerde activatiepatronen en hallucinatie met gedelokaliseerde patronen, blijft het ongetest of ongesuperviseerde, single-forward-pass dispersiestatistieken van interne activaties de bekendheid van een entiteit kunnen detecteren voordat er een antwoord-token wordt gegenereerd. Bovendien is het onduidelijk of dit interne "bekendheidssignaal" correleert met de gedragsmatige feitelijke betrouwbaarheid van het model (oftewel, of het model daadwerkelijk correct antwoordt over bekende entiteiten).

Deze studie adresseert deze hiaten met behulp van de Bielik-familie van Poolse instructie-getunede modellen (1.5B tot 11B parameters). Het onderzoekt of activatie-dispersie onderscheid kan maken tussen bekende, echt-maar-obscure en gefabriceerde entiteiten, en of dit signaal de bekwaamheid van het model om correct te antwoorden over bekende entiteiten volgt.

Methodologie

Dataset en Experimenteel Ontwerp

De auteurs hebben een dataset samengesteld over vier entiteitsdomeinen: atleten, steden, schrijvers en muzikanten. Elk domein bevat 126 entiteiten verdeeld in drie condities (42 per conditie):

Bekend: Beroemde entiteiten (bijv. Robert Lewandowski).
Onbekend-Echt: Echte maar obscure entiteiten (bijv. atleten uit lagere divisies) die het model waarschijnlijk niet kan beschrijven.
Gefabriceerd: Morfologisch plausibele maar uitgevonden namen (bijv. "Roman Lewandowicz").

Prompts waren eenzinnige vragen ("Wie is {entiteit}?" of "Wat is {entiteit}?"). Het domein atleten diende als de primaire testomgeving voor de gedragsanalyse, terwijl de andere drie domeinen werden gebruikt om generalisatie te testen.

Signaalextractie en Metrieken

Voor elke prompt werd een enkele forward pass uitgevoerd. De studie richtte zich op post-SwiGLU MLP-activaties op het prompt-punt (het laatste token van de prompt, nadat de entiteit is verwerkt).

Dispersie-metrieken (Ongesuperviseerd):
- Inverse Participation Ratio (IPR): Meet de concentratie van activatie (hoge IPR = gelokaliseerd).
- Spectrale Entropie: Meet de entropie van de genormaliseerde activatieverdeling (lage entropie = gelokaliseerd).
- Preprocessing: Activaties werden gewinsorized bij het 99e percentiel om te voorkomen dat enorme uitschieters de statistieken zouden domineren.
Gesuperviseerde Upper Bound: Een $\ell_2$ -geregulariseerde logistische regressie-probe getraind op verborgen toestanden om het maximale lineair decodeerbare signaal te bepalen.
Baselines:
- Token Count: Een lexicale baseline gebaseerd op de lengte van de entiteit.
- Semantische Entropie: Een multi-sample baseline (5 samples + LLM clustering) die de consistentie van het antwoord meet.
- First-Token Entropie: Output-zijde entropie baseline.

Evaluatiekader

Selectie-bewuste Nullen: Om overfitting op laagselectie te voorkomen, gebruikten de auteurs permutatietests (10.000 permutaties) waarbij labels werden gehusseld en de beste laag/metriek opnieuw werd geselecteerd voor elke permutatie. Het 95e percentiel van deze null-maxima diende als de prestatievloer.
Held-out Validatie: Lagen werden geselecteerd op de helft van de data en geëvalueerd op de andere helft.
Gedragsaudit: Voor het atleten-domein gradeerde een LLM-rechter (Claude Opus 4.8) antwoorden op feitelijke juistheid onder strikte en zachte rubrieken. Een aparte audit (Claude Haiku 4.5) telde weigeringen en genuanceerde antwoorden (hedging).

Belangrijkste Bijdragen

Ongesuperviseerde Bekendheidsdetectie: De studie demonstreert dat eenvoudige, closed-form dispersiestatistieken (IPR en spectrale entropie) berekend op een enkele forward pass, bekende van gefabriceerde entiteiten kunnen scheiden met een AUROC van 0.94–1.00 over alle modelmaten (1.5B–11B). Dit signaal overstijgt de selectie-bewuste permutatievloeren (~0.70–0.74) en overleeft held-out laagselectie.
Generalisatie over Domeinen: De detector generaliseert over atleten, steden, schrijvers en muzikanten. Cross-domein probe-transfer levert gemiddelde off-diagonal AUROCs op van 0.92–0.99. De geobserveerde daling in prestaties bij het overzetten naar het "steden"-domein werd toegeschreven aan verschillen in prompt-templates ("Wat is" versus "Wie is"), en niet aan het entiteitstype, via een gematchte-template counterfactual.
Dissociatie van Schaleringscurves: Het artikel identificeert twee verschillende schaleringsgedragingen:
- Representatieve Bekendheid: Het vermogen om bekende van onbekende entiteiten te onderscheiden is al op het plafond (AUROC > 0.94) bij de kleinste schaal (1.5B) en verbetert niet significant met de schaal.
- Gedragsmatige Betrouwbaarheid: Het vermogen om correct te antwoorden over bekende entiteiten schaalt scherp. Voor bekende atleten steeg het aantal volledig correcte antwoorden onder een strikte rechter van 0/42 (1.5B) naar 19/42 (11B).
Negatief Resultaat op Feitelijke Betrouwbaarheid: Binnen de set van bekende entiteiten falen de dispersiemetrieken om onderscheid te maken tussen correcte antwoorden en hallucinaties (AUROC ~0.68–0.82, vaak ononderscheidbaar van baselines). Het signaal detecteert bekendheid, niet waarachtigheid.
Complementariteit met Semantische Entropie: Hoewel single-pass dispersie beter presteert dan semantische entropie op het contrast "bekend vs. gefabriceerd" (0.94+ vs. 0.71–0.83), presteert semantische entropie beter dan dispersie op het contrast "correct vs. hallucinatie" (tot 0.87). De twee metrieken consumeren verschillende informatie (prompt-zijde bekendheid vs. generatie-zijde consistentie).
De Abstentie-kloof: Ondanks het dragen van een bijna perfect intern signaal van onbekendheid op alle schalen, weigeren de modellen bijna nooit te antwoorden. In 2.520 gesamplede atleten-antwoorden waren er slechts 2 weigeringen en 1 genuanceerd antwoord (99.88% directe beweringen). Deze kloof bestaat zelfs bij 11B, waar het interne signaal leesbaar is.

Resultaten

Scheidbaarheid: De beste ongesuperviseerde dispersiemetriek bereikte AUROCs van 0.936 (1.5B) tot 0.984 (4.5B) voor bekende versus gefabriceerde atleten. De gesuperviseerde probe bereikte 0.99–1.00, wat aangeeft dat de informatie aanwezig is in de activaties.
Controle-contrasten:
- Bekend vs. Onbekend-Echt: Dispersie bereikte 0.97–1.00, wat bewijst dat het signaal bekendheid volgt in plaats van enkel de "vreemdheid" van gefabriceerde strings.
- Onbekend-Echt vs. Gefabriceerd: Dispersie bereikte 0.70–0.82, wat suggereert dat er een residu van lexicale of plausibiliteitscomponenten in gefabriceerde strings zit, maar dit ligt ver onder het hoofdsignaal.
Dieptestructuur: Het bekendheidssignaal is aanwezig vanaf de vroege-middelste lagen (relatieve diepte ~0.2) en persisteert door het netwerk. Spectrale entropie vertoont een consistente "kennisband" bij relatieve diepte [0.48, 0.77] over alle modellen.
Attentie-diffusie: Het signaal wordt niet gedragen door een kleine, vaste set aandacht-heads. Per-head analyse laat zien dat het bekendheidssignaal diffuus is, waarbij slechts 1–2 heads gedeeld worden door de top-20 heads van alle vier de domeinen.
Gedragsmatige Schaling: Correctheid op bekende entiteiten verbeterde monotoon met de schaal (0 → 2 → 10 → 19 correct uit 42 onder strikte criteria).
Weigeringsgedrag: De modellen weigeren zelden. Alleen het 11B-model weigerde tweemaal; de 1.5B en 4.5B modellen weigerden nooit, ondanks dat ze hetzelfde interne bekendheidssignaal hebben.

Betekenis en Claims

Het artikel claimt dat entiteitsbekendheid en feitelijke betrouwbaarheid verschillende fenomenen zijn die op verschillende schaleringscurves bewegen.

Bekendheid is een eigenschap met lage capaciteit: Kleine modellen (1.5B) bezitten al een leesbare interne representatie van wat ze wel en niet weten. Dit is een "grofmazige, volumetrische schaduw" van de entiteitsherkennings-circuitry die in mechanistische studies wordt gevonden.
Betrouwbaarheid is een eigenschap met hoge capaciteit: Het vermogen om feiten te extraheren zonder hallucinatie vereist aanzienlijk meer parameters en data-repetitie.
De Alignment-kloof: De meest significante bevinding is het bijna-nul-weigering-regime. De modellen bezitten een "perfect" intern signaal dat aangeeft dat ze een entiteit niet kennen, maar ze handelen hier bijna nooit naar in hun gedrag. De auteurs stellen dat dit een alignment/tuning-kloof is in plaats van een capaciteitskloof, aangezien grotere modellen (en andere families zoals Gemma-4) onder vergelijkbare omstandigheden wel degelijk tot weigering kunnen worden gebracht.

Het artikel concludeert dat hoewel activatie-dispersie een goedkope, label-vrije poort biedt voor het detecteren van onbekende entiteiten (nuttig voor routing naar retrieval of abstentie), het niet kan worden gebruikt als een hallucinatie-detector voor inhoud over bekende entiteiten. De interne staat vertelt het model "Ik ken deze entiteit niet", maar het vertelt het model niet "Ik sta op het punt te liegen over deze bekende entiteit".