💬 NLP

Graded Entity-Familiarity Readouts in Language Models: Polish Adaptation, Cross-Language Robustness, and Refusal Steering

Dit artikel toont aan dat taalmodellen, in het bijzonder die aangepast voor het Pools, beschikken over gegradeerde interne afleesbare waarden van entiteitsbekendheid die robuust zijn voor de taal van de prompt en effectief gestuurd kunnen worden om weigeringsgedrag te beheersen, hoewel deze signalen voorafgaand aan de generatie verschillend blijven van de beleidskaders die de uiteindelijke beslissingen tot onthouding beheersen.

Oorspronkelijke auteurs: Grzegorz Brzezinka

Gepubliceerd 2026-07-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Grzegorz Brzezinka

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Innerlijke Monoloog van een Robot: Wanneer Weet Hij Dat Hij Het Niet Weet?

Stel je voor dat je een zeer slimme robot een vraag stelt. Soms weet de robot het antwoord en spreekt hij zelfverzekerd. Andere keren kan hij een verhaal verzinnen omdat hij de waarheid eigenlijk niet weet, een fout die we "hallucineren" noemen. Wetenschappers vragen zich al lang af: Kan de robot het verschil zien tussen "Ik weet dit" en "Ik gok dit" nog voordat hij begint met typen?

Om dit te begrijpen, moeten we in het brein van de robot kijken, dat bestaat uit lagen wiskundige verbindingen die "activaties" worden genoemd. Denk aan deze activaties als de elektrische signalen in een menselijk brein wanneer je een gezicht ziet. Als je een vriend ziet, is het signaal sterk en specifiek; als je een vreemde ziet, is het zwakker of wazig. Onderzoekers hebben ontdekt dat deze elektrische signalen vaak een verborgen "vertrouwensmeter" bevatten. Als de robot gevraagd wordt naar iets wat hij veelvuldig heeft gezien in zijn trainingsdata, ziet het signaal er anders uit dan wanneer hij wordt gevraagd naar iets dat totaal verzonnen is. De grote vraag is: Kunnen we deze meter aflezen om de robot te stoën van liegen voordat hij ook maar één woord heeft gezegd?

De Poolse Detective en de "Bekendheid"-meter

Dit artikel is als een detectiveverhaal, maar in plaats van misdaden op te lossen, onderzoekt de auteur, Grzegorz Brzezinka, hoe twaalf verschillende AI-modellen "voelen" bij Poolse namen en plaatsen. Het doel was om te zien of deze modellen over een ingebouwde "bekendheidsmeter" beschikken die hen vertelt hoe goed ze een entiteit kennen, en of die meter werkt wanneer de vraag in een andere taal wordt gesteld.

De Opzet: Een Bibliotheek van Poolse Namen
Om dit te testen, bouwde de auteur een speciale testset van 1.440 Poolse entiteiten. Stel je een bibliotheek voor met vier secties: atleten, steden, schrijvers en muzikanten. In elke sectie bevinden zich echte mensen en plaatsen, variërend van superberoemde sterren (zoals de top 10% van de meest bekeken Wikipedia-pagina's) tot obscure lokale figuren (de onderste 10%). Cruciaal was dat de auteur ook 240 nepnamen bedacht die precies leken en klonken als echte Poolse namen, maar die niet bestonden. Dit was de controlegroep: als de robot in de war raakt door een nepnaam, is hij een leugenaar; als hij het verschil weet, is hij eerlijk.

Bevinding 1: De Meter is een Dimmer, Geen Schakelaar
De eerste grote ontdekking is dat bekendheid niet alleen een aan/uit-schakelaar is (Aan/Uit). Het is een dimmer. De studie vond dat voor modellen die specifiek zijn aangepast aan het Pools (zoals de Bielik- en PLLuM-families), de "bekendheidsscore" geleidelijk stijgt naarmate de entiteit populairder wordt.

De Analogie: Stel je een volumeknop voor. Voor een superberoemde zanger staat de knop helemaal omhoog. Voor een lokale band staat hij half. Voor een verzonnen naam staat hij op nul.
De Verrassing: Dit "dimmer"-effect was veel sterker in de op het Pools aangepaste modellen dan in de enorme, algemene modellen (zoals Gemma-4 of Qwen3). Hoewel de algemene modellen groter waren (hebben meer "parameters"), hadden ze geen betere bekendheidsmeter. Het blijkt dat specifiek het Pools leren belangrijker was voor deze vaardigheid dan alleen het model groter maken. De op het Pools aangepaste modellen vertoonden een duidelijke correlatie (tussen 0,28 en 0,57) tussen populariteit en hun interne vertrouwen, terwijl de anderen nauwelijks boven nul lagen.

Bevinding 2: De Meter Werkt Over Talen Heen
De auteur stelde vervolgens een lastige vraag: Leest de meter de Poolse woorden of de werkelijke entiteit? Om dit te testen, nam de auteur een vraag over een beroemde Poolse atleet en stelde deze in het Engels ("Who is...?") in plaats van in het Pools ("Kim jest...?").

Het Resultaat: De meter nauwelijks bewoog. De modellen behielden 96% tot 101% van hun nauwkeurigheid bij het wisselen van taal. Dit suggereert dat de robot niet alleen Poolse grammatica herkent; hij herkent daadwerkelijk de persoon in de vraag, ongeacht de taal waarin er naar wordt gevraagd.

Bevinding 3: We Kunnen de "Weiger"-knop Hacken
Dit is het meest dramatische deel van het verhaal. Een van de modellen, Gemma-4-12B, had de gewoonte om "Ik weet het niet" te zeggen (weigeren) wanneer het onzeker was. De auteur besloot te kijken of hij dit gedrag kon controleren door het brein van de robot te "sturen".

Het Experiment: Ze ontdekten een specifieke wiskundige richting in het brein van het model die "bekendheid" vertegenwoordigde. Door een kleine duw in deze richting te geven, konden ze de robot dwingen van gedachten te veranderen.
De Magie:
- Als ze de robot een duwtje gaven om zich minder bekend te voelen met een beroemd persoon, schoot de weigeringsgraad omhoog van 24% naar 100%. De robot besloot plotseling dat hij het antwoord niet wist, ook al wist hij het wel.
- Als ze de robot een duwtje gaven om zich meer bekend te voelen met een nepnaam, daalde de weigeringsgraad van 73% naar 0%. De robot begon vol vertrouwen biografieën te verzinnen voor mensen die niet bestonden.
De Les: Dit bewijst dat het bekendheidssignaal niet slechts een passieve observatie is; het is een causale hendel. Als je op de "bekendheid"-knop drukt, verandert de beslissing van de robot om wel of niet te spreken onmiddellijk.

Bevinding 4: De "Pre-Flight" Check
Ten slotte vroeg het artikel: Kunnen we deze meter gebruiken om de robot te stoppen met liegen voordat hij een antwoord genereert?

De Vergelijking: De auteur vergeleek hun "one-pass" meter (die de vraag controleert voordat het antwoord wordt geschreven) met andere methoden die wachten tot het antwoord voltooid is om op fouten te controleren.
Het Oordeel: De "pre-flight" meter was uitstekend in het opsporen van nepnamen en versloeg bijna alle andere methoden. Echter, het voorspellen of een antwoord feitelijk onjuist zou zijn, was moeilijker. De meter werkte goed voor de Poolse modellen, maar voor het model dat weigerde te antwoorden (Gemma-4), waren de resultaten lastig omdat de gewoonte van het model om "Ik weet het niet" te zeggen de fouten telling verstoorde.
Het Grotere Plaatje: De studie concludeert dat hoewel de robot wel een gegradeerd bekendheidssignaal bezit, niet alle robots dit gebruiken om te beslissen of ze zullen spreken. De Poolse modellen hadden het signaal, maar weigerden nooit te antwoorden. Het Gemma-model weigerde wel, maar het signaal was minder precies. Het artikel suggereert dat we misschien een externe "poortwachter" moeten bouwen die dit signaal leest en beslist of de robot moet antwoorden of de informatie moet opzoeken, vooral voor obscure, "long-tail" vragen.

Waarom Dit Belangrijk Is

Dit onderzoek suggereert dat AI-modellen een verborgen "onderbuikgevoel" hebben over wat ze weten, en dat we dat kunnen aflezen. Het gaat niet alleen om het groter maken van modellen; het gaat om hoe ze getraind zijn. Als we modellen kunnen leren om dit interne meter te vertrouwen, of tools kunnen bouwen die ernaar luisteren, kunnen we ze misschien stoppen met vol vertrouwen dingen te verzinnen over zaken die ze nog nooit hebben gezien. Het is een stap naar het maken van AI die niet alleen slimmer is, maar ook eerlijker over zijn eigen grenzen.

Technische Samenvatting: Gegradeerde Entiteit-Bekendheidssignalen in Taalmodellen

Probleemstelling

Taalmodellen (LM's) staan voor een fundamentele uitdaging wanneer ze worden bevraagd over entiteiten die ze niet zijn tegengekomen: ze moeten kiezen tussen onthouding of confabulatie (hallucinatie). Hoewel eerder werk heeft vastgesteld dat interne toestanden informatie bevatten die relevant is voor deze keuze, werken de meeste detectiemethoden post-generatie (het scoren van het antwoord) of vertrouwen ze op binaire onderscheidingen (bekend versus gefabriceerd). Dit laat kritische vragen open over de aard van het interne signaal: Is het een binaire bit of een gegradeerde hoeveelheid? Is het robuust tegen de taal van de prompt? Is de link tussen bekendheid en weigering causaal of louter correlationeel? En kan een pre-generatie signaal competitief generatie afvangen om hallucinaties te voorkomen?

Methodologie

De auteurs stellen een verenigd meetprotocol voor dat wordt toegepast op het "promptpunt"—het laatste token van de invoervraag, voordat er enige antwoordgeneratie plaatsvindt. De studie maakt gebruik van een nieuwe dataset van 1.440 Poolse entiteiten verspreid over vier domeinen (atleten, steden, schrijvers, muzikanten) en tien populariteitsdecielen (gebaseerd op Wikipedia-paginaweergaven), plus 240 gefabriceerde controle-entiteiten.

Experimenteel Ontwerp:

Modellen: Twaalf instructie-afgestemde modellen uit vier families: Bielik (Pools-native), PLLuM (Poolse continue pretraining op Llama-3.1 en Mistral-NeMo bases), Gemma-4, en Qwen3. Deze families beslaan een "Poolse adaptatie-as".
Readout Signalen: Drie signaalklassen worden gemeten in een enkele forward pass:
1. Dispersie: Ongesuperviseerde metrieken (inverse participation ratio, Shannon-entropie) op MLP-activatievectoren.
2. Probe: Een gesuperviseerde logistische regressieclassificator op de verborgen toestanden van de residual stream.
3. First-token Entropy: Baseline entropie van het eerste gegenereerde token.
Onderzoeksvragen (RQ's):
- RQ1 (Taal): Vertaalt het signaal zich van Poolse naar Engelse prompts?
- RQ2 (Gradatie): Volgt de score continu lopende populariteit?
- RQ3 (Causaliteit): Kan het sturen van de bekendheidsrichting het weigeringsgedrag causaal veranderen?
- RQ4 (Toepassing): Kan het signaal generatie afvangen (onthouden/opzoeken) competitief met post-generatie detectoren?

Belangrijkste Bijdragen en Resultaten

1. Gegradeerde Bekendheid en Poolse Adaptatie (RQ2)

De studie demonstreert dat bekendheid een gegradeerde hoeveelheid is, geen binaire bit.

Gradatie: In de Pools-geadapteerde families (Bielik en PLLuM) correleren bekendheidsscores sterk met de populariteit van de entiteit (Spearman $\rho$ variërend van 0,28 tot 0,57). In contrast hiermee vertonen meertalige, niet-Pools-centrische modellen (Gemma-4 en Qwen3) een zwakke of verwaarloosbare correlatie ( $\rho \le 0,11$ ), ondanks vergelijkbare of grotere parameteraantallen.
Adaptatie vs. Schaal: Het vermogen om populariteit te volgen is sterker geassocieerd met Poolse adaptatie dan met de schaal van het model. Gecontroleerde vergelijkingen van PLLuM-modellen tegenover hun niet-Poolse basisarchitecturen (Llama-3.1 en Mistral-NeMo) tonen aan dat continue pretraining op Poolse tekst de gradatie van het bekendheidssignaal aanzienlijk verhoogt.
Gedragsspiegel: De interne gradiënt weerspiegelt de gedragsmatige correctheid in Pools-native modellen (de correctheid van Bielik-11B stijgt van 6% naar 68% over de populariteitsdecielen), terwijl niet-geadapteerde modellen (Qwen3-14B) over de hele linie confabuleerden.

2. Cross-Language Robuustheid (RQ1)

Het bekendheidssignaal is robuust tegen de oppervlakkige vorm van de vraagstelling.

Transfer: Probes getraind op Poolse vragen behouden 96–101% van hun binnen-taal AUROC wanneer ze zero-shot worden toegepast op Engelse vragen over dezelfde entiteiten (en vice versa) voor de Bielik- en Gemma-4-modellen.
Entiteit-disjuncte Transfer: Wanneer getest op uitgesloten entiteiten, behoudt de Pools-geadapteerde familie (Bielik) een transferprestatie van 98–100%, terwijl de meertalige Gemma-4 degradeert naar 74–93%. Dit suggereert dat het signaal gekoppeld is aan entiteitsherkenningskenmerken in plaats van taalspecifieke sjabloonkenmerken.

3. Causale Sturing van Weigering (RQ3)

Gebruikmakend van Gemma-4-12B (het enige model in de set dat van nature weigert), demonstreren de auteurs een causale link tussen het bekendheidssignaal en weigeringsgedrag.

Interventie: Door een rank-één bekendheidsrichting (afgeleid van het verschil tussen bekende en onbekende/gefabriceerde activaties) toe te voegen aan de residual stream op een specifieke laag (Laag 30), kunnen de auteurs de weigeringsratio monotoon sturen.
Dosis-Respons:
- Het duwen van bekende entiteiten richting "onbekend" ( $\alpha < 0$ ) verhoogt de weigering van 0,24 naar 1,00.
- Het duwen van onbekende/gefabriceerde entiteiten richting "bekend" ( $\alpha > 0$ ) onderdrukt de weigering van 0,73 naar 0,00, waardoor het model vloeiend begint te confabuleren.
Separatie: Er bestaat een aparte "weigeringsrichting" op een latere laag (Laag 44) die weigering kan onderdrukken zonder het bekendheidssignaal te wijzigen, wat wijst op een dissociatie tussen de representatie van bekendheid en de policy die dit omzet in onthouding.

4. Pre-Generatie Afvang (RQ4)

De gekalibreerde bekendheidsprobe dient als een effectieve pre-generatie gate.

Discriminatie: De probe presteert beter dan alle aangepaste post-generatie baselines (D2HScore, EigenTrack, MIND) en semantische entropie in het onderscheiden van echte van gefabriceerde entiteiten (AUROC 0,859–0,934 versus baselines $\le 0,717$ ).
Kostenefficiëntie: Als een one-forward-pass signaal maakt het routingbeslissingen (antwoord geven vs. opzoeken vs. onthouden) mogelijk voordat er enige generatiekosten worden gemaakt.
Beperkingen in Gedragsvoorspelling: Hoewel de probe de existentie van entiteiten goed voorspelt, is het vermogen om gedragsfouten (hallucinaties) te voorspellen modelafhankelijk. Het presteert goed op modellen waar gedrag de kennis volgt (Bielik, Qwen3), maar lijkt te inverteren op Gemma-4 omdat het weigeringsbeleid van dat model (waar de probe geen controle over heeft) wordt verward met correctheid in de evaluatiemetriek.

Betekenis en Claims

Het artikel claimt een gegradeerde pre-generatie entiteit-bekendheidssignaal te hebben vastgesteld dat robuust is voor de taal van de prompt en causaal krachtig is voor het sturen van weigering.

Representatie vs. Policy: Een belangrijke bevinding is de dissociatie tussen representatieve bekendheid (die in alle families aanwezig is, maar alleen gegradeerd in de Pools-geadapteerde) en de onthoudingspolicy (die alleen aanwezig is in Gemma-4). Pools-geadapteerde modellen bezitten het interne signaal om te weten wat ze niet weten, maar missen de policy om er naar te handelen; Gemma-4 heeft de policy, maar een minder gegradeerd signaal.
Implicatie voor Implementatie: Een gekalibreerde, one-pass probe kan de ontbrekende "gate" leveren voor modellen die wel het signaal bezitten maar niet de policy, waardoor long-tail queries naar retrieval worden gerouteerd voordat de generatie begint.
Omvang: De auteurs blijven bescheiden en merken op dat de causale link tussen de natuurlijke prompt-tijd berekening en de weigeringsbeslissing verdere mediatie-achtige bewijsvoering vereist, en dat de huidige sturingsresultaten specifiek zijn voor één model en domein. De studie claimt niet universeel hallucinaties op te lossen, maar biedt een mechanisme om de bekendheid van entiteiten in specifieke contexten te detecteren en af te vangen.