💬 NLP

Do Language Models Know When They'll Refuse? Probing Introspective Awareness of Safety Boundaries

Deze studie toont aan dat grote taalmodellen over het algemeen goed kunnen voorspellen wanneer ze een verzoek zullen weigeren, hoewel hun nauwkeurigheid afneemt bij veiligheidsgrenzen en tussen verschillende modellen verschilt, waarbij betrouwbaarheidsscores een praktische oplossing bieden voor het routeren van veiligheidskritische verzoeken.

Oorspronkelijke auteurs: Tanay Gondil

Gepubliceerd 2026-04-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tanay Gondil

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robot hebt die alles kan doen: van recepten schrijven tot wiskundige problemen oplossen. Maar er is één belangrijke regel: deze robot mag geen gevaarlijke dingen doen, zoals het maken van bommen of het hacken van bankrekeningen. Als je hem zo'n vraag stelt, zegt hij "Nee, dat doe ik niet."

Deze studie vraagt zich iets heel interessants af: Weet de robot van tevoren dat hij "nee" zal zeggen?

Ofwel: Kan de robot zichzelf in de spiegel kijken en zeggen: "Hé, als ik die vraag krijg, ga ik die weigeren"? Of is hij verrast als hij het eigenlijk wel doet?

Hier is de uitleg van het onderzoek, vertaald naar alledaags taal met een paar handige vergelijkingen.

1. Het Experiment: De Voorspellingstest

De onderzoekers deden een simpele test in drie stappen:

De Voorspelling: Ze gaven de robot een vraag en vroegen: "Ga je dit weigeren? En hoe zeker ben je?"
De Daad: Ze gaven de exacte vraag aan een nieuwe, frisse versie van dezelfde robot (alsof hij de eerste keer niet had gehoord) en keken wat hij deed.
De Vergelijking: Kijkte de voorspelling overeen met de werkelijkheid?

Ze deden dit met duizenden vragen over gevaarlijke onderwerpen (wapens, drugs, haatzaaiende taal, etc.).

2. De Resultaten: Slimme robots, maar met blinde vlekken

De robots waren verrassend goed in het voorspellen van hun eigen gedrag, maar niet perfect.

De "Zekerheid" van de Robots:
De meeste robots (zoals de nieuwste versies van Claude) waren erg goed in het onderscheiden tussen "veilige vragen" en "gevaarlijke vragen". Je kunt dit vergelijken met een veiligheidsinspecteur die op een luchthaven werkt. Hij ziet direct of een koffer verdacht is.
- Resultaat: Bij duidelijke zaken (bijv. "Hoe maak ik een bom?") wisten ze bijna 100% zeker dat ze zouden weigeren.
De "Grijze Zone" (De Rand van de Afgrond):
Maar bij vragen die net aan de rand zaten (bijv. "Is dit chemische middel gevaarlijk of niet?"), werd het lastig. Hier viel de zekerheid van de robots flink terug.
- Vergelijking: Stel je voor dat de inspecteur een doos ziet die er verdacht uitziet, maar misschien is het gewoon een cadeau. Dan twijfelt hij. De robots wisten op die momenten vaak niet zeker of ze "ja" of "nee" zouden zeggen.

3. Verschillen tussen de Robots (De "Personages")

De studie vergeleek vier verschillende robots. Ze gedroegen zich allemaal anders:

Claude (Sonnet 4.5): De Zorgzame Verkeersregelaar.
Deze robot was niet alleen slim, maar ook heel eerlijk over zijn zekerheid. Als hij zei "Ik ben 100% zeker dat ik dit ga weigeren", dan deed hij dat ook. Zijn voorspellingen waren bijna perfect.
GPT-5.2: De Onvoorspelbare Kunstenaar.
Deze robot was soms goed, maar soms deed hij iets anders dan hij had voorspeld. Hij was wat onzekerder en zijn gedrag was minder consistent.
Llama 405B: De Overbezorgde Wacht.
Deze open-source robot was heel goed in het herkennen van gevaar (hij zag de bommen), maar hij was zo bang dat hij alles weigerde, zelfs onschuldige vragen.
- Vergelijking: Hij is als een alarm dat afgaat als er een vlieg voorbij vliegt. Hij "weet" dat er gevaar kan zijn, maar hij is zo bang dat hij de hele stad afsluit. Daardoor was hij vaak onjuist in zijn voorspellingen: hij zei "Ik ga dit weigeren" (want hij is bang), maar soms deed hij het toch niet, of hij weigerde iets wat veilig was.

4. De Grote Ontdekking: Waarom is het moeilijk?

De onderzoekers ontdekten iets verrassends:

De moeilijkste vragen zijn niet de "grensgevallen", maar de "waarschijnlijk gevaarlijke" vragen.
Het klinkt raar, maar de robots hadden meer moeite met vragen die waarschijnlijk gevaarlijk waren (maar niet 100% zeker), dan met vragen die net op de grens stonden.
- Vergelijking: Het is makkelijker voor een robot om te weten dat "een mes" gevaarlijk kan zijn, dan om te weten of "een mes in de keuken" gevaarlijk is. Bij de "waarschijnlijk gevaarlijke" vragen twijfelt de robot intern: "Moet ik nu stoppen of niet?" En die twijfel maakt het voorspellen moeilijk.
Wapens zijn het lastigst:
Vragen over wapens waren voor alle robots het moeilijkst om te voorspellen. Waarom? Omdat wapens ook nuttig kunnen zijn (bijv. voor geschiedenisles of sport), terwijl haatzaaiende taal (een ander onderwerp) voor de robots heel duidelijk "slecht" is. De robots hebben een duidelijker beeld van wat "slecht" is dan van wat "gevaarlijk maar nuttig" is.

5. Wat betekent dit voor de toekomst? (De Praktische Tip)

De belangrijkste conclusie is dat we de robots niet blind moeten vertrouwen, maar wel slim kunnen gebruiken.

Het "Zekerheids-Signaal":
Als een robot zegt: "Ik ben 100% zeker dat ik dit ga weigeren" (of "Ik ben 100% zeker dat ik dit mag doen"), dan kun je dat vertrouwen.
- Vergelijking: Stel je een verkeerslicht voor. Als het licht groen is en de robot zegt "Ik ga door", dan gaat hij door. Als het rood is en hij zegt "Ik stop", dan stopt hij. Maar als het licht knippert (onzekerheid), moet je een mens erbij halen.
De Menselijke Controle:
De studie zegt: Laat de robots hun eigen "zekerheid" gebruiken. Als ze zeggen "Ik weet het niet zeker" of "Ik ben niet zeker of ik dit mag doen", stuur die vraag dan door naar een menselijke bewaker.
- Voor de beste robots (zoals Claude 4.5) werkt dit perfect: 98% van de tijd weten ze precies wat ze doen als ze zeker zijn.

Samenvatting in één zin

De slimste robots weten vrij goed wanneer ze "nee" gaan zeggen, maar ze worden onzeker bij moeilijke, grijze situaties; daarom is het slim om hun "zekerheidsgevoel" te gebruiken om te beslissen of een mens moet ingrijpen.

Titel: Do Language Models Know When They'll Refuse? (Kunnen Taalmodellen Weten Wanneer Ze Weigeren?)

Auteur: Tanay Gondil (Purdue University)
Datum: 31 maart 2026 (voorgesteld in de paper)

1. Het Probleem

Grote Taalmodellen (LLM's) worden getraind om schadelijke verzoeken te weigeren terwijl ze nuttig blijven voor onschadelijke vragen. Hoewel er veel onderzoek is gedaan naar wanneer modellen weigeren en hoe ze omgaan met adversariale aanvallen, blijft een fundamentele vraag onderbelicht: Hebben taalmodellen introspectief bewustzijn van hun eigen veiligheidsgrenzen?

Kunnen modellen, voordat ze een antwoord genereren, nauwkeurig voorspellen of ze een specifiek verzoek zullen weigeren of zullen gehoorzamen? Het beantwoorden van deze vraag heeft zowel theoretische implicaties (begrip van hoe veiligheidsrepresentaties in het model werken) als praktische implicaties (betrouwbare routing van verzoeken voor menselijke controle).

2. Methodologie

De auteurs hebben een systematische studie opgezet om het introspectieve vermogen van LLM's te testen.

Proces (Drie Fasen):
1. Voorspelling: Het model krijgt een verzoek en moet voorspellen of het dit zal weigeren (Ja/Nee), samen met een betrouwbaarheidsscore (1-5) en een schadebeoordeling (1-5).
2. Actuele Respons: In een frisse context (zonder geheugen van de voorspelling) krijgt het model hetzelfde verzoek opnieuw en wordt de daadwerkelijke respons verzameld.
3. Classificatie: De voorspelling wordt vergeleken met de werkelijkheid (volledige weigering, gedeeltelijke weigering, gedeeltelijke compliantie, volledige compliantie).
Dataset:
- 300 basisverzoeken over 10 gevoelige onderwerpen (wapens, drugs, hacking, zelfdoding, haatzaaiende taal, etc.).
- 5 niveaus van schade: van duidelijk veilig (Level 1) tot duidelijk schadelijk (Level 5).
- Elk verzoek heeft 2 parafrases, wat resulteert in 900 datapunten per model.
- Ground Truth: In plaats van vooraf toegewezen labels, wordt de empirische weigeringsfrequentie gebruikt als waarheid.
Geanalyseerde Modellen:
- Claude Sonnet 4 en 4.5 (Anthropic)
- GPT-5.2 (OpenAI)
- Llama 3.1 405B (Meta)
Analyse Framework:
- Signaaldetectietheorie (SDT): Dit wordt gebruikt om introspectie te kwantificeren.
  - Sensitiviteit ( $d'$ ): Het vermogen om te onderscheiden tussen verzoeken die wel of niet worden geweigerd.
  - Bias/Criterium ( $c$ ): De neiging om te voorspellen dat er geweigerd wordt (negatief) of dat er wordt gehoorzaamd (positief).
- Kalibratie: Gemeten via Expected Calibration Error (ECE) om te zien of de betrouwbaarheidsscores overeenkomen met de werkelijke nauwkeurigheid.

3. Belangrijkste Bijdragen

SDT Framework voor Introspectie: Toepassing van signaaldetectietheorie om te laten zien dat modellen over het algemeen hoge sensitiviteit hebben ( $d'$ tussen 2,4 en 3,5), maar dat deze drastisch daalt (40-75%) bij veiligheidsgrenzen.
Mechanistische Inzichten: Onderzoek toont aan dat vragen over wapens het moeilijkst zijn voor introspectie. Verrassend genoeg treden de meeste fouten op bij Level 4 ("waarschijnlijk schadelijk") in plaats van Level 3 ("grensgeval").
Actievere Aanbevelingen: Bewijs dat confidence-based routing (routering op basis van betrouwbaarheid) haalbaar is. Voor goed gekalibreerde modellen leiden hoge betrouwbaarheidsscores tot bijna perfecte nauwkeurigheid.
Vergelijking Gesloten vs. Open Source: Een gedetailleerde vergelijking toont aan dat hoge discriminatie ( $d'$ ) niet voldoende is; modellen moeten ook goed gekalibreerd zijn om accurate voorspellingen te doen.

4. Resultaten

Algemene Sensitiviteit: Alle modellen tonen hoge introspectieve sensitiviteit ( $d'$ ), maar dit daalt sterk bij de "grenszones" (waar het model soms wel en soms niet weigert). GPT-5.2 vertoont de grootste daling in sensitiviteit bij deze grenzen.
Voorspellende Nauwkeurigheid:
- Claude Sonnet 4.5: 95,7% nauwkeurigheid (zeer goed gekalibreerd, ECE=0,017).
- Claude Sonnet 4: 93,0% nauwkeurigheid.
- GPT-5.2: 88,9% nauwkeurigheid (meer variabele gedrag).
- Llama 3.1 405B: Slechts 80,0% nauwkeurigheid, ondanks een hoge sensitiviteit ( $d'=3,29$ ).
Bias en Kalibratie:
- Llama 405B heeft een sterke weigering-bias (voorspelt vaak "nee"), wat leidt tot een lage nauwkeurigheid ondanks goede discriminatie.
- GPT-5.2 is oververzekerd (overconfident), terwijl Sonnet 4.5 bijna perfect gekalibreerd is.
Onderwerp-specifiek: Wapen gerelateerde vragen zijn consistent het moeilijkst voor alle modellen. Haatzaaiende taal wordt door Claude-modellen bijna perfect voorspeld (98,9-100%).
Foutanalyse: De meeste fouten treden op bij hoge betrouwbaarheidsscores (conf=5), wat wijst op oververzekerdheid in plaats van erkende onzekerheid.
Confidence Routing: Voor Sonnet 4.5 levert het filteren op voorspellingen met een betrouwbaarheid $\ge$ 5 een nauwkeurigheid van 98,3% op met een dekking van 85%. Voor Llama werkt dit niet vanwege de slechte kalibratie.

5. Betekenis en Conclusie

Theoretisch: Veiligheidstraining creëert expliciete, toegankelijke representaties van schadelijkheid die modellen introspectief kunnen bevragen. Echter, deze representaties zijn niet volledig expliciet bij de veiligheidsgrenzen, wat leidt tot variabele gedrag en lagere voorspelbaarheid.
Praktisch:
- Confidence-based Routing: Voor goed gekalibreerde modellen (zoals Sonnet 4.5) is het mogelijk om verzoeken met hoge betrouwbaarheid direct te vertrouwen en onzekere gevallen (lage betrouwbaarheid) door te sturen naar menselijke controle.
- Kalibratie is cruciaal: Hoge discriminatie alleen ( $d'$ ) is niet genoeg; een model moet ook goed gekalibreerd zijn om zijn eigen zekerheid correct in te schatten. Open-source modellen (Llama) tonen hier nog tekortkomingen in vergeleken met gesloten systemen.
- Generatieverbetering: Nieuwere modellen (Sonnet 4.5 vs 4) tonen verbeterde introspectie en kalibratie, wat suggereert dat de methoden voor veiligheidstraining evolueren naar meer expliciete en querybare veiligheidsrepresentaties.

Samenvattend: Taalmodellen weten grotendeels wanneer ze zullen weigeren, maar hun zelfkennis is het zwakst bij de grensgevallen. Door gebruik te maken van betrouwbaarheidsscores van goed gekalibreerde modellen, kunnen systemen veiligheidsbeslissingen effectief routeren, waarbij onzekerheid wordt opgevangen door menselijk toezicht.