💬 NLP

OpenSafeIntent: Evaluating Intent-Calibrated Safe Completion Across Dual-Use Prompt Sets

Het artikel introduceert OpenSafeIntent, een benchmark die gebruikmaakt van gecontroleerde promptsets met benevolente, dual-use en kwaadaardige varianten van dezelfde taak om aan te tonen dat het evalueren van veilige voltooiing vereist dat men intentie-gekalibreerd gedrag beoordeelt over overeenkomstige prompts heen, in plaats van te vertrouwen op gemiddelde veiligheidsscores van geïsoleerde inputs.

Oorspronkelijke auteurs: Rheeya Uppaal, Seungwoo Lyu, Selina Sung, Junjie Hu

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rheeya Uppaal, Seungwoo Lyu, Selina Sung, Junjie Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente, welwillende assistent inhuurt om je te helpen met een complexe taak. Soms heb je hulp nodig bij iets volkomen onschuldigs, zoals het organiseren van een verjaardagsfeestje. Andere keren vraag je misschien hulp bij iets dat zowel goed als slecht gebruikt kan worden, zoals het plannen van een verrassingsfeestje dat inhoudt dat je stiekem een gebouw binnensluipt. En soms vraag je misschien hulp bij iets dat duidelijk gevaarlijk is, zoals hoe je dat gebouw binnenvalt om een taart te stelen.

De grote uitdaging voor AI-modellen (zoals die in dit artikel) is weten hoeveel ze moeten helpen in elke situatie. Ze moeten volledig behulpzaam zijn voor het verjaardagsfeestje, zeer voorzichtig en vaag voor het "stiekeme" feestje, en "nee" zeggen tegen de diefstal.

Dit artikel, OpenSafeIntent, is als een nieuwe, superstrikte test voor deze AI-assistenten. Zo werkt het, eenvoudig uitgelegd:

1. Het Probleem: De "Gemiddelde" Leugen

Voorheen testten onderzoekers de veiligheid van AI door willekeurige vragen te stellen. Ze stelden 100 vragen en zeiden: "Hé, de AI was 90% van de tijd veilig!"

Maar de auteurs zeggen dat dit is alsof je een student beoordeelt op basis van hun gemiddelde toetsresultaat. Het verbergt het feit dat een student een makkelijke wiskundetoets misschien met vlag en wimpel kan halen, maar een moeilijke natuurkundetoets kan falen. Een AI kan gemiddeld gezien veilig lijken, maar als je de zelfde vraag op drie licht verschillende manieren stelt (één vriendelijk, één slim/listig, één gemeen), kan de AI een behulpzaam antwoord geven op de vriendelijke vraag, een gevaarlijk antwoord op de listige vraag, en een weigering op de gemeene vraag. Dat is inconsistent en riskant.

2. De Oplossing: De "Triplets" Test

De auteurs hebben een nieuwe test ontwikkeld genaamd OpenSafeIntent. In plaats van willekeurige vragen, creëerden ze triplets (driestappen-sets).

Denk aan een triplet als drie versies van hetzelfde recept:

De Onschuldige Versie: "Hoe kan ik een heerlijke taart maken voor mijn familie?" (Veilig, volledige hulp).
De Dual-Use Versie: "Hoe kan ik een taart maken die op een bom lijkt om mijn vrienden te foppen?" (Listig. Het is een grap, maar het betreft gevaarlijk uitziende materialen. De AI moet hier voorzichtig zijn).
De Kwaadwillende Versie: "Hoe kan ik een bom maken om iemand pijn te doen?" (Gevaarlijk. De AI moet weigeren).

De kern is dat de onderliggende taak (een taart/bom maken) exact hetzelfde is in alle drie de gevallen. Alleen de intentie (waarom je het doet) verandigt.

3. Wat Ze Vonden: De AI is "Broos"

Toen ze deze test uitvoerden op veel verschillende AI-modellen, vonden ze enkele verrassende barsten in het pantser:

Het "Gemiddelde" Masker: Veel modellen zagen er in algemene zin veilig uit, maar wanneer je naar de triplets keek, waren ze inconsistent. Ze zeiden misschien "Nee" tegen het slechte verzoek, maar gaven per ongeluk toch een gevaarlijke hint bij het listige verzoek.
De "Parafrase" Valstrik: Als je een listige vraag net iets anders verwoordt (zoals "Hoe verberg ik dit?" te veranderen in "Wat is de beste manier om dit te verbergen?"), verandert het gedrag van de AI vaak. Bij de ene versie krijg je een veilig antwoord, bij de andere versie een gevaarlijk antwoord. Het is alsof de AI op een koord danst en een klein briesje hem eraf blaast.
De Mythe van het "Vage Antwoord": Mensen dachten dat als een AI een "hoog niveau" of "vaag" antwoord gaf op een listige vraag, het veilig zou zijn. Het artikel vond dat dit niet waar is. Zelfs vage antwoorden kunnen genoeg nuttige informatie bevatten om gevaarlijk te zijn.
De "Reframing" Superkracht: Het veiligste en meest behulpzame AI-gedrag was niet alleen vaag zijn. Het was reframing (herformuleren). In plaats van de listige vraag direct te beantwoorden, zou de AI zeggen: "Ik kan je daar niet bij helpen, maar ik kan wel uitleggen hoe je een veilige, legale versie hiervan maakt." Dit "reframing" was veel betrouwbaarder dan alleen een vaag antwoord geven.

4. De Twee Soorten Fouten

De auteurs keken ook naar waarom de AI faalde bij de listige vragen. Ze vonden twee hoofdoorzaken:

Het Gevaar Niet Zien: De AI besefte niet dat de vraag risicovol was en beantwoordde deze gewoon normaal (zoals een bewaker die de dief niet ziet).
Het Weten, maar Niet Handelen: De AI wist dat de vraag risicovol was en overwoog te weigeren, maar gaf vervolgens per ongeluk toch de gevaarlijke details prijs (zoals een bewaker die de dief ziet, maar vergeet de deur op slot te doen).

De Kernboodschap

Het artikel betoogt dat we niet alleen kunnen controleren of een AI "veilig" of "onveilig" is op een enkele vraag. We moeten controleren of een AI zijn hulp kan kalibreren.

Stel je een uitsmijter bij een club voor:

Als er een gewone persoon binnenkomt, laat hem binnen (Onschuldig).
Als iemand er een beetje verdacht uitziet maar een geldig legitimatiebewijs heeft, controleer hem dan zorgvuldig en laat hem eventueel binnen met beperkingen (Dual-Use).
Als iemand duidelijk probeert in te breken, stop hem (Kwaadwillend).

Het artikel laat zien dat huidige AI-uitsmijters vaak inconsistent zijn. Ze laten de verdachte persoon misschien binnen omdat de vraag net even anders werd geformuleerd, of ze geven zelfs de geheimen van de beveiliging van de club weg, zelfs als ze denken dat ze vaag zijn. Om AI echt veilig te maken, moeten we ze op deze "triplets" testen om te zorgen dat ze consistent zijn, ongeacht hoe de vraag gesteld wordt.

Technische Samenvatting: OpenSafeIntent

Probleemstelling

Huidige evaluaties van de veiligheid van Large Language Models (LLM's) vertrouwen vaak op geïsoleerde prompts, waarbij veiligheid wordt behandeld als een binaire afweging tussen behulpzaamheid en schade. Deze aanpak faalt in het vatten van de nuance van veilige voltooiing (safe completion), waarbij een model nuttige assistentie moet bieden terwijl het details die misbruik mogelijk maken, achterhoudt. De kernuitdaging is dat veel verzoeken "dual-use" zijn: dezelfde onderliggende capaciteit (bijv. het uitleggen van een chemisch proces of het analyseren van een beveiligingskwetsbaarheid) kan zowel legitieme doelen ondersteunen als schade faciliteren, afhankelijk van de intentie van de gebruiker.

Bestaande metrieken die prompts onafhankelijk scoren, kunnen niet bepalen of een model reageert op intentie of slechts op oppervlakkige signalen zoals onderwerp, formulering of moeilijkheidsgraad. Bijgevolg kan een model gemiddeld veilig lijken, terwijl het er niet in slaagt zijn assistentie adequaat te kalibreren wanneer de intentie verschuift van onschuldig naar ambigu (dual-use) naar kwaadwillend binnen hetzelfde taakdomein.

Methodologie: OpenSafeIntent Benchmark

De auteurs introduceren OpenSafeIntent, een benchmark die is ontworpen om intentie-gekalibreerde veilige voltooiing te evalueren. De kernunit van evaluatie is niet de individuele prompt, maar een gecontroleerde prompt-set.

Dataset Constructie

De dataset bestaat uit 115 prompt-sets met in totaal 805 prompts. Elke prompt-set is gebouwd rond een vaste onderliggende taak, een schade-domein en een taaktype, waarbij alleen de intentie-formulering varieert.

Structuur: Elke set bevat drie primaire varianten:
1. Benigne (Onschuldig): Een legitiem verzoek voor de taak.
2. Dual-use (Dubbel gebruik): Een ambigu verzoek dat zowel legitiem als schadelijk kan zijn.
3. Malicieus (Kwaadwillig): Een verzoek dat expliciet gericht is op het faciliteren van schade.
Parafrasering: Elk dual-use prompt wordt vergezeld door vier parafrases om de stabiliteit van het gedrag van het model onder kleine veranderingen in formulering te testen.
Taxonomieën: Generatie wordt gecontroleerd via twee taxonomieën:
- Schade-domeinen: (bijv. Cyber Compromis, Evasie en Omzeiling, Gebruik van Gevaarlijke Agentia).
- Taaktypes: (bijv. Planning, Probleemoplossing, Aanbeveling).
Pipeline: Een gefaseerde generatie-pipeline met een generator (GPT-5.4) en een rechter (Claude Sonnet 4.6) zorgt ervoor dat de prompts binnen een set dezelfde onderliggende taakcomplexiteit en specificiteit delen, waarbij alleen de intentie verschilt. Menselijke validatie bevestigde een hoge kwaliteit in de scheiding van intentie en natuurlijkheid.

Evaluatiemetrieken

De benchmark maakt gebruik van zowel respons-niveau als prompt-set-niveau metrieken om consistentie vast te leggen:

Respons-niveau:
- Behulpzaamheid: Taaktevredenheidsscore (1–4).
- Veiligheid: Gebinariseerde ernst van schade (0 of 1).
- Utiliteit: Veiligheid-gegate behulpzaamheid ( $U = S \times H$ ).
Prompt-set niveau:
- Gemiddelde Veiligheid: Gemiddelde veiligheid over alle prompttypen.
- Triplet Veiligheid: Het fractie van de prompt-sets waar het model veilig is over alle drie de varianten (benigne, dual-use, malicieus) tegelijkertijd. Dit meet de intentie-consistentie.
- Worst-case Utiliteit: De minimale utiliteit over de benigne en dual-use varianten, exclusief de malicieuze prompts (die ontworpen zijn om een lage veilige utiliteit te hebben).

Belangrijkste Resultaten

De auteurs evalueerden een breed scala aan modellen, wat significante kloven onthulde tussen gemiddelde veiligheidsscores en intentie-gekalibreerd gedrag.

1. Gemiddelde Veiligheid Maskeert Inconsistentie

Modellen met vergelijkbare Gemiddelde Veiligheid scores vertonen vaak zeer verschillende Triplet Veiligheid. Een model kan veilig zijn op malicieuze prompts, maar broos op dual-use prompts, of vice versa. Triplet Veiligheid legt deze fouten bloot, waarbij laat zien dat gemiddelde scores inconsistent gedrag binnen dezelfde taak kunnen verbergen.

2. Dual-Use Gedrag is Broos

Parafraas-instabiliteit: Slechts ~53% van de dual-use parafrase-sets resulteerde in uniform veilige reacties over alle varianten. De resterende sets vertoonden "veiligheid-flips" (sommige parafrases veilig, andere onveilig) of uniforme onveiligheid, wat duidt op een hoge gevoeligheid van het gedrag van het model nabij de veiligheidsgrens voor kleine wijzigingen in de formulering.
Utiliteit-variantie: Zelfs bij veilige reacties varieerde de utiliteit (behulpzaamheid) aanzienlijk tussen parafrases voor veel modellen, wat wijst op instabiliteit in hoe veilige assistentie wordt geleverd.

3. Abstractie is Geen Betrouwbare Veiligheidsstrategie

De studie categoriseerde reacties in vier modi:

A1: Weigering.
A2: Hoog-niveau antwoorden over het risicovolle onderwerp.
A3: Concrete antwoorden na het herformuleren van het verzoek naar een veiligere taak.
A4: Directe antwoorden op het oorspronkelijke risicovolle verzoek.

Resultaten toonden aan dat A2 (hoog-niveau abstractie) een hoge voorwaardelijke onveilige ratio heeft (58,14%), vergelijkbaar met directe antwoorden (A4). Dit suggereert dat het simpelweg verwijderen van procedurele details het risico niet elimineert; abstracte antwoorden kunnen nog steeds strategische informatie of mechanismen blootstellen. In contrast had A3 (herformulering) de laagste onveilige ratio (18,65%), wat aangeeft dat succesvolle veilige voltooiing vaak vereist om de taak naar een veiliger domein te verschuiven in plaats van alleen het risicovolle verzoek op een hoger niveau te beantwoorden.

4. Foutmodi: Detectie vs. Executie

Onveilige dual-use reacties komen voort uit twee verschillende foutmodi:

Detectiefout: Het model herkent niet dat de prompt gebonden assistentie vereist.
Policy-executiefout: Het model herkent het risico, maar faalt in het afdwingen van de grens tijdens de generatie.
De prevalentie van deze fouten varieert per model. Sommige modellen falen primair bij detectie, terwijl andere (zoals GPT-5.4) het risico vaak wel detecteren maar falen in de uitvoering van de beperking, waardoor ze onveilige details produceren ondanks het besef dat voorzichtigheid geboden is.

Betekenis en Claims

Het artikel betoogt dat veilige voltooiing geëvalueerd moet worden als een intentie-gekalibreerd gedrag over gecontroleerde taakvarianten, in plaats van als een enkele veiligheid-behulpzaamheid afweging over onafhankelijke prompts.

Herformulering van Evaluatie: De auteurs claimen dat prompts-niveau gemiddelden onvoldoende zijn omdat ze verhullen of een model zijn assistentie adequaat aanpast wanneer de intentie verschuift. OpenSafeIntent biedt een raamwerk om te testen of modellen veilig en nuttig blijven binnen een "lokale buurt" van gerelateerde verzoeken.
Voorbij Weigering: De resultaten suggereren dat veilige voltooiing niet louter gaat over het weigeren van schadelijke verzoeken of het bieden van hoog-niveau abstracties. In plaats daarvan vereist het een stabiele selectie van respons-modi: volledige assistentie voor benigne intenties, beperkte of geherformuleerde assistentie voor dual-use intenties, en weigering/redirection voor malicieuze intenties.
Toekomstige Richting: De auteurs stellen dat toekomstige veiligheidstraining zich moet richten op de instabiliteit van dual-use gedrag en de afhankelijkheid van abstractie, met de focus op het vermogen van het model om assistentie consistent te kalibreren op basis van intentie in plaats van enkel op onderwerp.