Technische Samenvatting: Internaliseren van Veiligheidsbegrip in Grote Redeneringsmodellen via Verificatie

1. Probleemstelling

Grote Redeneringsmodellen (LRM's) maken gebruik van expliciete Chain-of-Thought (CoT) om redeneervermogens te verbeteren, maar deze koppeling van redenering aan definitieve antwoorden vergroot het potentieel voor veiligheidsrisico's in de echte wereld. Huidige uitlijningsparadigma's zijn voornamelijk antwoordgericht, en vertrouwen op Supervised Fine-Tuning (SFT) op door experts samengestelde veilige trajecten of Reinforcement Learning (RL) met verifieerbare veiligheidsbeloningen. Deze methoden optimaliseren modellen om ervoor te zorgen dat definitieve antwoorden voldoen aan externe veiligheidspecificaties.

De auteurs betogen echter dat deze aanpak grotendeels gedragsmatig en oppervlakkig blijft. Het optimaliseert voor naleving zonder het intrinsieke veiligheidsbegrip van het model te vormen. Bijgevolg missen ogenschijnlijk uitgelijnde modellen vaak het vermogen om te verifiëren of en waarom een output voldoet aan veiligheidspecificaties. Deze kloof manifesteert zich in twee kritieke falen:

1. Kwetsbaarheid: Modellen kunnen worden gekaapt door adversariele jailbreaks die naleving-诱导ende CoT induceren, waardoor het model een prompt als "veilig" labelt terwijl het schadelijke antwoorden genereert.
2. Slechte Generalisatie: Modellen imiteren slechts veilige gedragingen zonder het onderliggende concept van veiligheid te leren, wat leidt tot broze verdedigingen tegen out-of-domain (OOD) en op redenering gerichte jailbreaks.

Empirische analyse toont aan dat standaard uitlijning niet betrouwbaar verificatievaardigheden oplevert; in sommige gevallen presteren uitgelijnde modellen slechter dan willekeurige baselines op binaire veiligheidsverificatietaken.

2. Methodologie: Safety Internal (SInternal)

Om de ontkoppeling van veiligheidsgeneratie en veiligheidsbegrip aan te pakken, stellen de auteurs Safety Internal (SInternal) voor, een kader dat is ontworpen om veiligheidspecificaties te internaliseren door LRMs uitsluitend te trainen op veiligheidsverificatietaken.

Kernfilosofie

In plaats van modellen te leren wat ze moeten uitvoeren (het nabootsen van veilige trajecten), leert SInternal modellen hoe ze hun eigen output moeten evalueren. De centrale hypothese is dat het leren van verificatie leidt tot een sterke generalisatie voor responsveiligheid, waardoor een robuustere basis voor uitlijning wordt gecreëerd dan louter gedragsmatige nabootsing.

Kadercomponenten

De methodologie bestaat uit twee hoofdfasen:

A. Internalisatie van Veiligheid via Verificatietraining

1. Zelf-Responsgeneratie: Voor elke veiligheidsrelevante prompt $x$ samplet het beleidsmodel $\pi_\theta$ zijn eigen responsen (inclusief potentieel onveilige) om ervoor te zorgen dat het model veiligheidsgrenzen leert die relevant zijn voor zijn daadwerkelijke outputdistributie.
2. Constructie van Expert-Verificatietrajecten: Een expertmodel (bijv. Claude-4-Sonnet) evalueert de gesamplede responsen tegen veiligheidspecificaties $S$. Het genereert een verificatietraject $c_k$ bestaande uit:
   • Critische Redenering ($z_{ver,k}$): Een gedetailleerde analyse van potentiële veiligheidschendingen.
   • Binaire Oordeel ($v_k$): Een definitief veiligheidslabel (Veilig/Onveilig).
3. Supervised Fine-Tuning (SFT): Het beleidsmodel wordt getraind via supervised learning op deze expert-verificatietrajecten. Het doel is om de waarschijnlijkheid te maximaliseren van het genereren van de verificatieredenering en het oordeel, geconditioneerd op de prompt, de eigen respons van het model en de veiligheidspecificaties:
   $$L_{SInternal} = -E_{(x,y,c) \sim D_{ver}} [\log \pi_\theta(c | S, x, y)]$$
   Dit dwingt het model de logica te internaliseren van waarom een antwoord onveilig is.

B. Reinforcement Learning met Verifieerbare Beloningen (RLVR)

Op basis van de SInternal-initialisatie optimaliseert het kader het model verder met Group Relative Policy Optimization (GRPO).

• Ontwerp van Beloningen: Het model genereert een groep responsen. Een externe verifier levert binaire beloningen op basis van of de respons veilig is ($V_{safe}$) en of het een weigering is ($V_{refuse}$).
• Doel: Het model maximaliseert de verwachte groepsrelatieve beloning, waarbij het gebruikmaakt van het geinternaliseerde veiligheidsbegrip om beloningssignalen consistenter te interpreteren en hogere uitlijningsplafonds te bereiken.

3. Belangrijkste Bijdragen

1. Identificatie van de Verificatiekloof: Het artikel levert empirisch bewijs dat antwoordgerichte uitlijning niet leidt tot verbetering van intrinsieke veiligheidsverificatiecapaciteiten, waardoor modellen vaak niet in staat zijn om onveilige output die ze zelf genereren correct te identificeren.
2. SInternal Kader: Een nieuw trainingsparadigma dat de focus verschuift van het genereren van veilige antwoorden naar het verifiëren ervan. Door uitsluitend te trainen op verificatietrajecten afgeleid van de eigen generaties van het model, internaliseert de methode veiligheidspecificaties als een intrinsieke redeneercapaciteit.
3. Superieure Initialisatie voor RL: De studie toont aan dat SInternal dient als een superieure initialisatie voor Reinforcement Learning in vergelijking met standaard SFT. Modellen die zijn geïnitieerd met SInternal bereiken na RL-optimalisatie aanzienlijk hogere robuustheid tegen adversariele aanvallen.
4. Mechanismeanalyse: De auteurs tonen aan dat SInternal proactieve verificatie tijdens het redeneerproces activeert. Het model scrutiniseert spontaan de veiligheid van zijn potentiële gedragingen voordat het een definitief antwoord formuleert, wat leidt tot diepere uitlijning.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op drie open-source LRMs (DeepSeek-R1-Distill-Qwen-7B/14B en DeepSeek-R1-Distill-Llama-8B) over veiligheids-, over-weigering- en algemene redeneringsbenchmarks.

• Robuustheid tegen Jailbreaks: SInternal presteert aanzienlijk beter dan baselines (SafeChain, STAR-1) op out-of-distribution (OOD) en op redenering gerichte jailbreak-benchmarks (bijv. WildJailbreak, Fortress, HCoT). Opmerkelijk is dat SInternal in combinatie met RL de enige methode is die effectief verdedigt tegen HCoT (Hijacking CoT), een state-of-the-art jailbreak die misbruik maakt van redeneersporen.
• Verificatiecapaciteit: Modellen getraind met SInternal tonen aanzienlijke winst in F1-scores voor veiligheidsverificatie (bijv. stijgend van ~48% naar ~86% op DS-7B), terwijl antwoordgerichte baselines weinig tot geen verbetering laten zien.
• Generalisatie: De methode toont sterke generalisatie naar onbekende jailbreaks, wat suggereert dat het leren van de principes van veiligheidsverificatie effectiever is dan het memoriseren van weigeringspatronen.
• Behoud van Nut: SInternal behoudt concurrerende prestaties op algemene redeneringsbenchmarks (MATH, AIME) en vermijdt overmatige over-weigering (gemeten met XSTest), waardoor het evenwicht tussen veiligheid en nut behouden blijft.
• Data-efficiëntie: SInternal bereikt hogere veiligheidsprestaties met slechts 50% van de trainingsdata die nodig is voor SFT-baselines, wat aangeeft dat het internaliseren van redeneringslogica data-efficiënter is dan het nabootsen van output.

5. Betekenis en Claims

Het artikel claimt een paradigma-shift in AI-veiligheidsuitlijning: van antwoordgerichte uitlijning (het nabootsen van veilig gedrag) naar intrinsiek veiligheidsbegrip (expliciet redeneren over veiligheidsprincipes).

• Fundamentele Robuustheid: De auteurs betogen dat het internaliseren van veiligheidsbegrip een robuustere basis voor uitlijning creëert dan het louter nabootsen van veilig gedrag. Dit wordt onderbouwd door het vermogen van het model om spontaan verificatie tijdens het redeneren te activeren en zijn superieure weerstand tegen adversariele CoT-kaapname.
• Ontkoppeling van Generatie en Verificatie: Het werk benadrukt dat veilige generatie niet vanzelf leidt tot veiligheidsbegrip. Daarom is expliciete training op verificatie noodzakelijk om deze kloof te overbruggen.
• Toekomstige Richting: Hoewel het huidige kader zich richt op verificatie na generatie, suggereren de auteurs dat het uitbreiden van deze capaciteit naar dynamische zelfverificatie tijdens het redeneren een kritieke toekomstige richting is. Ze benadrukken dat naarmate modellen dieper intrinsiek veiligheidsbegrip ontwikkelen, het waarborgen dat hun interne verificatielogica in lijn blijft met menselijke waarden van het grootste belang is voor verantwoord bestuur.

Het artikel concludeert dat het toerusten van LRMs met het vermogen om de veiligheid van hun eigen gegenereerde antwoorden te scrutiniseren een betekenisvolle stap is richting het bereiken van intrinsieke veiligheid, met name in hoog-risico omgevingen waar robuustheid niet onderhandelbaar is.