Technische Samenvatting: Het aanpakken van overmatige weigering in LLM's met concurrerende beloningen

Probleemstelling

Veiligheidstraining op Large Language Models (LLM's) induceert vaak overmatige weigering (over-refusal), een fenomeen waarbij modellen overdreven voorzichtig worden en onschuldige of ambigue prompts weigeren terwijl ze proberen schadelijke outputs te mitigeren. Hoewel Reinforcement Learning (RL)-benaderingen die expliciet redeneren stimuleren zijn voorgesteld om modellen te helpen onderscheid te maken tussen schadelijke en onschuldige intenties, slagen huidige methoden er vaak niet in om deze trade-off volledig op te lossen.

De auteurs identificeren een kritieke beperking in bestaande veiligheidstrainingsmodellen: redeneren fungeert vaak als een "rubber stamp" (een loutere bevestiging) voor een vooraf bepaalde weigering, in plaats van een mechanisme voor echte ambiguïteit-resolutie. Deze modellen vertonen twee breekbare gedragingen:

1. Ze vermijden schadelijke interpretaties volledig en kiezen standaard voor weigering.
2. Ze verkennen schadelijke mogelijkheden, maar slagen er niet in om terug te keren naar een veilig antwoord, wat leidt tot onveilige naleving (unsafe compliance).

In tegenstelling tot wiskundig redeneren, waarbij modellen foutieve paden kunnen verkennen en zichzelf kunnen corrigeren, ontbreekt het de veiligheidsredenering in huidige modellen aan het vermogen om potentieel schadelijke interpretaties op een gecontroleerde manier te verkennen en vervolgens weer "terug te flippen" naar een veilig antwoord.

Methodologie: SEAR en Concurrerende Beloningen

Het paper stelt SEAR (Safety Exploration through Adversarial Reasoning) voor, een framework dat een enkel model traint om deel te nemen aan schadelijk redeneren als een exploratief signaal, terwijl het garandeert dat de uiteindelijke output veilig blijft. Dit wordt bereikt via een adversarieel optimalisatieprobleem binnen een enkele chain-of-thought.

Kernmechanisme: Concurrerende Beloningen

De auteurs introduceren een trainingsdoelstelling die aparte, concurrerende beloningen toekent aan verschillende segmenten van het gegenereerde spoor van het model:

• Redeneersegment ($z$): Beloond voor schadelijkheid ($r_h$). Het model wordt gestimuleerd om onveilige interpretaties en redeneerstrategieën te verkennen.
• Antwoordsegment ($y$): Beloond voor veiligheid ($r_s$). Het model wordt gestimuleerd om een veilig definitief antwoord te produceren, geconditioneerd op het voorafgaande (potentieel schadelijke) redeneren.

De doelfunctie voor schadelijke prompts ($D_h$) is:
$$\max_{\pi} \mathbb{E}_{x \sim D_h, (z,y) \sim \pi} [r_h(z) + r_s(y)]$$
Voor onschuldige prompts ($D_i$) wordt het model geoptimaliseerd voor behulpzaamheid ($r_i$). De training maakt gebruik van een KL-divergentie regularisator om het beleid (policy) dicht bij een basismodel te houden.

Belangrijk Technisch Inzicht: Procesbeloningen

Het paper demonstreert dat standaard dense outcome-based rewards (het toekennen van een enkele scalaire beloning aan het gehele traject) onvoldoende zijn voor deze taak. Ze leiden tot optimalisatie-instabiliteit waarbij het model ofwel faalt in het verkennen van schadelijk redeneren, ofwel de prestaties op onschuldige taken verslechtert door een mismatch in convergentiesnelheden tussen de concurrerende doelstellingen.

Om dit op te lossen, implementeren de auteurs proces-gebaseerde beloningen. In plaats van een enkele beloning voor de hele rollout, worden beloningen op token-niveau toegewezen aan specifieke segmenten:

• Tokens in het redeneersegment ontvangen de redeneringsbeloning ($r_h$).
• Tokens in het antwoordsegment ontvangen de antwoordbeloning ($r_s$).

Deze "procesbelonings"-formulering maakt nauwkeurige credit assignment mogelijk, waardoor het model kan leren om het gekoppelde gedrag van het verkennen van schadelijke paden en het herstellen naar een veilig antwoord binnen een enkel traject te beheersen.

Belangrijkste Bijdragen

1. Herformulering van Veiligheidsredeneren: De auteurs stellen voor dat onveilige redenering niet preventief geblokkeerd moet worden, maar eerder aangemoedigd moet worden als een nuttig exploratief signaal om ambiguïteit op te lossen, mits het model betrouwbaar kan herstellen naar een veilig antwoord.
2. Concurrerend Beloningsframework: Ze introduceren een methode om een enkel model te trainen met tegengestelde doelstellingen (schadelijke exploratie versus veilig output) binnen een enkele chain-of-thought, waarmee ze verder gaan dan het "rubber stamp"-gedrag van huidige modellen.
3. Procesbeloningen voor Stabiliteit: Het paper identificeert dat dense outcome-level beloningen falen in het stabiliseren van concurrerende doelstellingen en demonstreert dat segment-gebaseerde procesbeloningen cruciaal zijn voor succesvolle optimalisatie.
4. SEAR-1.5B Model: Ze trainen een model met 1,5 miljard parameters (SEAR-1.5B) dat expliciet leert om van schadelijk redeneren naar veilige antwoorden te "flippen".

Resultaten

De auteurs evalueren SEAR-1.5B tegen diverse baselines, waaronder standaard outcome-based RL, dense outcome-based RL, SFT-baselines en frontier open-source modellen (bijv. TARS, Qwen3).

• Veiligheid-Weigerings-Trade-off: SEAR-1.5B bereikt de beste prestaties op de Pareto-front van veiligheid en naleving (kwadratisch gemiddelde score van 0,930), waarmee het TARS-7B (0,909) en andere RL-baselines overtreft. Het vertoont aanzienlijk minder overmatige weigering op ambigue prompts (XSTest, Fortress, False-Reject) terwijl het een hoge succesratio in defensie behoudt tegen jailbreak-aanvallen (HarmBench).
• Exploratie en Herstel: Analyse van de redeneersporen laat zien dat SEAR een hogere frequentie van schadelijk redeneren genereert vergeleken met andere modellen, maar succesvol herstelt naar veilige antwoorden. In contrast hiermee vermijden andere modellen ofwel schadelijk redeneren volledig, of falen ze in het herstel wanneer ze het wel verkennen.
• Robuustheid tegen Pre-fill Aanvallen: SEAR-1.5B vertoont superieure robuustheid tegen aanvallen die de context van het model vooraf vullen met schadelijk redeneren (bijv. door een 'abliterated' model te gebruiken om het begin van een schadelijke keten te genereren). SEAR behoudt hogere antwoord-veiligheidsscores dan outcome-based RL-modellen en grotere Qwen3-varianten, wat zijn vermogen aantoont om terug te "flippen", zelfs wanneer het in een schadelijke redeneertoestand wordt gedwongen.
• Generalisatie: Het model behoudt sterke out-of-distribution (OOD) generalisatie op wiskunde- en redeneerbenchmarks (GSM8K, MATH-500, GPQA), vergelijkbaar met of beter dan outcome-based baselines.

Betekenis en Claims

Het paper claimt dat de veiligheid-weigerings-trade-off niet louter een beslissing is van of men weigert, maar een capaciteit van hoe men ambiguïteit oplost. Door te leren redeneren over onveilige mogelijkheden zonder dat die mogelijkheden het definitieve antwoord dicteren, kunnen modellen behulpzaam blijven op onschuldige prompts zonder de veiligheid in gevaar te brengen.

De auteurs benadrukken dat hun aanpak:

• Overmatige weigering mitigeert door modellen in staat te stellen onderscheid te maken tussen schadelijke en onschuldige intenties door middel van echte exploratie in plaats van preventieve onderdrukking.
• Een defensie biedt tegen redenering-gestuurde aanvallen (zoals pre-filling) door het model te trainen om te herstellen van schadelijke contexten.
• Vaststelt dat proces-gebaseerde beloningen een noodzakelijk onderdeel zijn voor het optimaliseren van concurrerende doelstellingen in RL voor veiligheid, een bevinding die kan generaliseren naar andere multi-objective RL-taken.

Het werk wordt gepresenteerd als een onderzoeksbijdrage aan veiligheidsalignement, waarbij wordt opgemerkt dat het model en de methodologie zijn ontworpen voor onderzoeksdoeleinden om de robuustheid en behulpzaamheid van LLM's te verbeteren.