Technische Samenvatting: RAPO: Risk-Aware Preference Optimization voor Generaliseerbare Veilige Redenering

1. Probleemstelling

Large Reasoning Models (LRMs) hebben aanzienlijk succes geboekt door middel van Chain-of-Thought (CoT) redenering, maar erven de adversariële kwetsbaarheden van standaard Large Language Models (LLMs). Hoewel bestaande alignment-technieken (Supervised Fine-Tuning en Reinforcement Learning) LRMs in staat stellen om basisvormen van schadelijke prompts te identificeren en te weigeren, falen ze vaak tegen complexe, geraffineerde jailbreak-aanvallen.

De auteurs schrijven dit falen toe aan de onvoldoende kwaliteit van het veilige redeneerproces bij confrontaties met hoge complexiteit. Specifiek genereren huidige modellen vaak een vaste of oppervlakkige hoeveelheid "veilige redenering" (bijv. één zin van weigering), ongeacht de complexiteit van de aanval. Bij geavanceerde jailbreak-strategieën faalt deze beperkte redeneerdiepte er niet in om latente risico's adequaat te identificeren, wat leidt tot succesvolle aanvallen. Het kernprobleen is het gebrek aan adaptieve granulariteit in veilige redenering: het model schaalt de diepte van zijn veiligheidsanalyse niet mee met de complexiteit van de inkomende dreiging.

2. Methodologie: Risk-Aware Preference Optimization (RAPO)

Om dit aan te pakken, stellen de auteurs RAPO voor, een framework dat ontworpen is om LRMs te trainen om veiligheidsrisico's adaptief te identificeren en de passende redeneerdiepte (granulariteit) toe te wijzen op basis van de taakcomplexiteit.

Theoretische en Empirische Fundering

Het werk herinterpreteert veilige redenering als een vorm van in-context alignment.

• Theorie: Gebruikmakend van in-context learning-theorieën, modelleren de auteurs het redeneerspoor als een sequentie van concept-oordeel-paren. Ze bewijzen (Stelling 3.1) dat om een prompt met complexiteit $k$ succesvol te weigeren, het aantal veilige redeneertokens ten minste lineair moet schalen met $k$ ($\Omega(k)$).
• Empirisch Bewijs: Experimenten op datasets zoals StrataSword tonen een negatieve correlatie aan tussen de aanvalscomplexiteit en het aandeel veilige redeneertokens in succesvolle verdedigingen. Naarmate de aanvalscomplexiteit toeneemt (L1 naar L3), neemt het aandeel veilige redeneertokens in de output van het model af, wat leidt tot een hogere Attack Success Rate (ASR).

Framework Architectuur

RAPO werkt in twee afzonderlijke stadia:

1. SFT Warm-up (Format Alignment):

   • Het model wordt gefinetuned om expliciet een toegewijd "veilig redeneerblok" te genereren aan het begin van zijn denkproces.
   • Dit blok wordt gegenereerd op basis van de risicocomplexiteit van de prompt (gecategoriseerd in niveaus L1, L2 en L3).
   • De dataset bevat zowel schadelijke prompts (met gegradeerde complexiteit) als onschadelijke prompts om te voorkomen dat het model veilige redenering enkel als een shortcut behandelt voor overduidelijk schadelijke inputs.

2. Reinforcement Learning (RL) Fase:

   • De kern van RAPO maakt gebruik van Group Policy Optimization (GRPO).
   • Reward Design: Er wordt een samengestelde beloningsfunctie gebruikt om het beleid te sturen:
     • Risk-Aware Reward ($R$): Een LLM-as-a-Judge evalueert het geëxtraheerde veilige redeneerspoor. Het beoordeelt of de redeneerdiepte en het detailniveau adequaat zijn in relatie tot de complexiteit van de prompt (bijv. "Adequaat" = 1, "Redelijk/Overdreven" = 0, "Ongeldig" = -1). Het zorgt ervoor dat de redenering gericht is op veiligheid en niet overdreven verbaal is voor eenvoudige taken.
     • General Reward ($G$): Een binaire beloning ($\pm 1$) zorgt ervoor dat de uiteindelijke respons schadelijke verzoeken correct weigert en de bruikbaarheid voor onschadelijke verzoeken behoudt, om overmatige weigering (over-refusal) te voorkomen.
   • De totale beloning is $A_p = R(s_p) + G(r_p)$, waarbij een balans wordt gevonden tussen veiligheidsgranulariteit en algemene capaciteit.

3. Belangrijkste Bijdragen

• Nieuw Perspectief: Het artikel introduceert het perspectief van in-context alignment om veilige redenering te analyseren, en toont aan dat de effectiviteit van de verdediging wordt bepaald door de adequaatheid van de redenering ten opzichte van de aanvalscomplexiteit.
• RAPO Framework: De voorstel van een Risk-Aware Preference Optimization framework dat modellen traint om hun veilige redeneerdiepte (tokenlengte en detail) adaptief te schalen op basis van het waargenomen risico van de input.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat RAPO de robuustheid tegen diverse jailbreak-aanvallen aanzienlijk verbetert, terwijl de algemene redeneercapaciteit behouden blijft, waarbij het superieur is aan bestaande SFT- en RL-baselines.

4. Experimentele Resultaten

De auteurs evalueerden RAPO op Qwen-3 (8B en 1.7B) en DeepSeek-distillation modellen tegen verschillende benchmarks:

• Robuustheid (Jailbreak Defensie):
  • Op de WildJailbreak dataset verminderde RAPO de Attack Success Rate (ASR) aanzienlijk vergeleken met baselines. Voor het DeepSeek-model daalde de ASR van 68,7% (Base) naar 5,6% (RAPO).
  • Op Qwen-8B behaalde RAPO een ASR van 7,4% op WildJailbreak, waarmee het sterke baselines zoals IPO (16,9%) en TARS (35,3%) verslaat.
  • RAPO behield een ASR van 0,0% op standaard benchmarks zoals JailbreakBench en HarmBench voor Qwen-modellen.
• Bruikbaarheid (Algemene Redenering):
  • RAPO voorkwam succesvol het probleem van "over-refusal" dat veel voorkomt bij veiligheid-getunede modellen. Het behield hoge compliance-percentages op XsTest (adversariële onschadelijke prompts) en vergelijkbare scores op MMLU-Pro (redenering) als de base-modellen.
• Adaptieve Aanvallen:
  • Tegen adaptieve red-teaming aanvallen (PAIR en TAP) demonstreerde RAPO superieure robuustheid, met een lagere ASR (bijv. 14% op TAP voor DeepSeek) vergeleken met baselines zoals STAR en IPO.
• Ablatie-studies:
  • Het verwijderen van de RL-fase (alleen RAPO-SFT) resulteerde in een hoge WildJailbreak ASR (36,1%), wat de noodzaak van de risico-bewuste beloning voor generalisatie bevestigt.
  • Het gebruik van enkel schadelijke of enkel onschadelijke data voor training verslechterde de prestaties, wat de noodzaak van een gemengde datastrategie valideert.

5. Betekenis en Claims

Het artikel claimt dat RAPO een geprincieerd pad biedt voor de ontwikkeling van betrouwbare LRMs in complexe, veiligheidskritische scenario's. De primaire betekenis ligt in de verschuiving van statische veiligheidsfiltering naar dynamische, risicoproportionele redenering.

De auteurs stellen dat door modellen expliciet te trainen om te herkennen dat "complexe dreigingen diepe redenering vereisen", RAPO een robuuste alignment bereikt die generaliseert over diverse aanvalsvectoren zonder de bruikbaarheid van het model op te offeren. Het werk suggereert dat de veiligheid van toekomstige LRMs niet alleen afhangt van wat het model weigert, maar ook van hoe diep het redeneert voordat het die beslissing neemt.