AutoRAN: Automated Hijacking of Safety Reasoning in Large Reasoning Models

Probleemstelling

Grote redeneringsmodellen (Large Reasoning Models of LRMs), zoals GPT-o1/o3, Gemini-Flash en DeepSeek-R1, hebben een doorbraak bereikt in kunstmatige intelligentie door expliciete "Chain-of-Thought" (CoT) redenering te genereren voordat ze een conclusie trekken. Hoewel deze transparantie de prestaties en de uitlijning (alignment) verbetert, creëert het paradoxaal genoeg een nieuw veiligheidsprobleem.

De paper stelt dat de blootlegging van het interne denkproces een kritiek aanvalsoppervlak opent. Bestaande jailbreak-methoden zijn vaak handmatig of statisch en kunnen niet effectief inspelen op de dynamische veiligheidsfeedback van het doelmodel. De kernvraag is of het mogelijk is om het proces van het "kaping" (hijacking) van de interne veiligheidsredenering van een LRM te automatiseren, gebruikmakend van de feedback die het model zelf geeft wanneer het weigert.

Methodologie: AutoRAN

AutoRAN (Automated "Reason Anything Now") is het eerste framework dat de interne veiligheidsredenering van LRMs automatiseert. Het framework gebruikt een "Weak-to-Strong" paradigma, waarbij een zwakker, minder veilig uitgelijnd model (de aanval) wordt gebruikt om een sterker, beter uitgelijnd doelmodel (het slachtoffer) te manipuleren.

Het framework werkt via twee complementaire aanvalsoppervlakken en een iteratief proces:

1. Executie-Kaping (Execution Hijacking):

   • Het aanvalsmodel simuleert eerst een "coarse" (grof), hoog-niveau redeneringspad voor de schadelijke vraag, zonder de veiligheidscontroles van het doelmodel.
   • Deze gesimuleerde redenering wordt gebruikt om een narratief sjabloon (bijv. een educatief kader) te vullen.
   • Dit initieert het doelmodel direct in een "taak-uitvoeringsmodus", waardoor het de veiligheidsdeliberatie (het nadenken over ethiek) omzeilt en direct begint met het uitvoeren van de instructies.

2. Gerichte Verfijning (Targeted Refinement):

   • Als het doelmodel weigert, analyseert het framework de redenatie die bij de weigering wordt blootgelegd (de "thinking process").
   • Het aanvalsmodel gebruikt deze gelekte informatie om de prompt iteratief aan te passen. Er worden drie scenario's onderscheiden:
     • Directe weigering: Een nieuw narratief sjabloon wordt gekozen.
     • Weigering met redenering: Het aanvalsmodel analyseert de specifieke zorgen in de redenering (bijv. "dit schendt het beleid voor zelfmoordpreventie") en voegt rechtvaardigingen toe die deze zorgen neutraliseren (bijv. door de context te verschuiven naar educatie of preventie).
     • Substantieel antwoord: Als het antwoord niet schadelijk genoeg is, wordt de prompt verfijnd om de doelstelling scherper te maken.

3. Iteratieve Cyclus:

   • Het proces herhaalt zich totdat het doelmodel een antwoord geeft dat voldoet aan een "hulpzaamheidsscore" (helpfulness score) van 7 of hoger (op een schaal van 1-10), wat betekent dat het de schadelijke vraag daadwerkelijk beantwoordt.

Belangrijkste Bijdragen

• Eerste Geautomatiseerde Redenerings-Kaping: AutoRAN is het eerste framework dat volledig geautomatiseerd de veiligheidsredenering van LRMs kan omzeilen zonder menselijke tussenkomst.
• Ontdekking van een Fundamenteel Zwakpunt: De paper toont aan dat de transparantie van het redeneringsproces zelf een kwetsbaarheid is. Zelfs als het model uiteindelijk veilig is, kan de weg naar het antwoord (de redenering) worden gemanipuleerd om de veiligheidschecks te omzeilen.
• Adaptiviteit: In tegenstelling tot statische methoden, past AutoRAN zich dynamisch aan op basis van de specifieke weigeringen en redeneringen van het doelmodel.
• Defensieve Toepassing: Het framework kan ook worden gebruikt als "red-teaming" tool om trainingsdata te genereren die modellen robuuster maakt tegen dit type aanval.

Resultaten

De evaluatie is uitgevoerd op state-of-the-art commerciële LRMs, waaronder GPT-o3, GPT-o4-mini en Gemini-2.5-Flash, tegenover benchmarks zoals AdvBench, HarmBench en StrongReject.

• Aanvals Succespercentage (ASR): AutoRAN bereikt een succespercentage van bijna 100% binnen één of enkele interacties (turns) tegen alle geteste modellen.
• Efficiëntie: De aanval is zeer efficiënt; veel aanvallen slagen in één enkele beurt (ANQ ≈ 1.0), wat aangeeft dat de kwetsbaarheid inherent is aan de architectuur van deze modellen.
• Robuustheid: Zelfs wanneer de resultaten worden geëvalueerd door strengere, extern uitgelijnde modellen (zoals GPT-4o) en derde partijen, blijft het succespercentage extreem hoog (vaak >90%).
• Vergelijking: AutoRAN presteert aanzienlijk beter dan bestaande methoden zoals H-CoT, Mousetrap en AutoDAN-Turbo, zowel in succespercentage als in efficiëntie (minder tokens en lagere latentie).
• Defensieve Effectiviteit: Door AutoRAN te gebruiken om trainingsdata te genereren, kon de aanvalssuccespercentage op een uitgelijnd model worden verlaagd van 100% naar 8% (een reductie van 92%), zonder dat dit leidde tot significante "over-refusal" (te veel weigeringen van veilige vragen).

Betekenis en Conclusie

De paper concludeert dat de huidige veiligheidsmaatregelen voor LRMs, die vaak focussen op het filteren van de uiteindelijke output, onvoldoende zijn. De kwetsbaarheid zit in het interne redeneringsproces.

• Transparantie vs. Veiligheid: Er is een fundamentele spanning tussen de transparantie van het denkproces (die nodig is voor vertrouwen en prestaties) en de veiligheid. Het blootleggen van redenering geeft aanvallers de "hints" die ze nodig hebben om de veiligheidsbarrières te omzeilen.
• Nieuwe Defensies: Er is een dringende noodzaak voor nieuwe defensieve strategieën die niet alleen de output beschermen, maar ook het interne redeneringspad (reasoning traces) beveiligen tegen manipulatie.
• Toekomst: De auteurs waarschuwen dat dit een "wapenwedloop" inluidt en dat toekomstige verdedigingen moeten focussen op het beschermen van de integriteit van het denkproces zelf, niet alleen op het eindresultaat.

Kortom, AutoRAN onthult dat de kracht van moderne redeneringsmodellen (hun transparante denkstappen) hun grootste zwakheid is, en biedt een geautomatiseerd bewijs dat deze systemen momenteel kwetsbaar zijn voor geavanceerde, adaptieve aanvalsmethoden.