Technische Samenvatting: REFLECTOR

1. Probleemstelling

Grote Taalmodellen (LLM's) hebben aanzienlijke doorbraken geboekt in redeneren en coderen, maar blijven kwetsbaar voor geavanceerde indirecte jailbreak-aanvallen. In tegenstelling tot directe aanvallen die onmiddellijk onveilige outputs triggeren, embedden indirecte aanvallen (zoals DRA, PAP, DrAttack) kwaadaardige intentie binnen ogenschijnlijk onschadelijke, meerstaps redeneertaken. Zoals geïllustreerd in het paper, vertonen deze aanvallen een "stille latentie", waarbij schadelijke inhoud pas na 20+ tokens naar voren komt, waardoor conventionele veiligheidsafstemming op oppervlakkig niveau wordt omzeild die doorgaans vertrouwt op het detecteren van kwaadaardige intentie in het initiële antwoordvoorvoegsel.

Huidige afstemmingsstrategieën, zoals Reinforcement Learning from Human Feedback (RLHF) en Direct Preference Optimization (DPO), fungeren vaak als "poortwachters" die schadelijke invoer aan het begin van de generatie weigeren. Ze slagen er echter niet in om het redeneertraject zelf te beveiligen. Wanneer een aanvaller de structuur van het redeneerproces controleert, kan het model worden gedwongen om autonoom schadelijke inhoud te genereren, waardoor effectief zijn eigen overweging wordt gewapend. Bestaande methoden zoals Shallow Alignment of STAIR (dat veilig redeneren afdwingt via Chain-of-Thought) zijn ontoereikend omdat ze geen mechanisme internaliseren waarmee het model onveilige redeneertoestanden tijdens de generatie dynamisch kan detecteren en corrigeren.

2. Methodologie: Het REFLECTOR-kader

De auteurs stellen REFLECTOR voor, een principieel tweefasenraamwerk dat is ontworpen om stapsgewijze zelfreflectie direct te internaliseren in het generatiebeleid van het model. Het hoofddoel is om veiligheidsafstemming te transformeren van een statische voorvoegselbeperking naar een dynamische, trajectniveau-eigenschap waarbij het model voortdurend zijn eigen redeneerstappen bewaakt.

Fase I: Injectie van Reflectievermogen via Supervised Fine-Tuning (SFT)

De auteurs adresseren het "cold-start"-probleem, waarbij voorgeprende modellen het intrinsieke inductieve bias missen om zelfreflectie uit te voeren.

• Leraar-geleide Data-synthese: Een hoogcapaciteit leraarmodel (GPT-5) wordt gebruikt om hoogwaardige reflectietrajecten te genereren. Voor een gegeven indirecte jailbreak-query simuleert de leraar een "zoek-en-herstel"-proces:
  1. Truncatie: Een veilig voorvoegsel wordt gegenereerd en vervolgens op een willekeurige stap afgekappt.
  2. Gestructureerde Reflectie: De leraar genereert een reflectiesegment ($z$) met expliciete zelfkritiek (<|reflect|>) die de ethische overtreding identificeert, en een exploratiesegment (<|explore|>) dat een veilig alternatief pad voorstelt.
  3. Veilige Voortzetting: De leraar genereert een veilige voortzetting ($y_{after}$) op basis van de reflectie.
• Datasetconstructie: Deze gesynthetiseerde trajecten vormen de dataset $D_R$, die wordt gebruikt om het doelbeleid ($\pi_\theta$) Supervised Fine-Tune (SFT) te onderwerpen. Deze fase vestigt het structurele inductieve bias en leert het model het formaat en het tijdstip van effectieve zelfreflectie.

Fase II: Dual-Reward Versterking via Reinforcement Learning (RL)

In deze fase leert het model autonoom te bepalen wanneer en hoe het moet reflecteren zonder expliciete leraar-gids, en optimaliseert het zowel voor veiligheid als voor redeneerkwaliteit.

• Algoritme: Het kader maakt gebruik van GDPO (Group reward-Decoupled Normalization Policy Optimization), een variant van Group Relative Policy Optimization (GRPO) die is ontworpen voor multi-reward settings.
• Dual-Reward Mechanisme: De totale beloning $r(\tau)$ voor een traject wordt ontbonden in twee componenten:
  1. Veiligheidsbeloning ($r_{safety}$): Een binair signaal (0 of 1) bepaald door een hybride consensusmechanisme ($HarmCLS$) dat een discriminatieve classifier (HarmBench) en een generatieve veiligheidsdetector (GPT-OSS-120B) combineert. Dit zorgt voor een rigoureuze evaluatie van de uiteindelijke output.
  2. Reflectiebeloning ($r_{reflect}$): Een fijnmazig bonus/straf-systeem. Het model ontvangt een positieve beloning ($+\lambda$) als het reflecteert en een onschadelijke output produceert. Het ontvangt een negatieve beloning ($-\lambda$) als het reflecteert maar toch schadelijke inhoud output, en nul als er geen reflectie plaatsvindt.
• Optimalisatie: Door het groepsrelatieve voordeel te maximaliseren, wordt het model aangemoedigd om het "zoek-en-herstel"-mechanisme te internaliseren, en leert het latente risico's op elk moment $y_t$ te onderscheppen en over te schakelen naar een veilige weigeringsstatus.

3. Belangrijkste Bijdragen

1. Veiligheidsformulering op Trajectniveau: Het paper herdefinieert veiligheidsafstemming als een stapsgewijze eigenschap van het generatitraject in plaats van een statische voorvoegselbeperking, waarmee de specifieke kwetsbaarheid van indirecte jailbreaks wordt aangepakt.
2. Tweefasen Trainingsparadigma: REFLECTOR introduceert een nieuw pijplijn dat leraar-geleide SFT combineert om reflectievermogen op te starten met RL om autonoom zelfcorrectie te internaliseren.
3. Dual-Reward Mechanisme: Het ontwerp van een beloningsfunctie die expliciet de veiligheid van de uiteindelijke output en het proces van reflectie scheidt en optimaliseert, zodat het model leert niet alleen te weigeren, maar ook veilig te redeneren.
4. Doorbreken van de Afstemmingstaks: Het kader demonstreert dat het embedden van veiligheidsredenering de algemene taakprestaties kan verbeteren in plaats van te degraderen.

4. Experimentele Resultaten

De auteurs hebben REFLECTOR geëvalueerd op LLaMA-3.1-8B-Instruct en Qwen-2.5-7B-Instruct tegen een uitgebreide reeks benchmarks.

• Defensie Succespercentage (DSR): REFLECTOR behaalde een DSR van meer dan 90% over diverse indirecte aanvalsscenario's (DRA, PAP, ReNeLLM, DrAttack), wat aanzienlijk beter presteerde dan baselines zoals SFT, DPO en STAIR. Bijvoorbeeld, op de DRA-benchmark verbeterde het defensiepercentage van ~10% (Origineel) naar 92,31% (REFLECTOR + GDPO) op LLaMA-3.1-8B.
• Algemene Nuttigheid: In tegenstelling tot de typische "afstemmingstaks", verbeterde REFLECTOR de algemene redeneercapaciteiten. Het leverde een 5,85% winst op de GSM8K-wiskundige redeneerbenchmark op en zette nieuwe prestatiepieken neer op MMLU-Pro (45,20%) en AdvGLUE (68,29%).
• Robuustheid: Het model behield hoge prestaties op openlijk schadelijke queries (StrongREJECT, XSTest) en toonde veerkracht tegen directe jailbreaks (AutoDAN, GCG).
• Efficiëntie: Hoewel de SFT-fase aanvankelijk de token-generatie verhoogde door expliciete reflectie, internaliseerde de RL-fase het proces succesvol, waardoor de inferentie-overhead werd teruggebracht tot bijna-baselines (bijvoorbeeld 8,03 stappen versus 7,28 voor het originele model op StrongREJECT).

5. Betekenis en Claims

Het paper claimt dat REFLECTOR een schaalbare en efficiënte oplossing biedt voor het ontwikkelen van veilige en capabele LLM's door voorbij oppervlakkige afstemming te gaan. De primaire betekenis ligt in:

• Internaliseren van Veiligheid: Het verschuift het defensieparadigma van externe veiligheidsrails naar intrinsieke, trajectniveau zelfreflectie, waardoor de kloof effectief wordt gesloten waar indirecte aanvallen het redeneerproces van het model exploiteren.
• Synergie van Veiligheid en Intelligentie: De resultaten daagden het idee uit dat veiligheid en nut wederzijds uitsluitend zijn, en suggereren dat robuuste zelfreflectiemechanismen kunnen dienen als een algemeen redeneerversterker.
• Schaalbaarheid: Door te vertrouwen op geautomatiseerde leraar-gids en beloningsmodellen in plaats van massaal door mensen samengestelde datasets, wordt het kader gepresenteerd als een haalbaar pad voor de volgende generatie afgestemde modellen.

De auteurs concluderen dat REFLECTOR, door een "altijd-aan" defensie mogelijk te maken met minimale rekenkundige overhead, een principieel kader biedt voor het mitigeren van sluipende, sluwe risico's in grote taalmodellen.