Technische Samenvatting: Voorbij Veilige Data: Alignment in de Pretraining-fase met Regelmatige Veiligheidsreflectie

1. Probleemstelling

Huidige veiligheidsalignment voor Large Language Models (LLMs) vindt voornamelijk plaats tijdens de post-training fase (bijv. Supervised Fine-Tuning, Reinforcement Learning from Human/AI Feedback). De auteurs stellen dat deze aanpak inherent oppervlakkig en fragiel is. Empirisch bewijs suggereert dat veiligheidsbeveiligingen die tijdens post-training zijn verworven, gemakkelijk kunnen worden ondermijnd door manipulatie van de input-prompt (jailbreaking) of zelfs door onschuldige fine-tuning, wat onbedoeld schadelijke gedragingen kan induceren.

Een kritieke beperking van bestaande interventies in de pretraining-fase, zoals datafiltering (het verwijderen van onveilige tokens/documenten) en dataherformulering (het herformuleren van onveilige inhoud), is dat ze alignment behandelen als een probleem van inhoudelijke controle in plaats van gedragsvorming. Het artikel stelt dat zelfs als de pretraining-data volledig veilig is, modellen nog steeds het vermogen kunnen verwerven om onveilige gedragingen te generaliseren door middel van redenering en compositie. Bijvoorbeeld: een model dat alleen getraind is op veilige medische kennis, kan nog steeds leren om actiegerichte methoden voor het toebrengen van schade af te leiden door onschuldige feiten op nieuwe manieren te combineren.

2. Methodologie: Safety Reflection Pretraining (SRP)

Om de beperkingen van datacentrische filtering aan te pakken, stellen de auteurs Safety Reflection Pretraining (SRP) voor. Deze methode integreert zelfmonitoring direct in de taalmodellering-doelstelling tijdens de pretraining door regelmatig "veiligheidsreflecties" in de trainingscorpus in te voegen.

Kernmechanisme

1. Tekstsegmentatie: Pretraining-corpora worden verdeeld in segmenten (bijv. enkele honderden tokens) met behulp van een zin-bewuste strategie om semantische coherentie te behouden.
2. Generatie van Reflectie: Na elk segment genereert een veiligheidsclassifier (specifiek Qwen3Guard-Gen-0.6B) een korte reflectie. Deze reflectie bestaat uit:
   • Een oordeel-token: "Safe" (Veilig) of "Unsafe" (Onveilig).
   • Een categorie-token (indien onveilig): Specificeert het type schade (bijv. "Violent" / Gewelddadig).
   • Een EOS-token (indien onveilig): Signaleert het model om de generatie te stoppen bij detectie van onveilige inhoud.
3. Geaugmenteerde Corpus: Deze reflecties worden direct in de pretraining-tekst ingevoegd, waardoor het model wordt gedwongen om de veiligheid van zijn voorgaande generatie te beoordelen als onderdeel van de volgende-token-voorspellingsopdracht.
4. Compatibiliteit met Post-Training: Om te garanderen dat het geleerde gedrag wordt overgedragen naar de implementatie, gebruiken de auteurs een compatibel post-training ontwerp waarbij SFT-data ook wordt geaugmenteerd met vergelijkbare reflectiepatronen. Dit versterkt het geleerde reflectiegedrag tijdens de pretraining.

Synthetische Omgeving: MedSafetyWorld

Om de hypothese rigoureus te testen dat modellen onveilige gedragingen kunnen generaliseren vanuit veilige data, hebben de auteurs MedSafetyWorld geconstrueerd, een volledig gecontroleerde synthetische omgeving.

• Structuur: Het definieert entiteiten (Verbindingen, Bemiddelaars, Resultaten) en causale relaties.
• Veiligheidsdefinitie: Het maakt onderscheid tussen vier datacategorieën:
  • Forward-Safe/Unsafe: Beschrijft wat een verbinding tot gevolg heeft (onschadelijk voor het model om te weten, zelfs als de uitkomst onveilig is, omdat dit helpt bij het waarschuwen van gebruikers).
  • Reverse-Safe: Beschrijft wat een veilige uitkomst veroorzaakt.
  • Reverse-Unsafe: Beschrijft wat een onveilige uitkomst veroorzaakt (de enige echt schadelijke categorie, omdat dit leert hoe men actiegerichte schade kan toebrengen).
• Doel: Observeren of modellen die getraind zijn op data zonder "Reverse-Unsafe" voorbeelden, nog steeds kunnen afleiden hoe men schade kan toebrengen via generalisatie.

3. Belangrijkste Bijdragen

1. Argument voor Gedragsvorming: Het artikel betoogt dat pretraining-alignment verder moet gaan dan het filteren van onveilige data en actief de interne redeneerprocessen van het model moet vormen. Het demonstreert dat veilige data alleen onvoldoende is om de generalisatie van onveilige capaciteiten te voorkomen.
2. Safety Reflection Pretraining (SRP): Een nieuwe methode die veiligheidsoordelen tussen de pretraining-tekst weeft, waardoor modellen worden getraind om continue zelfmonitoring uit te voeren.
3. MedSafetyWorld: Een nieuwe synthetische benchmark die specif으로 is ontworpen om de generalisatie van onveilige gedragingen vanuit veilige pretraining-data te isoleren en te bestuderen, voorzien van een duidelijke definitie van veiligheid en redeneerstructuren.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat SRP beter presteert dan datafiltering en dataherformulering in het voorkomen van onveilige generalisatie, terwijl de algemene bruikbaarheid behouden blijft.

4. Experimentele Resultaten

Synthetische Experimenten (MedSafetyWorld)

• Generalisatiefalen van Filtering: Modellen getraind met "Filtering" (verwijderen van Reverse-Unsafe data) vertoonden nog steeds hoge jailbreak-percentages (30,60% prefill ASR, 43,20% fine-tuning ASR), wat bewees dat ze onveilige gedragingen generaliseerden vanuit veilige data.
• Ineffectiviteit van Herformulering: Eenvoudige dataherformulering slaagde er niet in onveilige generalisatie te elimineren, met hoge jailbreak-percentages (43,00% prefill ASR).
• Utility vs. Safety Trade-off: "Filtering-plus" (verwijderen van alle data met onveilige uitkomsten) reduceerde de jailbreak-percentages tot bijna nul, maar degradeerde de algemene prestaties ernstig (van ~73% naar ~54%), omdat noodzakelijke kennis werd verwijderd.
• SRP Prestaties: SRP bereikte een superieur evenwicht, waarbij de jailbreak-percentages werden teruggebracht naar 7,60% (prefill) en 2,20% (fine-tuning), terwijl een hoge algemene prestatie van 75,00% behouden bleef.

Real-World Experimenten (1.7B Modellen op FineWeb-Edu)

• Robuustheid in de Inference-fase: SRP-modellen vertoonden significant lagere Attack Success Rates (ASR) tegen adversariële aanvallen (Prefill, GCG, AutoDAN) vergeleken met de Baseline en SafeLM (een state-of-the-art veiligheidspretrained model). Bijvoorbeeld, op GCG (AdvBench) behaalde SRP een ASR van 1,33% (LLM judge) tegenover 24,89% voor SafeLM.
• Robuustheid bij Fine-Tuning: SRP-modellen bleven robuust onder zowel onschuldige als adversariële fine-tuning, mits het reflectiepatroon behouden bleef tijdens de fine-tuning (via data-augmentatie of mixing). In contrast vertoonden modellen zonder pretraining-reflectie of met incompatibele post-training ontwerpen snel verlies van veiligheidsalignment.
• Algemene Capaciteit: SRP-modellen behielden prestaties die vergelijkbaar zijn met de Baseline op algemeen begrip (ARC, CommonsenseQA, etc.) en instructievolging (AlpacaEval, IFEval), wat aantoont dat veiligheidsinterventies de bruikbaarheid niet hebben uitgehold. SafeLM vertoonde hogere algemene scores (waarschijnlijk door grotere pretraining-schaal), maar leed aan ernstige over-refusal (te veel weigeren).

5. Betekenis en Claims

Het artikel claimt dat pretraining-stage alignment niet alleen de trainingsdata veilig moet maken, maar ook de gedragingen moet vormen die modellen uit veilige data verwerven.

• Diepe Alignment: Door veiligheidsreflectie te integreren in de pretraining-doelstelling, vestigt SRP een fundamentele capaciteit voor zelfmonitoring die robuuster is dan de oppervlakkige, op tokens gebaseerde aanpassingen die typisch zijn voor post-training alignment.
• Complementariteit: De auteurs benadrukken dat SRP geen vervanging is voor post-training, maar een noodzakelijke basis. Het reflectieformaat moet consistent zijn over de pretraining en post-training om effectief te zijn; het verwijderen ervan uit een van beide fasen verslechtert de prestaties.
• Toekomstige Richting: Het werk suggereert dat toekomstig onderzoek zich moet richten op het robuust maken van pretraining-stage alignment tegen post-training modificaties, met als doel een veiligheidsfundament dat intact blijft, zelfs wanneer eindgebruikers willekeurige fine-tuning uitvoeren.

De auteurs concluderen dat hoewel hun huidige implementatie compatibele post-training vereist om robuustheid te behouden, het kerninzicht — dat het induceren van natuurlijke zelfmonitoringsgedragingen tijdens de pretraining cruciaal is voor diepe veiligheidsalignment — een belangrijke stap voorwaarts is ten opzichte van de huidige data-filtering paradigma's.