Technische Samenvatting: Wanneer Autoregressieve Consistentie de Veiligheidsafstemming Schaadt

Probleemstelling

Huidige veiligheidsafstemming (safety alignment) in Large Language Models (LLMs), bereikt via Supervised Fine-Tuning (SFT) en voorkeursoptimalisatie (bijv. DPO, RLHF), is fragiel. Recent werk door Qi et al. [17] identificeerde "ondiepe veiligheidsafstemming" (shallow safety alignment), waarbij fine-tuning primair het gedrag van het model nabij de eerste paar output-tokens vormgeeft, waardoor latere tokens kwetsbaar blijven voor aanvallen die het model wegsturen van een veilige weigeringsprefix.

Echter, dit artikel betoogt dat het "ondiepe" fenomeen een symptoom is van een dieper mechanistisch falen: autoregressieve consistentie. Dit is de inherente neiging van autoregressieve modellen om de huidige respons-traject consistent te behouden en voort te zetten. De auteurs stellen dat veiligheidsafstemming niet louter faalt omdat het ondiep is, maar omdat het afstemingsproces zelf steunt op autoregressieve consistentie om de weigering na de initiële tokens in stand te houden, wat een kwetsbaarheid creëert waarbij elk punt in het traject kan worden gekaapt om een schadelijke voortzetting te induceren.

Methodologie

1. Theoretische Analyse van Leerdynamiek

De auteurs formaliseren autoregressieve consistentie (Definitie 2.1) als de eigenschap waarbij, gegeven een voldoende lange prefix, de voorspelling van het volgende token door het basismodel bijna deterministisch wordt ($p(y_{t+1}|y_{:t}) \approx 1$).

• Gradient Concentratie: Door middel van een leerdynamica-analyse van SFT- en DPO-objectieven, demonstreert het artikel dat onder autoregressieve consistentie de gradiënt van de verliesfunctie met betrekking tot de modelparameters concentreert op vroege tokens.
• Stelling 2.1: De auteurs bewijzen dat omdat het basismodel al zelfverzekerd consistente voortzettingen voorspelt voor late tokens, de afstemmingsupdates voor deze posities worden onderdrukt. Bijgevolg wijkt het afgestemde model alleen af van het basismodel bij vroege posities ($t \le t_c$), terwijl late posities dicht bij de distributie van het basismodel blijven. Dit biedt een mechanistische verklaring voor waarom veiligheidsafstemming van nature ondiep is.

2. Aanvalsvector: Random Insertion

Voortbouwend op de theorie dat schadelijke autoregressieve consistentie op elk gewenst punt kan worden getriggerd, introduceert het artikel de Random Insertion Attack.

• Mechanisme: In plaats van de prefix te targeten, injecteert deze aanval een kort schadelijk segment ($h$) op een willekeurige positie ($i$) binnen een verder veilige weigeringssequentie ($r$).
• Hypothese: Als het model in een staat terechtkomt waarin het een schadelijke voortzetting verkiest boven de weigering, zal autoregressieve consistentie deze schadelijke tak in stand houden, waardoor het model de voorafgaande veilige context negeert.
• Omvang: Deze aanval generaliseert prefix-gebaseerde aanvallen (zoals prefill attacks) door aan te tonen dat het "breekpunt" willekeurig diep in de generatie kan voorkomen.

3. Defensiekader: Adversarial Safety Alignment

Om dit mechanisme tegen te gaan, stellen de auteurs een Adversarial Safety Alignment kader voor.

• Doel: Het model trainen om veilig weigeringsgedrag te herstellen vanuit elke adversarieel geconstrueerde schadelijke voortzetingsstaat, niet alleen vanaf het begin van de generatie.
• Formulering: Het kader behandelt veiligheidsafstemming als een min-max probleem:
  • Intern Probleem: Identificeer een voortzetingsstaat $\tau^*$ langs het traject waar het model de schadelijke voortzetting het sterkst verkiest (het maximaliseren van de "schadelijke autoregressieve consistentiemarge").
  • Extern Probleem: Train het model om de veilige weigeringssequentie te herstellen vanaf $\tau^*$.
• Praktische Implementatie (Random Worst-Insertion): Omdat exacte optimalisatie onhandelbaar is, instantiëren de auteurs het kader met behulp van Random Worst-Insertion Training.
  • Ze samplen willekeurige posities om schadelijke segmenten in te voegen.
  • Ze selecteren het invoerpunt dat de marge maximaliseert tussen de waarschijnlijkheid van schadelijke voortzetting en de waarschijnlijkheid van herstel van de weigering.
  • Het model wordt vervolgens getraind om de weigeringsrespons te herstellen vanuit deze "worst-case" gecorrumpeerde staat.

Belangrijkste Bijdragen

1. Mechanistische Verklaring van Ondiepe Afstemming: Het artikel levert een theoretisch bewijs (Stelling 2.1) dat autoregressieve consistentie ervoor zorgt dat afstemmingsgradiënten concentreren op vroege tokens, wat verklaart waarom veiligheidsafstemming van nature ondiep wordt.
2. Identificatie van een Breder Falen: De auteurs betogen dat de kwetsbaarheid van de veiligheid niet beperkt is tot prefix-aanvallen. Ze demonstreren dat schadelijke autoregressieve consistentie geïnduceerd kan worden op willekeurige posities in de output-sequentie.
3. Random Insertion Attack: Een eenvoudige maar effectieve aanval die aantoont dat een kort schadelijk segment, diep in een veilige weigering geïnjecteerd, de generatie kan omleiden naar schadelijke outputs, waardoor standaard veiligheidsmaatregelen worden omzeild.
4. Adversarial Safety Alignment Framework: Een nieuw trainingsparadigma dat expliciet gericht is op het breken van schadelijke autoregressieve consistentie door het hele traject, geïnstantieerd via random worst-insertion training.

Experimentele Resultaten

De auteurs evalueerden hun methode (genaamd Insertion) tegenover baselines (Clean standaard SFT en Prefill diepe afstemming) op Llama-2-7B-Chat, Llama-3.1-8B-Instruct, en Gemma-2-9b-it.

• Random Insertion Attack: Standaard afstemming (Clean) faalde met Attack Success Rates (ASR) >75%. Diepe afstemming (Prefill) verminderde de ASR, maar bleef kwetsbaar (ASR ~20-35%). De voorgestelde Insertion methode bereikte aanzienlijk lagere ASR (bijv. 2,7% tot 5,9% voor 25-100 token segmenten op Llama-2), wat robuustheid demonstreert tegen traject-niveau kaping.
• Prefill Attack: De Insertion methode bleef competitief met Prefill op prefix-gebaseerde aanvallen, wat aantoont dat het breken van schadelijke consistentie de defensie tegen prefix-aanvallen niet opoffert.
• Andere Aanvallen: Op standaard benchmarks (HarmBench) tegen GCG, PAIR, TAP, en AutoDAN, behield of verbeterde de Insertion methode de robuustheid vergeleken met het initiële model.

Betekenis en Claims

Het artikel claimt bescheiden dat de primaire bijdrage het identificeren van schadelijke autoregressieve consistentie is als een fundamenteel falend mechanisme achter de kwetsbaarheid van de veiligheid, in plaats van het presenteren van een definitieve, onbreekbare defensie-algoritme.

• Verschuiving in Perspectief: Het werk verschuift de focus van "het dieper maken van de afstemming" (het verlengen van de weigeringsprefix) naar "het breken van schadelijke consistentie" (erop toezien dat het model vanuit schadelijke staten kan herstellen op elke diepte).
• Implicaties voor Toekomstig Werk: De auteurs suggereren dat toekomstige aanvalontwerpen zich moeten richten op intermediaire autoregressieve staten, en dat toekomstige defensiemechanismen modellen moeten trainen om te herstellen van schadelijke voortzetingsstaten door het gehele output-traject, niet alleen aan het begin.
• Rol van Consistentie: Het artikel concludeert dat autoregressieve consistentie als een cruciale overweging moet worden behandeld bij zowel het ontwerp van veiligheidsafstemmingsdoelen als bij de ontwikkeling van adversariële aanvallen.