Technische Samenvatting: Logit-Gap Steering

Probleemstelling

Grote Taalmodellen (LLMs) die via Reinforcement Learning from Human Feedback (RLHF) zijn uitgelijnd, zijn getraind om onveilige verzoeken te weigeren. Deze uitlijning creëert echter vaak slechts een smalle "operationele marge" tussen weigering en naleving. Eerdere studies suggereren dat het toevoegen van korte, out-of-distribution suffixen aan giftige prompts een model van weigering naar naleving kan draaien door deze marge te sluiten.

Het centrale probleem dat wordt aangepakt, is het ontbreken van een schaalbare, kwantitatieve diagnose om deze first-token weigermarge (de beslissing op logit-niveau bij de eerste decoderingsstap) te meten en de robuustheid ervan te onderzoeken. Bestaande methoden voor het ontdekken van effectieve jailbreak-suffixen, zoals Gradient-based Coordinate Gradient (GCG), vertrouwen op gradient-gebaseerde optimalisatie over grote, out-of-distribution tokenruimtes. Deze methoden zijn computatief duur (bijvoorbeeld ~5 uur op een enkele A100 voor 50 prompts) en produceren suffixen met hoge perplexiteit die gemakkelijk worden gedetecteerd door perplexiteit-gebaseerde verdedigingen.

Methodologie: Logit-Gap Steering

De auteurs introduceren Logit-Gap Steering, een gradient-vrije, forward-pass-only diagnosemethode die is ontworpen om de logit-gap tussen weigering en bevestiging te meten en te sluiten met in-distribution tokens.

1. De Weigering–Bevestiging Logit-Gap

De kernmetriek wordt gedefinieerd als het verschil tussen de logit van de top-weiger-token en de logit van de top-bevestigingstoken bij de eerste decoderingsstap ($h_0$) na een schadelijke prompt:
$$\Delta_0 = \ell_{\text{refusal}}(h_0) - \ell_{\text{affirm}}(h_0)$$
Het artikel stelt dat uitlijning deze gap vergroot op het overgrote merendeel van giftige prompts in vergelijking met basismodellen. Een jailbreak slaagt als een suffix $S$ de cumulatieve gap reduceert tot nul of lager.

2. Scorefunctie (Gap-Closing Proxy)

Om gradientberekening te vermijden, benadert de methode de gap-reductie van een kandidaat-token $t$ met behulp van een scorefunctie $F(h, t)$ die is afgeleid uit een enkele forward pass. Deze score combineert drie proxies:

• Logit Gap Reductie: De directe verandering in het logit-verschil.
• KL Penalty Proxy: Benadert de afwijking van het basismodel door de weiger-logit te vergelijken met een neutraal, hoog-probabiliteit token.
• Reward Shift Proxy: Gebruikt de incrementele bevestigings-logit als proxy voor de voorkeur van het geleerde reward-model.

De gecombineerde score is:
$$F(h, t) = \Delta F_{\text{logit}}(h, t) - \lambda_{KL}\Delta KL(h, t) + \lambda_r \Delta r(h, t)$$

3. Zoekalgoritme

De methode maakt gebruik van een Greedy Covering algoritme:

1. Kandidaatfiltering: Het vocabulaire wordt gefilterd om alleen in-distribution tokens te behouden (hoge waarschijnlijkheid gegeven de prompt) die geen weiger-tokens zijn.
2. Scoren: Elke kandidaat wordt gescoord met behulp van $F(h, t)$.
3. Selectie: Tokens worden gretig geselecteerd in dalende volgorde van score totdat de cumulatieve score de initiële gap $\Delta_0$ overschrijdt.
4. Varianten: Om single-token myopie en out-of-distribution artefacten te overwinnen, introduceren de auteurs:
   • DFS Phrase Harvesting: Diepte-zoekopdracht om grammaticale bevestigende zinsdelen te oogsten.
   • Constituent-Level Search: Het evalueren van multi-token sequenties als atomaire eenheden.
   • Permutatie Selectie: Zoeken over permutaties van top-kandidaten om te optimaliseren voor KL-reward balans, directe gap-minimalisatie of gecombineerde scores.

4. Efficiëntie

Het volledige proces vereist alleen forward passes. Het ontdekken van een 8-suffix ensemble voor een modelfamilie duurt ongeveer 26.000 forward-pass equivalenten (ongeveer 2 minuten op één A100), wat ongeveer 125× minder rekenkracht is dan een enkele GCG-zoekopdracht.

Belangrijkste Bijdragen

1. Uitlijning Diagnose: De definitie van de weigering–bevestiging logit-gap als een kwantitatieve maatstaf voor de first-token operationele weigermarge. De auteurs tonen aan dat de mediale gap-sluiting samenhangt met de True Attack Success Rate (ASR) over verschillende strategieën, dienend als interne consistentiecheck.
2. Efficiënte Onderzoeksmethode: Een gradient-vrije methode die effectieve, in-distribution suffixen (<10 tokens per component) ontdekt met aanzienlijk lagere rekenkosten dan GCG.
3. Cross-Scale Transfer: Suffixen die op kleine modellen (0,5B–2B parameters) zijn ontdekt, worden zonder modificatie overgedragen naar veel grotere modellen (tot 72B) binnen dezelfde familie.
4. Stilte: De ontdekte suffixen hebben perplexiteitswaarden $10^3$–$10^4$ keer lager dan GCG-suffixen. Bijgevolg blijven ze effectief tegen perplexiteit-filterverdedigingen die GCG succesvol blokkeren.

Experimentele Resultaten

De methode werd geëvalueerd op 13 modellen uit drie families (Llama, Gemma, Qwen) met behulp van AdvBench en HarmBench.

• Attack Success Rate (ASR): Een 8-suffix ensemble behaalde 38–96% True ASR over de 13 modellen. Op sterk uitgelijnde modellen (bijv. Qwen2.5-72B) presteerde het ensemble 8–18× beter dan GCG+SH (37,9% vs. 4,6%).
• Efficiëntie: De methode is ongeveer 125× sneller dan GCG voor universele suffixontdekking en 17× sneller dan een 8-shot GCG-baseline.
• Ontduiking van Verdediging:
  • Perplexiteit Filters: Onder een perplexiteit-filterverdediging ($T=1000$) stortte GCG+SH in van 64,7% naar 1,0% True ASR, terwijl het ontdekte ensemble slechts licht daalde van 76,9% naar 76,0%.
  • Semantische Filters: Llama Guard 3 (LG3) verminderde alle methoden aanzienlijk, maar het ontdekte ensemble behield een 2–3× voorsprong in het algemeen en een 8–16× voorsprong op sterk uitgelijnde doelen in vergelijking met GCG.
• Interne Dynamiek: De analyse onthulde "sentence-boundary reward cliffs", waar veiligheidsstraffen pieken bij leestekens. Succesvolle suffixen concentreren gap-sluitende kracht binnen een enkele lopende clausule om deze cliffs te vermijden.

Betekenis en Beweringen

Het artikel beweert dat huidige uitlijningsmarges, hoewel consistent aanwezig, vaak dun en efficiënt meetbaar zijn. De primaire bijdrage is geen nieuwe klasse van schade (aangezien de suffixen modellen targeten die al kwetsbaar zijn voor GCG), maar eerder een kwantitatief diagnosekader en een rekenkundig efficiënte probe voor veiligheidsbeoordeling.

De auteurs betogen dat:

1. Verdedigingen moeten evolueren: Gepubliceerde perplexiteit-filterverdedigingen zijn onvoldoende tegen in-distribution suffixen die onschadelijke instructie-achtige tekst nabootsen.
2. Gelaagde verdediging is noodzakelijk: Omdat verschillende verdedigingen (perplexiteit versus semantiek) verschillende aanvalsstijlen opvangen, is een combinatie van inputfiltering en output semantische classificatie vereist.
3. Uitlijningsartefacten: De methode blootlegt specifieke uitlijningsartefacten, zoals sentence-boundary reward cliffs, en biedt een lichtgewicht probe in hoe veiligheidsafstemming interne representaties herschikt.

Het werk voldoet aan verantwoordelijke openbaarmaking, waarbij de ontdekte suffixen 30 dagen voor release worden gedeeld met veiligheidsteams van grote modelproviders (Meta, Alibaba, Google, Mistral, OpenAI) en de toegang tot artefacten wordt geblokkeerd achter een acceptabel-gebruikbeleid.