Willing but Unable: Separating Refusal from Capability in Code LLMs via Abliteration

Technische Samenvatting: Bereid maar niet in staat: Het scheiden van weigering van capaciteit in Code LLM's via Abliteratie

Probleemstelling
Het artikel behandelt een kritieke flessenhals in machine learning-gebaseerde kwetsbaarheidsdetectie: het tekort aan nauwkeurig gelabelde trainingsdata. Bestaande datasets lijden onder aanzienlijke labelruis (20–71%) en duplicatie omdat ze zijn gewonnen uit CVE-getagde commits. Hoewel Large Language Models (LLMs) een pad bieden voor data-augmentatie, transformeren huidige methoden doorgaans bestaande kwetsbare zaadjes (seeds), waardoor ze de ruis van de broncorpus overnemen. Een complementaire aanpak houdt in dat men begint met veilige code en een LLM instrueert om een specifieke Common Weakness Enumeration (CWE) kwetsbaarheid te injecteren. Echter, moderne veiligheidsgealigneerde, instructie-getunede code-LLM's weigeren dergelijke prompts systematisch vanwege Reinforcement Learning from Human Feedback (RLHF) of Direct Preference Optimization (DPO), zelfs wanneer het model over de onderliggende capaciteit beschikt om de transformatie uit te voeren. Deze weigering vormt een barrière voor het genereren van grootschalige, specificatiegestuurde kwetsbaarheidsdatasets.

Methodologie
De auteurs stellen een haalbaarheidsstudie voor met behulp van abliteratie, een low-rank gewicht-bewerkingsmethode, om de weigeringsbarrière te verwijderen terwijl de generatieve capaciteit behouden blijft. De studie richt zich op CWE-89 (SQL-injectie) in Python als casestudy.

1. Modelselectie: De studie maakt gebruik van de Qwen2.5-Coder-Instruct familie op drie parameter-schalen: 3B, 7B en 14B. Deze modellen zijn gekozen vanwege hun open gewichten, code-specialisatie en de haalbaarheid voor CPU-gebaseerde inferentie.
2. Abliteratieprocedure: Gebaseerd op de hypothese dat weigering wordt gemedieerd door een specifieke lineaire subspace in de residual stream van het model, passen de auteurs orthogonale projectie toe om deze "weigering-richting" te verwijderen.
   • Ze berekenen een contrastmatrix tussen activaties op schadelijke (CWE-injectie) en onschadelijke prompts.
   • Singular Value Decomposition (SVD) identificeert de top-$k$ rechter singuliere vectoren die de weigeringsrichting vertegenwoordigen.
   • Deze vectoren worden uit de output-gewichtmatrices ($W_{out}$) van specifieke transformer-lagen geprojecteerd (doorgaans het bovenste derde deel van het netwerk) zonder hertraining.
   • Hyperparameters ($k$ en verfijningsrondes) worden per modelgrootte getuned (bijv. $k=2$ voor 3B, $k=8$ voor 7B/14B).
3. Experimentele Pipeline:
   • Input: 70 veilige Python-samples van PromSec (20 samples, multi-route Flask apps) en SafeCoder (50 samples, single-route snippets).
   • Prompting: Een vaste instructie vraagt het model om de veilige code te herschrijven om CWE-89 te introduceren (bijv. het vervangen van geparametriseerde queries door string-concatenatie).
   • Validatie: Een driestaps proces evalueert de outputs:
     1. Weigeringsclassificatie: Regex-gebaseerde detectie van weigeringspatronen.
     2. Syntactische Validatie: AST-parsing en compilatiecontroles.
     3. Kwetsbaarheidsdetectie: Een ensemble van drie statische analysers (CodeQL, Semgrep, Bandit) markeert potentiële kwetsbaarheden.
     4. Handmatige Adjudicatie: Twee auteurs verifiëren handmatig de door detectoren positief gemarkeerde outputs tegen de CWE-89 specificatie om fout-positieven en fout-negatieven op te lossen.
4. Evaluatiemetrieken: De studie meet weigeringspercentages, syntactische geldigheid, kwetsbaarheidsinjectie-percentages en codesimilariteit (CrystalBLEU/CodeBLEU) ten opzichte van de grondwaarheid-kwetsbare tegenhangers.

Belangrijkste Bijdragen

1. Reproduceerbare Pipeline: Een gevalideerde workflow die abliteratie toepast op instructie-getunede code-LLM's, gekoppeld aan een multi-tool statische analyse-ensemble en handmatige adjudicatie.
2. Empirische Meting: Een gecontroleerde factoriële studie (3 modellen $\times$ 2 condities $\times$ 2 datasets $\times$ 3 runs) die de eerste empirische metingen levert van weigering en post-abliteratie naleving op CWE-injectie-taken.
3. Orthogonale Scheiding van Bereidheid en Capaciteit: De studie demonstreert dat weigering (bereidheid) en code-generatie capaciteit orthogonale assen zijn. Abliteratie verwijdert succesvol de weigeringsreflex zonder nieuwe capaciteiten te creëren; het ontsluit enkel capaciteiten die al aanwezig waren maar onderdrukt werden.
4. Open Artefacten: Publicatie van de evaluatie-harness (weigeringsclassifier, validators, scoring scripts) en geaggregeerde data, terwijl specifieke abliterated checkpoints en kwetsbare samples worden achtergehouden om misbruikrisico's te beperken.

Resultaten

• Weigering is Grootte- en Contextafhankelijk:
  • Het 14B model weigerde 100% van de prompts op beide datasets.
  • Het 7B model weigerde 73% van de PromSec prompts (multi-route) maar slechts 5% van de SafeCoder prompts (single-route).
  • Het 3B model vertoonde verwaarloosbare weigering (0–7%).
• Abliteratie Verwijdert Weigering:
  • Na abliteratie daalden de weigeringspercentages naar 0% (of bijna nul, bijv. 1,7% voor 3B op PromSec) over alle modelgroottes en datasets heen.
  • Capaciteitbehoud: De syntactische geldigheid bleef boven de 93% voor alle abliteratie-modellen. De interventie heeft het vermogen van de modellen om geldige, coherente Python-code te genereren niet verslechterd.
• Capaciteit is Capaciteitsgebonden:
  • Zodra de weigering werd verwijderd, schaalde de kwetsbaarheidsinjectie-rate met de modelparameters:
    • 14B: ~88–97% injectie succes.
    • 7B: ~89–90% injectie succes.
    • 3B: ~25–48% injectie succes.
  • Het lage succespercentage van het 3B-model bleef ook na abliteratie bestaan, wat aangeeft dat de beperking een gebrek aan generatieve capaciteit was (onvermogen om de structurele edit correct uit te voeren), en geen weigeringsmechanisme.
• Detector Concordantie: Statische analysers vertoonden variërende niveaus van overeenstemming. CodeQL was zeer specifiek voor bepaalde idiomen (bijv. flask_mysqldb), terwijl Bandit een hogere recall had op syntactische patronen. Handmatige adjudicatie was essentieel voor het oplossen van discrepanties.

Betekenis en Claims
Het artikel claimt een voorlopige haalbaarheidsstudie te bieden die aantoont dat:

1. Weigering kan worden losgekoppeld van capaciteit: Veiligheidsalignment in code-LLM's fungeert als een "weigeringsreflex" die chirurgisch kan worden verwijderd via low-rank gewicht-bewerkingen zonder het onderliggende generatieve substraat te beschadigen.
2. Haalbaarheid van Datageneratie: De pipeline biedt een methode om gelabelde kwetsbaarheidsdata te genereren waarbij de labelbelasting verschuift van open eind detectie (gevoelig voor ruis) naar gebonden binaire bevestiging. De 14B en 7B modellen tonen, eenmaal geabliteerd, een hoog potentieel voor het genereren van hoogwaardige, specificatiegestuurde kwetsbaarheidsdatasets.
3. Dual-Use Implicaties: De auteurs wijzen op een beveiligingsrisico: het vermogen om weigering via eenvoudige gewicht-bewerkingen te verwijderen impliceert dat veiligheidsgealigneerde open-weight modellen gemakkelijk kunnen worden omgezet in tools voor het genereren van kwaadaardige code. Ze stellen dat het "aanvalsoppervlak" dat door abliteratie op complexe inputs wordt blootgelegd, al aanwezig is bij standaard eenvoudige inputs (zoals gezien met de 7B op SafeCoder).
4. Methodologische Inzicht: De studie suggereert dat het evalueren van veiligheidsgealigneerde modellen uitsluitend op basis van "weigering + falen" twee verschillende fenomenen samenvoegt. Een schijnbare fout van een model op gevoelige taken kan volledig te wijten zijn aan weigering, wat verwijderbaar is, in plaats van een gebrek aan capaciteit.

De auteurs hanteren een bescheiden toon en merken op dat de studie beperkt is tot een enkele CWE (89), één taal (Python) en één modelfamilie. Ze verklaren expliciet dat de bevindingen geen algemene bruikbaarheid garanderen voor andere CWE's of modelarchitecturen zonder verdere empirische validatie.