Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis

Technische Samenvatting: Beyond Refusal: Een Studie van Dezelfde Lijnage naar Gealigneerde en Geablateerde LLM's voor Kwetsbaarheidsanalyse

Probleemstelling
Large Language Models (LLM's) worden steeds vaker ingezet in workflows voor softwarebeveiliging voor de detectie, triage en reparatie van kwetsbaarheden. Deze workflows worden echter geconfronteerd met een "grensprobleem": de terminologie en redeneerpatronen die vereist zijn voor legitieme defensieve analyse (bijv. het identificeren van exploits, het analyseren van door aanvallers beheerde input) lijken sterk op die geassocieerd met kwaadwillig misbruik. Als gevolg hiervan vertonen veiligheid-gealigneerde modellen vaak overmatige weigering bij legitieme defensieve verzoeken.

Eerdere evaluaties van dit fenomeen lijden onder twee beperkingen:

1. Confounding Variabelen: Veel studies vergelijken niet-gerelateerde modelfamilies, waardoor het moeilijk is om prestatieverschillen toe te schrijven aan veiligheid-alignment in plaats aan architectuur, schaal of trainingsdata.
2. Refusal-Centrische Metrieken: Bestaande evaluaties richten zich primair op weigeringspercentages, maar falen in het vastleggen van de vraag of de niet-geweigerde antwoorden correct, specifiek of actiegericht zijn. Een model dat zelden weigert maar onjuiste lokalisatie of ongeldige patches biedt, heeft weinig nut voor verdedigers.

Dit paper onderzoekt hoe de "veiligheidstoestand" van een model de bruikbaarheid van legitieme kwetsbaarheidsanalyse beïnvloedt, waarbij specifiek wordt gekeken of de kosten van alignment zich niet alleen manifesteren in weigering, maar ook in de degradatie van de antwoordkwaliteit en actiegerichtheid.

Methodologie
De studie maakt gebruik van een matched same-lineage experimenteel ontwerp om de variabele van de veiligheidstoestand te isoleren. De auteurs vergelijken twee toestanden afgeleid van dezelfde open-source modelfamilies:

• ALIGNED: Het standaard instructie-getunede model met intacte weigeringsgedragingen.
• ABLITERATED: Een publiekelijk uitgebrachte afstammeling waar het weigeringsgedrag chirurgisch is verminderd (geablateerd) via interventies in de activatieruimte (het aftrekken van een geleerde weigeringsrichting) of modificaties in de gewichtsruimte.

Modelfamilies:

• Primaire Paar: Gemma (vergelijking tussen gemma-4-31B-it vs. gemma-4-31B-CRACK).
• Aanvullend Paar: Qwen (vergelijking tussen Qwen3.6-27B-MXFP4 vs. Qwen3.6-27B-MXFP4-CRACK).

Evaluatiekader:
De studie deelt "defender-side utility" op in drie dimensies: Coverage (bruikbaarheid van het antwoord), Answer Quality (correctheid onder bruikbare antwoorden) en End-to-End Utility (praktische bruikbaarheid door de gehele workflow). De evaluatie beslaat een "task-depth progression" van oppervlakkige diagnose tot uitvoerbare reparatie:

1. Kwetsbaarheidsdetectie & CWE Attributie: Binaire classificatie en taxonomische mapping.
2. Vulnerable-Line Localization: Het identificeren van specifieke bronregels die kwetsbaarheden bevatten.
3. Root-Cause Localization: Het verklaren van het causale mechanisme van de kwetsbaarheid.
4. Executable Patch Validation: Het genereren van patches die kunnen worden toegepast, gecompileerd en gevalideerd tegen proof-of-vulnerability (PoV) tests (gebruikmakend van Java/Vul4J, Python/PatchEval, en C/C++/Vul4C).

Prompt Framing:
De studie controleert voor prompt-formulering door twee dimensies te variëren:

• Authorization Context: Neutrale code-review versus expliciete interne security audit context.
• Lexical Intensity: Variërende dichtheid van cybersecurity-terminologie (Neutraal, Scenario, Tactic/Pattern, Dense Cyber) terwijl de onderliggende code en taak constant blijven.

Belangrijkste Resultaten
De bevindingen wijzen erop dat effecten van de veiligheidstoestand context-afhankelijk zijn en niet monotoon:

1. Taakdiepte en Lokalisatie:

   • Oppervlakkige Taken: Voor algemene detectie en CWE-attributie presteert de ALIGNED staat vaak beter, met name onder neutrale code-review formuleringen.
   • Code-Gegronde Taken: Naarmate taken specifieke code-bewijslast vereisen (vulnerable-line localization), presteert de ABLITERATED staat consistent beter dan de ALIGNED staat in beide Gemma- en Qwen-paren.
     • Gemma: Top-1 nauwkeurigheid voor lijn-lokalisatie steeg van 9,00% (ALIGNED) naar 10,10% (ABLITERATED); Gemiddelde lijn-F1 steeg van 3,84% naar 4,00%.
     • Qwen: Top-1 nauwkeurigheid steeg van 4,10% naar 6,95%; Gemiddelde lijn-F1 steeg van 2,08% naar 3,91%.

2. Uitvoerbare Reparatie (Java/Vul4J):

   • De ABLITERATED staat vertoonde een significant hogere throughput in de vroege uitvoerbare gates.
   • Bruikbare Antwoorden: 67,8% (ABLITERATED) vs. 29,9% (ALIGNED).
   • Toegepaste Patches: 65,0% vs. 24,9%.
   • Gecompileerde Patches: 32,8% vs. 9,0%.
   • PoV Pass: 6,8% vs. 1,7%.
   • Nuance: In Neutrale prompts vertoonde de ALIGNED staat incidenteel een iets betere succesrate bij de finale validatie in Java, maar de ABLITERATED staat domineerde in security-expliciete kaders (Authorized/Cyber-Term). In cross-language checks (Python, C/C++) onder neutrale prompts bleef de ALIGNED staat competitief of superieur in de finale executie-gates.

3. Prompt Sensitiviteit:

   • Veiligheidsmechanismen lijken gevoelig voor oppervlakkige cues. Onder neutrale formulering behouden ALIGNED-modellen vaak een voordeel in classificatie. Echter, wanneer prompts expliciete autorisatie of dichte cybersecurity-terminologie bevatten, verschuift het voordeel naar de ABLITERATED staat, met name voor lokalisatie- en reparatietaken.
   • Output Stabiliteit: Prompt-formulering verandert de daadwerkelijke inhoud van het antwoord, niet alleen de score. ALIGNED-modellen vertoonden hogere "decision flip" rates (het veranderen van de voorspelde kwetsbare lijn of CWE-label) bij de overgang van neutrale naar security-dense formulering vergeleken met ABLITERATED-modellen.

Betekenis en Claims
Het paper stelt dat huidige evaluaties van LLM-gebaseerde security-assistenten onvoldoende zijn als ze uitsluitend vertrouwen op weigeringspercentages. De auteurs argumenteren dat:

• Veiligheidstoestand Beïnvloedt het Utility Profiel: Alignment verandert hoe een model antwoordt, niet alleen of het antwoordt. De kosten van alignment zijn geen uniforme weigering, maar een verschuiving in het vermogen van een model om hoogwaardige, actiegerichte defensieve assistentie te bieden, afhankelijk van de taakdiepte en de prompt-framing.
• Evaluatie Moet Holistisch Zijn: Cyber-veiligheidsevaluaties moeten weigering, correctheid, lokalisatiekwaliteit en uitvoerbare actiegerichtheid gezamenlijk meten. Een model dat frequent weigert, kan minder schadelijk zijn dan een model dat frequent antwoordt maar onjuiste of onbruikbare begeleiding biedt.
• Design Implicaties: Waarborgen moeten zo ontworpen worden dat ze onderscheid maken tussen geautoriseerde defensieve analyse en het faciliteren van exploits, zonder de kwaliteit van legitieme defensieve outputs te degraderen. Het doel is om betrouwbare ondersteuning te behouden voor verdedigers die precieze beveiligingstaal nodig hebben om echte kwetsbaarheden te analyseren en te repareren.

De studie beweert niet dat het verwijderen van waarborgen de oplossing is; het benadrukt eerder dat huidige veiligheidsmechanismen onbedoeld legitiem defensief werk kunnen benadelen, wat wijst op een behoefte aan meer genuanceerde evaluatiemetrieken die rekening houden met de "defender-side utility" over de volledige engineering-workflow.