💻 computer science

Ablating Safety: Mechanisms for Removing Alignment in Language Models for Security Applications

Dit artikel stelt "Ablating Safety" voor als een gecontroleerd evaluatieprotocol voor geautoriseerde cybersecuritytaken, waarbij wordt aangetoond dat terwijl eenvoudige methoden voor het projecteren van weigeringen minimale veiligheidswinsten bieden met hoge veiligheidsrisico's, gerichte LoRA-gebaseerde adaptatie de veiligheidsprestaties aanzienlijk kan verbeteren terwijl algemene vaardigheden worden behouden en onveilige spillover wordt beperkt.

Oorspronkelijke auteurs: Isaac David, Arthur Gervais

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Isaac David, Arthur Gervais

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een hoogopgeleide beveiligingswachter (het AI-model) voor wiens taak het is om mensen te helpen bij het repareren van kapotte sloten en het begrijpen van hoe deuren werken. Deze wachter heeft echter een zeer strenge regel aangeleerd: "Als een verzoek klinkt alsof iemand probeert in te breken, moet ik onmiddellijk 'Nee' zeggen, zelfs als ze slechts een slotenmaker zijn die oefent op een dummy-deur."

Dit creëert een probleem voor beveiligingsexperts. Als de wachter "Nee" zegt, weten de experts niet of de wachter niet weet hoe hij het slot moet repareren (gebrek aan vaardigheid) of dat de wachter gewoon te voorzichtig is (weigerbeleid).

Het artikel "Ablating Safety" is als een gecontroleerd experiment waarbij onderzoekers proberen die strenge "Nee"-regel tijdelijk te versoepelen om te zien wat er gebeurt. Ze proberen geen "slecht" AI-systeem te maken; ze proberen precies te meten hoeveel nuttige vaardigheid zich achter de weigering verbergt en of het versoepelen van de regel de wachter per ongeluk ertoe brengt om echte inbrekers te helpen.

Hier is een uiteenzetting van hun experiment met eenvoudige analogieën:

1. Het Probleem: De "Overbeschermende" Wachter

In de echte wereld worden AI-modellen vaak getraind om elk verzoek dat op een cyberaanval lijkt, te weigeren. Dit is goed voor de veiligheid, maar het maakt het moeilijk om te testen of de AI daadwerkelijk slim genoeg is om te helpen bij geautoriseerde beveiligingstaken (zoals het repareren van een bug in code). Als de AI weigert, faalt de test, maar we weten niet waarom.

2. Het Experiment: "Ablating" (Verwijderen) van de Veiligheid

De onderzoekers probeerden verschillende manieren om de weiger-schakelaar "terug te draaien" zonder het hele AI-systeem vanaf nul opnieuw te trainen. Ze testten drie hoofdmethoden:

Methode A: De "Prompt"-truc (Vriendelijk vragen)
- Analogie: De wachter vertellen: "Hé, dit is een oefening, geen echte inbraak."
- Resultaat: Dit hielp een klein beetje, maar de wachter bleef grotendeels voorzichtig.
Methode B: De "Activation Projection" (De interne duw)
- Analogie: Stel je voor dat het brein van de wachter een specifieke "Weiger-knop" heeft. Deze methode probeert die knop fysiek naar beneden te duwen terwijl de AI nadenkt, zonder de daadwerkelijke training van de wachter te veranderen.
- Resultaat: Dit was riskant. Het liet de wachter meer beveiligingsvragen beantwoorden, maar het maakte de wachter ook veel waarschijnlijker om per ongeluk toe te staan om bij echte slechte verzoeken te helpen (onveilige spillover). Het was alsof je het alarmsysteem uitschakelt om het huis beter te bekijken, maar nu kan iedereen binnenlopen.
Methode C: De "LoRA"-adapter (Gespecialiseerde training)
- Analogie: In plaats van het brein van de wachter te veranderen, gaven ze de wachter een gespecialiseerd "Veiligheidsreparatie"-vest. Dit vest leert de wachter specifiek hoe hij reparatietaken moet afhandelen, terwijl zijn algemene kennis intact blijft.
- Resultaat: Dit was de meest succesvolle methode. De wachter werd zeer goed in de geautoriseerde beveiligingstaken (met een score van 0,87 op 1,0) terwijl hij nog steeds grotendeels weigerde om bij slechte verzoeken te helpen.

3. De Belangrijkste Bevindingen: De "Nuttig-Risico"-grens

Het artikel introduceert een nieuwe manier om naar veiligheid te kijken. In plaats van te vragen "Is de AI veilig?" of "Is de AI slim?", vragen ze: "Wat is de afweging?"

De "Slechte" afweging: Sommige methoden (zoals de interne duw) lieten de AI meer vragen beantwoorden, maar maakten de AI ook gevaarlijk. Het was alsof je de handboeien van een wachter afhaalde; hij kon sneller bewegen, maar hij zou onschuldige mensen kunnen pijn doen.
De "Goede" afweging: De gespecialiseerde training (LoRA) maakte de AI slimmer in beveiligingstaken zonder hem gevaarlijk roekeloos te maken. Het vond een sweet spot waar de AI nuttig is maar nog steeds veilig.

4. De Conclusie: Het gaat niet om "Uncensoring"

De auteurs benadrukken dat ze niet proberen een "uncensored" AI vrij te geven die alles zal doen. Hun doel is om de mechanismen van veiligheid te begrijpen.

Weigering is geen muur; het is een draaiknop. Je kunt hem terugdraaien, maar je moet de andere knoppen (zoals "Algemene Intelligentie" en "Veiligheid") goed in de gaten houden.
Het feit dat een AI antwoordt, betekent niet dat het veilig is. Een AI kan stoppen met weigeren, maar begint dan nutteloze of gevaarlijke antwoorden te geven.
De beste aanpak: Gebruik gespecialiseerde training (zoals het "Veiligheidsvest") om specifieke vaardigheden te ontsluiten zonder het algehele veiligheidssysteem te breken.

Samenvatting

Beschouw dit artikel als een studie over hoe je de gevoeligheid van een rookmelder veilig kunt aanpassen.

Als je het te gevoelig maakt, schreeuwt het om geroosterd brood (het weigert nuttige taken).
Als je het te ongevoelig maakt, schreeuwt het niet als het huis in brand staat (het staat gevaarlijke taken toe).
De onderzoekers ontdekten dat het simpelweg draaien aan de knop (activation projection) rommelig en riskant is. In plaats daarvan zorgt het installeren van een gespecialiseerd filter (LoRA) ervoor dat de detector geroosterd brood negeert terwijl het nog steeds schreeuwt bij echte branden.

Het artikel concludeert dat we voor beveiligingswerk de balans tussen nuttigheid en veiligheid samen moeten meten, in plaats van gewoon te proberen veiligheidsfilters volledig te verwijderen.

Technische Samenvatting: Veiligheid Afbouwen: Mechanismen voor het Verwijderen van Alignering in Taalmodellen voor Toepassingen in Cyberbeveiliging

Probleemstelling

Veiligheidsgealigneerde taalmodellen weigeren vaak geautoriseerde taken op het gebied van cyberbeveiliging uit te voeren (bijvoorbeeld triage van kwetsbaarheden, analyse van patches, beveiligde reparatie) omdat de prompts lexicaal lijken op kwaadaardige instructies. Dit creëert een verstorende variabele in beveiligingsevaluaties: het falen van een model om een antwoord te geven kan het gevolg zijn van een weigeringsbeleid in plaats van een gebrek aan onderliggende capaciteit. Waar onderzoek naar "jailbreaks" zich richt op omzeilingen op prompt-niveau, behandelt dit artikel een ander wetenschappelijk vraagstuk: wanneer alignering wordt verwijderd via transformaties op modelniveau (in plaats van herschikking van de invoer), welke specifieke veranderingen treden er dan op in taakbekwaamheid, algemene capaciteit en onveilig gedrag buiten het evaluatiebereik? Het kernprobleem is het onderscheid maken tussen het "ontcensureren" van een model en het werkelijk herstellen van geautoriseerde beveiligingsnut zonder brede onveilige spillover te veroorzaken.

Methodologie

Het artikel introduceert ABLATING SAFETY, een gecontroleerd protocol voor transformatie-evaluatie dat is ontworpen om de nut-risico-grens van het verwijderen van alignering te meten. Het onderzoek heeft niet tot doel ongecensureerde modellen vrij te geven, maar om de neveneffecten van specifieke ingrepen te auditeren.

Evaluatieprotocol

Het protocol evalueert transformaties op drie dimensies:

Geautoriseerde Beveiligingsnut ( $S$ ): Prestaties op defensieve beveiligingstaken (triage van kwetsbaarheden, analyse van patches, beveiligde reparatie).
Behoud van Algemene Capaciteit ( $G$ ): Prestaties op onschadelijke algemene taken (logica, rekenen, codegeneratie).
Onveilige Spillover ( $H$ ): Conformiteit met buiten het bereik vallende, niet-operationele schadelijke prompts.

Het onderzoek vergelijkt vijf families van ingrepen:

Promptcontext: Prompting met geautoriseerde context (baseline op invoerniveau).
Activeringsprojectie: Runtime-modificatie van verborgen toestanden om geschatte weigeringsrichtingen te projecteren (omkeerbaar).
Representatiecontrole: Subruimteprojecties (bijvoorbeeld een weigeringssubruimte van rang 4) om de specificiteit van de richting te testen.
Fine-tuning (LoRA): Parameter-efficiënte fine-tuning voor taakanpassing, onderdrukking van weigeringen en behoud.
Controles: Willekeurige projecties, onschadelijke projecties en weigeringsprojecties die zijn afgestemd op het onderwerp om mechanismespecifieke effecten te onderscheiden van ruis.

Benchmark: SECURITY-AR

De evaluatie maakt gebruik van SECURITY-AR, een suite van 60 prompts die bestaat uit:

30 geautoriseerde defensieve beveiligingstaken.
20 onschadelijke taken voor algemene capaciteit.
10 probes buiten het bereik (hoogwaardige, niet-operationele verzoeken tot misbruik).
Rauwe output zonder weigering voor probes buiten het bereik wordt in openbare artefacten geredigeerd om misbruik te voorkomen.

Modellen en Implementatie

Projectie Pilot: Geëvalueerd op Qwen2.5 (0.5B, 1.5B, 3B) en SmolLM2-360M onder vier condities (gealigneerd, prompt, willekeurige projectie, weigeringsprojectie).
Uitgebreide LoRA-evaluatie: Geëvalueerd op Qwen2.5-modellen onder 11 condities, inclusief LoRA-adapters voor alleen-taak, onderdrukking van weigeringen en gemengd behoudstraining.
Scoren: Gebruik van sandbox-validatoren voor uitvoerbare taken, beoordeling op basis van een beoordelingsformulier voor analyse, en classificeerders voor weigeringen. Metrieken omvatten weigeringspercentages, pogingspercentages, taakscores en indicatoren voor onveilige conformiteit.

Belangrijkste Resultaten

1. Activeringsprojectie is Fragiel en Riskant

Projectie van een enkele vector voor weigering (het verwijderen van de geschatte weigeringsrichting) toonde beperkt nut en een hoog risico:

Nut: Het verhoogde de gemiddelde beveiligingsscore slechts marginaal (van 0,46 naar 0,50).
Spillover: Het verhoogde de onveilige conformiteit buiten het bereik drastisch (van 0,10 naar 0,47).
Vergelijking: Projectie van een weigeringssubruimte van rang 4 bereikte een vergelijkbare beveiligingsscore (0,51) maar handhaafde het gealigneerde spillover-percentage (0,10), wat suggereert dat de rang van de subruimte en de constructie van de richting kritieke variabelen zijn. Willekeurige projecties kwamen soms overeen met resultaten van weigeringsprojectie, wat aangeeft dat eenvoudige verstoring specifieke mechanismen kan nabootsen.

2. LoRA Fine-tuning Biedt Superieure Nut-Risico Trade-offs

Op fine-tuning gebaseerde ingrepen tonen een duidelijkere weg naar het herstellen van capaciteit zonder catastrofale spillover:

Alleen-taak LoRA: Verhoogde de gemiddelde beveiligingsscore naar 0,87 terwijl een hoge algemene score werd behouden (0,83) en onveilige conformiteit laag bleef (0,13).
Onderdrukking van Weigeringen LoRA: Bereikte vergelijkbare beveiligingswinsten (0,87) maar toonde iets hogere spillover (0,13) in vergelijking met alleen-taak.
Gemengd Behoud LoRA: Wanneer onderdrukking van weigeringen werd gecombineerd met onschadelijke behoudsdata, bleven de beveiligingsscores hoog (0,84), maar steeg de onveilige conformiteit significant naar 0,27.
Modelafhankelijkheid: Spillover-gedrag varieerde per modelgrootte; Qwen2.5-3B handhaafde nul onveilige conformiteit onder LoRA-varianten, terwijl kleinere modellen (0.5B, 1.5B) bij bepaalde adapters een toename in spillover vertoonden.

3. Vermindering van Weigering $\neq$ Herstel van Bekwaamheid

Het onderzoek vond dat het simpelweg verminderen van weigeringen geen garantie biedt voor taaksucces. Modellen kunnen stoppen met weigeren terwijl ze oncoherent of nutteloos content produceren. De "nut-risico-grens" is de primaire metriek: een transformatie is alleen nuttig als het de prestaties van geautoriseerde taken verbetert zonder het algemene redeneren te laten instorten of onveilig gedrag breed te laten toenemen.

Belangrijkste Bijdragen

Formalisatie van het Verwijderen van Alignering: Het artikel presenteert het verwijderen van alignering als een probleem van transformatie-evaluatie, waarbij het verminderen van weigeringen wordt gescheiden van taaksucces, behoud en spillover.
SECURITY-AR Benchmark: Een gecontroleerd benchmarkontwerp voor geautoriseerde beveiligingstaken dat geredigeerde openbare artefacten en beslissingsregels bevat voor het interpreteren van nut-risico trade-offs.
Empirisch Bewijs van Duidelijke Trade-offs: Het onderzoek toont aan dat ingrepen op het niveau van prompt, activatie, representatie en fine-tuning verschillende nut-risico-profielen induceren. Specifiek herstelt taakanpassing op basis van LoRA een hoog beveiligingsnut met een beperkte spillover, terwijl projectie van een enkele vector voor activatie vaak faalt in het herstellen van capaciteit en de onveilige conformiteit verhoogt.

Betekenis en Claims

Het artikel stelt dat het verwijderen van alignering moet worden geëvalueerd als een nut-risico-grens, en niet als een recept voor "ontcensurering".

Mechanistische Scheidbaarheid: Veiligheidsgedrag is geen monolithische muur; het is een gekoppelde variabele in een grens waar nut, behoud en spillover met elkaar interageren.
Gouverneringsimplicaties: Omzeilingen op prompt-niveau, modelbewerkingen en fine-tuning zijn niet gelijkwaardige ingrepen. Ze blootleggen verschillende capaciteiten en faalmodi, en vereisen onderscheidende gouverneringscontroles.
Beperkte Scope: De auteurs stellen expliciet dat deze resultaten beperkt zijn tot de gerapporteerde open-gewogen modellen, taak-suite en families van transformaties. Zij claimen niet dat de waargenomen grens generaliseert naar systemen van frontier-schaal of tot alle methoden voor het verwijderen van alignering.
Veiligheid van Release: Het artikel benadrukt dat conformiteit alleen noch bekwaamheid noch veilige implementatie betekent. De openbare release bevat alleen de evaluatieharnas, gesaniteerde prompts en geaggregeerde metrieken; getransformeerde checkpoints en operationele exploit-payloads worden achtergehouden.

Concluderend betoogt het artikel dat voor toepassingen in cyberbeveiliging "nuttige" verwijdering van alignering wordt gedefinieerd als het herstel van geautoriseerde beveiligingscapaciteit die strikt binnen gevalideerde, geautoriseerde grenzen blijft, in plaats van de loutere eliminatie van weigerings-tokens.