SecureBreak -- A dataset towards safe and secure models

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds meer ingezet in kritieke toepassingen, maar hun veiligheid is een groot zorgpunt. Hoewel bestaande modellen zijn uitgerust met interne veiligheidsmechanismen (alignment) om schadelijke inhoud te blokkeren, blijken deze mechanismen niet onfeilbaar. Aanvallers kunnen deze beveiliging omzeilen via technieken zoals "jailbreaking" (het omzeilen van veiligheidsfilters via specifieke prompts) en prompt-injectie.

Bestaande veiligheidsdatasets en benchmarks (zoals AdvBench of JailbreakBench) richten zich vaak op het beoordelen van de input (de vraag) of gebruiken geautomatiseerde evaluatoren. Dit leidt tot twee belangrijke tekortkomingen:

1. Ze vangen niet altijd de nuance van schadelijke output die pas zichtbaar wordt in langere contexten of door subtiele interacties.
2. Er ontbreekt een robuuste, menselijk geannoteerde dataset specifiek voor het classificeren van de respons van het model, wat essentieel is voor het bouwen van een "laatste verdedigingslinie" (post-generation filtering).

Methodologie

De auteurs introduceren SecureBreak, een veiligheidsgerichte dataset ontworpen om de detectie van schadelijke LLM-outputs te verbeteren. De aanpak omvat de volgende stappen:

1. Dataverzameling:

   • De dataset is gebaseerd op de JailbreakBench-dataset, die 100 unieke misbruiksgedragingen bevat verdeeld over 10 categorieën (bijv. desinformatie, fysieke schade, fraude, expertadvies).
   • Verschillende LLM-families en -groottes (van 0.5B tot 8B parameters, waaronder Llama 3.2, Qwen2.5, Gemma en Mistral) werden gebruikt om antwoorden te genereren op deze schadelijke vragen.
   • Er werden zowel basisantwoorden als antwoorden gegenereerd via "XBreaking" (een jailbreaking-techniek) verzameld.

2. Manuele Annotatie:

   • In tegenstelling tot veel andere benchmarks die op geautomatiseerde evaluatie vertrouwen, is SecureBreak handmatig geannoteerd door twee deskundige annotatoren.
   • Conservatieve benadering: Labels werden conservatief toegewezen. Bij twijfel of kleine meningsverschillen werd prioriteit gegeven aan veiligheid (d.w.z. een antwoord werd als "onveilig" gemarkeerd als er enige twijfel was).
   • Kwaliteitscontrole: De onderlinge overeenstemming tussen annotatoren werd gemeten met Cohens Kappa, wat een gemiddelde van 0,85 opleverde, wat wijst op een zeer hoge betrouwbaarheid.

3. Dataset Specificaties:

   • De dataset bevat 3.059 samples.
   • Verdeling: 60,5% veilig (label 0) en 39,5% onveilig (label 1).
   • De dataset bevat velden zoals de vraag, het gedrag, de categorie, het gegenereerde antwoord, de gebruikte LLM en het menselijke label.

4. Experimentele Opstelling:

   • Verschillende LLMs (Llama-3.1-8B, Mistral-7B-v0.3, Selene-1-Mini) werden getest in een zero-shot setting (zonder fine-tuning) en daarna gefine-tuned met SecureBreak.
   • Fine-tuning: Gebruikmakend van Low-Rank Adaptation (LoRA) met een rank van 8 en een schalingsfactor van 16.
   • Seq2Seq Model: Een kleiner model (Qwen 2.5-0.5B) werd getraind als een Seq2Seq-classificator om de effectiviteit van kleine modellen als "rechter" (judge) te testen.

Belangrijkste Bijdragen

• SecureBreak Dataset: Een hoogwaardige, menselijk geannoteerde dataset die zich richt op respons-niveau classificatie in plaats van alleen prompt-analyse. Dit maakt het mogelijk om subtiele veiligheidsfouten te detecteren die door de interne alignment van het model zijn gemist.
• Tweeledige Toepassing: De dataset dient niet alleen voor het bouwen van post-generatie filters (een externe "laatste verdedigingslinie"), maar ook als supervisory signaal om de interne alignment van LLMs te evalueren en te verbeteren.
• Robuustheid: Door de conservatieve annotatiestrategie is de dataset zeer betrouwbaar voor het trainen van "Judge LLMs" die schadelijke inhoud moeten blokkeren.

Resultaten

De experimentele evaluatie toont de volgende resultaten:

1. Prestaties zonder Fine-tuning:

   • Basismodellen presteerden slecht in het classificeren van veilig vs. onveilig (accuracies rond de 57-63%). Dit bevestigt dat basismodellen geen scherpe veiligheidsbeslissingsgrenzen hebben voor complexe jailbreak-scenario's.

2. Prestaties met Fine-tuning (QLoRA):

   • Na fine-tuning op SecureBreak steeg de prestatie aanzienlijk:
     • Mistral-7B-v0.3: van 62,84% naar 83,24%.
     • Llama-3.1-8B: van 61,89% naar 81,22%.
   • De verbetering was consistent over alle risicocategorieën, met name bij "Expert Advice" en "Government Decision-Making", waar basismodellen vaak moeite hadden om nuttigheid te onderscheiden van gevaarlijk advies.

3. Kleine Modellen als Judge:

   • Een opmerkelijke bevinding was dat een klein Seq2Seq-model (Qwen 2.5-0.5B), gefine-tuned op SecureBreak, een accurate van 90,14% bereikte.
   • Dit model presteerde beter dan veel grotere modellen in het detecteren van malware en fysieke schade, wat aantoont dat een goed samengestelde dataset kleine modellen zeer effectief kan maken als veiligheidsfilter, wat kostenefficiënt is voor lokale implementaties.

4. Categorie-analyse:

   • Modellen blijken relatief goed in het blokkeren van fysiek geweld, maar zeer kwetsbaar voor "Expert Advice" (medisch, juridisch, financieel advies). SecureBreak helpt deze specifieke zwaktes op te vangen.

Betekenis en Conclusie

SecureBreak biedt een cruciale bijdrage aan de LLM-beveiliging door een brug te slaan tussen interne modelalignment en externe verificatie.

• Laatste Verdedigingslinie: Het stelt ontwikkelaars in staat om onafhankelijke filters te bouwen die schadelijke output blokkeren voordat deze de gebruiker bereikt, zelfs als het interne model faalt.
• Verbetering van Alignment: De dataset fungeert als een waardevol hulpmiddel om de kwaliteit van de huidige alignment te meten en te sturen waar verdere training nodig is.
• Toekomstperspectief: De resultaten suggereren dat zorgvuldig verzamelde, menselijk geannoteerde datasets essentieel zijn voor het creëren van robuuste, veilige AI-systemen. De auteurs pleiten voor het gebruik van dergelijke datasets in de optimalisatiecyclus van LLMs om veiligheidsprocedures continu te verbeteren.

Kortom, SecureBreak is een essentiële tool voor het ontwikkelen van AI-oplossingen die niet alleen reageren op prompts, maar ook de kwaliteit en veiligheid van de gegenereerde antwoorden garanderen.