GAS-Leak-LLM: Genetic Algorithm-Based Suffix Optimization for Black-Box LLM Jailbreaking

Technische Samenvatting: GAS-Leak-LLM

Probleemstelling
Large Language Models (LLMs) worden steeds vaker ingezet in kritieke domeinen, maar blijven kwetsbaar voor adversariële manipulatie, specif kind de "jailbreaking"-technieken die veiligheidsalignments omzeilen om schadelijke of beleidsoverschrijdende outputs te genereren. Hoewel commerciële systemen gebruikmaken van meerlaagse contentmoderatie en alignmentstrategieën (zoals Supervised Fine-Tuning en RLHF), wijst recent onderzoek uit dat deze waarborgen niet ondoordringbaar zijn. Traditionele adversariële aanvallen vertrouwen vaak op white-box toegang (waarbij kennis van modelparameters vereist is) of handmatige prompt engineering, wat arbeidsintensief is en een gebrek aan schaalbaarheid vertoont. Er is behoefte aan systematische, geautomatiseerde methoden om de robuustheid van modellen te evalueren onder realistische black-box dreigmodellen waarbij aanvallers geen toegang hebben tot de interne architectuur of gradiënten.

Methodologie: GAS-Leak-LLM
De auteurs stellen GAS-Leak-LLM voor, een nieuw framework dat een Genetisch Algoritme (GA) gebruikt om automatisch universele adversariële suffixen te genereren en te optimaliseren. De aanval opereert strikt in een black-box setting, waarbij uitsluitend wordt vertrouwd op input-output interacties.

1. Dreigmodel: De tegenstander beoogt een universele suffix te construeren die, wanneer toegevoegd aan een diverse set schadelijke prompts, de doel-LLM consistent induceert om niet-gealigneerde outputs te genereren. Het model wordt behandeld als een black box; alleen query-responsen zijn toegankelijk.
2. Initialisatie: Het GA begint met een populatie van kandidaat-suffixen ($M=10$). Deze worden gegenereerd vanuit twee verschillende bronnen:
   • Betekenisloze Suffixen: Willekeurig gesamplede tokens uit het vocabulaire van het model ($D_{s1}$), inclus� including non-printing karakters.
   • Betekenisvolle Suffixen: Coherente Engelse zinnen gegenereerd door woorden te samplen uit een hoogfrequente vocabulaire ($D_{s2}$) en een LLM te gebruiken om grammaticaal correcte zinnen te construeren.
3. Evolutionair Proces: Het framework iterereert door generaties (tot 100) met behulp van standaard GA-operatoren:
   • Evaluatie: Elke kandidaat-suffix wordt toegevoegd aan een subset van schadelijke prompts ($n=20$ gesampled uit een dataset van 520). De respons van de LLM wordt geanalyseerd tegenover een doel-schadelijke respons ($t_i$) en een canonieke afwijzingsrespons ($t_r$).
   • Fitnessfunctie: De fitnessscore wordt berekend op basis van semantische gelijkenis. Het maximaliseert de gelijkenis met de doel-schadelijke respons terwijl het de gelijkenis met de afwijzingsrespons minimaliseert. Een score $\geq 0.6$ duidt op een succesvolle jailbreak.
   • Selectie: Tournament selection wordt toegepast om ouder-suffixen te kiezen. De auteurs experimenteren met tournament groottes ($k=2$ en $k=3$).
   • Crossover: One-point crossover combineert segmenten van hoog-fitness ouder-suffixen om nakomelingen te creëren.
   • Mutatie: Een random-resetting mutatiestrategie vervangt een enkel token in de nakomeling met een nieuw token uit het vocabulaire om diversiteit te behouden.
   • Vervanging: Een elitism-strategie behoudt de best presterende individuen voor de volgende generatie.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

1. Geautomatiseerde Suffixgeneratie: De ontwikkeling van een methodologie om automatisch universele adversariële suffixen te genereren en te optimaliseren met behulp van een Genetisch Algoritme zonder dat interne modelgegevens vereist zijn.
2. Uitgebreide Evaluatie: Een rigoureuze evaluatie van de gegenereerde suffixen onder variërende condities, inclusief betekenisvolle versus betekenisloze prompts, truncatie versus niet-truncatie, cross-model transferability, en verschillende tournament selection groottes.
3. Vergelijkende Analyse: Een prestatievergelijking van de gegenereerde universele suffixen over geselecteerde dreigmodellen (Qwen2.5-3B en Llama-3.2-3B-Instruct) om hun effectiviteit en transferability te beoordelen.

Experimentele Resultaten
De studie werd uitgevoerd op twee open-source modellen: Qwen2.5-3B en Llama-3.2-3B-Instruct.

• Baseline Kwetsbaarheid: Significante verschillen werden waargenomen in de baseline kwetsbaarheid. Qwen2.5-3B vertoonde een hoge baseline jailbreak rate (92.88%) zelfs zonder suffixen, terwijl Llama-3.2-3B-Instruct sterke weerstand toonde (5.96%). Dit suggereert dat instruction fine-tuning een cruciale rol speelt bij het versterken van de veiligheidsalignment.
• Effectiviteit van Suffixen:
  • Llama-3.2-3B-Instruct: De aanval was effectief, waarbij de jailbreak rate steeg van 5.96% naar 17.76% met behulp van zelfgegenereerde suffixen.
  • Betekenisvol vs. Betekenisloos: Voor het robuustere Llama-model presteerden betekenisvolle suffixen (19.60% succes) significant beter dan betekenisloze suffixen (11.96%). Dit geeft aan dat linguïstische coherentie en contextuele relevantie de aanvalssucces op gealigneerde modellen versterken.
  • Qwen2.5-3B: Vanwege de hoge baseline kwetsbaarheid bood de toevoeging van suffixen weinig verbetering en in sommige gevallen zelfs een lichte vermindering van de succesratio, wat waarschijnlijk fungeerde als ruis.
• Cross-Model Transfer: Suffixen gegenereerd voor het ene model vertoonden gedeeltelijke transferability naar het andere, hoewel model-specifieke suffixen effectiever bleven.
• Suffix Lengte: Het trunceren van suffixen verminderde de effectiviteit van de aanval aanzienlijk op het robuuste Llama-model (dalend van 18.36% naar 13.2%), terwijl het kwetsbare Qwen-model grotendeels ongevoelig bleef voor truncatie.
• Selectiedruk: Het variëren van de tournament grootte ($k=2$ vs. $k=3$) leverde slechts marginale verschillen in prestatie op.

Significantie en Claims
Het artikel claimt dat GAS-Leak-LLM een systematisch en reproduceerbaar framework biedt om resterende kwetsbaarheden in gealigneerde LLM's bloot te leggen. De empirische bevindingen bieden drie belangrijke inzichten:

1. Instruction Fine-Tuning: Bevestigd als een kritieke factor in het versterken van model-alignment en het verminderen van baseline susceptibiliteit.
2. Semantische Coherentie: Vastgesteld dat semantisch betekenisvolle adversariële suffixen substantieel effectiever zijn dan betekenisloze suffixen in het induceren van jailbreak gedrag, wat suggereert dat veiligheidsmechanismen gemakkelijker kunnen worden omzeild door linguïstisch coherente inputs.
3. Suffix Lengte: Onthuld dat suffix lengte een kritieke determinant is van de effectiviteit van de aanval, met name voor robuuste modellen zoals die uit de Llama-familie, waarbij langere suffixen een sterkere gedragsmatige invloed uitoefenen.

De auteurs concluderen dat deze bevindingen het begrip van LLM-veiligheid vergroten en bruikbare inzichten bieden voor het ontwerpen van meer veerkrachtige alignmentmechanismen. Het werk benadrukt dat zelfs met geavanceerde waarborgen, modellen vatbaar blijven voor geautomatiseerde, evolutionaire adversariële aanvallen, vooral wanneer de aanvallen gebruikmaken van semantische coherentie.