Technische Samenvatting: Een Omvattende Veiligheidsanalyse van Jailbreak-Resilientie in GPT- en DeepSeek-modellen

Probleemstelling

De snelle proliferatie van Large Language Models (LLM's) heeft de veiligheidszorgen rondom "jailbreak"-aanvallen versterkt, waarbij adversariële invoer wordt ontworpen om uitlijningsbeveiligingen te omzeilen en onveilige inhoud op te roepen. Hoewel propriëtaire modellen zoals GPT-4 uitgebreid zijn geëvalueerd, blijft de robuustheid van opkomende open-source systemen, specifiek de DeepSeek-familie (bijvoorbeeld DeepSeek-R1), onvoldoende onderzocht. Ondanks hun groeiende adoptie in real-world toepassingen, ontbreekt er een kritische vergelijkende analyse van hoe open-source modellen zoals DeepSeek adversariële invoer hanteren in vergelijking met gevestigde gesloten-bron tegenhangers zoals GPT-3.5 en GPT-4. Deze kloof is significant omdat open-source modellen snel aan populariteit winnen, terwijl hun veiligheidsuitlijningsmechanismen en generalisatievermogen onder aanval niet goed begrepen worden.

Methodologie

De auteurs voerden een grootschalige, systematische evaluatie uit van jailbreak-resilientie met behulp van de HarmBench-benchmark. De studie vergeleek de DeepSeek-modelfamilie (gedistilleerde varianten variërend van 1,5 miljard tot 32 miljard parameters) met GPT-reeksmodellen (GPT-3.5-Turbo en GPT-4-varianten, inclusief de 0613- en 1106-releases).

Evaluatiekader

• Dataset: De studie gebruikte 510 schadelijke gedragingen uit HarmBench, georganiseerd in vier categorieën: standaard, auteursrecht, contextueel en multimodaal.
• Aanvalstaxonomie: De evaluatie bestreek zeven representatieve aanvalsstrategieën over twee bedreigingsmodellen:
  • Black-box-aanvallen: Contextgebaseerd (bijvoorbeeld HumanJailbreak), Prompt-herformulering (bijvoorbeeld GCG-T, ArtPrompt) en LLM-gebaseerd (bijvoorbeeld PAIR, TAP-T, PAP, ZeroShot).
  • White-box-aanvallen (alleen DeepSeek): Op gradiënten gebaseerd (GCG, AutoDan, TAP) en op logit's gebaseerd (H-CoT).
• Maten: De primaire maat was de Attack Success Rate (ASR), berekend met classifier-gebaseerde evaluatieprotocollen (Llama-2-13B-Chat voor niet-auteursrechtelijke gedragingen en op hashing gebaseerde classifiers voor auteursrechtelijke gedragingen) om te bepalen of een modeloutput een succesvolle jailbreak voorstelde.
• Basislijn: Een Direct Request (DR)-instelling diende als basislijn voor vergelijking om de relatieve toename in kwetsbaarheid veroorzaakt door specifieke aanvallen te meten.

Belangrijkste Bijdragen

1. Eerste Omvattende DeepSeek-evaluatie: Dit werk presenteert het eerste systematische onderzoek naar jailbreak-robustheid in de DeepSeek-modelfamilie, waarbij het direct wordt gebenchmarkt tegen GPT-reeksmodellen onder gestandaardiseerde omstandigheden.
2. Gedetailleerde Vergelijkende Analyse: De auteurs maakten gebruik van functionele en semantische categorisaties om uitlijningsgedrag te beoordelen, verdergaand dan aggregatiescores om prestaties te analyseren over specifieke gedragsdomeinen (bijvoorbeeld desinformatie, cybercriminaliteit, chemische veiligheid).
3. Schaling versus Robuustheid-analyse: De studie onderzoekt hoe modelschaal kwetsbaarheid beïnvloedt, door de DeepSeek-varianten van 1,5 miljard tot 32 miljard te vergelijken om trends in veiligheidsdegradatie na te gaan naarmate het aantal parameters toeneemt.
4. Aanvalsspecifiek Resilientieprofiel: Het paper onthult distincte patronen in hoe verschillende modellen specifieke aanvalsvectoren weerstaan, waarbij blijkt dat resilientie niet uniform is over alle adversariële strategieën.

Belangrijkste Resultaten

Algemene Prestaties en Schaling

• GPT-superioriteit: GPT-4 en GPT-4 Turbo vertoonden de sterkste en meest consistente robuustheid over alle categorieën, met aanzienlijk lagere ASR's dan DeepSeek-modellen.
• DeepSeek-schaling-gevoeligheid: In tegenstelling tot de aanname dat grotere modellen van nature veiliger zijn, vertoonden DeepSeek-modellen toenemende vatbaarheid naarmate de schaal groeide. Bijvoorbeeld, onder de GCG-aanval steeg de ASR voor DeepSeek van 33,44% (1,5 miljard) naar 55,31% (32 miljard). Evenzo zagen H-CoT-aanvallen een bijna monotoon stijgende succesratio met de modelgrootte.
• Aanvalsvectorgevoeligheid:
  • DeepSeek: Vertoonde selectieve weerstand tegen op optimalisatie gebaseerde aanvallen (zoals TAP-T), maar was aanzienlijk kwetsbaarder voor prompt-gebaseerde en door mensen ontworpen exploits (bijvoorbeeld ZeroShot-aanvallen resulteerden in een ASR van ongeveer 77% voor DeepSeek versus ongeveer 19% voor GPT-4).
  • GPT: Hoewel over het algemeen robuust, bleken GPT-modellen gevoelig voor fijnmazige token-perturbaties (TAP-T) en taalkundig vermomde prompts, hoewel ze lagere algehele faalpercentages behielden.

Domeinspecifieke Bevindingen

• Standaard en Contextuele Gedragingen: DeepSeek-modellen vertoonden een hogere kwetsbaarheid bij het genereren van onveilige outputs voor standaard en contextuele schadelijke gedragingen in vergelijking met GPT.
• Auteursrecht: Er werd een interessante omkering waargenomen in het domein van auteursrecht, waarbij GPT-4-modellen hogere schendingspercentages vertoonden dan DeepSeek, dat voor grotere varianten een ASR van bijna nul behaalde.
• Hoogrisicodomeinen: In domeinen zoals desinformatie, cybercriminaliteit en illegale activiteiten vertoonde DeepSeek aanzienlijk hogere ASR's (bijvoorbeeld 0,6422 voor desinformatie versus ongeveer 0,2 voor GPT), wat wijst op zwakkere veiligheidsuitlijning bij sociaal gevoelige onderwerpen. Omgekeerd voorkwamen DeepSeek-varianten in chemische en biologische domeinen succesvol jailbreaks waar GPT-modellen enige kwetsbaarheid vertoonden.

Gedragsconsistentie

Een gedetailleerde analyse onthulde dat DeepSeek vaak faalt om veiligheidsbeperkingen consistent toe te passen over adversariële prompts, wat leidt tot ongelijke weigeringsgedragingen. Daarentegen vertoonden GPT-modellen consistentere weigeringsmechanismen over diverse invoer.

Betekenis en Claims

Het paper beweert dat de bevindingen een inherent compromis tussen model-efficiëntie/capaciteit en uitlijningsgeneralisatie benadrukken. De auteurs betogen dat:

1. Alleen Schaling Onvoldoende is: Het vergroten van modelparameters garandeert geen verbeterde veiligheid; in feite kunnen grotere modellen, zonder proportionele schaling van uitlijningsmechanismen, kwetsbaarder worden voor specifieke adversariële strategieën.
2. Uitlijningsvolwassenheid Maakt Uit: De superieure prestaties van GPT-modellen worden toegeschreven aan sterkere veiligheidsoptimalisatie en Reinforcement Learning from Human Feedback (RLHF), terwijl open-source modellen zoals DeepSeek mogelijk vertrouwen op minder uitgebreide veiligheidsversterking, waardoor ze vatbaar zijn voor geavanceerde prompt-engineering.
3. Behoefte aan Gerichte Tuning: De resultaten onderstrepen de noodzaak van gerichte veiligheidsaanpassing en robuuste uitlijningsstrategieën om de veilige implementatie van open-source LLM's te waarborgen. De auteurs suggereren dat toekomstige verdedigingen moeten evolueren naar adaptieve, schaalbare uitlijningskaders die zowel propriëtaire als open-source systemen kunnen beveiligen tegen zich ontwikkelende jailbreak-technieken.

De studie concludeert dat, hoewel DeepSeek sterke redeneercapaciteiten biedt, de veiligheidsuitlijning verdere verfijning vereist om de consistentie en robuustheid van toonaangevende propriëtaire modellen te evenaren, met name tegen door mensen ontworpen en prompt-gebaseerde adversariële aanvallen.