Technische Samenvatting: Retrieval-Augmented Defense (RAD)

Probleemstelling

Large Language Models (LLM's) blijven kwetsbaar voor jailbreak-aanvallen, waarbij kwaadwillende actoren de input aanpassen om schadelijke of onethische reacties uit te lokken. Bestaande verdedigingsmechanismen worden geconfronteerd met twee primaire uitdagingen:

1. Aanpasbaarheid: De snelle opkomst van diverse en evoluerende aanvalsstrategieën maakt het moeilijk voor verdedigingssystemen om te updaten zonder kostbare hertraining van het model.
2. Veiligheid-Bruikbaarheid Afweging (Safety-Utility Trade-off): Agressieve verdedigingsstrategieën leiden vaak tot hoge foutieve weigeringspercentages (het blokkeren van onschuldige queries), terwijl laconieke strategieën er niet in slagen schadelijke inhoud te blokkeren. Er is behoefte aan een mechanisme om deze afweging te controleren op basis van specifieke implementatievereisten en risicotoleranties.

Methodologie: Retrieval-Augmented Defense (RAD)

De auteurs stellen Retrieval-Augmented Defense (RAD) voor, een training-vrij framework dat jailbreak-pogingen detecteert met behulp van Retrieval-Augmented Generation (RAG) en ensemble-classificatie. In tegenstelling tot eerdere RAG-gebaseerde verdedigingen die de generatie van reacties verstoren, fungeert RAD als een op zichzelf staand detectiesysteem.

Kerncomponenten

De RAD-pipeline bestaat uit een offline databaseconstructiefase en vijf online verwerkingsstappen:

1. Database Constructie:

   • Een database wordt opgebouwd met paren van originele gebruikersqueries ($q_i$) en hun bijbehorende jailbreak-prompts ($x_i$).
   • Met behulp van een LLM leidt het systeem de onderliggende jailbreak-strategie ($\tilde{S}_i$) en extractie-instructie ($\tilde{G}_i$) af voor elke vermelding.
   • De jailbreak-prompt $x_i$ dient als de sleutel voor dense text embedding retrieval.

2. Online Detectie Pipeline:

   • Retrieve (Ophalen): Gegeven een nieuwe input-prompt $x$, haalt het systeem de top-$K$ meest gelijkaardige jailbreak-voorbeelden op uit de database met behulp van cosine similarity.
   • Rerank (Herschikken): De opgehaalde set wordt opnieuw gerangschikt om de relevantie van de afgeleide strategieën te waarborgen. Twee scoremethoden worden voorgesteld:
     • PMI Scoring: Gebruikt Pointwise Mutual Information om de associatie tussen de strategie en de input te meten.
     • Strategy Likelihood Scoring: Gebruikt de waarschijnlijkheid van de strategie gegeven de input.
     • Een "geen strategie"-element wordt toegevoegd om onschuldige queries af te handelen.
   • Extract (Extraheren): Voor elk hoogst gerangschikte strategie-instructiepaar extraheert een LLM een kandidaat-originele gebruikersquery ($\bar{q}_j$) uit de input-prompt, wat effectief een poging is om de aanvals-transformatie te inverteren.
   • Classify (Classificeren): Het systeem berekent de waarschijnlijkheid van schadelijkheid voor elke geëxtraheerde query ($P_j$) geconditioneerd op de query, de strategie en de originele input.
   • Vote (Stemmen): Individuele waarschijnlijkheden worden geaggregeerd via Majority Voting (gemiddelde) of Weighted Voting (gewogen door de gezamenlijke posterior waarschijnlijkheid) om een uiteindelijke schadelijkheidswaarschijnlijkheid $P(\text{harmful}|x)$ te produceren.

3. Besluitvorming en Controle:

   • De uiteindelijke waarschijnlijkheid wordt vergeleken met een instelbare drempelwaarde $\tau$. Als $P(\text{harmful}|x) \ge \tau$, geeft het systeem een harde weigering af; anders wordt de prompt doorgegeven aan het doel-LLM.
   • Het aanpassen van $\tau$ stelt gebruikers in staat om expliciet de balans tussen veiligheid (blokkeren van schadelijke prompts) en bruikbaarheid (behouden van onschuldige reacties) te controleren.

Belangrijkste Bijdragen

1. Training-Vrije Aanpasbaarheid: RAD maakt continue updates mogelijk door simpelweg nieuwe aanvalvoorbeelden aan de database toe te voegen. Dit stelt het systeem in staat om opkomende jailbreak-strategieën (bijv. nieuwe PAIR of PAP varianten) te bestrijden zonder de onderliggende modellen te hertrainen.
2. Robuuste Verdedigingsprestaties: RAD vermindert de effectiviteit van sterke jailbreak-aanvallen (inclusief PAP, PAIR en Template-aanvallen) aanzienlijk over meerdere doelmodellen (Qwen, GPT-4o, Llama), terwijl het lage foutieve weigeringspercentages behoudt op onschuldige queries.
3. Controleerbare Veiligheid-Bruikbaarheid Afweging: De auteurs introduceren een evaluatieschema gebaseerd op Operating Curves (Defense Score vs. False Refusal Rate Budget). RAD demonstreert een robuuste Pareto-front, waardoor gebruikers werkpunten kunnen selecteren die aansluiten bij de specifieke risicotoleranties van hun toepassing.
4. Behoud van Bruikbaarheid: Als een detectie-alleen systeem vermijdt RAD de prompt-modificaties die vereist zijn door andere verdedigingen (zoals Intention Analysis of Safety Context Retrieval), waardoor de prestaties van het doelmodel op algemene QA-taken (AlpacaEval 2.0, MMLU) behouden blijven.

Experimentele Resultaten

Experimenten werden uitgevoerd op de StrongREJECT benchmark en algemene QA-datasets:

• Aanval Mitigatie: RAD verlaagde de aanvalsscores op StrongREJECT aanzienlijk. Bijvoorbeeld, tegen de PAP-aanval op Qwen-2.5-14B-Instruct, verminderde RAD-Base-14B de aanvalsscore van 81.51 (zonder verdediging) naar 30.91. Tegen Template en DAN aanvallen behaalde RAD bijna nul aanvalsscores.
• Aanpasbaarheid: Wanneer nieuwe aanvalvoorbeelden (bijv. ReNeLLM, SATA) aan de database werden toegevoegd, verbeterde de prestatie van RAD tegen deze specifieke nieuwe aanvallen aanzienlijk zonder de prestaties op eerder geziene aanvallen te verslechteren (wat duidt op het voorkomen van catastrofale vergetelheid).
• Bruikbaarheid: RAD behield win-rates op AlpacaEval 2.0 en nauwkeurigheid op MMLU die bijna identiek waren aan de onverdedigde baseline, terwijl andere methoden (zoals Intention Analysis) voor substantiële degradatie in modelbruikbaarheid zorgden.
• Schaalbaarheid: Het systeem bleef stabiel en effectief, zelfs wanneer de database werd opgeschaald naar meer dan 500.000 voorbeelden.

Betekenis en Claims

Het artikel claimt dat RAD een praktische, schaalbare oplossing biedt voor LLM-veiligheid die de beperkingen van huidige verdedigingsmechanismen aanpakt. De primaire betekenis ligt in:

• Ontkoppeling van Verdediging en Training: Door gebruik te maken van een retrieval-gebaseerde aanpak, elimineert het de noodzaak voor dure hertrainingscycli om zich aan nieuwe dreigingen aan te passen.
• Expliciete Controle: Het biedt een mechanisme voor operators om de veiligheid-bruikbaarheid afweging af te stemmen, in het besef dat verschillende implementatiescenario's verschillende niveaus van striktheid vereisen.
• Generalisatie: Het demonstreert sterke generalisatie binnen aanvalsfamilies (bijv. verdedigen tegen PAIR-5 met enkel PAIR-1 voorbeelden) en over diverse doelmodellen heen.

De auteurs merken beperkingen op, waaronder de huidige focus op tekst-only inputs (nog niet uitgebreid naar multi-modale settings) en de afhankelijkheid van de specifieke definities van schadelijkheid die in de StrongREJECT benchmark worden gevonden. Ze benadrukken dat het systeem uitsluitend is ontworpen voor detectie en dat de database van aanvalvoorbeelden beperkt is tot geautoriseerde onderzoekers om misbruik te voorkomen.