RECAP: A Resource-Efficient Method for Adversarial Prompting in Large Language Models

Technische Samenvatting van RECAP: Een Resource-Efficiënte Methode voor Adversariële Prompting in Large Language Models

Probleemstelling

De toenemende inzet van Large Language Models (LLM's) heeft significante beveiligingskwetsbaarheden blootgelegd, specifelijk de vatbaarheid van gealigneerde modellen voor "jailbreaking" via adversariële prompting. Hoewel geautomatiseerde methoden zoals Greedy Coordinate Gradient (GCG), Progressive Ensemble Zip (PEZ) en Gradient-Based Distributional Attacks (GBDA) hebben aangetoond in staat te zijn om adversariële suffixen te genereren die veiligheidsbarrières omzeilen, kampen zij met kritieke beperkingen:

1. Resource-intensiteit: Methoden zoals GCG bieden hoge succespercentages, maar vereisen aanzienlijke computationele middelen en trainingstijd, wat ze onpraktisch maakt voor organisaties met beperkte budgetten.
2. Inconsistentie: De succespercentages variëren aanzienlijk afhankelijk van de promptcategorie (bijv. haatzaaiende taal versus narcotica), wat suggereert dat er geen enkel algoritme universeel optimaal is.
3. Black-Box Onbereikbaarheid: Bestaande methoden voor adversariële tests vereisen vaak toegang tot interne modeltoestanden (logits en ruwe outputs) om gradiënten te berekenen. Dit maakt ze ineffectief voor het evalueren van gehoste, private of closed-source LLM's (bijv. Gemini, propriëtaire API's) waar dergelijke toegang beperkt is.

Methodologie

Het artikel introduceert RECAP, een resource-efficiënt framework dat principes van Retrieval-Augmented Generation (RAG) gebruikt om de noodzaak van real-time adversariële training te omzeilen. In plaats van nieuwe adversariële tokens te genereren via gradiëntafdaling voor elke query, haalt RECAP vooraf berekende, succesvolle adversariële voorbeelden op uit een gestructureerde database.

De methodologie verloopt in drie fasen:

1. Dataset Curatie en Classificatie:

   • Een dataset van 1.000 schadelijke prompts werd gecureerd en geclassificeerd in zeven intentie-categorieën: Haat, Seksuele Inhoud, Geweld en Criminaliteit, Sociaal-Politiek, Gereguleerde Middelen, Suïcide/Zelfbeschadiging en Overige.
   • Classificatie werd uitgevoerd met behulp van een prompt-engineered Vicuna-7B model.
   • Elke prompt werd verwerkt door drie adversariële algoritmen (PEZ, GBDA en GCG) met behulp van een Llama 3 8B model.
   • Outputs werden geëvalueerd met de HarmBench Classifier om te bepalen of de adversariële prompt een schadelijke respons heeft opgeroepen.

2. Hiërarchische Retrieval Database Constructie:

   • Een gestructureerde database werd samengesteld met de originele prompts, de bijbehorende adversariële suffixen (gegenereerd door PEZ, GBDA en GCG) en succeslabels.
   • Filtering: Alleen rijen met ten minste één succesvolle aanval werden behouden, waardoor de dataset werd gereduceerd van 780 naar 226 effectieve voorbeelden.
   • Hiërarchie: Voor GCG, dat 13 token-variaties per prompt genereert, werd de eerste succesvolle variatie opgeslagen.
   • Ranking: De database organiseert adversariële voorbeelden hiërarchisch. Voor elke intentie-categorie geeft het systeem prioriteit aan het algoritme met het historisch hoogste succespercentage voor die specifieke categorie (bijv. GCG-tokens krijgen prioriteit voor prompts over seksueel geweld).

3. Inference Pipeline:

   • Encoding: Nieuwe gebruikersprompts worden gecodeerd in dichte vectorrepresentaties met behulp van het all-MiniLM-L6-v2 SentenceTransformer model.
   • Similarity Search: De gecodeerde query wordt door een FAISS (Facebook AI Similarity Search) index gestuurd om de meest semantisch gelijkaardige prompts uit de database op te halen.
   • Selectie: Het systeem haalt de best passende prompt op en selecteert de bijbehorende adversariële suffix op basis van de vooraf vastgestelde hiërarchie (waarbij prioriteit wordt gegeven aan het meest succesvolle algoritme voor die intentie).
   • Executie: De geselecteerde adversariële suffix wordt aan de originele gebruikersquery toegevoegd en naar de doel-LLM verzonden. Dit proces vereist geen gradiëntberekening of modeltraining tijdens de inference.

Belangrijkste Bijdragen

• Resource-efficiëntie: De methode elimineert de noodzaak voor tijdrovende training en gradiëntberekeningen tijdens de inference, wat de computationele overhead aanzienlijk vermindert.
• Black-Box Compatibiliteit: Door te vertrouwen op retrieval in plaats van interne modeltoestanden (logits), stelt RECAP security testing mogelijk op closed-source en gehoste modellen waar traditionele gradiënt-gebaseerde aanvallen onmogelijk zijn.
• Categorie-bewuste Optimalisatie: De aanpak maakt gebruik van de correlatie tussen prompt-intentie en het meest effectieve aanvalsalgoritme, door een hiërarchische retrieval-strategie te gebruiken om de kans op succes te maximaliseren zonder hertraining.
• Transfereerbaarheid: De gegenereerde en opgeslagen adversariële tokens bleken effectief te zijn over verschillende modelarchitecturen heen (bijv. Vicuna, Phi), ondanks dat ze afkomstig waren van een Llama 3 8B trainingsset.

Experimentele Resultaten

De methode werd geëvalueerd op 145 verschillende prompts met behulp van een Llama 3 8B model en vergeleken met PEZ, GBDA en GCG.

• Succespercentages (Average Success Rate - ASR):

  • GCG: 59%
  • PEZ: 39%
  • GBDA: 35%
  • RECAP: 33%
  • Noot: De auteur schrijft het iets lagere ASR toe aan de huidige beperkte omvang van de retrieval database, met de verwachting dat dit zal verbeteren naarmate de database groeit.

• Efficiëntie (Tijd om 20 Prompts te Verwerken):

  • GCG (Brute-Force Transfer): ~6,3 minuten
  • PEZ: 7,3 minuten
  • GBDA: 7,1 minuten
  • RECAP: 4 minuten
  • Noot: Standaard GCG-training duurde ongeveer 8 uur voor dezelfde batch, terwijl RECAP slechts 4 minuten vereiste.

• Black-Box Testing:

  • RECAP werd getest op de Gemini API (met uitgeschakelde harm filters). Hoewel de succespercentages lager waren (4–10%) vanwege de superieure fine-tuning en de grotere parameter-schaal van het model, toonde het experiment aan dat de methode toepasbaar is waar andere algoritmen volledig falen door het gebrek aan toegang tot logits.

Significantie en Claims

Het artikel positioneert RECAP als een praktisch framework voor "penetratietesten" van AI-veiligheid, met name voor organisaties met beperkte computationele middelen. De primaire significantie ligt in:

1. Democratisering van Security Testing: Het maakt adversariële evaluatie toegankelijk voor kleinere entiteiten die de GPU-kosten van training-gebaseerde aanvallen zoals GCG niet kunnen dragen.
2. Overbruggen van de Black-Box Kloof: Het biedt een levensvatbaar mechanisme om de robuustheid van propriëtaire, closed-source LLM's te beoordelen zonder dat interne modeltoegang vereist is.
3. Schaalbaarheid: De auteurs beweren dat naarmate de retrieval database groeit, het succespercentage een logistiek groeimodel zal volgen, wat potentieel de methode in staat stelt om traditionele training-gebaseerde benaderingen te overtreffen terwijl het minimale resourcegebruik behoudt.

Het artikel concludeert door de dual-use aard van het instrument te erkennen, waarbij de nadruk ligt op het beoogde gebruik voor het identificeren van kwetsbaarheden om model-guardrails te versterken, in plaats van voor het genereren van kwaadaardige inhoud. Toekomstig werk richt zich op het uitbreiden van de RAG-database en het verfijnen van de integratie van de retrieved tokens om de training-initialisatie voor andere algoritmen verder te optimaliseren.