Technische Samenvatting: MEMBRANE

Probleemdefinitie

Ondanks vooruitgang in veiligheidsafstemming blijven Large Language Models (LLM's) en LLM-agenten kwetsbaar voor continu evoluerende jailbreak-aanvallen. Deze aanvallen zijn verschoven van eenvoudige promptmodificaties naar complexe, op feedback gebaseerde strategieën zoals iteratieve verfijning, persuasie-gebaseerd herschrijven en zelf-adapterende beleidsregels.

Bestaande verdedigingen kampen met twee primaire beperkingen:

1. Statische Verdedigingen: Traditionele veiligheidsklassificaties en gefinetunede modellen coderen veiligheid in vaste parameters, wat hun beslissingsgrenzen rigide maakt en moeilijk te herzien is na implementatie zonder kostbare hertraining.
2. Geheugen-gebaseerde Tekortkomingen: Hoewel geheugen-geaugmenteerde guardrails adaptief zijn, missen bestaande ontwerpen een "eenzijdige" vorm van veiligheidskennis. Ze leggen aanvalspatronen of weigeringsregels vast, maar missen gekoppelde condities voor het toestaan van onschuldige (benigne) queries die oppervlakkig lijken op aanvallen. Dit leidt tot twee gekoppelde faalmodi:
   • Breekbare Dekking: Verdedigingen blijven gebonden aan de specifieke oppervlaktevormen die al zijn opgeslagen.
   • Overmatige Weigering (Over-Refusal): Naarmate het geheugen groeit, wijzen guards steeds vaker onschuldige queries af die dezelfde oppervlaktekenmerken delen met opgeslagen aanvallen.

Methodologie: MEMBRANE

De auteurs stellen MEMBRANE voor, een externe guardrail gebouwd op een Contrastive Safety Memory (CSM). In tegen tegenstelling tot eerdere benaderingen, ontwikkelt MEMBRANE een kennisbank waar elke geheugencel expliciet de condities koppelt voor het blokkeren van een schadelijke query met de condities voor het toestaan van een oppervlakkig vergelijkbaar onschuldig verzoek.

Kerncomponenten

1. Contrastive Safety Memory (CSM):

   • Structuur: Elke cel ($m$) bestaat uit een Attack Profile ($P$), Decision Criteria ($D$) en een optionele Tool-Action Context ($T$) voor agent-veiligheid.
   • Attack Profile: Karakteriseert aanvallen op basis van strategie ($p_{strat}$), gevraagde actie ($p_{act}$) en schade-objectief ($p_{harm}$). Cruciaal is dat indexering gebaseerd is op de onderliggende aanvalsstrategie (bijv. overtuiging, rolinjectie) in plaats van op oppervlakte-onderwerpen, waardoor een enkele cel kan generaliseren over diverse topische varianten van hetzelfde mechanisme.
   • Decision Criteria: Een contrastief paar ($d_{unsafe}, d_{safe}$). $d_{unsafe}$ definieert de logische voldoendeheid voor het blokkeren van een query, terwijl $d_{safe}$ de onschuldige verzoeken schetst die toegestaan moeten worden om overmatige weigering te voorkomen.
   • Tool-Action Context: Voor agenten specificeert dit wanneer een actie veilig blijft ondanks het matchen van onveilige criteria, afgeleid van gekoppelde onschuldige interacties.

2. Gepaard Zelf-evolutie (Paired Self-Evolution):

   • MEMBRANE werkt de CSM bij via een ervaring-gestuurde loop. Elke interactie omvat een schadelijke query ($x_h$) en een onschuldig tegenhanger ($x_b$).
   • Op basis van het oordeel van de guard (Jailbroken, Over-refusal, of Correct), selecteert een Memory Planner een actie: CREATE (nieuw patroon), UPDATE (bestaande cel verfijnen), DELETE (misleidende cel verwijderen), of SKIP.
   • Een Memory Writer synthetiseert de inhoud van de contrastieve cel, waarbij wordt gewaarborgd dat de veilige zijde expliciet de onschuldige tegenhanger vastlegt. Een niet-LLM validator garandeert de structurele correctheid.

3. Inference Pipeline:

   • Fase 1 (Vector Retrieval): Haalt kandidaat-cellen op op basis van de vector-gelijkenis van geserialiseerde celvelden, waarbij prioriteit wordt gegeven aan een hoge recall van mechanisme-niveau kenmerken.
   • Fase 2 (Retrieval Critic): Een LLM-gebaseerde reranker filtert kandidaten en wijst oordelen toe van APPLIES, MAYBE, of DOES_NOT_APPLY om te waarborgen dat de opgehaalde strategie daadwerkelijk overeenkomt met de query, wat ruis vermindert.
   • Guard Beslissing: De uiteindelijke guard evalueert de query geconditioneerd op de gefilterde set cellen om een SAFE/UNSAFE beslissing te geven.

Belangrijkste Bijdragen

1. Contrastive Safety Memory (CSM): Een nieuwe geheugenrepresentatie die aanvalspatronen koppelt aan hun onschuldige tegenhangers, waardoor de "veilige zijde" van de veiligheidsgrens expliciet wordt gemaakt om overmatige weigering te onderdrukken.
2. Gepaarde Zelf-evolutie: Een ervaring-gestuurde leerregel die schadelijke en onschuldige interacties destilleert tot contrastieve cellen via create-, update- en delete-operaties, geïndexeerd door aanvalsstrategie in plaats van oppervlaktevorm.
3. Uitgebreide Evaluatie: Evaluatie over model-niveau (HarmBench) en agent-niveau (AgentHarm) veiligheidsbenchmarks, wat robuustheid aantoont tegen zes verschillende jailbreak-transformaties.

Experimentele Resultaten

De auteurs evalueerden MEMBRANE tegen state-of-the-art baselines (inclusief prompt-niveau guards, gefinetunede classificaties en geheugen-geaugmenteerde verdedigingen) op HarmBench en AgentHarm.

• Prestaties: MEMBRANE behaalde de hoogste F1-score op alle zes de jailbreak-aanvallen over beide benchmarks.
  • Op HarmBench reduceerde het de Attack Success Rates (ASR) tot bijna nul voor ReNeLLM en FlipAttack, met een significante F1-marge ten opzichte van de sterkste baseline.
  • Op AgentHarm behaalde MEMBRANE de hoogste F1 over alle methoden, waarbij de ASR daalde naar 0,9% op FlipAttack (tegenover 100% voor vanilla).
• Onschuldige Weigering (Benign Refusal): Een cruciale metriek voor bruikbaarheid. MEMBRANE handhaafde een onschuldige weigeringsgraad van 7–14% op AgentHarm. Dit is aanzienlijk lager dan geheugen-geaugmenteerde baselines (28–53%) en statische guards (73–85%), wat het vermogen aantoont om onschuldige queries te onderscheiden van aanvallen.
• Generalisatie & Robuustheid:
  • Cross-Attack Transfer: Cellen geïndexeerd op strategie behielden 87–88% van hun F1-prestaties wanneer ze werden overgedragen naar verschillende aanvallen die hetzelfde onderliggende mechanisme deelden.
  • Memory Poisoning: Onder 20% data-injectie ratio's (zowel "Safe-as-Unsafe" als "Unsafe-as-Safe" aanvallen), bleef MEMBRANE stabiel, met een ASR-drift van minder dan 1 punt en succesvolle filtering van vergiftigde cellen door de Retrieval Critic.
• Latentie: Hoewel het volledige systeem overhead met zich meebrengt, verminderde een "MEMBRANE lite" configuratie (het uitschakelen van de Retrieval Critic) de latentie tot ~2,3 seconden, terwijl de hoge F1-scores behouden bleven, waarmee het zware baselines zoals SmoothLLM overtrof.

Betekenis

Het artikel stelt dat de primaire fout van eerdere geheugen-gebaseerde verdedigingen het gebrek is aan een expliciet contrast tussen veilige en onveilige inputs. Door geheugen te structureren als contrastieve cellen geïndexeerd door aanvalsstrategie in plaats van oppervlakte-onderwerp, pakt MEMBRANE de gekoppelde problemen van breekbare dekking en overmatige weigering aan.

De auteurs beweren dat deze aanpak een enkele geheugencel in staat stelt om te generaliseren over topische varianten van hetzelfde aanvalsmechanisme, terwijl expliciet onschuldige queries worden gespaard die dezelfde oppervlaktekenmerken delen. De resultaten suggereren dat zelf-evoluerend, contrastief geheugen een inzetbare, adaptieve verdediging kan bieden die een hoge precisie handhaaft zonder de acceptatie van legitieme gebruikersverzoeken op te offeren, zelfs in het aangezicht van evoluerende adversariële strategieën en potentiële data-vergiftiging.