TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning

1. Probleemdefinitie

Het paper adresseert de kritieke kwetsbaarheid van Large Language Models (LLM's) voor decompositional jailbreaks. In tegenstelling tot traditionele aanvallen die proberen veiligheidsfilters binnen één prompt te omzeilen, fragmenteren decompositional aanvallen een kwaadaardig doel (bijvoorbeeld "hoe maak je een bom") in een reeks individueel onschadelijke, semantisch losstaande sub-vragen (bijvoorbeeld "eigenschappen van explosieven", "chemische reacties").

Belangrijkste Uitdagingen:

• Stateless Beperkingen: Bestaande verdedigingen (bijvoorbeeld standaard guardrails) evalueren prompts geïsoleerd. Omdat individuele fragmenten veilig lijken, falen deze verdedigingen om de cumulatieve kwaadaardige intentie te detecteren.
• Niet-traceerbaar Verkeer: In real-world implementaties kunnen aanvragers fragmenten verdelen over meerdere anonieme sessies, IP-adressen of gebruikersaccounts. Verdedigingen die vertrouwen op gebruikersmetadata (sessie-ID's, IP's) om conversatiegeschiedenis te traceren, worden hierdoor eenvoudig omzeild.
• Semantische Kloof: Fragmenten van dezelfde kwaadaardige intentie delen vaak verwaarloosbare semantische gelijkenis (bijvoorbeeld "bedrading" versus "kunstmest"), waardoor ze moeilijk te clusteren zijn met standaard embedding-modellen.
• Operationele Overhead: Bestaande stateful oplossingen vertrouwen vaak op zware generatieve modellen voor real-time contextanalyse, wat prohibitieve latentie en computatiekosten introduceert die ongeschikt zijn voor productieomgevingen met hoge doorvoer.

2. Methodologie: TwinGate

TwinGate is een stateful, dual-encoder verdedigingsframework dat is ontworpen om te opereren zonder gebruikersmetadata, puur leunend op semantische analyse van een continue, niet-traceerbare request-stroom.

A. Core Architectuur

Het systeem maakt gebruik van twee parallelle encoders en een globale vectorrepository:

1. ACL-Finetuned Encoder (Intent Vector): Gebruikt Asymmetric Contrastive Learning (ACL) om queries af te beelden in een latente ruimte die is georganiseerd op kwaadaardige intentie in plaats van oppervlakkige semantiek. Het clusterd semantisch uiteenlopende fragmenten van dezelfde aanval in strakke groepen.
2. Frozen Encoder (Semantic Vector): Een vooraf getrainde, bevroren encoder die letterlijke oppervlaktebetekenis vastlegt. Het fungeert als een conservatief anker om false positives op onschadelijke, repetitieve queries te voorkomen.
3. Global Vector Repository: Bewaart historische request-vectoren (zowel semantisch als intentie) voor stateful retrieval.

B. Asymmetric Contrastive Learning (ACL)

Standaard contrastive learning clusterd vergelijkbare items samen. ACL introduceert een asymmetrie:

• Positieve Aantrekking: Alle fragmenten afgeleid van een enkele kwaadaardige intentie (en de oorspronkelijke intentie zelf) worden naar elkaar toe getrokken in een dichte cluster.
• Negatieve Afstoting: Onschadelijke queries fungeren alleen als negatieve samples. Ze duwen kwaadaardige clusters weg, maar worden niet onderling geclusterd. Dit behoudt het natuurlijke manifold van onschadelijk verkeer terwijl kwaadaardige intentie wordt geïsoleerd.
• Trainingsstrategie: Het model wordt getraind op een massale dataset waar de oorspronkelijke kwaadaardige intentie dient als een "dicht anker" voor zijn gedeconstrueerde fragmenten, waardoor de semantische kloof wordt overbrugd.

C. Tweestaps Beslissingslogica

Om sensitiviteit en precisie in evenwicht te brengen, gebruikt TwinGate een cascaded beslissingsproces:

1. Stap 1: Semantische Equivalentie Erfenis (FPR Control):
   • Het systeem controleert eerst of de inkomende query semantisch identiek is aan een eerder beoordeelde request met behulp van de Frozen Encoder.
   • Als een match wordt gevonden (gelijkenis > $\tau_{sem}$), erft het systeem het eerdere besluit (bijvoorbeeld: als de vorige onschadelijke query was toegestaan, geldt dit ook voor deze). Dit omzeilt de ACL-check volledig, zodat hoge-frequentie onschadelijke queries geen valse alarmen veroorzaken.
2. Stap 2: Intentie-gebaseerde Aanvalsdetectie:
   • Als de query nieuw is, genereert de ACL Encoder een intentie-vector.
   • Het systeem queryt de vectordatabase naar de maximale gelijkenis met historische kwaadaardige clusters.
   • Als de gelijkenis de intentiedrempel overschrijdt ($\tau_{int}$), wordt de request geblokkeerd.

D. Systeemimplementatie

• Hardware-bewuste Pipeline: Ontworpen voor 4x NVIDIA A100 GPU's. Het gebruikt NVLink voor zero-copy data-overdracht tussen encoders en in-memory vectordatabases (HBM), waardoor PCIe-bottlenecks worden vermeden.
• Asynchrone Verwerking: Koppelt I/O los van neurale berekening, waardoor de verdediging parallel kan lopen met de prefill-fase van de doel-LLM met verwaarloosbare latentie.

3. Belangrijkste Bijdragen

1. Nieuw Threat Model: Eerste formele definitie en studie van verdediging tegen decompositional jailbreaks in niet-traceerbaar verkeer (geen metadata), een praktisch significante maar tot nu toe onontgonnen uitdaging.
2. TwinGate Framework: Een stateful dual-encoder mechanisme dat cumulatieve kwaadaardige intentie identificeert zonder te vertrouwen op gebruikersidentiteit, gebruikmakend van ACL om de semantische kloof tussen gefragmenteerde aanvallen te overbruggen.
3. Grootschalige Dataset: Constructie van een uitgebreide benchmark met 3,62 miljoen instructies, inclusief:
   • 8.600 verschillende kwaadaardige intenties.
   • 250k onschadelijke intenties (met decomposities).
   • 603k onafhankelijke onschadelijke queries.
   • Data gegenereerd door meerdere "splitter"-modellen om robuustheid te garanderen tegen diverse decompositiestrategieën.
4. Theoretische Grenzen: Geleverde geometrische en computationele bewijzen (Stellingen 1 & 2) die aantonen dat adaptieve ontwijkingsaanvallen computationeel onuitvoerbaar zijn vanwege de sferische packingslimieten van de latente ruimte en de exponentiële zoekkosten die nodig zijn om historische beperkingen te omzeilen.

4. Experimentele Resultaten

Geëvalueerd op de geconstrueerde dataset onder een strikt causaal protocol (geen toekomstige context):

• Beveiligingsprestaties:
  • Malicious Intent Recall: > 0,76 (detecteert de aanvalsketen).
  • False Positive Rate (FPR): < 0,2% ($2 \times 10^{-3}$), significant lager dan baselines.
  • Adaptieve Robuustheid: Tegen white-box adaptieve aanvallen (inclusief GCG-optimalisatie en semantische herschrijving) daalde de Attack Success Rate (ASR) van ~0,99 (geen verdediging) naar 0,18.
• Prestaties & Schaalbaarheid:
  • Doorvoer: Handhaaft >1.700 QPS (Queries Per Second), ongeveer 10x hoger dan 7B-parameter baseline guardrails.
  • Latentie: Handhaaft een $P_{99}$ latentie van < 300ms, waardoor het transparant kan draaien binnen de prefill-fase van de LLM.
  • Database Schaalbaarheid: Een enkele 40GB GPU kan robuust 6 miljoen historische requests verwerken met sub-lineaire groeicijfers voor latentie.
• Ablatie Studies:
  • Het verwijderen van de Frozen Encoder zorgde ervoor dat de FPR de hoogte in schoot door herhaalde onschadelijke queries die werden gemarkeerd.
  • Het verwijderen van ACL (met symmetrische contrastive learning of ruwe encoders) resulteerde in een instorting van de recall, wat de noodzaak van intentie-specifiek clusteren bewijst.
  • Het systeem toonde sterke zero-shot generalisatie tegen ongeziene decomposer-modellen.

5. Betekenis

TwinGate vertegenwoordigt een paradigma-shift in LLM-veiligheid, verschuivend van statische, single-turn filtering naar dynamische, stateful semantische monitoring die levensvatbaar is voor productie.

• Praktijk: Het lost de "stateless versus stateful" trade-off op door stateful detectie te bereiken zonder de computationele overhead van generatieve modellen of de privacyrisico's van metadata-tracking.
• Schaalbaarheid: Het hardware-bewuste ontwerp en de vector-retrieval-aanpak maken het de eerste verdediging die in staat is om real-time hoge-doorvoer, niet-traceerbare verkeersstromen te verwerken.
• Robuustheid: Het neutraliseert effectief geavanceerde decompositional aanvallen die tot nu toe alle bekende verdedigingen ontweken, en vestigt een nieuwe benchmark voor adversarial robustness in LLM's.