TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning

यहाँ शोध पत्र "TwinGate: Asymmetric Contrastive Learning के माध्यम से Untraceable Traffic में Decompositional Jailbreaks के विरुद्ध Stateful Defense" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह शोध पत्र Decompositional Jailbreaks के प्रति लार्ज लैंग्वेज मॉडल्स (LLMs) की गंभीर भेद्यता (vulnerability) को संबोधित करता है। पारंपरिक हमलों के विपरीत, जो एकल प्रॉम्प्ट के भीतर सुरक्षा फिल्टरों को बायपास करने का प्रयास करते हैं, डिकम्पोजिशनल हमले एक दुर्भावनापूर्ण उद्देश्य (जैसे, "बम कैसे बनाएं") को व्यक्तिगत रूप से हानिरहित और अर्थहीन उप-प्रश्नों (जैसे, "विस्फोटकों के गुण," "रासायनिक प्रतिक्रियाएं") के अनुक्रम में विभाजित कर देते हैं।

मुख्य चुनौतियाँ:

• Stateless सीमाएँ (Stateless Limitations): मौजूदा सुरक्षा उपाय (जैसे, मानक गार्डरेल्स) प्रॉम्प्ट्स का पृथक रूप से मूल्यांकन करते हैं। चूंकि व्यक्तिगत अंश सुरक्षित प्रतीत होते हैं, इसलिए ये सुरक्षा उपाय संचयी दुर्भावनापूर्ण इरादे (cumulative malicious intent) का पता लगाने में विफल रहते हैं।
• Untraceable Traffic: वास्तविक दुनिया के डिप्लॉयमेंट में, हमलावर कई गुमनाम सत्रों (sessions), आईपी पतों या उपयोगकर्ता खातों में अंशों को वितरित कर सकते हैं। बातचीत के इतिहास को ट्रैक करने के लिए उपयोगकर्ता मेटाडेटा (session IDs, IPs) पर निर्भर रहने वाले सुरक्षा उपाय आसानी से विफल हो जाते हैं।
• Semantic Gap: एक ही दुर्भावनापूर्ण इरादे के अंश अक्सर नगण्य अर्थ संबंधी समानता साझा करते हैं (जैसे, "वायरिंग" बनाम "उर्वरक"), जिससे उन्हें मानक एम्बेडिंग मॉडल का उपयोग करके क्लस्टर करना कठिन हो जाता है।
• परिचालन ओवरहेड (Operational Overhead): मौजूदा स्टेटफुल समाधान अक्सर वास्तविक समय के संदर्भ विश्लेषण के लिए भारी जनरेटिव मॉडल्स पर निर्भर करते हैं, जिससे अत्यधिक विलंबता (latency) और कंप्यूटेशनल लागत आती है जो उच्च-थ्रूपुट उत्पादन वातावरण के लिए अनुपयुक्त है।

2. कार्यप्रणाली: TwinGate

TwinGate एक stateful, dual-encoder रक्षा ढांचा है जिसे उपयोगकर्ता मेटाडेटा के बिना, निरंतर और untraceable अनुरोध स्ट्रीम के अर्थ संबंधी विश्लेषण (semantic analysis) पर निर्भर रहते हुए संचालित करने के लिए डिज़ाइन किया गया है।

A. मुख्य आर्किटेक्चर (Core Architecture)

यह सिस्टम दो समानांतर एनकोडर्स और एक ग्लोबल वेक्टर रिपॉजिटरी का उपयोग करता है:

1. ACL-Finetuned Encoder (Intent Vector): यह Asymmetric Contrastive Learning (ACL) का उपयोग करता है ताकि क्वेरीज़ को सतही अर्थ (surface semantics) के बजाय दुर्भावनापूर्ण इरादे (malicious intent) द्वारा व्यवस्थित लेटेंट स्पेस में मैप किया जा सके। यह एक ही हमले के अर्थहीन रूप से भिन्न अंशों को घने समूहों (dense clusters) में क्लस्टर करता है।
2. Frozen Encoder (Semantic Vector): एक प्री-ट्रेन्ड, फ्रोजन एनकोडर जो शाब्दिक सतही अर्थ को कैप्चर करता है। यह एक रूढ़िवादी एंकर (conservative anchor) के रूप में कार्य करता है ताकि हानिरहित, दोहराव वाली क्वेरीज़ पर गलत सकारात्मक (false positives) परिणामों को रोका जा सके।
3. Global Vector Repository: ऐतिहासिक अनुरोध वेक्टर्स (दोनों सिमेंटिक और इंटेंट) को स्टोर करने के लिए उपयोग किया जाता है।

B. Asymmetric Contrastive Learning (ACL)

मानक कंट्रास्टिव लर्निंग समान वस्तुओं को एक साथ क्लस्टर करती है। ACL एक असममिति (asymmetry) पेश करता है:

• Positive Attraction: एक ही दुर्भावनापूर्ण इरादे से प्राप्त सभी अंश (और मूल इरादा स्वयं) को एक घने क्लस्टर में एक साथ खींचा जाता है।
• Negative Repulsion: हानिरहित क्वेरीज़ केवल नेगेटिव सैंपल्स के रूप में कार्य करती हैं। वे दुर्भावनापूर्ण क्लस्टर्स को दूर धकेलती हैं, लेकिन आपस में क्लस्टर नहीं होती हैं। यह हानिरहित ट्रैफिक के प्राकृतिक मैनिफोल्ड को सुरक्षित रखता है जबकि दुर्भावनापूर्ण इरादे को अलग करता है।
• प्रशिक्षण रणनीति (Training Strategy): मॉडल को एक विशाल डेटासेट पर प्रशिक्षित किया जाता है जहाँ मूल दुर्भावनापूर्ण इरादा उसके डिकम्पोज्ड अंशों के लिए एक "घना एंकर" (dense anchor) के रूप में कार्य करता है, जो सिमेंटिक गैप को पाटता है।

C. दो-चरणीय निर्णय तर्क (Two-Stage Decision Logic)

संवेदनशीलता और सटीकता को संतुलित करने के लिए, TwinGate एक कैस्केड निर्णय प्रक्रिया का उपयोग करता है:

1. चरण 1: Semantic Equivalence Inheritance (FPR Control):
   • सिस्टम पहले Frozen Encoder का उपयोग करके यह जाँचता है कि क्या आने वाली क्वेरी पहले से न्यायनिर्णय किए गए अनुरोध के अर्थतः समान है।
   • यदि कोई मिलान मिलता है (समानता > $\tau_{sem}$), तो सिस्टम पिछले निर्णय को विरासत में लेता है (उदाहरण के लिए, यदि पिछला हानिरहित क्वेरी स्वीकार किया गया था, तो यह भी स्वीकार किया जाएगा)। यह ACL चेक को पूरी तरह से बायपास करता है, जिससे यह सुनिश्चित होता है कि उच्च-आवृत्ति वाली हानिरहित क्वेरीज़ गलत अलार्म ट्रिगर न करें।
2. चरण 2: Intent-Based Attack Detection:
   • यदि क्वेरी नवीन (novel) है, तो ACL Encoder एक 'इंटेंट वेक्टर' उत्पन्न करता है।
   • सिस्टम ऐतिहासिक दुर्भावनापूर्ण क्लस्टर्स के साथ अधिकतम समानता के लिए वेक्टर डेटाबेस को क्वेरी करता है।
   • यदि समानता इंटेंट थ्रेशोल्ड ($\tau_{int}$) से अधिक हो जाती है, तो अनुरोध को ब्लॉक कर दिया जाता है।

D. सिस्टम कार्यान्वयन (System Implementation)

• Hardware-Aware Pipeline: इसे 4x NVIDIA A100 GPUs के लिए डिज़ाइन किया गया है। यह एनकोडर्स और इन-मेमोरी वेक्टर डेटाबेस (HBM) के बीच ज़ीरो-कॉपी डेटा ट्रांसफर के लिए NVLink का उपयोग करता है, जिससे PCIe बॉटलनैक से बचा जा सके।
• Asynchronous Processing: यह I/O को न्यूरल कंप्यूटेशन से अलग करता है, जिससे रक्षा प्रणाली लक्षित LLM के प्रिफिल (prefill) चरण के समानांतर नगण्य विलंबता के साथ चल सकती है।

3. प्रमुख योगदान (Key Contributions)

1. Novel Threat Model: Untraceable traffic (कोई मेटाडेटा नहीं) में डिकम्पोजिशनल जेलब्रेक्स के विरुद्ध रक्षा का पहला औपचारिक परिभाषा और अध्ययन, जो एक व्यावहारिक रूप से महत्वपूर्ण लेकिन पहले अनछुआ विषय है।
2. TwinGate Framework: एक stateful dual-encoder तंत्र जो उपयोगकर्ता पहचान पर निर्भर हुए बिना संचयी दुर्भावनापूर्ण इरादे की पहचान करता है, और सिमेंटिक गैप को पाटने के लिए ACL का उपयोग करता है।
3. Large-Scale Dataset: एक व्यापक बेंचमार्क का निर्माण जिसमें 3.62 मिलियन निर्देश शामिल हैं, जिनमें शामिल हैं:
   • 8,600 विशिष्ट दुर्भावनापूर्ण इरादे।
   • 250k हानिरहित इरादे (डिकम्पोजिशन के साथ)।
   • 603k स्वतंत्र हानिरहित क्वेरीज़।
   • विविध डिकम्पोजिशन रणनीतियों के विरुद्ध मजबूती सुनिश्चित करने के लिए कई "splitter" मॉडल्स द्वारा जनरेट किया गया डेटा।
4. Theoretical Bounds: ज्यामितीय और कंप्यूटेशनल प्रमाण (Theorem 1 & 2) प्रदान किए गए जो यह दर्शाते हैं कि एडेप्टिव इवेजन हमले (adaptive evasion attacks) कंप्यूटेशनल रूप से कठिन हैं क्योंकि वे लेटेंट स्पेस की गोलाकार पैकिंग सीमाओं और ऐतिहासिक बाधाओं को बायपास करने के लिए आवश्यक घातीय खोज लागत (exponential search cost) के कारण विफल होते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

एक सख्त कॉज़ल प्रोटोकॉल (कोई भविष्य का संदर्भ नहीं) के तहत निर्मित डेटासेट पर मूल्यांकन किया गया:

• सुरक्षा प्रदर्शन (Security Performance):
  • Malicious Intent Recall: > 0.76 (हमले की श्रृंखला का पता लगाता है)।
  • False Positive Rate (FPR): < 0.2% ($2 \times 10^{-3}$), जो बेसलाइन से काफी कम है।
  • Adaptive Robustness: व्हाइट-बॉक्स एडेप्टिव हमलों (GCG ऑप्टिमाइज़ेशन और सिमेंटिक रीराइटिंग सहित) के विरुद्ध, अटैक सक्सेस रेट (ASR) बिना रक्षा के ~0.99 से गिरकर 0.18 हो गई।
• प्रदर्शन और स्केलेबिलिटी (Performance & Scalability):
  • Throughput: >1,700 QPS (क्वेरी प्रति सेकंड) बनाए रखता है, जो 7B-पैरामीटर बेसलाइन गार्डरेल्स से लगभग 10 गुना अधिक है।
  • Latency: < 300ms की $P_{99}$ विलंबता बनाए रखता है, जिससे यह LLM के प्रिफिल चरण के भीतर पारदर्शी रूप से चल सकता है।
  • Database Scalability: एक सिंगल 40GB GPU 6 मिलियन ऐतिहासिक अनुरोधों को सब-लीनियर विलंबता वृद्धि के साथ मजबूती से संभाल सकता है।
• Ablation Studies:
  • Frozen Encoder को हटाने से बार-बार होने वाली हानिरहित क्वेरीज़ के फ्लैग होने के कारण FPR आसमान छू गया।
  • ACL को हटाने (सिमेट्रिक कंट्रास्टिव लर्निंग या रॉ एनकोडर्स का उपयोग करने) के परिणामस्वरूप रिकॉल में गिरावट आई, जो इंटेंट-विशिष्ट क्लस्टरिंग की आवश्यकता को सिद्ध करता है।
  • सिस्टम ने अनदेखे डिकम्पोजर मॉडल्स के खिलाफ मजबूत zero-shot generalization दिखाया।

5. महत्व (Significance)

TwinGate LLM सुरक्षा में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है, जो स्थिर, सिंगल-टर्न फ़िल्टरिंग से डायनेमिक, स्टेटफुल सिमेंटिक मॉनिटरिंग की ओर बढ़ता है।

• व्यावहारिकता (Practicality): यह जनरेटिव मॉडल्स के कंप्यूटेशनल ओवरहेड या मेटाडेटा ट्रैकिंग के गोपनीयता जोखिमों के बिना स्टेटफुल डिटेक्शन प्राप्त करके "स्टेटलेस बनाम स्टेटफुल" ट्रेड-ऑफ को हल करता है।
• स्केलेबिलिटी (Scalability): इसका हार्डवेयर-अवेयर डिज़ाइन और वेक्टर-रिट्रीवल दृष्टिकोण इसे उच्च-थ्रूपुट, untraceable ट्रैफिक स्ट्रीम को वास्तविक समय में संभालने में सक्षम बनाने वाला पहला रक्षा तंत्र बनाता है।
• मजबूती (Robustness): यह उन परिष्कृत डिकम्पोजिशनल हमलों को प्रभावी ढंग से बेअसर करता है जो पहले सभी ज्ञात सुरक्षा उपायों से बच निकलते थे, जिससे LLMs में एडवरसैरियल रोबस्टनेस के लिए एक नया बेंचमार्क स्थापित होता है।