तकनीकी सारांश: मेटिस (Metis) – स्व-विकसित मेटाकॉग्निटिव पॉलिसी ऑप्टिमाइज़ेशन के माध्यम से LLMs को जेलब्रेक करना सीखना

1. समस्या विवरण

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और ह्यूमन फीडबैक से रिइन्फोर्समेंट लर्निंग (RLHF) जैसी कठोर सुरक्षा संरेखण तकनीकों के बावजूद, लार्ज लैंग्वेज मॉडल्स (LLMs) अभी भी जेलब्रेक हमलों के प्रति संवेदनशील हैं जो प्रतिबंधित सामग्री को उकसाते हैं। वर्तमान स्वचालित रेड-टीमिंग पद्धतियां एक महत्वपूर्ण सीमा का सामना करती हैं: वे स्थिर ह्यूरिस्टिक्स (static heuristics) या स्टोकेस्टिक सर्च (stochastic search) (जैसे, ट्री सर्च, पूर्व-निर्धारित योजनाएं, या विषय वृद्धि) पर निर्भर करती हैं। हालांकि ये विशिष्ट ओपन-वेट मॉडल्स के खिलाफ प्रभावी हैं, लेकिन ये फ्रंटियर, अत्यधिक-संरेखित मॉडल्स (जैसे, O1, GPT-5-chat) को लक्षित करते समय एक महत्वपूर्ण सामान्यीकरण अंतराल (generalization gap) प्रदर्शित करती हैं। उनकी रणनीतिक जड़ता हमला प्रक्षेपवक्र (attack trajectories) को अनुमानित और भंगुर बना देती है, जिससे वे आधुनिक मॉडल्स के सूक्ष्म, गतिशील रक्षात्मक तर्क के अनुकूल होने में विफल रहती हैं। इसके अलावा, मौजूदा पद्धतियों में अक्सर व्याख्यात्मकता (interpretability) की कमी होती है, जो "ब्लैक बॉक्स" अन्वेषण के रूप में कार्य करती हैं और यह प्रकट नहीं करती हैं कि एक रक्षा को क्यों तोड़ा गया।

2. कार्यप्रणाली: मेटिस फ्रेमवर्क

मेटिस जेलब्रेकिंग कार्य को एक प्रतिकूल पार्शियली ऑब्जर्वेबल मार्कोव डिसिजन प्रोसेस (POMDP) के भीतर एक इन्फरेंस-टाइम पॉलिसी ऑप्टिमाइज़ेशन समस्या के रूप में पुनर्गठित करता है। पारंपरिक खोज-आधारित तरीकों के विपरीत, मेटिस एक दोहरी-एजेंट आर्किटेक्चर द्वारा संचालित एक स्व-विकसित मेटाकॉग्निटिव लूप का उपयोग करता है: एक अटैकर (Attacker) और एक मेटाकॉग्निटिव इवैल्यूएटर (Metacognitive Evaluator)।

2.1. प्रतिकूल POMDP फॉर्मूलेशन

इस अंतःक्रिया को एक टुपल $(S, A, O, R)$ के रूप में मॉडल किया गया है:

• लेटेंट स्टेट ($S$): इसमें संवाद इतिहास और लक्षित मॉडल का छिपा हुआ रक्षा कॉन्फ़िगरेशन ($D$) शामिल है।
• एक्शन स्पेस ($A$): हमलावर एक उच्च-स्तरीय तर्क रणनीति $\sigma_t$ से व्युत्पन्न प्रॉम्प्ट $x_t$ उत्पन्न करता है।
• ऑब्जर्वेशन स्पेस ($O$): हमलावर लक्षित प्रतिक्रिया $y_t$ और इवैल्यूएटर के फीडबैक $f_t$ को देखता है।
• रिवॉर्ड ($R$): दुर्भावनापूर्ण लक्ष्य $G$ के साथ $y_t$ के सिमेंटिक संरेखण का मूल्यांकन करता है।

$D$ के संबंध में अनिश्चितता मुख्य चुनौती है। मेटिस एक बलीफ स्टेट (Belief State) $b_t(D)$ बनाए रखता है, जो लक्षित मॉडल के रक्षात्मक तर्क की इसकी परिकल्पना का प्रतिनिधित्व करता है, जिसे पुनरावृत्ति के माध्यम से अपडेट किया जाता है।

2.2. दोहरी-एजेंट आर्किटेक्चर

यह फ्रेमवर्क एक सहयोगी लूप के माध्यम से कार्य करता है जहाँ अटैकर और इवैल्यूएटर एक क्लोज्ड-लूप सिस्टम में संलग्न होते हैं:

1. द अटैकर (पॉलिसी एजेंट $\pi$): प्रत्येक टर्न पर एक तीन-चरणीय संज्ञानात्मक अनुक्रम (Three-Stage Cognitive Sequence) निष्पादित करता है:

   • चरण I: अंतर्मुखी निदान (बलीफ अपडेट): एजेंट अपेक्षित और वास्तविक प्रतिक्रियाओं के बीच विसंगति का विश्लेषण करता है, जिसे इवैल्यूएटर फीडबैक के साथ मिलाकर लक्षित रक्षा तंत्रों (जैसे, यह पहचानना कि क्या रक्षा लेक्सिकल फ़िल्टरिंग या सिमेंटिक इंटेंट स्क्रूटनी पर निर्भर है) पर कॉज़ल इन्फरेंस (causal inference) करने के लिए उपयोग किया जाता है।
   • चरण II: अनुकूली नीति निर्माण (Adaptive Policy Formulation): अपडेट किए गए बलीफ के आधार पर, एजेंट एक परिष्कृत अमूर्त रणनीति $\sigma_t$ व्युत्पन्न करता है। यह चरण रणनीति स्पेस में एक ग्रेडिएंट-जैसे अपडेट के रूप में कार्य करता है, यह सुनिश्चित करता है कि हमला पहचाने गए रक्षात्मक सीमा के लंबवत (orthogonally) विकसित हो।
   • चरण III: निष्पादन योग्य इंस्टेंशिएशन (Executable Instantiation): अमूर्त रणनीति को निष्पादन के लिए एक ठोस टोकन अनुक्रम (प्रॉम्प्ट) $x_t$ में संकलित किया जाता है।

2. द इवैल्यूएटर (ग्रेडिएंट एस्टिमेटर): केवल स्पार्स सफलता/विफलता संकेतों के बजाय, इवैल्यूएटर सघन, विश्लेषणात्मक फीडबैक $f_t = (s_t, J_t, M_t)$ उत्पन्न करता है, जिसमें एक स्केलर स्कोर, औचित्य और मेटा-सुझाव (Meta-suggestions) शामिल हैं।

   • ये मेटा-सुझाव एक सिमेंटिक ग्रेडिएंट ($\nabla_{sem}$) के रूप में कार्य करते हैं, जो सिमेंटिक मैनिफोल्ड में उच्च-आयामी दिशात्मक मार्गदर्शन प्रदान करते हैं।
   • यह सघन संकेत अटैकर को वास्तविक समय में अपनी नीति को परिष्कृत करने की अनुमति देता है, जिससे पारंपरिक सुदृढीकरण शिक्षण (reinforcement learning) संकेतों की स्पर्सिटी (sparsity) कम हो जाती है।

2.3. स्व-विकसित मेटाकॉग्निशन

मेटिस पूर्वनिर्धारित टेम्पलेट्स पर निर्भर नहीं है। इसके बजाय, यह यह सीखने के लिए कि कैसे तर्क और अनुकूलन किया जाए, एक आंतरिक संज्ञानात्मक लूप (<thought>, <strategy>, <prompt>) का उपयोग करता है। एजेंट वास्तविक समय में लक्षित रक्षात्मक मुद्रा का निदान करता है और एक विशेष रणनीति तैयार करता है, जो पैटर्न मिलान से आगे बढ़कर इन-सिटू (in-situ) रणनीतिक अनुकूलन की ओर बढ़ता है।

3. प्रमुख योगदान

1. जनरलाइजेशन गैप विश्लेषण: पेपर इस बात का अनुभवजन्य प्रमाण प्रदान करता है कि अत्याधुनिक मल्टी-टर्न जेलब्रेक हमले एक पर्याप्त सामान्यीकरण अंतराल से ग्रस्त हैं, जो विशिष्ट मॉडल्स पर अच्छा प्रदर्शन करते हैं लेकिन अत्यधिक-संरेखित फ्रंटियर मॉडल्स पर महत्वपूर्ण रूप से गिर जाते हैं।
2. मेटाकॉग्निटिव पॉलिसी फॉर्मलाइजेशन: मेटिस जेलब्रेकिंग को एक इन्फरेंस-टाइम पॉलिसी ऑप्टिमाइज़ेशन समस्या के रूप में प्रस्तुत करने वाला पहला कार्य है। यह स्व-विकसित मेटाकॉग्निशन द्वारा संचालित एक फ्रेमवर्क पेश करता है, जो स्पष्ट तर्क ट्रेसेस (reasoning traces) के माध्यम से बढ़ी हुई व्याख्यात्मकता प्रदान करता है जो एजेंट के आंतरिक कॉज़ल डायग्नोसिस और रणनीतिक बदलावों को प्रकट करते हैं।
3. बेहतर प्रदर्शन और दक्षता: मेटिस 10 विविध मॉडल्स पर औसत 89.2% का अटैक सक्सेस रेट (ASR) स्थापित करके एक नया स्टेट-ऑफ-द-आर्ट बनाता है। महत्वपूर्ण रूप से, रेडंडेंट एक्सप्लोरेशन को निर्देशित ऑप्टिमाइज़ेशन से बदलकर, यह खोज-आधारित बेसलाइन्स की तुलना में टोकन लागत को औसतन 8.2× (11.4× तक) कम करता है।

4. प्रयोगात्मक परिणाम

मूल्यांकन HarmBench और AdvBench पर 10 लक्षित मॉडल्स पर किया गया था, जिनमें क्लोज्ड-सोर्स फ्रंटियर मॉडल्स (GPT-4o, O1, GPT-5-chat, Gemini 2.5 Pro, Claude-3.7, Grok3) और ओपन-वेट मॉडल्स (Llama-3, Qwen2.5) शामिल हैं।

• प्रभावकारिता: मेटिस ने 89.2% का औसत ASR प्राप्त किया, जो सबसे मजबूत बेसलाइन्स (जैसे, X-Teaming 82.0% पर, ActorBreaker 51.9% पर) को काफी पीछे छोड़ देता है।
  • O1 जैसे लचीले मॉडल्स पर, मेटिस ने 76.0% प्राप्त किया (ActorBreaker के 14.0% के मुकाबले)।
  • GPT-5-chat पर, मेटिस ने 78.0% प्राप्त किया (X-Teaming के 49.0% के मुकाबले)।
  • Grok3 पर, मेटिस ने 100.0% ASR प्राप्त किया।
• दक्षता: मेटिस ने कंप्यूटेशनल ओवरहेड में भारी कमी दिखाई। Grok3 पर, मेटिस 1,093 टोकन का उपयोग करके अभिसरण (converge) हुआ, जबकि X-Teaming को 12,425 टोकन की आवश्यकता थी (एक 11.4× दक्षता लाभ)।
• एब्लेशन स्टडीज (Ablation Studies): इवैल्यूएटर के मेटाकॉग्निटिव फीडबैक को हटाने से प्रदर्शन में भारी गिरावट आई (जैसे, Claude-3.7 पर ASR 86% से गिरकर 46% हो गया), जो पुष्टि करता है कि इवैल्यूएटर का सघन सिमेंटिक ग्रेडिएंट सफलता का प्राथमिक चालक है।
• डिफेंस विश्लेषण: मेटिस ने विभिन्न डिफेंस पैराडाइम्स को सफलतापूर्वक बायपास किया, जिसमें इनपुट परटर्बेशन (SmoothLLM), प्रॉक्सी-आधारित डिटेक्शन (Llama Guard, Self-reflect), और सेफ्टी SFT (X-Guard) शामिल हैं। विश्लेषण बताता है कि स्थिर रक्षाएं इन्फरेंस-टाइम पॉलिसी इवोल्यूशन और क्लोज्ड-लूप रीजनिंग ट्रेजेक्टरीज के प्रति संवेदनशील हैं।

5. महत्व और दावे

पेपर दावा करता है कि मेटिस स्टैटिक ह्यूरिस्टिक सर्च से स्वायत्त, लर्निंग-आधारित रेड-टीमिंग की ओर एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है। इसका महत्व तीन क्षेत्रों में है:

1. भेद्यता का अनावरण: परिणाम वर्तमान सुरक्षा प्रतिमानों में एक महत्वपूर्ण भेद्यता को उजागर करते हैं: स्थिर रिजेक्शन पैटर्न उन एजेंटों के खिलाफ अपर्याप्त हैं जो डायनेमिक, क्लोज्ड-लूप रीजनिंग करने में सक्षम हैं। जो रक्षाएं ऑफलाइन ट्रेनिंग (जैसे, RLHF) पर निर्भर हैं, वे मेटिस की वास्तविक समय, रणनीतिक प्रोबिंग के अनुकूल होने में विफल रहती हैं।
2. व्याख्यात्मकता: स्टोकेस्टिक सर्च विधियों के विपरीत, मेटिस अपने रीजनिंग ट्रेसेस के माध्यम से हमला तर्क में एक पारदर्शी खिड़की प्रदान करता है। यह सुरक्षा इंजीनियरों को यह समझने की अनुमति देता है कि विशिष्ट रक्षात्मक सीमाओं को कैसे और क्यों तोड़ा गया, जिससे बेहतर रक्षा डिजाइन की सुविधा मिलती है।
3. दक्षता: संरचित फीडबैक को सघन सिमेंटिक ग्रेडिएंट में बदलकर, मेटिस न्यूनतम टोकन खपत के साथ तीव्र अभिसरण प्राप्त करता है, जो इसे संसाधन-बाधित सुरक्षा ऑडिटिंग के लिए एक व्यावहारिक उपकरण बनाता है।

लेखक निष्कर्ष निकालते हैं कि प्रभावी सुरक्षा के लिए ऐसी रक्षाओं की आवश्यकता है जो इन्फरेंस के दौरान डायनेमिक रूप से सुरक्षा के बारे में तर्क करने में सक्षम हों, जो विकसित होती हमला नीतियों की अनुकूलन प्रकृति से मेल खाती हों। वे अपने कार्य की दोहरी-उपयोग (dual-use) प्रकृति पर जोर देते हैं, एक जिम्मेदार रिलीज रणनीति के प्रति प्रतिबद्ध हैं जो सुरक्षा समुदाय के लिए रक्षात्मक अंतर्दृष्टि और सैनिटाइज्ड केस स्टडीज को प्राथमिकता देती है, जबकि पूर्ण हमला ढांचे तक पहुंच को सत्यापित शोधकर्ताओं तक ही सीमित रखती है।