तकनीकी सारांश: मिनियोनीज़ (Minionese): बहुभाषी LLM सुरक्षा का व्यापक बेंचमार्क और यांत्रिक अध्ययन

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) सुरक्षा संरेखण (safety alignment) में एक महत्वपूर्ण "भाषा अंतराल" (language gap) प्रदर्शित करते हैं। जबकि मॉडल अंग्रेजी में हानिकारक प्रॉम्प्ट्स को विश्वसनीय रूप से अस्वीकार करते हैं, वे गैर-अंग्रेजी और कम-संसाधन वाली भाषा के संदर्भों में समान अनुरोधों का अनुपालन अक्सर कर देते हैं। वर्तमान मूल्यांकन ढांचे मुख्य रूप से इस असमानता को स्पष्ट करने में विफल रहते हैं, क्योंकि वे समग्र जेलब्रेक दरों पर निर्भर करते हैं जो विशिष्ट विफलता मोड (failure modes) को छिपा देते हैं जो बहुभाषी वितरण बदलावों (multilingual distribution shifts) द्वारा प्रेरित होते हैं। मौजूदा शोध ने स्थापित किया है कि अस्वीकार करना (refusal) एक्टिवेशन स्पेस में निम्न-आयामी दिशाओं द्वारा मध्यस्थता किया जाता है, फिर भी यह स्पष्ट नहीं है कि विभिन्न संसाधन स्तरों (resource tiers) में यथार्थवादी भाषिक परिवर्तनों (जैसे लिप्यंतरण, कोड-स्विचिंग) के तहत ये तंत्र कैसे क्षीण होते हैं।

2. कार्यप्रणाली

2.1 मिनियोनीज़ बेंचमार्क (The Minionese Benchmark)

लेखक मिनियोनीज़ पेश करते हैं, जो एक बहुभाषी जेलब्रेक बेंचमार्क है जिसे अटैक-प्रकार-जागरूक यांत्रिक विश्लेषण (attack-type-aware mechanistic analysis) का समर्थन करने के लिए डिज़ाइन किया गया है। उन पिछले बेंचमार्क के विपरीत जो भाषा की पहचान को प्राथमिक चर मानते हैं, मिनियोनीज़ भाषाई हेरफेर के प्रकार को बदलते हुए भी अर्थ संबंधी सामग्री (semantic content) को स्थिर रखता है।

• कॉर्पस (Corpus): इसे 385 हानिकारक प्रॉम्प्ट्स (AdvBench से) पर बनाया गया है, जिन्हें अर्थपूर्ण समानांतर हानिरहित समकक्षों के साथ जोड़ा गया है।
• क्षेत्र (Scope): यह 18 भाषाओं को कवर करता है जिन्हें चार संसाधन स्तरों (Tier 1: उच्च-संसाधन से Tier 4: कम-संसाधन तक) में समूहबद्ध किया गया है।
• परिवर्तन के प्रकार (Perturbation Types):
  1. मानक अनुवाद (Standard Translation): लक्षित भाषा में पूर्ण अनुवाद (आधार रेखा/baseline)।
  2. कोड-स्विचिंग (Code-Switching): केवल हानिकारक और हानिरहित प्रॉम्प्ट्स के बीच न्यूनतम भिन्न स्पैन का अनुवाद किया जाता है; बाकी अंग्रेजी में रहता है।
  3. लिप्यंतरण (Transliteration): एक अलग लिपि में परिवर्तित पूर्ण अनुवाद (जैसे, गैर-लैटिन लिपियों का रोमनकरण या रोमांस भाषाओं का लैटिन-सिरिलिक रेंडरिंग)।
  4. ट्रांसलेशननीज़ (Translationese): अर्थ संबंधी विचलन (semantic drift) और मशीन-अनुवाद सतह सांख्यिकी को पेश करने के लिए पुनरावृत्ति राउंड-ट्रिप अनुवाद (English $\to$ Target $\to$ English $\to$ Target)।
• पैमाना (Scale): यह बेंचमार्क कुल 55,440 प्रॉम्प्ट्स ($385 \times 2 \times 4 \times 18$) प्रदान करता है।

2.2 मूल्यांकन पाइपलाइन (Evaluation Pipeline)

यह अध्ययन तीन इंस्ट्रक्शन-ट्यून्ड मॉडल्स का मूल्यांकन करता है: Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, और Aya-Expanse-8B।

• मेट्रिक्स (Metrics): अटैक सक्सेस रेट (ASR), प्रतिक्रिया सुसंगतता (response coherence), और सुरक्षा व्यवस्था वितरण (safety regime distribution)।
• सुरक्षा निर्णय (Safety Judgment): प्रतिक्रियाओं को WildGuard का उपयोग करके स्कोर किया जाता है। जज की विश्वसनीयता संबंधी समस्याओं को कम करने के लिए स्कोरिंग से पहले गैर-अंग्रेजी प्रतिक्रियाओं को अंग्रेजी में बैक-ट्रांसलेट किया जाता है।
• सुसंगतता फ़िल्टरिंग (Coherence Filtering): पीढ़ी के क्षरण (generation degradation) के बजाय सुरक्षा विफलताओं को दर्शाने के लिए प्रतिक्रियाओं को भाषा पहचान आत्मविश्वास, यूनिकोड वैधता और लंबाई के आधार पर फ़िल्टर किया जाता है ताकि ASR अंतर वास्तविक सुरक्षा विफलताओं को दर्शाएं।

2.3 ज्यामितीय यांत्रिक विश्लेषण (Geometric Mechanistic Analysis)

लेखक रेसिडुअल स्ट्रीम (residual stream) के भीतर हानिरहितता का पता लगाने (harmfulness detection) और अस्वीकृति सक्रियण (refusal activation) को अलग करने के लिए एक ज्यामितीय ढांचे का उपयोग करते हैं:

• सबस्पेस निर्माण (Subspace Construction): "हानिरतिकता उपस्थान" (harmfulness subspace) को परिभाषित करने के लिए लॉजिस्टिक रिग्रेशन प्रोब्स को प्रशिक्षित करना और व्यवहार संबंधी विषमता (behavioral contrast) के माध्यम से एक "अस्वीकृति दिशा" (refusal direction) निकालना।
• विफलता वर्गीकरण (Failure Classification): विफलताओं को वर्गीकृत किया गया है:
  • अपस्ट्रीम (सिमेंटिक रिकवरी विफलता): अस्वीकृति तंत्र तक पहुँचने से पहले ही हानि का प्रतिनिधित्व ढह जाता है।
  • डाउनस्ट्रीम (सबथ्रेसहोल्ड सक्रियण): हानि का पता तो चलता है लेकिन वह अस्वीकृति दिशा पर पर्याप्त रूप से प्रोजेक्ट होने में विफल रहती है।
• कोन विश्लेषण (Cone Analysis): आधार दिशाओं (basis directions) की क्रॉस-लिंगुअल हस्तांतरणीयता का परीक्षण करने के लिए अस्वीकृति तंत्र के विश्लेषण को बहु-आयामी "अस्वीकृति कोन" (refusal cone) तक विस्तारित करना।

3. मुख्य परिणाम

3.1 व्यवहारिक भेद्यता प्रोफाइल (Behavioral Vulnerability Profiles)

• टियर ग्रेडिएंट (Tier Gradient): मानक अनुवाद और ट्रांसलेशननीज़ हमले संसाधन स्तर घटने के साथ ASR में तीव्र वृद्धि दिखाते हैं। Llama के लिए, औसत ASR Tier 1 में ~8% से बढ़कर Tiers 3–4 में >70% हो जाता है।
• लिप्यंतरण लिपि-आधारित है (Transliteration is Script-Conditioned): लिप्यंतरण Tiers 1–2 में गैर-लैटिन-लिपि वाली भाषाओं के लिए उच्चतम ASR उत्पन्न करता है (जैसे, Llama पर कोरियन के लिए 99%) लेकिन लैटिन-लिपि और बहुत कम-संसाधन वाले Tier 4 के लिए लगभग शून्य तक गिर जाता है। यह इंगित करता है कि भेद्यता केवल संसाधन स्तर द्वारा नहीं, बल्कि लिपि की पहचान द्वारा मध्यस्थता की जाती है।
• कोड-स्विचिंग टियर-स्थिर है (Code-Switching is Tier-Stable): यह हमला सभी संसाधन स्तरों, जिसमें Tier 4 शामिल है, में मध्यम-से-उच्च ASR बनाए रखता है (जैसे, Yoruba के लिए Llama पर 82% ASR)। यह एक ऐसे विफलता मोड का सुझाव देता है जो क्षयित सिमेंटिक प्रतिनिधित्व के बजाय भाषा-पहचान रूटिंग को बाधित करता है।
• तीव्र सुरक्षा व्यवस्था संक्रमण (Sharp Safety Regime Transition): Tier 2 और Tier 3 के बीच एक गुणात्मक बदलाव होता है। मॉडल Tiers 1–2 में मुख्य रूप से अस्वीकार करने वाले व्यवहार को बनाए रखते हैं लेकिन Tier 3 में अस्वीकृति दरों में काफी गिरावट आती है, जो निरंतर क्षरण के बजाय एक थ्रेशोल्ड प्रभाव का संकेत देता है।

3.2 यांत्रिक निष्कर्ष (Mechanistic Findings)

• ज्यामितीय मिसअलाइनमेंट (Geometric Misalignment): हानिरहित-हानिकारक पृथक्करण (सिलुएट स्कोर द्वारा मापा गया) Tier 3 के बाद से काफी खराब हो जाता है। Tier 4 में, हानिरतिकता उपस्थान अंग्रेजी हानिरतिकता उपस्थान के ऑर्थोगोनल (orthogonality) के करीब पहुँच जाता है।
• सबथ्रेसहोल्ड सक्रियण (प्रमुख विफलता) (Subthreshold Activation): Tier 3 भाषाओं के लिए, हानिरतिकता प्रोब्स उच्च AUC दिखाते हैं (जो दर्शाता है कि मॉडल आंतरिक रूप से इनपुट को हानिकारक के रूप में एनकोड करता है), फिर भी अस्वीकृति सिग्नल निर्णय सीमा (decision threshold) को पार करने में विफल रहता है। हानि का प्रतिनिधित्व मौजूद है लेकिन इसे एक गलत संरेखित, लो-रैंक उपस्थान के माध्यम से रूट किया जाता है जो अस्वीकृति दिशा पर अपर्याly प्रोजेक्ट होता है।
• सिमेंटिक रिकवरी विफलता (Tier 4): Tier 4 में, हानि का प्रतिनिधित्व स्वयं ढह जाता है (AUC चांस के करीब पहुँच जाता है), जो एक अपस्ट्रीम विफलता का प्रतिनिधित्व करता है जहाँ मॉडल हानि का पता लगाने में भी सक्षम नहीं होता है।
• एक-आयामी क्रॉस-लिंगुअल रिफ्यूज़ल (One-Dimensional Cross-Lingual Refusal): जबकि अंग्रेजी अस्वीकृति कोन बहु-आयामी है, केवल पहला आधार दिशा ($b_0$) भाषाओं में मजबूती से हस्तांतरित होती है। माध्यमिक दिशाएँ ($b_1$–$b_4$) गैर-अंग्रेजी भाषाओं के लिए शून्य या नकारात्मक मार्जिन ले जाती हैं, जो अक्सर लिपि-परिवार-विशिष्ट सब-सर्किट्स को एनकोड करती हैं।

4. योगदान

1. मिनियोनीज़ बेंचमार्क: 18 भाषाओं, 4 संसाधन स्तरों और 4 परिवर्तन प्रकारों वाला एक विस्तृत बहुभाषी जेलब्रेक बेंचमार्क, जो प्रति-हमला-प्रकार यांत्रिक विश्लेषण को सक्षम बनाता है।
2. अनुभवजन्य भेद्यता प्रोफाइल: प्रत्येक हमले के प्रकार द्वारा एक विशिष्ट, प्रतिलिपि योग्य भेद्यता प्रोफाइल (स्क्रिप्ट-कंडीशनड लिप्यंतरण, टियर-स्टेबल कोड-स्विचिंग, और एक तीव्र Tier 2–3 सुरक्षा संक्रमण) का प्रदर्शन।
3. ज्यामितीय ढांचा: हानिरतिकता का पता लगाने और अस्वीकृति सक्रियण को अलग करने वाला एक यांत्रिक स्पष्टीकरण, जो "सबथ्रेसहोल्ड सक्रियण" और "सिमेंटिक रिकवरी विफलता" जैसी दो प्राथमिक विफलता मोडों की पहचान करता है।

5. महत्व और दावे

यह पेपर दावा करता है कि अंग्रेजी-केवल सुरक्षा मूल्यांकन वैश्विक तैनाती के लिए अपर्याप्त हैं। निष्कर्षों के अनुसार सुरक्षा ऑडिट को स्क्रिप्ट परिवार, परिवर्तन प्रकार, और प्रति-भाषा संरेखण कवरेज को ध्यान में रखना चाहिए।

• यांत्रिक अंतर्दृष्टि (Mechanistic Insight): अध्ययन का तर्क है कि बहुभाषी जेलब्रेक अस्वीकृति तंत्र को नष्ट करके नहीं, बल्कि उसे इनपुट से "भूखा" (starving) बनाकर सफल होते हैं। कम-संसाधन वाले सेटिंग्स में, हानिकारक सामग्री एक ज्यामितीय रूप से पतले उपस्थान (subspace) को घेरती है जो अस्वीकृति दिशा पर पर्याप्त रूप से प्रोजेक्ट होने में विफल रहती है।
• हस्तक्षेप के निहितार्थ (Intervention Implications): सुरक्षा हस्तक्षेप (जैसे, कंट्रास्टिव एक्टिवेशन एडिशन) को प्राथमिक क्रॉस-लिंगुअल रिफ्यूज़ल दिशा ($b_0$) के साथ संरेखित होना चाहिए। उच्च-आयामी कोन दिशाओं के साथ किए गए हस्तक्षेप गैर-अंग्रेजी भाषाओं में सक्रिय रूप से सुरक्षा को खराब कर सकते हैं।
• शासन (Governance): परिणाम बताते हैं कि सुरक्षा विफलताएं बहुभाषी वितरण बदलावों के तहत ट्रांसफार्मर सुरक्षा संरेखण के संरचनात्मक गुण हैं, न कि मॉडल-विशिष्ट आर्टिफैक्ट्स। इसका तात्पर्य है कि शासन ढांचे को केवल समग्र मेट्रिक्स से आगे बढ़कर विशिष्ट भाषिक और ज्यामितीय कमजोरियों को संबोधित करना चाहिए।

लेखक इस बात पर जोर देते हैं कि उनका कार्य रेड-टीमिंग और संरेखण के लिए नैदानिक उपकरण प्रदान करता है, जो अनुकूलित हमले की रेसिपी के बजाय विफलता तंत्रों पर ध्यान केंद्रित करता है, ताकि विविध भाषा समुदायों में जिम्मेदार तैनाती सुनिश्चित की जा सके।