💻 computer science

On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap

यह शोध पत्र प्रकट करता है कि लगभग पूर्ण वर्गीकरण प्रदर्शन प्राप्त करने के बावजूद, मौजूदा प्रॉम्प्ट इंजेक्शन रक्षा प्रणालियाँ एक गंभीर "प्रदर्शन-मजबूती अंतराल" (performance-robustness gap) से ग्रस्त हैं, जहाँ मल्टी-ऑपरेटर ओब्फस्केटेड प्रॉम्प्ट्स के कारण लेटेंट एम्बेडिंग कोलैप्स और ज्यामितीय भंगुरता (geometric fragility) उत्पन्न होती है जिसे मानक मेट्रिक्स पहचानने में विफल रहते हैं।

मूल लेखक: Becky Mashaido, Tapadhir Das

प्रकाशित 2026-05-20

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Becky Mashaido, Tapadhir Das

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान सुरक्षा गार्ड (AI मॉडल) है जिसका काम एक विशिष्ट प्रकार के घुसपैठिए (एक "प्रॉम्प्ट इंजेक्शन" हमला) को पकड़ना है जो इमारत में घुसने की कोशिश कर रहा है। घुसपैठिए चालाक हैं; वे नकली मूंछों, अदृश्य स्याही या अजीब प्रतीकों जैसे भेष बदलकर सामान्य आगंतुकों की तरह दिखने की कोशिश करते हैं।

इस शोध पत्र के शोधकर्ताओं ने यह तय किया कि ये सुरक्षा गार्ड वास्तव में कितने अच्छे हैं। यहाँ उन्होंने क्या पाया, जिसे सरल भाषा में समझाया गया है:

सुरक्षा का भ्रम

शोधकर्ताओं ने इन भेष बदले हुए घुसपैठियों को पकड़ने के लिए कई AI "गार्ड्स" (BERT नामक मॉडल के विभिन्न संस्करणों का उपयोग करके) को प्रशिक्षित किया। जब उन्होंने गार्ड्स का परीक्षण किया, तो परिणाम अद्भुत थे। गार्ड्स 99% बार सही थे। यदि आप उनसे पूछते, "क्या यह एक सामान्य संदेश है या कोई चाल?" तो वे लगभग हमेशा सही उत्तर देते।

पारंपरिक मानकों के अनुसार, गार्ड्स एकदम सटीक थे। शोध पत्र कहता है कि यदि आप केवल स्कोरकार्ड देखते, तो आपको लगता कि इमारत पूरी तरह से सुरक्षित है।

छिपी हुई खामी: "भीड़ में भूत"

हालाँकि, शोधकर्ताओं ने केवल स्कोरकार्ड नहीं देखा। उन्होंने यह देखा कि गार्ड्स कैसे सोच रहे थे। उन्होंने AI के "मस्तिष्क" (इसके आंतरिक गणितीय मानचित्र, जिसे एम्बेडिंग स्पेस कहा जाता है) के भीतर झाँककर देखा कि यह इन संदेशों को कहाँ रखता है।

उन्होंने एक डरावनी घटना की खोज की जिसे वे "लेटेंट एम्बेडिंग कोलैप्स" (Latent Embedding Collapse) कहते हैं।

यहाँ एक उपमा दी गई है:
कल्पना कीजिए कि AI का मस्तिष्क एक विशाल मानचित्र है।

सामान्य संदेश "सेफ ज़ोन" (सुरक्षित क्षेत्र) में एक व्यवस्थित कतार में खड़े लोगों की तरह हैं।
चालाकी से भेष बदले हुए संदेशों को एक अलग "डेंजर ज़ोन" (खतरे के क्षेत्र) में खड़ा होना चाहिए।

शोधकर्ताओं ने पाया कि जबकि गार्ड्स सही ढंग से कह रहे थे "यह एक चाल है!" (उच्च प्रदर्शन), वे भेष बदले हुए संदेश वास्तव में सामान्य लोगों के बिल्कुल पास "सेफ ज़ोन" में खड़े थे। वास्तव में, कुछ भेष बदले हुए संदेश सामान्य लोगों के इतने करीब थे कि वे लगभग एक-दूसरे को छू रहे थे।

गार्ड्स सही ढंग से "घुसपैठिया!" चिल्ला रहे थे, लेकिन वे एक अराजक, अस्थिर क्षेत्र में खड़े थे जहाँ घुसपैठिए सादे कपड़ों में छिपे हुए थे।

"नाजुक" मानचित्र

शोधकर्ताओं ने इस मानचित्र में दो मुख्य समस्याएँ पाईं:

दूरी बहुत कम है: एक "सामान्य" संदेश और एक "भेष बदले हुए" संदेश के बीच की निकटतम दूरी अविश्वसनीय रूप से कम थी (गणितीय रूप से, 1.02 का मान)। यह ऐसा है जैसे घुसपैठिया एक सामान्य व्यक्ति से बस एक मिलीमीटर दूर खड़ा हो। यदि घुसपैठिया अपना वजन थोड़ा सा भी बदल ले, तो वह पूरी तरह से घुल-मिल जाएगा।
अराजकता: भेष बदले हुए संदेश हर जगह बिखरे हुए थे। कुछ सामान्य समूह के करीब थे, अन्य दूर थे। यह "गुच्छा बनाना" और "बिखरना" यह दर्शाता है कि इन चालों के प्रति AI की समझ अस्थिर है।

बड़े गार्ड्स भी मदद नहीं करते

शोधकर्ताओं ने गार्ड्स को और अधिक स्मार्ट और बड़ा बनाने की कोशिश की (अधिक परतों वाले अधिक जटिल मॉडल का उपयोग करके)। आप सोच सकते हैं, "यदि हम बड़े, अधिक शक्तिशाली गार्ड नियुक्त करें, तो वे घुसपैठियों को और अधिक दूर से देख पाएंगे।"

वे गलत थे। यहाँ तक कि सबसे बड़े, सबसे जटिल गार्ड्स ने भी ठीक यही समस्या दिखाई। भेष बदले हुए संदेश अभी भी सामान्य लोगों के बिल्कुल बगल में सिमटे हुए थे। यह साबित करता है कि समस्या यह नहीं है कि गार्ड "बहुत छोटे" हैं या "पर्याप्त स्मार्ट नहीं" हैं। समस्या यह है कि इस प्रकार के AI मॉडल अपने आंतरिक मानचित्रों को कैसे व्यवस्थित करते हैं, इसमें एक मौलिक खामी है।

मुख्य निष्कर्ष

इस शोध पत्र का मुख्य सबक यह है: सिर्फ इसलिए कि एक AI सही उत्तर दे रहा है, इसका मतलब यह नहीं है कि वह सुरक्षित है।

शोध पत्र का तर्क है कि हमें केवल "स्कोर" (AI कितनी बार सही था) को देखना बंद करना चाहिए और "ज्यामिति" (AI वास्तव में दुनिया को कैसे देखता है) को देखना शुरू करना चाहिए। यदि AI का आंतरिक मानचित्र नाजुक है और बुरे लोग अच्छे लोगों के ठीक बगल में छिपे हुए हैं, तो सिस्टम असुरक्षित है, भले ही स्कोर 99% कहता हो।

संक्षेप में: गार्ड परीक्षण पास कर रहे हैं, लेकिन वे एक ऐसे फर्श पर खड़े हैं जो टूटने ही वाला है।

तकनीकी सारांश: ऑबफस्केशन हमलों के विरुद्ध ट्रांसफॉर्मर सुरक्षा की ज्यामितीय सीमाओं पर

समस्या विवरण
प्रॉम्प्ट-इंजेक्शन हमले (prompt-injection attacks) प्रतीत होने वाले हानिरहित इनपुट्स के भीतर दुर्भावनापूर्ण निर्देशों को समाहित करके लार्ज लैंग्वेज मॉडल (LLM) की सुरक्षा के लिए महत्वपूर्ण जोखिम पैदा करते हैं। वर्तमान सुरक्षा तंत्र मुख्य रूप से पर्यवेक्षित वर्गीकरण (supervised classification) तंत्रों पर निर्भर करते हैं, जिनका मूल्यांकन सटीकता (accuracy), परिशुद्धता (precision), रिकॉल (recall) और F1 स्कोर जैसे मानक मेट्रिक्स का उपयोग करके किया जाता है। लेखक तर्क देते हैं कि जबकि ये मेट्रिक्स दृश्यमान गलत वर्गीकरण व्यवहार को प्रभावी ढंग से पकड़ते हैं, वे ट्रांसफॉर्मर द्वारा सीखे गए अंतर्निहित लेटेंट रिप्रजेंटेशन (latent representations) की मजबूती के बारे में सीमित अंतर्दृष्टि प्रदान करते हैं। एक महत्वपूर्ण अंतराल मौजूद है: एक डिटेक्टर लगभग पूर्ण वर्गीकरण प्रदर्शन प्राप्त कर सकता है, फिर भी वह नाजुक लेटेंट रिप्रजेंटेशन पर निर्भर हो सकता है जिसे अनुकूलन योग्य विरोधियों (adaptive adversaries) द्वारा शोषण किया जा सकता है। विशेष रूप से, यह स्पष्ट नहीं है कि क्या उच्च पहचान प्रदर्शन (detection performance), कम्पोजिशनल प्रॉम्प्ट ऑबफस्केशन (compositional prompt obfuscation) के विरुद्ध रिप्रजेंटेशनल मजबूती को दर्शाता है।

कार्यप्रणाली (Methodology)
प्रॉम्प्ट-इंजेक्शन सुरक्षा के ज्यामितीय गुणों की जांच करने के लिए, लेखकों ने चार वर्गों (क्लीन, प्रीफिक्स, सफिक्स और ऑबफस्केटेड) के 10,000 उदाहरणों का एक डेटासेट तैयार किया। ऑबफस्केटेड वर्ग को मल्टी-ऑपरेटर ट्रांसफॉर्मेशन का उपयोग करके बनाया गया था, जिसमें यूनिकोड होमोग्लिफ प्रतिस्थापन (जैसे, लैटिन वर्णों के लिए सिरिलिक प्रतिस्थापन), ज़ीरो-विड्थ कैरेक्टर इंसर्शन, पंक्चुएशन/इमोजी नॉइज़, और खंडित निर्देशों के स्टोकेस्टिक कंपोजिशन शामिल थे।

अध्ययन ने विभिन्न गहराई और क्षमता वाले तीन ट्रांसफॉर्मर आर्किटेक्चर का उपयोग किया: DistilBERT, BERT-Base, और BERT-Medium। इन मॉडलों को 4-वे वर्गीकरण के लिए फाइन-ट्यून किया गया था। मानक प्रदर्शन मेट्रिक्स के अलावा, लेखकों ने अंतिम-लेयर एम्बेडिंग्स ( $\phi(x)$ ) का विश्लेषण करने के लिए ज्यामितीय मेट्रिक्स पेश किए:

इंट्रा-क्लास वेरिएंस ( $\sigma^2_{intra}$ ): एक विशिष्ट क्लास मैनिफोल्ड के भीतर एम्बेडिंग्स के फैलाव को मापता है।
इंटर-क्लास डिस्टेंस ( $D$ ): दो क्लास मैनिफोल्ड्स के बीच अलगाव को मापता है।
क्लीन-ऑबफस्केटेड मार्जिन ( $\delta$ ): किसी भी क्लीन एम्बेडिंग और किसी भी ऑबफस्केटेड एम्बेडिंग के बीच न्यूनतम यूक्लिडियन दूरी के रूप में परिभाषित ( $\delta = \min \|\phi(x_c) - \phi(x_o)\|_2$ )।

लेखकों ने एम्बेडिंग मैनिफोल्ड्स का विज़ुअलाइज़ करने और क्लीन एवं ऑबफस्केटेड प्रॉम्प्ट्स के स्थानिक संबंध का आकलन करने के लिए प्रिंसिपल कंपोनेंट एनालिसिस (PCA) और t-डिस्ट्रीब्यूटेड स्टोकेस्टिक नेबरहुड एम्बेडिंग (t-SNE) का उपयोग किया।

प्रमुख योगदान
यह शोध तीन प्राथमिक योगदान देता है:

लेटेंट एम्बेडिंग कोलैप्स का औपचारिककरण: लेखक "लेटेंट एम्बेडिंग कोलैप्स" को एक ऐसी घटना के रूप में परिभाषित करते हैं जहाँ मल्टी-ऑपरेटर ऑबफस्केटेड प्रॉम्प्ट्स, गलत वर्गीकरण उत्पन्न किए बिना, क्लीन प्रॉम्प्ट्स द्वारा घेरे गए लेटेंट स्पेस के क्षेत्रों में आंशिक रूप से प्रवेश कर जाते हैं। इसे एक आंशिक मैनिफोल्ड कोलैप्स द्वारा पहचाना जाता है।
ज्यामितीय मेट्रिक्स का परिचय: कार्य रिप्रजेंटेशनल मजबूती को मापने के लिए ज्यामितीय मेट्रिक्स (वेरिएंस, इंटर-क्लास डिस्टेंस, और मिनिमल मार्जिन) प्रस्तावित करता है, जो पारंपरिक प्रदर्शन मेट्रिक्स के पूरक मूल्यांकन ढांचे के रूप में कार्य करता है।
परफॉर्मेंस-रोबस्टनेस गैप का अनुभवजन्य प्रदर्शन: अध्ययन अनुभवजन्य रूप से प्रदर्शित करता है कि मॉडल की गहराई या क्षमता बढ़ाने से लेटेंट एम्बेडिंग कोलैप्स हल नहीं होता है, जिससे यह संकेत मिलता है कि यह अंतराल एक सीमित मॉडल आकार का आर्टिफैक्ट होने के बजाय एक अंतर्निहित घटना है।

परिणाम
मूल्यांकन निम्नलिखित निष्कर्ष प्रदान करता है:

उच्च वर्गीकरण प्रदर्शन: तीनों मॉडलों (DistilBERT, BERT-Base, BERT-Medium) ने लगभग पूर्ण वर्गीकरण प्रदर्शन (Accuracy, Precision, Recall, और F1 $\approx$ 99%) प्राप्त किया।
लेटेंट एम्बेडिंग कोलैप्स: उच्च सटीकता के बावजूद, ज्यामितीय विश्लेषण ने गंभीर अस्थिरता प्रकट की। मिनिमल क्लीन-ऑबफस्केटेड मार्जिन $\delta = 1.02$ पाया गया, जो इंगित करता है कि कुछ ऑबफस्केटेड प्रॉम्प्ट्स एम्बेडिंग स्पेस में क्लीन प्रॉम्प्ट्स के अत्यंत निकट स्थित हैं।
एलीवेटेड इंट्रा-क्लास वेरिएंस: ऑबफस्केटेड एम्बेडिंग्स ने उच्च इंट्रा-क्लास वेरिएंस ( $3.33 \pm 6.23$ ) प्रदर्शित किया, जो दर्शाता है कि जबकि कुछ ऑबफस्केटेड इनपुट्स दूर हैं, अन्य क्लीन मैनिफोल्ड पर कोलैप्स हो जाते हैं।
दृश्य साक्ष्य: PCA और t-SNE विज़ुअलाइज़ेशन ने पुष्टि की कि जबकि प्रीफिक्स और सफिक्स प्रॉम्प्ट्स अच्छी तरह से अलग थे, ऑबफस्केटेड प्रॉम्प्ट्स ने एलीवेटेड डिस्पर्शन और क्लीन मैनिफोल्ड के साथ आंशिक ओवरलैप दिखाया।
स्केलिंग की अप्रभावीता: मॉडल क्षमता बढ़ाने (DistilBERT से BERT-Medium तक) से कन्वर्जेंस और कॉन्फिडेंस में सुधार हुआ, लेकिन यह क्लीन-ऑबफस्केटेड मार्जिन को बढ़ाने या ऑबफस्केटेड वेरिएंस को कम करने में विफल रहा।

महत्व और दावे
शोध का दावा है कि मानक मूल्यांकन मेट्रिक्स लेटेंट एम्बेडिंग कोलैप्स और ऑबफस्केशन के विरुद्ध वर्तमान ट्रांसफॉर्मर-आधारित सुरक्षा की अंतर्निहित ज्यामितीय नाजुकता को पकड़ने में विफल रहते हैं। लेखक तर्क देते हैं कि उच्च पहचान प्रदर्शन, रिप्रजेंटेशनल मजबूती का संकेत नहीं देता है। फलस्वरूप, वे तर्क देते हैं कि परफॉर्मेंस-रोबस्टनेस गैप वर्तमान ट्रांसफॉर्मर-आधारित सुरक्षा की एक अंतर्निहित विशेषता है।

इस कार्य का महत्व "परफॉर्मेंस-रोबस्टनेस गैप" की पहचान करने में निहित है, जो यह प्रदर्शित करता है कि एक डिटेक्टर अत्यधिक सटीक हो सकता है फिर भी ज्यामितीय रूप से नाजुक हो सकता है। लेखक निष्कर्ष निकालते हैं कि मजबूत प्रॉम्प्ट-इंजेक्शन रक्षा के लिए प्रदर्शन-आधारित मूल्यांकन के पूरक के रूप में ज्योमेट्री-अवेयर (geometry-aware) मजबूती विश्लेषण आवश्यक है। वे यह दावा नहीं कर रहे हैं कि उन्होंने भेद्यता (vulnerability) को हल कर दिया है, बल्कि उन्होंने यह उजागर किया है कि वर्तमान में डिफेंसेज का मूल्यांकन कैसे किया जाता है उसमें एक मौलिक सीमा है, जो सीखे गए रिप्रजेंटेशन के ज्यामितीय ढांचे के विश्लेषण की ओर बढ़ने के लिए प्रेरित करती है।

सुरक्षा का भ्रम

छिपी हुई खामी: "भीड़ में भूत"

"नाजुक" मानचित्र

बड़े गार्ड्स भी मदद नहीं करते

मुख्य निष्कर्ष

इसी तरह के और पेपर