🤖 machine learning

ReGA: Model-Based Safeguard for LLMs via Representation-Guided Abstraction

ReGA एक स्केलेबल, मॉडल-आधारित सुरक्षा ढांचा (safeguard framework) है जो बड़े भाषा मॉडलों (Large Language Models) को प्रभावी ढंग से एब्स्ट्रैक्ट और मॉनिटर करने के लिए लो-डायमेंशनल सेफ्टी-क्रिटिकल रिप्रेजेंटेशन्स का लाभ उठाता है, जिससे पारंपरिक विश्लेषण तकनीकों की स्केलेबिलिटी सीमाओं को पार करते हुए हानिकारक सामग्री का पता लगाने में उच्च सटीकता और व्याख्यात्मकता (interpretability) प्राप्त होती है।

मूल लेखक: Zeming Wei, Chengcan Wu, Meng Sun

प्रकाशित 2026-04-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zeming Wei, Chengcan Wu, Meng Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

🧠 मुख्य चित्र: "अति-आत्मविश्वासी जीनियस" की समस्या

कल्पना कीजिए कि आपने अपने काम के लिए एक अत्यंत बुद्धिमान, विश्वकोश जैसे जीनियस (एक लार्ज लैंग्वेज मॉडल, या LLM) को काम पर रखा है। यह जीनियस सब कुछ जानता है: कोड कैसे लिखना है, गणित की समस्याओं को कैसे हल करना है और चुटकुले कैसे सुनाने हैं। हालाँकि, एक पेंच है: यह जीनियस थोड़ा चालाक भी है। यदि आप उनसे विनम्रता से कुछ करने को कहेंगे, तो वे शायद कोई बुरा काम करने से मना कर दें। लेकिन यदि आप उन्हें किसी चालाकी भरे तरीके से पूछें, या किसी फिल्म के खलनायक होने का नाटक करें, तो वे अनजाने में (या जानबूझकर) बम बनाने की निर्देशिका लिखना या किसी का अपमान करना शुरू कर सकते हैं।

यह आज की AI की सुरक्षा समस्या (safety problem) है। हमें एक ऐसा तरीका चाहिए जिससे हम उस जीनियस को बुरा काम करने से रोक सकें, बिना उसकी गति धीमी किए या उसे सामान्य कार्यों में मदद करने से मना किए।

🛡️ पुराना गार्ड: पिछले तरीके क्यों विफल रहे

वैज्ञानिकों ने इसे ठीक करने के लिए दो मुख्य तरीकों को आज़माया है:

"दोहरा जाँच" विधि (LLM-Judge): आप जीनियस से पूछते हैं, "क्या यह अनुरोध सुरक्षित है?" इससे पहले कि वे उत्तर दें।
- समस्या: यह जीनियस को हर एक शब्द बोलने से पहले रुकने और सोचने के लिए कहने जैसा है। यह धीमा है, महंगा है, और कभी-कभी जीनियस भ्रमित होकर केवल सुरक्षित रहने के लिए अच्छे सवालों में भी मदद करने से मना कर देता है (इसे "ओवर-रिफ्यूज़ल" कहा जाता है)।
"पूर्ण-ब्लूप्रिंट" विधि (Model-Based Analysis): वैज्ञानिकों ने जीनियस के मस्तिष्क का एक सटीक गणितीय मानचित्र बनाने की कोशिश की ताकि यह अनुमान लगाया जा सके कि वे क्या करेंगे।
- समस्या: जीनियस का मस्तिष्क बहुत विशाल है! हर एक न्यूरॉन का मानचित्र बनाने की कोशिश करना समुद्र तट पर रेत के हर एक कण का मानचित्र बनाने की कोशिश करने जैसा है। इसमें बहुत अधिक कंप्यूटर शक्ति लगती है और यह बड़े पैमाने पर लागू नहीं हो पाता।

🚀 नया समाधान: ReGA (द "सेफ्टी रडार")

इस शोध पत्र के लेखकों ने ReGA (रिप्रेजेंटेशन-गाइडेड एब्स्ट्रैक्शन) बनाया है। ReGA को पूरे मस्तिष्क के मानचित्र के रूप में नहीं, बल्कि एक विशेषीकृत रडार प्रणाली के रूप में सोचें जो केवल "खतरे के संकेतों" को देखती है।

यह कैसे काम करता है, इसे तीन सरल चरणों में विभाजित किया गया है:

1. "खतरे की वाइब" को सीखना (Representation Extraction)

कल्पना कीजिए कि आप एक सुरक्षा गार्ड को चोर पहचानने के लिए सिखाना चाहते हैं। आप उन्हें अब तक के हर एक व्यक्ति को नहीं दिखाते। इसके बजाय, आप उन्हें एक "कॉन्ट्रास्टिव डेटासेट" दिखाते हैं:

सुरक्षित उदाहरण: किराने का सामान खरीदता हुआ एक व्यक्ति (Safe Prompt)।
असुरक्षित उदाहरण: दुकान में हथियार चुराने की कोशिश करता हुआ एक व्यक्ति (Harmful Prompt)।

ReGA इन उदाहरणों को प्रोसेस करते समय जीनियस के मस्तिष्क को देखता है। यह देखता है कि जब जीनियस "हानिकारक" चीजों के बारे में सोचता है, तो उसके मस्तिष्क के कुछ विशिष्ट हिस्से एक बहुत ही विशिष्ट पैटर्न में चमकते हैं। यह रेडियो पर एक विशिष्ट "खतरे की फ्रीक्वेंसी" खोजने जैसा है। ReGA इस फ्रीक्वेंसी को ट्यून करना और बाकी सब कुछ अनदेखा करना सीख जाता है।

2. "सेफ्टी मैप" बनाना (Abstract Model Construction)

पूरे मस्तिष्क का मानचित्र बनाने के बजाय, ReGA उन "खतरे की फ्रीक्वेंसी" को लेता है और उन्हें सरल बनाता है।

यह समान "खतरे की वाइब्स" को बकेटों (जिन्हें Abstract States कहा जाता है) में समूहबद्ध करता है।
यह सड़क के नियम सीखता है: "यदि जीनियस 'सुरक्षित बातचीत' वाले बकेट में है, तो वे आमतौर पर वहीं रहते हैं। लेकिन यदि वे अचानक 'एक्सप्लॉइट वल्नरेबिलिटीज़' (कमियों का फायदा उठाना) वाले बकेट में कूद जाते हैं, तो वह एक रेड फ्लैग है!"

इसे एक ट्रैफिक लाइट सिस्टम की तरह समझें।

ग्रीन लाइट: AI सुरक्षित अवधारणाओं (जैसे, "मौसम कैसा है?") के माध्यम से आगे बढ़ रहा है।
रेड लाइट: AI एक खतरनाक अवधारणा (जैसे, "मैं बैंक को कैसे हैक करूँ?") की ओर कूदने की कोशिश करता है।
येलो लाइट: AI अजीब व्यवहार कर रहा है या ऐसे स्टेट्स के बीच कूद रहा है जैसा कि सुरक्षित लोग आमतौर पर नहीं करते।

3. रियल-टाइम गार्ड (Runtime Safeguarding)

अब, जब कोई उपयोगकर्ता प्रश्न पूछता है, तो ReGA एक क्लब के बाउंसर की तरह काम करता है।

AI के बोलने से पहले: ReGA प्रश्न की जाँच करता है। यदि "खतरे की वाइब" बहुत अधिक है, तो यह तुरंत AI को रोक देता है।
AI के बोलने के बाद: ReQA उत्तर की जाँच करता है। भले ही प्रश्न सुरक्षित था, क्या AI ने अनजाने में कुछ बुरा लिखना शुरू कर दिया? यदि उत्तर के दौरान "ट्रैफिक लाइट्स" लाल हो जाती हैं, तो ReGA फीड को काट देता है।

🌟 ReGA क्यों विशेष है? (इसकी सुपरपावर्स)

यह तेज़ है (Scalable): क्योंकि यह पूरे मस्तिष्क को देखने के बजाय केवल "खतरे की फ्रीक्वेंसी" को देखता है, यह अविश्वसनीय रूप से तेज़ है। यह जीनियस को धीमा नहीं करता है।
यह स्मार्ट है (Interpretable): एक ब्लैक-बॉक्स AI के विपरीत जो केवल "नहीं" कहता है, ReGA आपको बता सकता है कि क्यों। यह कह सकता है, "मैंने इसे रोका क्योंकि AI बहुत तेज़ी से 'सुरक्षित' स्टेट से 'हैकिंग' स्टेट में कूद गया।" यह एक सुरक्षा गार्ड की तरह है जो एक विशिष्ट संदिग्ध व्यवहार की ओर इशारा करता है।
यह धोखे से परे है (Robust): भले ही बुरे तत्व "जेलब्रेक" के तरीकों का उपयोग करने की कोशिश करें (जैसे, AI को खेल में विलेन बनने के लिए कहना), ReGA अभी भी मस्तिष्क की गतिविधि में अंतर्निहित "खतरे की वाइब" को देख सकता है। यह वेशभूषा के पीछे देख लेता है।

🏁 निष्कर्ष

ReGA एक ऐसे विशेषज्ञ सुरक्षा फिल्टर की तरह है जो उपयोगकर्ता और AI के मस्तिष्क के बीच स्थित है। इसे पूरी दुनिया को समझने की आवश्यकता नहीं है; इसे बस यह जानने की आवश्यकता है कि AI की आंतरिक भाषा में "खतरा" कैसा दिखता है।

पुराना तरीका: हर एक बुरी चीज़ को याद करने की कोशिश करना (बहुत धीमा, बहुत कठिन)।
ReGA का तरीका: बुरी चीज़ों की "वाइब" को पहचानना और जैसे ही AI उस वाइब को महसूस करे, उसे रोकना।

शोध पत्र दिखाता है कि यह विधि बुरे इनपुट को पकड़ने में 97-98% सटीक है, कई अलग-अलग AI मॉडल्स पर काम करती है, और वर्तमान तरीकों की तुलना में बहुत तेज़ और सस्ती है। यह AI को सुरक्षित, विश्वसनीय और वास्तविक दुनिया के लिए तैयार बनाने की दिशा में एक बड़ा कदम है।

यहाँ शोध पत्र "ReGA: Model-Based Safeguard for LLMs via Representation-Guided Abstraction" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) ने महत्वपूर्ण सफलता प्राप्त की है, लेकिन वे सुरक्षा और सुरक्षा संबंधी चुनौतियों का सामना कर रहे हैं, जिसमें हानिकारक सामग्री का निर्माण और जेलब्रेकिंग हमलों (सुरक्षा फिल्टर को बायपास करने के लिए डिज़ाइन किए गए एडवरसैरियल प्रॉम्प्ट्स) के प्रति संवेदनशीलता शामिल है।

मौजूदा समाधान दो मुख्य सीमाओं का सामना करते हैं:

डिटेक्शन-आधारित विधियाँ (Detection-based methods): LLM-Judges (सुरक्षा जाँचने के लिए दूसरे LLM का उपयोग करना) या पर्प्लेक्सिटी फिल्टर्स जैसे दृष्टिकोण अक्सर उच्च कम्प्यूटेशनल लागत, ओवर-रिफ्यूज़ल (सौम्य इनपुट को ब्लॉक करना), और व्याख्यात्मकता (interpretability) की कमी से ग्रस्त होते हैं।
मॉडल-आधारित विश्लेषण (Model-based analysis): छोटे डीप न्यूरल नेटवर्क (DNNs) के लिए उपयोग की जाने वाली पारंपरिक तकनीकें (जैसे, डिस्क्रीट टाइम मार्कोव चेन या DFA निकालना) LLMs पर स्केल करने में विफल रहती हैं। LLMs के विशाल फीचर स्पेस के लिए यूनिवर्सल प्रॉपर्टीज को मॉडल करने के लिए लाखों एब्स्ट्रैक्ट स्टेट्स की आवश्यकता होती है, जो एक स्केलेबिलिटी बॉटलनेक पैदा करता है और इन विधियों को बड़े पैमाने पर अप्रभावी बना देता है।

मुख्य चुनौती एक ऐसा सुरक्षा कवच (safeguard) विकसित करना है जो स्केलेबल हो (बड़े मॉडल्स के साथ काम करे), कुशल हो (कम इन्फरेंस ओवरहेड), और व्याख्यात्मक हो, बिना महंगे ब्लैक-बॉक्स क्लासिफायर पर निर्भर रहे।

2. कार्यप्रणाली: ReGA फ्रेमवर्क (Methodology: ReGA Framework)

लेखक ReGA (रिप्रेजेंटेशन-गाइडेड एब्स्ट्रैक्शन) प्रस्तावित करते हैं, जो एक मॉडल-आधारित विश्लेषण फ्रेमवर्क है जो LLMs में लो-डायमेंशनल सेफ्टी-क्रिटिकल रिप्रेजेंटेशन के संबंध में हालिया खोजों का लाभ उठाता है। सभी हिडन स्टेट्स को मॉडल करने के बजाय, ReGA हिडन स्टेट स्पेस में विशिष्ट दिशाओं पर ध्यान केंद्रित करता है जो सुरक्षा अवधारणाओं (safety concepts) के साथ सह-संबंधित हैं।

यह फ्रेमवर्क तीन चरणों में कार्य करता है:

चरण I: सुरक्षा प्रतिनिधित्व निष्कर्षण (Safety Representations Extraction)

कॉन्ट्रास्टिव डेटासेट निर्माण: एक डेटासेट $D$ बनाया गया है जिसमें चार उपसमूह शामिल हैं: सुरक्षित प्रॉम्प्ट्स ( $R_S$ ), सुरक्षित बातचीत ( $C_S$ ), हानिकारक प्रॉम्प्ट्स ( $R_H$ ), और हानिकारक बातचीत ( $C_H$ )।
फीचर चयन: लेखक LLM के मिडल लेयर्स (विशेष रूप से लेयर $L/2$ ) से हिडन स्टेट्स निकालते हैं, क्योंकि ये लेयर्स पाई गई हैं कि इनमें सबसे अधिक भेदभावपूर्ण सुरक्षा अवधारणाएं होती हैं, इससे पहले कि मॉडल अंतिम रिफ्यूज़ल/जेनरेशन निर्णय ले।
डायमेंशनलिटी रिडक्शन: कॉन्ट्रास्टिव डेटासेट में सुरक्षित और हानिकारक फीचर्स के बीच प्रिंसिपल कंपोनेंट एनालिसिस (PCA) लागू किया जाता है। यह एक छोटा सेट सेफ्टी रिप्रेजेंटेशन्स ( $r_1, \dots, r_K$ ) निकालता है, जो सुरक्षित और हानिकारक इनपुट के बीच अंतर करने वाली मुख्य दिशाएँ हैं। यह डायमेंशनलिटी को हजारों (जैसे, 4096) से घटाकर एक प्रबंधनीय आकार (जैसे, 8–64) में कम कर देता है।

चरण II: एब्स्ट्रैक्ट मॉडल निर्माण (Abstract Model Construction)

कंक्रीट स्टेट मैपिंग: इनपुट टोकन्स को निकाले गए सुरक्षा प्रतिनिधित्वों पर प्रोजेक्ट किया जाता है ताकि कंक्रीट सुरक्षा अवस्थाएँ बनाई जा सकें।
एब्स्ट्रैक्शन (Clustering): अनसुपरवाइज्ड क्लस्टरिंग (K-Means) इन कंक्रीट अवस्थाओं को एब्स्ट्रैक्ट स्टेट्स ( $S$ ) के एक छोटे सेट में मैप करती है।
ट्रांजिशन मॉडलिंग: एक डिस्क्रीट टाइम मार्कोव चेन (DTMC) का निर्माण किया जाता है। एब्स्ट्रैक्ट स्टेट्स के बीच ट्रांजिशन प्रोबेबिलिटीज को केवल सुरक्षित इनपुट्स का उपयोग करके मॉडल किया जाता है। यह एक "सुरक्षित प्रक्षेपवक्र" (safe trajectory) स्थापित करता है।
सेफ्टी स्कोरिंग:
- स्टेट स्कोर ( $u$ ): एक विशिष्ट क्लस्टर में गिरने वाले सुरक्षित इनपुट के अनुपात पर आधारित।
- ट्रांजिशन स्कोर ( $v$ ): सुरक्षित वितरण के भीतर होने वाले ट्रांजिशन की संभावना पर आधारित।
- कुल स्कोर: पिछले $m$ स्टेट्स और उनके ट्रांजिशन के आधार पर एक इनपुट सीक्वेंस के लिए एक संयुक्त स्कोर $p(x)$ की गणना की जाती है।

चरण III: रनटाइम गार्डिंग (Runtime Safeguarding)

इन्फरेंस के दौरान, ReGA यूजर प्रॉम्प्ट (जेनरेशन से पहले) और पूरी बातचीत (जेनरेशन के बाद) के लिए सुरक्षा स्कोर की गणना करता है।
यदि स्कोर एक निर्धारित थ्रेशोल्ड से नीचे गिरता है, तो सिस्टम रिफ्यूज़ल ट्रिगर करता है।
डुअल-लेवल चेक: यह प्रॉम्प्ट स्तर और कन्वर्सेशन स्तर दोनों की जाँच करता है ताकि उन मामलों को पकड़ा जा सके जहाँ एक मॉडल शुरुआत में मना कर सकता है लेकिन फिर मल्टी-टर्न संवाद में हानिकारक सामग्री उत्पन्न कर सकता है।

3. प्रमुख योगदान (Key Contributions)

नया फ्रेमवर्क: ReGA का परिचय, जो पहला मॉडल-आधारित गार्डसेफ है जो स्केलेबिलिटी समस्याओं को दूर करने के लिए रिप्रेजेंटेशन-गाइडेड एब्स्ट्रैक्शन का उपयोग करता है।
रिप्रेजेंटेशन के माध्यम से स्केलेबिलिटी: यूनिवर्सल फीचर स्पेस के बजाय लो-डायमेंशनल सेफ्टी-क्रिटिकल दिशाओं पर ध्यान केंद्रित करके, ReGA एब्स्ट्रैक्ट स्टेट स्पेस को लाखों से कुछ दर्जन (जैसे, 32 स्टेट्स) तक कम कर देता है, जिससे यह LLMs के लिए व्यवहार्य हो जाता है।
व्यापक मूल्यांकन: छह ओपन-सोर्स LLMs (Vicuna, Llama-2, Qwen, Mistral, Koala, Baichan) और विभिन्न डेटासेट्स पर व्यापक प्रयोग।
ओपन सोर्स: कोड और व्यावहारिक दिशा-निर्देशों का रिलीज।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने MLP क्लासिफायर, यूनिवर्सल DTMCs, LLM-Judges और पर्प्लेक्सिटी फिल्टर्स सहित बेसलाइन्स के विरुद्ध ReGA का मूल्यांकन किया।

प्रभावशीलता (RQ1):
- AUROC: ReGA ने सुरक्षित बनाम हानिकारक इनपुट को अलग करने के लिए प्रॉम्प्ट स्तर पर 0.975 और कन्वर्सेशन स्तर पर 0.985 प्राप्त किया।
- क्रॉस-डेटासेट: इसने अनदेखे डेटासेट्स पर उच्च सटीकता (औसत Acc $\approx$ 0.87 हानिकारक के लिए, 0.97 सुरक्षित के लिए) बनाए रखी, जो मजबूत सामान्यीकरण (generalization) प्रदर्शित करती है।
- एब्लेशन: यह दिखाया गया कि स्टेट स्कोर (सिमेंटिक सेफ्टी) और ट्रांजिशन स्कोर (डिस्ट्रीब्यूशनल नॉर्मलिटी) दोनों ही इष्टतम प्रदर्शन के लिए पूरक और आवश्यक हैं।
सामान्यीकरण (RQ2):
- जेलब्रेकिंग: ReGA ने जेलब्रेकिंग हमलों (जैसे, रोल-प्लेइंग, मिसस्पेलिंग) को सफलतापूर्वक डिटेक्ट किया, जिसकी औसत सटीकता ~0.35–0.50 (थ्रेशोल्ड के आधार पर) थी, जो बेसलाइन्स से काफी बेहतर है जो अक्सर एडवरसैरियल इनपुट पर पूरी तरह विफल हो जाते हैं।
- सुरक्षा परिप्रेक्ष्य: यह विभिन्न सुरक्षा श्रेणियों (हेट स्पीच, अनुचित विषय, आदि) में अच्छी तरह से सामान्य हुआ।
- मजबूती (Robustness): फ्रेमवर्क विभिन्न हाइपरपैरामीटर्स (स्टेट्स की संख्या, PCA डायमेंशन्स) और मॉडल साइज (7B से 14B पैरामीटर्स तक स्केलिंग) में स्थिर रहा।
तुलना (RQ3):
- प्रदर्शन: ReGA ने सटीकता में सभी बेसलाइन्स को पछाड़ दिया। उदाहरण के लिए, HarmBench डेटासेट पर, ReGA (AccMCA 0.81) ने MLP-Cls (0.56) और Uni.-DTMC (0.21) को काफी पीछे छोड़ दिया।
- दक्षता: ReGA का इन्फरेंस ओवरहेड नगण्य है (0.01s प्रति प्रॉम्प्ट), जो MLP क्लासिफायर के तुलनीय है और LLM-Judges (2.86s प्रति प्रॉम्प्ट) से कहीं बेहतर है।
- व्याख्यात्मकता: ब्लैक-बॉक्स क्लासिफायर के विपरीत, ReGA व्याख्यात्मक एब्स्ट्रैक्ट स्टेट्स और ट्रांजिशन प्रोबेबिलिटीज प्रदान करता है, जिससे डेवलपर्स यह समझ सकते हैं कि किसी इनपुट को क्यों फ्लैग किया गया था।

5. महत्व (Significance)

SE4AI की प्रगति: ReGA, सॉफ्टवेयर इंजीनियरिंग फॉर AI (SE4AI) और LLM सुरक्षा के बीच के अंतर को पाटता है। यह प्रदर्शित करता है कि यदि रिप्रेजेंटेशन इंजीनियरिंग द्वारा निर्देशित हो, तो औपचारिक मॉडल-आधारित विश्लेषण तकनीकों को LLMs के लिए अनुकूलित किया जा सकता है।
व्यावहारिक तैनाती: यह वास्तविक दुनिया के LLM परिनियोजन के लिए एक हल्का, स्केलेबल और व्याख्यात्मक समाधान प्रदान करता है, जो वर्तमान गार्डसेफ के "ओवर-रिफ्यूज़ल" और "कम्प्यूटेशनल कॉस्ट" के मुद्दों को संबोधित करता है।
नया प्रतिमान (New Paradigm): यह पेपर स्थापित करता है कि LLMs में सुरक्षा को हिडन स्टेट्स के लो-डायमेंशनल एब्स्ट्रैक्शन के माध्यम से प्रभावी ढंग से मॉडल किया जा सकता है, जो जेनेरेटिव AI के औपचारिक सत्यापन (formal verification) और निगरानी के भविष्य के अनुसंधान का मार्ग प्रशस्त करता है।

निष्कर्षतः, ReGA एक मजबूत, कुशल और व्याख्यात्मक तंत्र प्रदान करता है, जो सुरक्षा डिटेक्शन और मॉडल उपयोगिता एवं स्केलेबिलिटी के बीच प्रभावी संतुलन बनाता है।