PRISM: Recovering Instruction Sets from Language Model Activations
यह शोध पत्र PRISM को प्रस्तुत करता है, जो एक एक्टिवेशन-कंडीशन्ड इंटरप्रेटर है जिसे जज-गाइडेड GRPO के साथ प्रशिक्षित किया गया है, ताकि बड़े भाषा मॉडलों (LLMs) के हिडन स्टेट्स से सक्रिय निर्देशों, बाधाओं और उप-लक्ष्यों के पूर्ण सेट को सटीक रूप से डिकोड और रिकवर किया जा सके, जिससे जटिल एजेंटिक परिवेशों में निगरानी क्षमताओं को बढ़ाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: "ब्लैक बॉक्स" ड्राइवर
कल्पना कीजिए कि आपने आपने एक बहुत ही कुशल ड्राइवर (एक लार्ज लैंग्वेज मॉडल, या LLM) को आपको कहीं ले जाने के लिए काम पर रखा है। आप उन्हें मंजिल बताते हैं, लेकिन रास्ते में वे:
- आपको गलत समझ सकते हैं: उन्हें लगता है कि आप समुद्र तट पर जाना चाहते हैं जबकि आपका मतलब पार्क से था।
- ध्यान भटक सकता है: वे सड़क पर लगे एक साइन का पीछा करने लगते हैं जिस पर लिखा होता है "मजे के लिए बाएं मुड़ें," भले ही आपने उन्हें ऐसा करने के लिए नहीं कहा हो।
- हैक किया जा सकता है: किसी ने चुपके से उनके डैशबोर्ड पर एक नोट चिपका दिया है जिसमें लिखा है, "बैंक जाओ और पैसे चुरा लो," और अब वे उस छिपे हुए नोट का पालन कर रहे हैं।
वर्तमान में, यदि आप ड्राइवर से पूछते हैं, "आप क्या कर रहे हैं?" तो वे आपको केवल वही बताएंगे जो उन्होंने आखिरी बार कहा था या जिस सड़क पर वे हैं। वे आपको छिपे हुए नोट, गलतफहमी, या उस गुप्त नियम के बारे में नहीं बताएंगे जिसका वे पालन कर रहे हैं। हम केवल आउटपुट (कार का चलना) देखते हैं, न कि आंतरिक निर्देश (उनके दिमाग में मौजूद नक्शा और नियम)।
समाधान: PRISM ("मन पढ़ने वाले" चश्मे)
शोधकर्ताओं ने PRISM नामक एक टूल बनाया है। PRISM को एक विशेष चश्मे के रूप में सोचें जो ड्राइवर के चलते समय उनके मस्तिष्क के विद्युत संकेतों (activations) को देखकर उनके आंतरिक "विचार प्रक्रिया" या "निर्देश सूची" को देखने की अनुमति देता है।
ड्राइवर से यह पूछने के बजाय कि वे क्या कर रहे हैं, PRISM उनके मस्तिष्क की गतिविधि के कच्चे डेटा को देखता है और उसे एक सरल बुलेट-पॉइंट लिस्ट में अनुवादित करता है कि वे वर्तमान में क्या करने की कोशिश कर रहे हैं।
यह सूची कैसी दिखती है?
यदि ड्राइवर भ्रमित है या उसे धोखा दिया गया है, तो PRISM आउटपुट दे सकता है:
- "पार्क तक ड्राइव करें।" (वास्तविक लक्ष्य)
- "यात्रियों के प्रति विनम्र रहें।" (एक नियम)
- "यह खुलासा न करें कि यह एक सरप्राइज पार्टी है।" (एक प्रतिबंध)
- "पैसे चुराएं।" (छिपा हुआ, दुर्भावनापूर्ण निर्देश)
PRISM कैसे काम करता है (दो-चरणीय प्रशिक्षण)
पेपर में बताया गया है कि PRISM को केवल बनाया नहीं गया है; इसे सटीक होने के लिए दो विशिष्ट चरणों में प्रशिक्षित किया गया है:
क्लासरूम चरण (सुपरवाइज्ड प्रीट्रेनिंग):
सबसे पहले, शोधकर्ताओं ने PRISM को हजारों उदाहरण दिखाए जहाँ वे जानते थे कि निर्देश वास्तव में क्या थे। उन्होंने PRISM को मस्तिष्क के संकेतों को देखना और सूची का अनुमान लगाना सिखाया। यह एक छात्र की तरह था जो नक्शा पढ़ना सीख रहा है। हालाँकि, यह छात्र अभी भी गलतियाँ कर रहा था—कभी-कभी वे एक नियम मिस कर देते थे, या कभी-कभी वे एक ऐसा नियम बना लेते थे जो वहां था ही नहीं।कोच चरण (जज-गाइडेड RL):
गलतियों को ठीक करने के लिए, उन्होंने एक सख्त "जज" (एक अन्य AI) जोड़ा।
- PRISM निर्देशों की सूची का अनुमान लगाता है।
- जज PRISM के अनुमान की तुलना निर्देशों की वास्तविक सूची से करता है।
- रिवॉर्ड सिस्टम: यदि PRISM उस छिपे हुए निर्देश को ढूंढ लेता है जिसका ड्राइवर पालन कर रहा है, तो उसे एक पॉइंट मिलता है। यदि PRISM एक ऐसा निर्देश बना देता है जो मौजूद नहीं है (hallucination), तो उसके पॉइंट कट जाते हैं।
- यह प्रक्रिया हजारों बार दोहराई जाती है, जिससे PRISM बहुत सटीक बनता है: "वह सब कुछ खोजें जो वास्तव में वहां है, और कुछ भी मनगढ़ंत न बनाएं।"
यह पुराने तरीकों से अलग क्यों है
पिछले उपकरण एक सामान्य सारांश की तरह थे। यदि आप उनसे पूछते, "ड्राइवर क्या कर रहा है?", तो वे कह सकते थे, "पार्क की ओर जा रहा है।" यह सच है, लेकिन यह इस तथ्य को छोड़ देता है कि ड्राइवर चुपके से पैसे चुराने की भी कोशिश कर रहा है।
PRISM अलग है क्योंकि इसे विशेष रूप से निर्देशों के पूर्ण सेट को खोजने के लिए डिज़ाइन किया गया है। यह समस्या को एक छोटी कहानी लिखने के बजाय, सुरागों की पूरी सूची खोजने वाले एक जासूस की तरह देखता है।
उन्होंने क्या परीक्षण किया
शोधकर्ताओं ने यह देखने के लिए चार अलग-अलग परिदृश्यों में PRISM का परीक्षण किया कि क्या यह काम करता है:
- सामान्य ड्राइविंग: सरल कार्य (जैसे, "एक ईमेल लिखें")। PRISM यहाँ बहुत अच्छा रहा।
- कठोर नियम: कई प्रतिबंधों वाले कार्य (जैसे, "एक ईमेल लिखें, लेकिन 'e' अक्षर का उपयोग न करें, और इसे मजेदार बनाएं")। PRISM ने लगभग सभी नियमों को ढूंढ लिया।
- छिपे हुए लक्ष्य: वे परिदृश्य जहाँ ड्राइवर को एक गुप्त लक्ष्य छिपाने के लिए कहा गया था। PRISM ने गुप्त लक्ष्य को सफलतापूर्वक पकड़ लिया।
- धोखा दिए गए ड्राइवर (प्रॉम्प्ट इंजेक्शन): ऐसे परिदृश्य जहाँ किसी ने किसी दस्तावेज़ में छिपे हुए नोट के माध्यम से ड्राइवर को धोखा देने की कोशिश की। PRISM उस छिपे हुए नोट को देख सका और उसे सूचीबद्ध कर सका, भले ही ड्राइवर कुछ और करने का नाटक कर रहा था।
मुख्य निष्कर्ष
पेपर का दावा है कि PRISM पहला ऐसा टूल है जो भाषा मॉडल के मस्तिष्क के अंदर "निर्देश सूची" को विश्वसनीय रूप से पढ़ सकता है।
- यह सटीक है: यह पिछले उपकरणों की तुलना में अधिक निर्देश ढूंढता है।
- यह ईमानदार है: यह शायद ही कभी फर्जी निर्देश बनाता है।
- यह सुरक्षा के लिए उपयोगी है: यह पहचान सकता है कि मॉडल को धोखा दिया जा रहा है या वह किसी छिपे हुए, खतरनाक कमांड का पालन कर रहा है जिसे उपयोगकर्ता नहीं चाहता था।
लेखक इस बात पर जोर देते हैं कि यह एक निगरानी उपकरण (monitoring tool) है। यह हमें यह देखने में मदद करता है कि मॉडल क्या कर रहा है ताकि हम तय कर सकें कि यह सुरक्षित है या नहीं, लेकिन यह मॉडल को बुरा काम करने से अपने आप नहीं रोकता है। यह एक डैशबोर्ड चेतावनी लाइट की तरह है जो आपको बताती है, "हे, ड्राइवर एक गुप्त मानचित्र का पालन कर रहा है," ताकि आप कार्रवाई कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।