Located but Not Releasable: Silent Gate Inversion and Bounded Linear Release

कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल, सुपर-स्मार्ट रोबोट मस्तिष्क के भीतर एक रहस्य को सुलझाने की कोशिश कर रहे हैं। विज्ञान का यह क्षेत्र "AI इंटरप्रिटेबिलिटी" (AI interpretability) कहलाता है, और इसका लक्ष्य यह समझना है कि ये डिजिटल मस्तिष्क वास्तव में कैसे सोचते हैं। लंबे समय से, शोधकर्ता रोबोट के दिमाग के अंदर "सुराग" खोजने में माहिर रहे हैं। वे किसी विशिष्ट स्थान की ओर इशारा कर सकते हैं और कह सकते हैं, "देखो! रोबोट यहाँ उत्तर जानता है; यह बस इसे छिपा रहा है।" वे "प्रोब्स" (probes) जैसे उपकरणों का उपयोग करते हैं (जो अंदर देखने के लिए टॉर्च की तरह हैं) और "स्टीयरिंग वेक्टर्स" (steering vectors) का उपयोग करते हैं (जो रोबोट के विचारों को एक नई दिशा में धकेलने के लिए हल्के धक्के की तरह हैं)। बड़ी उम्मीद यह थी कि एक बार जब हम खोज लेंगे कि रोबोट सच्चाई कहाँ छिपा रहा है, तो हम बस एक स्विच चालू कर देंगे या उसे थोड़ा सा धक्का देंगे, और वह अचानक सही ढंग से व्यवहार करने लगेगा। यह एक सरल इंजीनियरिंग समस्या जैसा लग रहा था: टूटे हुए तार को खोजो, उसे ठीक करो, और मशीन काम करने लगेगी।

लेकिन क्या होगा अगर रोबोट केवल उत्तर छिपा नहीं रहा है? क्या होगा अगर वह उत्तर जानता है, लेकिन जिस तरह से हम उसे "ठीक" करने की कोशिश करते हैं वह मौलिक रूप से त्रुटिपूर्ण है? यह प्रश्न यह शोध पत्र पूछता है। यह एक खजाने के नक्शे को खोजने जैसा है जो एक संदूक की ओर ले जाता है, लेकिन फिर आपको एहसास होता है कि आपके पास जो चाबी है वह ताले में फिट नहीं बैठती, या ताला वास्तव में गलत दरवाजे पर है। शोधकर्ता जानना चाहते थे: यदि हम ठीक से पता लगा लें कि रोबोट अपने विचार को कहाँ दबा रहा है, तो क्या हम वास्तव में उसे उस विचार का उपयोग करने के लिए मजबूर कर सकते हैं? उन्होंने इन AI मॉडलों को नियंत्रित करने में सक्षम होने की आशा के साथ एक कठोर, पूर्व-नियोजित प्रयोग स्थापित किया। इसके बजाय, उन्होंने एक दोहरी विफलता की खोज की जो बताती है कि AI को नियंत्रित करना केवल सही स्विच खोजने की तुलना में बहुत अधिक कठिन और जटिल है।

---

साइलेंट गेट और स्टक लीवर की कहानी

C1 से मिलिए, एक छोटा लेकिन शक्तिशाली रोबोट मस्तिष्क जिसके 25.7 मिलियन भाग हैं। इसे एक पेचीदा खेल पर प्रशिक्षित किया गया था: इसे सुराग देखने थे और किसी चीज़ के वास्तविक कारण का पता लगाना था, भले ही सुराग भ्रामक हों। कल्पना कीजिए कि एक जासूस गीली सड़क और छतरी लिए एक व्यक्ति को देखता है। एक स्मार्ट जासूस जानता है कि छतरी ने गीलेपन का कारण बनी (या शायद बारिश ने), लेकिन एक भ्रमित जासूस केवल वही अनुमान लगाएगा जो वह देख रहा है। C1 को स्मार्ट जासूस बनना था, लेकिन इसमें एक गड़बड़ी थी: वह अपने मस्तिष्क की गहराई में वास्तविक उत्तर जानता था, लेकिन वह गलत, "सरल" उत्तर देता रहता था। इसे सप्रेशन (suppression) कहा जाता है। रोबलेट के पास ज्ञान था, लेकिन उसने उसका उपयोग करने से इनकार कर दिया।

शोधकर्ताओं ने C1 को ठीक करने के लिए तीन-चरणीय बचाव मिशन चलाने का निर्णय लिया:

1. डिटेक्ट (Detect - पहचानना): एक सेंसर बनाना ताकि यह पता चल सके कि C1 कब गलत उत्तर देने वाला है।
2. लोकलाइज (Localize - स्थान निर्धारण): रोबोट के मस्तिष्क में उस सटीक स्थान का पता लगाना जहाँ "वास्तविक" ज्ञान छिपा हुआ है।
3. रिलीज़ (Release - मुक्त करना): रोबोट को एक हल्का धक्का (एक "स्टीयरिंग वेक्टर") देना ताकि वह उस छिपे हुए ज्ञान का उपयोग करने के लिए मजबूर हो सके।

उन्होंने इस पूरे प्रयोग को एक सख्त विज्ञान मेले के प्रोजेक्ट की तरह योजनाबद्ध किया, शुरू करने से पहले ही हर नियम और संख्या लिख दी, ताकि वे बाद में नियमों को बदल न सकें। यहाँ क्या हुआ।

चरण 1: नक्शा सही है (लोकलाइजेशन सफल रहा)

सबसे पहले, उन्होंने "छिपाने की जगह" खोजने की कोशिश की। उन्होंने "साधारण" रोबोट के मस्तिष्क के हिस्सों को उसके "स्मार्ट" संस्करण के साथ बदल दिया, जैसे कि एक टूटे हुए इंजन के हिस्से को काम करने वाले हिस्से से बदलना।
परिणाम: यह पूरी तरह से काम कर गया! जब उन्होंने मस्तिष्क के मध्य परतों (विशेष रूप से "ऑब्जर्वेशन-एविडेंस" चैनलों में) के हिस्सों को बदला, तो रोबोट अचानक सही उत्तर देने लगा।
संख्याएँ: जिन दुनियाओं में यह महत्वपूर्ण था, वहां रोबोट का व्यवहार 0.563 और 0.854 (एक बड़ी छलांग) से सुधरा, और सबसे अच्छे स्थान पर, उन्होंने 88.9% सही व्यवहार को पुनः प्राप्त किया।
इसका अर्थ है: "खजाने का नक्शा" सही था। रोबोट के पास ज्ञान है, और हम जानते हैं कि वह कहाँ है।

चरण 2: द साइलेंट गेट (डिटेक्टर विफल रहा)

इसके बाद, उन्होंने एक स्वचालित प्रणाली बनाने की कोशिश की। उन्हें एक "गेटकीपर" (डिटेक्टर) की आवश्यकता थी जो रोबोट की निगरानी करे और कहे, "हे, तुम गलती करने वाले हो! अब ठीक करने का समय है!" उन्होंने इस गेटकीपर को एक अभ्यास सेट पर प्रशिक्षित किया जहाँ इसने परेशानी को पहचानना सीखा।
परिणाम: गेटकीपर बुरी तरह विफल रहा, लेकिन बहुत शांति से।

• उन 2,400 विशिष्ट परीक्षण मामलों में जहाँ रोबोट को वास्तव में मदद की आवश्यकता थी, गेटकीपर ने 0 बार "ना" कहा। वह पूरी तरह से शांत था।
• वहीं, सामान्य, सुरक्षित मामलों में जहाँ किसी मदद की आवश्यकता नहीं थी, गेटकीपर घबरा गया और चीजों को "ठीक" करने की कोशिश करने लगा, जो 6.9% से 7.3% तक था।
  उपमा: एक ऐसे स्मोक डिटेक्टर की कल्पना करें जो वास्तविक आग लगने पर कभी नहीं बजता, लेकिन हर बार जब कोई ब्रेड टोस्ट करता है तो जोर से चिल्लाता है। क्योंकि आग लगने पर वह कभी नहीं चिल्लाया, इसलिए फायर ब्रिगेड कभी नहीं पहुँच सकी। "गेटेड" सिस्टम बिल्कुल टूटे हुए रोबोट जैसा ही था क्योंकि गेट कभी खुला ही नहीं।

चरण 3: द स्टक लीवर (लीनियर रिलीज़ विफल रहा)

ठीक है, गेटकीपर बेकार था। शोधकर्ताओं ने सोचा, "कोई बात नहीं! चलिए गेट को हटा देते हैं और बस हमेशा रोबोट को सही दिशा में धकेलते हैं।" उन्होंने "धक्का" (एक लीनियर डायरेक्शन वेक्टर) लिया और बिना अनुमति के उसे मस्तिष्क में इंजेक्ट कर दिया।
परिणाम: रोबोट सही दिशा में चला, लेकिन वह अटक गया।

• जैसे-जैसे उन्होंने धक्के की ताकत (डोज़) बढ़ाई, रोबोट का प्रदर्शन सुधरा, लेकिन एक बिंदु तक ही। यह एक सीमा (सीलिंग) पर पहुँच गया और बेहतर होना बंद हो गया।
• सबसे मजबूत धक्के के साथ भी, रोबोट का उत्तर 0.264 के अंतर से गलत था, जबकि लक्ष्य 0.08 के भीतर होना था।
• उन्होंने हर सवाल के लिए धक्के को स्मार्ट बनाकर (पर-इंस्टेंस अडैप्टिविटी) इसे बदलने की कोशिश की, लेकिन इससे लगभग कुछ भी नहीं जुड़ा—±0.03 से भी कम सुधार हुआ।
  उपमा: यह एक भारी पत्थर को पहाड़ी पर धकेलने जैसा है। आप जितना हो सके उतना ज़ोर लगाते हैं, और पत्थर थोड़ा सा हिलता है, लेकिन फिर वह एक सपाट पठार पर पहुँच जाता है। आप चाहे कितनी भी ज़ोर से धक्का दें, वह आगे नहीं बढ़ेगा। "धक्का" खुद काम पूरा करने के लिए बहुत कमजोर था, भले ही वे सही दिशा में धक्का दे रहे थे।

बड़ा निष्कर्ष: दो अलग-अलग समस्याएँ

इस शोध पत्र की मुख्य खोज यह है कि समस्या को खोजना और समस्या को ठीक करना दो पूरी तरह से अलग चुनौतियाँ हैं।

1. नक्शा वास्तविक है: हमने सफलतापूर्वक खोज लिया कि रोबात अपना ज्ञान कहाँ छिपाता है। वह हिस्सा काम करता है।
2. फिक्स (ठीक करना) टूटा हुआ है:
   • पहला, हमारी स्वचालित अलार्म प्रणाली (गेट) उल्टी है; यह वास्तविक आपात स्थितियों को अनदेखा करती है और बिना वजह घबरा जाती है।
   • दूसरा, भले ही हम अलार्म को अनदेखा कर दें और बस रोबोट को धकेलें, तो भी "धक्का" (लीनियर स्टीयरिंग) काम पूरा करने के लिए पर्याप्त मजबूत नहीं है। यह एक कठिन सीमा (हार्ड लिमिट) से टकरा जाता है।

शोधकर्ता इस बारे में बहुत आश्वस्त हैं क्योंकि उन्होंने सब कुछ पहले से ही योजनाबद्ध किया था और जब परिणाम खराब दिखे तो उन्होंने नियम नहीं बदले। उन्होंने केवल "सुझाव" नहीं दिया; उन्होंने इसे सख्त गणित के साथ मापा और दिखाया कि विफलता दो स्वतंत्र तरीकों से हुई।

यह भविष्य के लिए क्या मायने रखता है:
लंबे समय तक वैज्ञानिकों ने सोचा, "यदि हम संरचना को खोज सकते हैं, तो हम इसे नियंत्रित कर सकते हैं।" यह शोध पत्र कहता है, "इतना जल्दी नहीं।" सिर्फ इसलिए कि आप रोबोट के भीतर ज्ञान देख सकते हैं, इसका मतलब यह नहीं है कि आप आसानी से उसे उस ज्ञान का उपयोग करने के लिए मजबूर कर सकते हैं। "धक्का" बहुत सरल हो सकता है, या अलार्म सिस्टम बहुत भ्रमित हो सकता है। इन AI मस्तिष्क को वास्तव में नियंत्रित करने के लिए, हमें केवल एक स्थान खोजने और बटन दबाने से कहीं अधिक जटिल उपकरणों की आवश्यकता हो सकती है। "जानने" और "करने" के बीच की खाई वास्तविक है, और यह जितना हमने सोचा था उससे कहीं अधिक कठिन है।