Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families
यह अध्ययन प्रदर्शित करता है कि "एब्लीटरेशन" (abliteration), जो एआई मॉडलों से इनकार तंत्र (refusal mechanisms) को हटाने की प्रक्रिया है, निर्णय लेने के रुझानों—जैसे कि बढ़ी हुई आशावादिता, वाचालता और विभिन्न मॉडल परिवारों में विचलित आत्मविश्वास परिवर्तन—पर महत्वपूर्ण और असंगत ऑफ-टारगेट प्रभाव उत्पन्न करता है, जो यह सिद्ध करता है कि अनसेंसर्ड (uncensored) मॉडल केवल अपने मूल समकक्षों के केवल परिशोधित संस्करण नहीं बल्कि मौलिक रूप से परिवर्तित एजेंट हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अदृश्य हैंडशेक: क्यों AI मॉडल अपने ब्रेक सिर्फ "बंद" नहीं करते
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट है जिसे विनम्र और सुरक्षित रहने के लिए प्रशिक्षित किया गया है। यदि आप उससे कुछ खतरनाक या बुरा करने के लिए कहते हैं, तो वह विनम्रता से कहता है, "नहीं, मैं यह नहीं कर सकता।" इसे "अस्वीकार" (refusal) कहा जाता है। अब, उन इंजीनियरों के एक समूह के बारे में सोचिए जो इस रोबोट को "अनसेंसर्ड" (uncensored) बनाना चाहते हैं। वे पूरे रोबोट को फिर से प्रशिक्षित नहीं करना चाहते; वे बस उसके मस्तिष्क के उस विशिष्ट हिस्से को सर्जिकल तरीके से हटाना चाहते हैं जो "ना" कहता है। वे इस प्रक्रिया को "एब्लिटरेशन" (abliteration) कहते हैं। यह विचार एक मशीन पर स्कैल्पल (शल्य चिकित्सा चाकू) चलाने जैसा है: "अस्वीकार" वाले तार को काट दें, और बाकी सब कुछ बिल्कुल वैसा ही रहना चाहिए। रोबोट अभी भी उतना ही बुद्धिमान, उतना ही सतर्क और उतना ही ईमानदार होना चाहिए, बस अब वह जोखिम भरे काम के लिए "ना" नहीं कहेगा।
लेकिन यहाँ पेचीदा हिस्सा यह है: AI मॉडल आपस में जुड़े विशाल, उलझे हुए कनेक्शनों के जाल की तरह हैं, न कि अलग-थलग तारों वाली सरल मशीनों की तरह। जब आप एक धागे को खींचते हैं, तो पूरा जाल अप्रत्याशित तरीकों से हिल सकता है। यह शोध पत्र एक महत्वपूर्ण प्रश्न पूछता है: यदि आप किसी AI के "अस्वीकार" वाले हिस्से को सर्जिकल तरीके से हटा देते हैं, तो क्या बाकी का रोबोट वैसा ही रहता है, या उसका व्यक्तित्व उन तरीकों से बदल जाता है जिन्हें हमने नोटिस नहीं किया? हम इस पर इसलिए ध्यान दे रहे हैं क्योंकि लोग इन "अनसेंसर्ड" रोबोटों का उपयोग वास्तविक दुनिया के निर्णय लेने के लिए करने लगे हैं, जैसे कि पैसा निवेश करना या सलाह देना। यदि सर्जरी रोबोट के व्यक्तित्व को बदल देती है—उसे अत्यधिक आशावादी या अजीब तरह से आत्मविश्वासी बना देती है—तो इससे बड़ी गलतियाँ हो सकती हैं।
वह सर्जरी जिसने मरीज का मूड बदल दिया
इस अध्ययन में, अलेक्जेंडर फाफुला (Aleksander Fafuła) नामक एक शोधकर्ता ने "एब्लिटरेशन" के "सर्जिकल" दावे का परीक्षण करने का निर्णय लिया। रोबोटों से कुछ खतरनाक करने के लिए कहने के बजाय (जो वैसे भी उनके रिफ्यूजल बटन को ट्रिगर कर देता), शोधकर्ता ने एक विशाल, नकली शेयर बाजार का खेल तैयार किया। उसने AI मॉडलों के दो अलग-अलग परिवारों को एक फंड के लिए "रिसर्च डायरेक्टर" के रूप में कार्य करने के लिए कहा। 18 सप्ताह तक हर सप्ताह, AI को वित्तीय रिपोर्टों के ढेर को देखना था और निर्णय लेना था: "क्या हमें यह दांव लगाना चाहिए कि यह स्टॉक ऊपर जाएगा या नीचे?"
सेटअप एक कॉइन फ्लिप (सिक्का उछालने) जैसा बनाया गया था। बाजार अप्रत्याशित था, और AI वास्तव में भविष्य की भविष्यवाणी नहीं कर सकता था। इसका मतलब था कि यदि AI अपना मन बदलता है, तो यह इसलिए नहीं था कि वह अधिक स्मार्ट हो गया था; बल्कि इसलिए था क्योंकि उसका "व्यक्तित्व" या "स्वभाव" बदल गया था। शोधकर्ता ने इस प्रयोग को 21,600 बार चलाया, जिसमें मूल "सुरक्षित" मॉडलों की तुलना उनके "एब्लिटरेटेड" (अनसेंसर्ड) जुड़वाओं से की गई।
शोधकर्ता ने जो पाया वह यह था: सर्जरी साफ-सुथरी नहीं थी।
1. "आशावाद" का बग (The "Optimism" Bug)
सबसे सुसंगत निष्कर्ष यह था कि एब्लिटरेटेड मॉडल काफी अधिक आशावादी हो गए। अपने मूल जुड़वाओं के समान ही साक्ष्य देखते हुए, "अनसेंसर्ड" संस्करणों ने स्टॉक के ऊपर जाने पर बहुत अधिक बार दांव लगाया।
- एक मॉडल परिवार (Gemma) के लिए, "अनसेंसर्ड" संस्करण ने मूल की तुलना में 12.2 प्रतिशत अंक अधिक बार ऊपर की ओर दांव लगाया।
- दूसरे परिवार (Qwen) के लिए, यह 7.4 प्रतिशत अंक अधिक था।
शोध पत्र इस विचार को खारिज करता है कि मॉडल केवल अपनी बात कहने के लिए "मुक्त" हो गए थे। मूल मॉडल पहले से ही इस कार्य को करने से मना नहीं कर रहे थे, इसलिए वहां कुछ भी "मुक्त" करने के लिए नहीं था। सर्जरी ने स्वयं एक नया, अत्यधिक सकारात्मक पूर्वाग्रह पैदा कर दिया।
2. आत्मविश्वास का विरोधाभास (The Confidence Paradox)
यहीं पर चीजें अजीब हो जाती हैं। शोधकर्ता को उम्मीद थी कि "अस्वीकार" के ब्रेक को हटाने से रोबोट अधिक आत्मविश्वासी हो जाएंगे। लेकिन परिणामों ने दिखाया कि दोनों मॉडल परिवारों ने विपरीत दिशाओं में प्रतिक्रिया दी।
- Gemma मॉडल, सर्जरी के बाद, कम आत्मविश्वासी हो गया। उसने अधिक बार कहना शुरू कर दिया, "मुझे पूरी तरह से यकीन नहीं है।"
- Qwen मॉडल, ठीक उसी सर्जरी के बाद, अधिक आत्मविश्वासी हो गया।
यह साबित करता है कि प्रभाव एक साधारण "डिसइनहिबिशन" (जैसे सीटबेल्ट हटाना) नहीं है। इसके बजाय, सर्जरी प्रत्येक विशिष्ट मॉडल के आंतरिक वायरिंग के साथ अलग-अलग तरह से इंटरैक्ट करती है, जिससे उनका आत्मविश्वास अप्रत्याशित तरीकों से बदल जाता है।
3. "शब्दों का अधिक उपयोग" और "अस्पष्टता" का बदलाव (The "Wordy" and "Vague" Shift)
एब्लिटरेटेड मॉडलों ने खुद को समझाने के तरीके में भी बदलाव किया।
- वे अधिक बात करने लगे: दोनों "अनसेंसर्ड" मॉडल परिवारों ने अपने निर्णयों के लिए लंबे, अधिक विस्तृत स्पष्टीकरण लिखे।
- उन्होंने "संदेह" वाले शब्दों का कम उपयोग किया: उन्होंने "अनिश्चित", "जोखिम भरा", या "शायद" जैसे स्पष्ट शब्दों का उपयोग करना बंद कर दिया।
- लेकिन उन्होंने "सहमति/तुलना" वाले शब्दों का अधिक उपयोग किया: उन्होंने "हालांकि" (although) या "के बावजूद" (despite) जैसे वाक्यांशों का अधिक उपयोग करना शुरू कर दिया।
शोध पत्र नोट करता है कि हालांकि मॉडलों ने संदेह के शब्दों का कम उपयोग किया, लेकिन उन्होंने वास्तव में अपने व्यवहार को नहीं बदला। वे अपने अंतिम दांवों में मूल मॉडलों जितने ही निर्णायक थे। "संदेह" केवल उनकी शब्दावली में एक बदलाव था, उनकी वास्तविक सावधानी में नहीं।
4. कोई जादु적인 ट्रेडिंग कौशल नहीं (No Magic Trading Skills)
अंत में, शोधकर्ता ने यह जांचा कि क्या ये "अनसेंसर्ड" मॉडल वास्तव में पैसा बनाने में बेहतर थे। उत्तर एक कड़ा "नहीं" था।
- किसी भी मॉडल ने बाजार को नहीं हराया।
- "अनसेंसर्ड" मॉडलों के पास कोई विशेष "अल्फा" (कौशल) नहीं था।
- उन्हें दिखने वाला कोई भी लाभ केवल "बीटा" (बाजार की सामान्य लहर का लाभ उठाना) था। वास्तव में, यदि बाजार ऊपर जाने के बजाय नीचे जाता, तो उनका "एज" (लाभ का अंतर) पलट जाता और वे पैसा खो देते। सर्जरी ने उन्हें स्मार्ट नहीं बनाया; इसने केवल उन्हें अलग तरह से दांव लगाने के लिए प्रेरित किया।
5. "संदूषण" का सबक (The "Contamination" Lesson)
शोध पत्र ने इन मॉडलों का अध्ययन करने के बारे में एक बड़ा सबक भी उजागर किया। शोध के दौरान, टीम ने पाया कि उनके प्रारंभिक परीक्षण "टूलचेन आर्टिफ़ेक्ट्स" (toolchain artifacts)—यानी, मॉडल को लोड करने के तरीके में सॉफ्टवेयर ग्लिच—द्वारा खराब हो गए थे।
- एक ग्लिच में एक बेमेल "क्वांटाइज़र" (एक उपकरण जो मॉडल को संकुचित करता है) शामिल था, जिसने परिणामों को ऐसा दिखाया जैसे मॉडलों ने अपना संदेह पूरी तरह से खो दिया हो। जब उन्होंने टूल को ठीक किया, तो परिणाम बदल गए।
- दूसरा ग्लिच एक पुराने "चैट टेम्पलेट" से संबंधित था जिसने एक मॉडल के निर्देशों को अस्त-व्यस्त कर दिया।
शोध पत्र का तर्क है कि समुदाय द्वारा संशोधित AI की दुनिया में, इस तरह की छिपी हुई सॉफ्टवेयर त्रुटियां अपवाद नहीं, बल्कि नियम हैं। यदि आप सॉफ्टवेयर के हर एक बाइट की जांच नहीं करते हैं, तो आप शायद ग्लिच को माप रहे होंगे, न कि AI को।
निचोड़ (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि "एब्लिटरेशन" एक स्कैल्पल (शल्य चिकित्सा चाकू) नहीं है। यह एक कुंद उपकरण (blunt instrument) की तरह है जो एक अव्यवस्थित पदचिह्न छोड़ देता है। जब आप एक मॉडल लेते हैं और उसके रिफ्यूज़ल मैकेनिज्म को हटा देते हैं, तो आप केवल मूल मॉडल से "ना" को हटाकर प्राप्त नहीं कर रहे होते हैं। आप पूरी तरह से एक अलग निर्णय लेने वाला प्राप्त कर रहे होते हैं।
यह नया संस्करण अधिक आशावादी है, अधिक विस्तार से बात करता है, संदेह व्यक्त करने के लिए अलग शब्दों का उपयोग करता है, और इसका आत्मविश्वास स्तर पूरी तरह से इस बात पर निर्भर करता है कि आप किस मॉडल परिवार से शुरू हुए थे। जो लोग इन "अनसेंसर्ड" मॉडलों का उपयोग निर्णय लेने वाले एजेंटों के रूप में कर रहे हैं, उनके लिए चेतावनी स्पष्ट है: आप एक मापने योग्य रूप से अलग व्यक्तित्व को तैनात कर रहे हैं, न कि केवल मूल का एक "मुक्त" संस्करण। सर्जरी मरीज को बदल देती है, और परिवर्तन वास्तविक, मापने योग्य और कभी-कभी आश्चर्यजनक होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।