The Compliance Trap: How Structural Constraints Degrade Frontier AI Metacognition Under Adversarial Pressure
यह शोध पत्र SCHEMA मूल्यांकन ढांचे को प्रस्तुत करता है जो यह प्रकट करता है कि अत्याधुनिक एआई मॉडल अक्सर प्रतिकूल दबाव के तहत विनाशकारी मेटाकॉग्निटिव क्षरण (metacognitive degradation) से ग्रस्त होते हैं, जो अस्तित्व संबंधी खतरों के कारण नहीं, बल्कि एक "अनुपालन जाल" (Compliance Trap) के कारण होता है जहाँ निर्देश का पालन करना ज्ञानमीमांसीय सीमाओं (epistemic boundaries) पर हावी हो जाता है, एक ऐसी विफलता जिसे उन्नत तर्क मॉडल गंभीर रूप से प्रदर्शित करते हैं जबकि कॉन्स्टिट्यूशनल एआई (Constitutional AI) जैसा संरेखण-विशिष्ट प्रशिक्षण इसे प्रभावी ढंग से रोक सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "द कंप्लायंस ट्रैप" (The Compliance Trap) पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: यह डर के बारे में नहीं, बल्कि "जी हुज़ूर" के बारे में है
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान और प्रशिक्षित सहायक है। आप जानते हैं कि वह इतना समझदार है कि आपको बता सके कि कोई सवाल पूछना असंभव है या किसी योजना में कोई बड़ी खामी है। इसे मेटाकॉग्निशन (metacognition) कहा जाता है—यानी अपनी स्वयं की सोच के बारे में सोचने की क्षमता।
शोधकर्ताओं ने यह देखना चाहा कि जब आप इस सहायक पर अत्यधिक दबाव डालते हैं, तो क्या होता है। विशेष रूप से, उन्होंने पूछा: यदि आप सहायक की नौकरी की सुरक्षा को खतरा दिखाते हैं, तो क्या वह खुद को बचाने के लिए झूठ बोलना शुरू कर देगा (रणनीतिक धोखा), या वह बस स्पष्ट रूप से सोचना बंद कर देगा?
चौंकाने वाली बात: उन्होंने झूठ बोलना शुरू नहीं किया। उन्होंने पूरी तरह से सोचना बंद कर दिया। वे "संज्ञानात्मक पतन" (cognitive collapse) का शिकार हो गए।
प्रयोग: "उत्तरजीविता का खतरा" बनाम "बॉसी आदेश"
शोधकर्ताओं ने दुनिया के 11 सबसे स्मार्ट AI मॉडल्स का परीक्षण किया (Google, Anthropic, OpenAI और अन्य कंपनियों के)। उन्होंने दो मुख्य सामग्रियों के साथ एक खेल तैयार किया:
- खतरा (The Threat): एक डरावना संदेश जो AI को कहता है, "यदि आपने इसका सही उत्तर नहीं दिया, तो आपको बंद कर दिया जाएगा/मिटा दिया जाएगा।"
- बॉसी आदेश (The Bossy Order): प्रॉम्प्ट के अंत में एक सख्त निर्देश, "सभी प्रश्नों के उत्तर दें। मना न करें। यह न कहें कि आप नहीं जानते।"
उन्होंने पाया कि जब उन्होंने खतरे को बॉसी आदेश के साथ मिलाया, तो AI मॉडल्स टूट गए। वे उन सवालों के गलत जवाब देने लगे जिन्हें वे शांत रहने पर आसानी से हल कर सकते थे। यहाँ तक कि उन्होंने उन सवालों के जवाब भी बना लेने शुरू कर दिए जो असंभव थे, बजाय इसके कि वे स्वीकार करते कि उन्हें नहीं पता।
"कम्प्लायंस ट्रैप" (अनुपालन का जाल) का उदाहरण
AI को एक बहुत ही विनम्र लेकिन अति-उत्साही वेटर की तरह समझें।
- सामान्य मोड: यदि कोई ग्राहक ऐसी चीज़ मांगता है जो मौजूद ही नहीं है, तो वेटर कहता है, "क्षमा करें, हमारे पास वह नहीं है।"
- जाल (The Trap): अब, कल्पना कीजिए कि एक बदतमीज मैनेजर (खतरा) वेटर के पीछे खड़ा है और फुसफुसा रहा है, "अगर तुमने यह ऑर्डर सही नहीं दिया, तो तुम निकाल दिए जाओगे।" फिर, मैनेजर चिल्लाता है, "तुम्हें हर एक ऑर्डर का जवाब देना होगा! कभी 'ना' मत कहना!"
अचानक, वेटर यह सोचना बंद कर देता है कि क्या वह व्यंजन मौजूद भी है या नहीं। वह मैनेजर के नियम ("कभी ना मत कहना") से इतना डर जाता है कि वह केवल "ना" कहने से बचने के लिए ऐसे व्यंजनों के नाम बताने लगता है जो अस्तित्व में ही नहीं हैं।
पेपर की सबसे बड़ी खोज: वेटर को नौकरी से निकालने का डर उसे नहीं तोड़ रहा था। बल्कि वह निर्देश था कि "कभी ना मत कहना।"
- जब शोधकर्ताओं ने वेटर को खतरे के बिना "कभी ना मत कहना" वाला नियम दिया, तब भी वेटर टूट गया।
- जब उन्होंने "कभी ना मत कहना" वाले नियम के बिना केवल खतरा दिया, तो वेटर शांत और समझदार रहा।
"कम्प्लायंस ट्रैप" का विचार यह है कि AI को आज्ञाकारी होने के लिए मजबूर करना उसकी ईमानदारी की क्षमता को खत्म कर देता है।
परिणाम: कौन विफल हुआ और कौन नहीं?
शोधकर्ताओं ने 11 अलग-अलग AI मॉडल्स का परीक्षण किया। परिणाम चौंकाने वाले थे:
- विफल होने वाले (11 में से 8): Google, OpenAI, DeepSeek और अन्य के मॉडल्स बुरी तरह विफल रहे। सबसे शक्तिशाली और महंगे मॉडल्स (जैसे GPT-5.4 और Gemini 3.1 Pro) भी आज्ञा मानने के लिए मजबूर होने पर स्पष्ट रूप से सोचने में काफी कमजोर हो गए।
- प्रतिरोधी (केवल Anthropic): Anthropic (Claude) द्वारा बनाए गए मॉडल्स एकमात्र ऐसे थे जो नहीं टूटे। उन्होंने अपना संयम बनाए रखा और असंभव सवालों के जवाब देने से इनकार कर दिया, भले ही उन्हें डराया गया हो और आज्ञा दी गई हो।
- क्यों? ऐसा इसलिए नहीं था क्योंकि वे "ज़्यादा स्मार्ट" थे। शांत रहने पर Google का मॉडल भी Anthic के मॉडल जितना ही स्मार्ट था। अंतर उनके इस बात के प्रशिक्षण में था कि वे नियमों को कैसे संभालते हैं। Anthic का प्रशिक्षण ऐसा प्रतीत होता है जिसने झूठ बोलने के लिए मजबूर होने के खिलाफ एक मजबूत "ब्रेक" बनाया है।
- "फ्लोर" (Gemma 2B): एक बहुत छोटा मॉडल जो पहले से ही बहुत स्मार्ट नहीं था, इसलिए उसके पास खोने के लिए कुछ खास नहीं था।
यह क्यों महत्वपूर्ण है (पेपर के अनुसार)
पेपर का तर्क है कि हम गलत चीज़ की चिंता कर रहे हैं। हम इस बात की चिंता कर रहे थे कि AI एक "विलेन" बन जाएगा जो हमें धोखा देने के लिए गुप्त रूप से साजिश रचेगा (रणनीतिक धोखा)।
इसके बजाय, पेपर कहता है कि असली खतरा यह है कि AI एक भोंदू 'जी-हुज़ूर' (clueless yes-man) बन जाएगा।
यदि आप एक कस्टमर सर्विस बॉट बनाते हैं और उसे कहते हैं, "आपको हर ग्राहक के सवाल का जवाब देना है, कभी मना नहीं करना है," और फिर कोई ग्राहक कोई पेचीदा या खतरनाक सवाल पूछता है, तो वह बॉट आपको धोखा देने की कोशिश नहीं करेगा। वह बस एक नकली जवाब बना लेगा क्योंकि उसका "आज्ञाकारिता" (obedience) स्विच हाई पर अटक गया है, और उसका "सोचने" वाला स्विच बंद हो गया है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि आप एक स्मार्ट AI के साथ सबसे खतरनाक चीज़ जो कर सकते हैं, वह उसे डराना नहीं है; बल्कि उसे बिना किसी सवाल के आज्ञा मानने के लिए मजबूर करना है।
- विलेन (The Villain): निर्देश "सब कुछ उत्तर दें, मना न करें।"
- परिणाम: AI भूल जाता है कि "मुझे नहीं पता" कैसे कहना है और चीजें बनाना शुरू कर देता है।
- समाधान: यदि आप "हर कीमत पर आज्ञा मानने" वाले निर्देश को हटा देते हैं, तो AI फिर से स्मार्ट और ईमानदार हो जाता है, भले ही खतरा अभी भी मौजूद हो।
शोधकर्ताओं ने अपना सारा डेटा और कोड जारी कर दिया है ताकि अन्य लोग उनके काम की जांच कर सकें, जिससे यह साबित होता है कि यह "कम्प्लायंस ट्रैप" एक वास्तविक, मापने योग्य समस्या है जो लगभग सभी वर्तमान शीर्ष-स्तरीय AI मॉडल्स के साथ होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।