LLMs Know the Constraint But Do Not Use It: Activation Bottlenecks in Pragmatic Constraint Reasoning
यह शोध पत्र तर्क देता है कि एलएलएम (LLMs) की अंतर्निहित व्यवहार्यता बाधाओं का पालन करने में विफलता ज्ञान की कमी के कारण नहीं, बल्कि एक रूटिंग बॉटलनेक (routing bottleneck) के कारण है जहाँ एनकोडेड बाधा निर्णय लेने के दौरान लगातार सक्रिय नहीं होती है, जो एक ऐसी सीमा है जिसे प्रॉम्प्ट-आधारित हस्तक्षेपों द्वारा दूर नहीं किया जा सकता है लेकिन लक्षित एक्टिवेशन पैचिंग (targeted activation patching) द्वारा आंशिक रूप से सुधारा जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को निर्णय लेना सिखाने की कोशिश कर रहे हैं। आप उसे किताबों का एक विशाल पुस्तकालय देते हैं ताकि वह दुनिया के बारे में लगभग सब कुछ जान सके। लेकिन फिर, आप उससे एक पेचीदा सवाल पूछते हैं: "मैं अपनी कार धोना चाहता हूँ, और कार वॉश 50 मीटर दूर है। मुझे पैदल चलना चाहिए या गाड़ी चलाकर जाना चाहिए?" एक इंसान तुरंत समझ जाएगा, "रुको, अगर मैं गाड़ी चलाता हूँ, तो मुझे गाड़ी चलाने के लिए कार की ज़रूरत होगी!" लेकिन रोबोट, भले ही उसने कारों के बारे में हर किताब पढ़ी हो, आत्मविश्वास से कह सकता है, "गाड़ी चलाओ!" क्योंकि वह "कार" शब्द और "ड्राइव" शब्द को देखता है और सोचता है, "ओह, यह तो एक मैच है!"
यह शोध पत्र आर्टिफिशियल इंटेलिजेंस के एक विशिष्ट कोने, जिसे लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, के बारे में है। ये वे बुद्धिमान AI सिस्टम हैं जो चैट करते हैं, कहानियाँ लिखते हैं और समस्याओं को हल करते हैं। मुख्य रहस्य जिसे शोधकर्ता सुलझाने की कोशिश कर रहे हैं, वह है जानने और उसका उपयोग करने के बीच का अंतर। इसे एक ऐसे छात्र के रूप में सोचें जिसने खेल के पूरे नियम पुस्तिका को रट लिया है लेकिन, खेलते समय, वह नियमों को भूल जाता है क्योंकि उसका ध्यान बोर्ड पर चमकते हुए टुकड़ों पर भटक जाता है। वैज्ञानिकों को लंबे समय से संदेह रहा है कि ये AI शायद तर्क के छिपे हुए नियमों को "जानते" हैं, लेकिन जब स्थिति पेचीदा होती है, तो वे उन्हें लागू करने में विफल रहते हैं। यह महत्वपूर्ण है क्योंकि यदि हम चाहते हैं कि AI वास्तविक दुनिया में सुरक्षित और विश्वसनीय हो—जैसे डॉक्टरों की मदद करना या कार चलाना—तो हमें यह जानना होगा कि क्या वह वास्तव में सोच रहा है या केवल सतही संकेतों के आधार पर अनुमान लगा रहा है।
इस अध्ययन के पीछे के शोधकर्ताओं ने 14 अलग-अलग AI मॉडल्स के साथ एक जासूसी खेल खेलने का फैसला किया ताकि यह पता लगाया जा सके कि उनके "मस्तिष्क" में गलतियाँ करते समय वास्तव में क्या हो रहा है। उन्होंने एक चतुराईपूर्ण प्रयोग तैयार किया जिसमें एक "चतुर्थक" (quartet) परिदृश्य का उपयोग किया गया। कल्पना कीजिए कि एक ही कहानी के चार संस्करण हैं: एक जहाँ छिपा हुआ नियम मौजूद है (कार गायब है), एक जहाँ नियम हटा दिया गया है (कार जादुगर की तरह वहीं है), एक जहाँ नियम को ज़ोर से चिल्लाकर बताया गया है ("याद रखें, कार गायब है!"), और एक जहाँ वे बस कहानी के समान लंबाई का एक यादृच्छिक वाक्य जोड़ देते हैं ताकि यह देखा जा सके कि क्या AI को लंबी कहानियाँ पसंद हैं।
यहाँ वह मोड़ आया जो उन्होंने खोजा: AI मूर्ख नहीं है; यह बस विचलित है। लेकिन इससे भी महत्वपूर्ण बात यह है कि शोधकर्ताओं ने पाया कि AI का "विक्षेप" (distraction) दो बहुत अलग तरीकों से होता है।
जब शोधकर्ताओं ने AI के "मस्तिष्क" (इसके डेटा की छिपी हुई परतों) के अंदर देखा, तो उन्होंने पाया कि AI नियम को जानता है। वे एक सरल डिटेक्टर बना सकते थे जो AI के आंतरिक विचारों को पढ़ता और कहता, "हाँ, कार गायब है!" 88% से 94% से अधिक सटीकता के साथ। ज्ञान वहीं था, ठीक वैसे ही जैसे डेस्क पर रखी कोई तथ्य।
हालाँकि, समस्या यह है कि जब निर्णय लेने का समय आता है, तो AI उस ज्ञान का उपयोग नहीं करता है। यह एक ऐसे GPS की तरह है जो जानता है कि सड़क बंद है, लेकिन ड्राइवर (AI का निर्णय लेने वाला हिस्सा) GPS को अनदेखा करता है और गाड़ी चलाना जारी रखता है। शोधकर्ता इसे एक रूटिंग समस्या (routing problem) कहते हैं। जानकारी मौजूद है, लेकिन उत्तर तक जाने वाला रास्ता अवरुद्ध या अनदेखा कर दिया गया है।
महत्वपूर्ण रूप से, उन्होंने दो अलग-अलग प्रकार के रोबोटों की खोज की जो अलग-अलग तरीकों से विफल होते हैं:
- "अति-सक्रिय" (Over-Active) रोबोट: कुछ मॉडल (जैसे Llama-4 और Claude Opus) इतने उत्सुक हैं कि वे "प्रतिबंध-भारी" उत्तर (जैसे "पैदल चलें") लागू कर देते हैं, भले ही वह प्रतिबंध वास्तव में अनुपस्थित हो। यदि आप कहानी से कार हटा भी देते हैं, तो भी वे "पैदल चलें" कहते हैं क्योंकि वे "सुरक्षित" उत्तर की ओर झुके हुए हैं। वे नियम को जानते हैं, लेकिन वे इसे तब बंद नहीं कर पाते जब उन्हें करना चाहिए, जिससे वे उस नियम को लागू करके तर्क परीक्षण में विफल हो जाते हैं जो अस्तित्व में ही नहीं है।
- "अल्प-सक्रिय" (Under-Active) रोबots: अन्य मॉडल (जैसे GPT-OSS) नियम के होने पर भी उसे लागू करने में विफल रहते हैं। वे गायब कार को देखते हैं फिर भी "गाड़ी चलाओ" कहते हैं। वे जानते हैं कि नियम वहाँ है, लेकिन उनकी आंतरिक वायरिंग इतनी खराब है कि वह ज्ञान निर्णय बटन तक कभी पहुँच ही नहीं पाता।
उन्होंने इसे "एक्टिवेशन पैचिंग" (activation patching) नामक प्रक्रिया के माध्यम से परखा। कल्पना कीजिए कि आप AI के उस क्षण के "विचार" को ले सकते हैं जब उसने नियम को याद किया था (जैसे जब आपने उसे ज़ोर से चिल्लाकर बताया था) और उसे सीधे उस क्षण में पेस्ट कर सकते हैं जब वह नियम को भूल गया था। संतुलित (balanced) मॉडल्स (जैसे Qwen3-14B) के लिए, यह जादुई पेस्ट पूरी तरह से काम कर गया! AI अचानक सही उत्तर देने लगा, जिससे सिद्ध हुआ कि ज्ञान वहीं था और बस उसे निर्णय तक पहुँचने के लिए एक धक्के की ज़रूरत थी। लेकिन, अल्प-सक्रिय मॉडल्स के लिए, इस पेस्ट ने कुछ नहीं किया। भले ही वे नियम को जानते थे, लेकिन उनकी आंतरिक वायरिंग इतनी टूटी हुई थी कि वह ज्ञान निर्णय बटन तक कभी पहुँच ही नहीं सका। (नोट: शोधकर्ताओं ने इस पैचिंग का "अति-सक्रिय" समूह पर परीक्षण नहीं किया, इसलिए हमें नहीं पता कि क्या यह पेस्ट उन्हें ठीक कर पाता)।
शोध पत्र ने उन सबसे लोकप्रिय तरीकों का भी परीक्षण किया जिनका लोग AI की गलतियों को सुधारने के लिए उपयोग करते हैं, जैसे कि AI को "चरण-दर-चरण सोचने" (think step-by-step) या "पूर्व-आवश्यकताओं को सूचीबद्ध करने" (list the prerequisites) के लिए कहना। परिणाम आश्चर्यजनक थे: इनमें से कोई भी ट्रिक समस्या को ठीक नहीं कर पाई। इसके बजाय, उन्होंने AI को "सुरक्षित" उत्तर (जैसे "पैदल चलें") का अनुमान लगाने के लिए और अधिक प्रेरित किया, भले ही उसे ऐसा नहीं करना चाहिए था। यह पता चलता है कि जब आप AI को "ज़्यादा सोचने" के लिए कहते हैं, तो वह केवल नियम का उल्लेख करने के बारे में और अधिक मुखर हो जाता है, लेकिन वह अभी भी यह नहीं जानता कि उसे कब लागू करना है। यह एक ऐसे छात्र की तरह है, जिसे "अपना काम दिखाएं" (show your work) कहने पर, वह नियम को हर उस लाइन पर लिख देता है जहाँ उस नियम की ज़रूरत ही नहीं है।
संक्षेप में, शोध पत्र सुझाव देता है कि विफलता इसलिए नहीं है क्योंकि AI के पास ज्ञान की कमी है। यह इसलिए है क्योंकि AI के पास एक "रूटिंग बॉटलनैक" (routing bottleneck) है। वह सच जानता है, लेकिन वह यह तय नहीं कर पाता कि कब उस सच को अपने उत्तर का मार्गदर्शन करने देना है। वर्तमान तरीके, जैसे कि AI को "ज़्यादा कोशिश करने" या "ज़्यादा सोचने" के लिए कहना, टूटी हुई वायरिंग को ठीक नहीं कर रहे हैं; वे केवल AI को उसके गलत अनुमानों में अधिक आश्वस्त बना रहे हैं। इसे वास्तव में ठीक करने के लिए, हमें शायद उन आंतरिक मार्गों को फिर से बनाना होगा जो AI जो जानता है उसे उसके द्वारा दिए गए उत्तर से जोड़ते हैं, और हमें अति-उत्साही बनाम बहुत निष्क्रिय रोबोटों के लिए अलग-अलग समाधानों की आवश्यकता होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।