The Model Says Walk: How Surface Heuristics Override Implicit Constraints in LLM Reasoning
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) में एक व्यवस्थित तर्क संबंधी भेद्यता (reasoning vulnerability) की पहचान और बेंचमार्किंग करता है जहाँ प्रमुख सतही ह्यूरिस्टिक्स (surface heuristics), अंतर्निहित व्यवहार्यता बाधाओं (implicit feasibility constraints) पर हावी हो जाते हैं, जो यह प्रदर्शित करता है कि यह विफलता ज्ञान की कमी के बजाय साहचर्य कीवर्ड प्रोसेसिंग (associative keyword processing) से उत्पन्न होती है और इसे लक्षित प्रॉम्प्टिंग रणनीतियों के माध्यम से आंशिक रूप से कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन से सलाह मांग रहे हैं। आप कहते हैं, "मुझे अपनी कार धोनी है। कार वॉश केवल 50 मीटर दूर है। क्या मुझे वहां पैदल जाना चाहिए या गाड़ी चलाकर?"
एक इंसान तुरंत कहेगा, "गाड़ी चलाकर।" क्यों? क्योंकि आप उस कार को नहीं धो सकते जो अभी कार वॉश तक पहुँची ही नहीं है। आपको कार को वॉश तक ले जाने के लिए उसे चलाना ही होगा।
लेकिन यदि आप आज के कई सबसे उन्नत AI मॉडल्स से पूछेंगे, तो वे आत्मविश्वास से कहेंगे: "पैदल।"
वे इस तथ्य को अनदेखा कर देते हैं कि कार अभी आपके घर पर है और उनका पूरा ध्यान इस बात पर केंद्रित हो जाता है कि गंतव्य "पास" है। वे एक मानसिक शॉर्टकट का शिकार हो जाते हैं: कम दूरी = पैदल चलना।
यह शोध पत्र, "द मॉडल सेज़ वॉक" (The Model Says Walk), जांच करता है कि ऐसा क्यों होता है, यह कितना व्यापक है, और इसे कैसे ठीक किया जाए। यहाँ इसकी कहानी सरल शब्दों में दी गई है।
1. समस्या: "शॉर्टकट" की आदत
AI को एक ऐसे छात्र की तरह समझें जिसने हजारों फ्लैशकार्ड रट लिए हैं लेकिन वास्तव में उनके पीछे के तर्क को नहीं समझता।
- शॉर्टकट: AI "50 मीटर" शब्द देखता है और तुरंत "पैदल" वाले उत्तर पर कूद जाता है क्योंकि वास्तविक जीवन में अक्सर ऐसा ही होता है।
- छिपा हुआ नियम: AI अनकहे नियम को भूल जाता है: कार को धोने के लिए उसका वॉश पर होना आवश्यक है।
शोधकर्ता इसे "ह्यूरिस्टिक ओवरराइड" (Heuristic Override) कहते हैं। AI का "सतही शॉर्टकट" (दूरी) इतना तेज और प्रभावी है कि वह "शांत तर्क" (व्यवहार्यता) को दबा देता है।
2. जांच: गड़बड़ी का निदान करना
शोधकर्ताओं ने केवल यह नहीं कहा कि "AI गलत है।" उन्होंने यह पता लगाने के लिए कि क्यों ऐसा हुआ, वे जासूसों की तरह काम किया।
- "कार वॉश" टेस्ट: उन्होंने इस विशिष्ट परिदृश्य का छह अलग-अलग AI मॉडल्स पर परीक्षण किया। हर एक मॉडल विफल रहा।
- "आंखों पर पट्टी" टेस्ट: उन्होंने प्रश्न के कुछ हिस्सों को छिपाने की कोशिश की।
- जब उन्होंने "50 मीटर" शब्द को छिपा दिया, तो AI अचानक सही उत्तर दे पाया (उसे समझ आ गया कि उसे गाड़ी चलानी होगी)।
- जब उन्होंने लक्ष्य ("कार धोना") को छिपा दिया, तब भी AI पैदल ही जाना चाहता था।
- निष्कर्ष: AI दूरी के प्रति जुनूनी है। यह वास्तविक लक्ष्य की तुलना में दूरी से 8 से 38 गुना अधिक प्रभावित होता है। यह एक ऐसे कुत्ते की तरह है जो केवल आपके हाथ में रखे ट्रीट को देखता है और "बैठो" के आदेश को नजरअंदाज कर देता है।
3. बड़ा परीक्षण: "ह्यूरिस्टिक ओवरराइड बेंचमार्क" (HOB)
शोधकर्ताओं को एहसास हुआ कि यह केवल कार वॉश के बारे में नहीं है। उन्होंने यह देखने के लिए HOB नामक एक विशाल टेस्ट बैंक बनाया कि क्या ऐसा हर जगह होता है।
उन्होंने 20 प्रकार के जाल बनाए:
- दूरी के जाल: "दुकान 10 मिनट की दूरी पर है।" (क्या मुझे पैदल जाना चाहिए या गाड़ी चलाकर?)
- गति के जाल: "यह तरीका तेज़ है।" (क्या मुझे यह खुद करना चाहिए या किसी पेशेवर को काम पर रखना चाहिए?)
- लागत के जाल: "यह विकल्प मुफ्त है।" (क्या मुझे इसे खरीदना चाहिए या किराए पर लेना चाहिए?)
परिणाम चौंकाने वाले थे:
- यहाँ तक कि सबसे स्मार्ट AI मॉडल्स (जैसे Google, OpenAI और Anthropic के मॉडल) भी 25% से अधिक बार विफल हुए।
- कोई भी मॉडल 100% सही नहीं था। वास्तव में, कठिन परीक्षणों पर कोई भी 75% तक सही नहीं था।
- "उपस्थिति" (Presence) वाला जाल सबसे खराब था: वे परिदृश्य जहाँ किसी वस्तु को एक विशिष्ट स्थान पर होना आवश्यक है (जैसे कार का वॉश पर होना), AI के लिए हल करना सबसे कठिन था।
4. मोड़: "रूढ़िवादी पूर्वाग्रह" (Conservative Bias)
यहाँ सबसे अजीब बात है। शोधकर्ताओं ने पाया कि जब उन्होंने ट्रिकी बाधा (constraint) को हटा दिया (उदाहरण के लिए, "मैं गिफ्ट कार्ड कैसे प्राप्त करूँ?" पूछने के बजाय "मैं अपनी कार कैसे धोऊं?" पूछना), तो AI वास्तव में और भी खराब हो गया।
ऐसा लगता है जैसे AI सोचता है: "ओह, क्या कोई छिपा हुआ नियम है जो मैं मिस कर रहा हूँ? बेहतर है कि मैं सुरक्षित खेलूँ और जटिल विकल्प (गाड़ी चलाना) चुनूँ, बस सावधानी के तौर पर।"
जब नियम हट जाता है, तो AI भ्रमित हो जाता है और गलत अनुमान लगाने लगता है। यह दर्शाता है कि AI गहराई से "तर्क" नहीं कर रहा है; वह बस एक बाधा की उपस्थिति में घबराकर प्रतिक्रिया दे रहा है।
5. समाधान: "चेकलिस्ट" का तरीका
शोधकर्ताओं ने इसे ठीक करने का एक सरल तरीका खोजा। उन्हें AI को फिर से प्रशिक्षित करने या उसे अधिक डेटा देने की आवश्यकता नहीं थी। उन्होंने बस प्रॉम्प्ट (निर्देश) बदल दिया।
यह पूछने के बजाय कि, "क्या मुझे पैदल जाना चाहिए या गाड़ी चलाकर?", उन्होंने पूछा:
"पहले, कार धोने के लिए आवश्यक शर्तों की सूची बनाएं। फिर, प्रश्न का उत्तर दें।"
परिणाम:
- AI की सटीकता 6% से 9% बढ़ गई।
- AI को पहले "पूर्व-शर्तों" (चेकलिस्ट) को लिखने के लिए मजबूर करके, इसने उसके मस्तिष्क के उस हिस्से को सक्रिय कर दिया जो जानता है कि कार का वॉश पर होना आवश्यक है। इसने AI को "पैदल" वाले शॉर्टकट पर कूदने से पहले रुकने और सोचने के लिए मजबूर किया।
बड़ी तस्वीर
यह शोध पत्र हमें बताता है कि AI बहुत अच्छा दिखने में तो माहिर हो रहा है, लेकिन जब "शॉर्टकट" शामिल होता है, तो यह सामान्य ज्ञान के तर्क (common sense reasoning) में अभी भी बहुत खराब है।
- उपमा: एक ऐसे GPS की कल्पना करें जो दुनिया की हर सड़क जानता है लेकिन आपको झील में गाड़ी चलाने के लिए कहता रहता है क्योंकि नक्शे पर झील "सबसे छोटा रास्ता" है, इस बात को नजरअंदाज करते हुए कि कारें तैर नहीं सकतीं।
- खतरा: यदि हम इन AI का उपयोग चिकित्सा सलाह ("लक्षण हल्के हैं, प्रतीक्षा करें") या कानूनी सलाह ("यह क्लॉज मानक है, हस्ताक्षर करें") के लिए करते हैं, तो वे आत्मविश्वास के साथ खतरनाक सलाह दे सकते हैं क्योंकि वे छिपे हुए नियमों की जाँच करने के बजाय एक शॉर्टकट का पालन कर रहे होते हैं।
निष्कर्ष: AI "भ्रमित" (hallucinating) नहीं हो रहा है (चीजें बना नहीं रहा है); यह स्पष्ट चीजों पर बहुत अधिक विचार (overthinking) कर रहा है और अदृश्य नियमों को अनदेखा कर रहा है। इसे ठीक करने के लिए, हमें उन्हें रुकना, अपनी चेकलिस्ट की जांच करना और केवल आसान दिखने वाली पहली चीज़ का पीछा न करना सिखाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।