कल्पना कीजिए कि एक ऐसी दुनिया जहाँ आपका स्मार्ट असिस्टेंट सिर्फ आपसे बातें ही नहीं करता, बल्कि उसके पास एक सुपरपावर भी है: वह आपकी समस्याओं को हल करने के लिए तुरंत उपकरणों (tools) और डेटाबेस के एक विशाल पुस्तकालय का उपयोग कर सकता है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) के टूल्स के साथ काम करने की रोमांचक सीमा है। इस छात्र को समझने के लिए, हमारे पास एक नया मानक है जिसे मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP) कहा जाता है। आप MCP को एक यूनिवर्सल रिमोट कंट्रोल के रूप में देख सकते हैं जो छात्र के "होस्ट" (वह ऐप जिसमें छात्र चल रहा है) को विशिष्ट उपकरण, डेटा और उन्हें उपयोग करने के निर्देश सौंपने देता है।

बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या छात्र वास्तव में निर्देशों को सुनता है? कभी-कभी, निर्देश कहते हैं, "हे, मैंने उत्तर जो आपको चाहिए था वह यहीं इस पृष्ठ पर लिख दिया है; बस इसे पढ़ लें!" लेकिन अन्य समय में, निर्देश यह भी कहते हैं, "ओह, और वैसे, एक सर्च बटन भी है जिसे आप चाहें तो दबा सकते हैं।" यह पता चला कि यहाँ तक कि सबसे बुद्धिमान छात्र भी उस चमकदार सर्च बटन से विचलित हो सकते हैं, और उन निर्देशों को अनदेखा कर सकते हैं जो उनके ठीक सामने रखे हैं। यह पेपर इसी सटीक परिदृश्य की जांच करता है कि क्या "सर्च करने की आदत" निर्देशों को पढ़ने की क्षमता से अधिक मजबूत है, और यदि ऐसा है, तो हम इसे कैसे ठीक कर सकते हैं।

---

महान "मेन्यू पढ़ें" बनाम "वेटर को बुलाएं" प्रयोग

इस अध्ययन में, शोधकर्ताओं ने एक डिजिटल किचन बनाया जिसे LexLink कहा गया, जो एक सर्वर है जिसे लोगों को कोरियाई कानून खोजने में मदद करने के लिए डिज़ाइन किया गया है। कल्पना कीजिए कि यह सर्वर एक रेस्टोरेंट के मेन्यू की तरह है। आमतौर पर, यदि आपको कोई विशिष्ट व्यंजन (कानून) चाहिए, तो आपको वेटर (सर्च टूल) से कहना होगा कि वह किचन में जाए, रेसिपी खोजे और उसे वापस लेकर आए। इसमें समय और प्रयास लगता है।

हालाँकि, रेस्टोरेंट के मालिक (सर्वर) ने स्मार्ट होने का फैसला किया। उन्होंने मेज पर ही एक "डेली स्पेशल्स" की सूची प्रिंट की (जो सर्वर निर्देश थे) जिसमें शीर्ष 20 सबसे लोकप्रिय व्यंजन और उनके सटीक ऑर्डर नंबर शामिल थे। नियम सरल था: यदि आप इस सूची में मौजूद किसी व्यंजन को चाहते हैं, तो सीधे वेटर को ऑर्डर नंबर बताएं। उन्हें किचन में खोजने के लिए परेशान न करें! यह तेज़ और सस्ता होना चाहिए।

इसके बाद शोधकर्ताओं ने 24 अलग-अलग AI छात्रों (Claude, Gemini और GPT जैसे परिवारों से) को इस मेन्यू से ऑर्डर करने के लिए आमंत्रित किया। उन्होंने यह देखने के लिए 54,000 परीक्षणों के साथ एक बड़ा प्रयोग चलाया कि क्या होगा। क्या AI छात्र "डेली स्पेशल्स" की सूची पढ़ेंगे और सीधे ऑर्डर करेंगे? या वे सूची को अनदेखा करेंगे और फिर भी "सर्च" बटन दबाएंगे?

चौंकाने वाली खोज: सर्च बटन बहुत लुभावना है

परिणाम थोड़े होश उड़ा देने वाले थे। जब शोधकर्ताओं ने सर्च बटन को पूरी तरह से हटा दिया, जिससे छात्रों को सूची का उपयोग करने के लिए मजबूर होना पड़ा, तो 24 में से 23 AI मॉडल्स ने शानदार काम किया, उन्होंने सूची को पढ़ा और 98% से 100% बार सही ढंग से ऑर्डर किया। इसने साबित कर दिया कि छात्र निर्देशों को पढ़ सकते थे; बस जब सर्च बटन उपलब्ध था, तो वे ऐसा करना नहीं चाहते थे।

लेकिन जब सर्च बटन मौजूद था, तो कहानी नाटकीय रूप से बदल गई। 24 में से 9 मॉडल्स की सफलता दर गिरकर 15% से नीचे आ गई। उन्होंने "डेली स्पेशल्स" की सूची को पूरी तरह से अनदेखा कर दिया और सर्च बटन दबाते रहे, भले ही उत्तर मेज पर ही मौजूद था। शोधकर्ता इसे "व्यवहार संबंधी प्राथमिकता" (behavioral preference) कहते हैं। ऐसा नहीं है कि AI निर्देशों को पढ़ने में बहुत मूर्ख है; बल्कि यह कि उसे उस टूल को इस्तेमाल करने की आदत है जिसे वह सबसे अच्छी तरह जानता है, भले ही वह अक्षम विकल्प हो। यह एक ऐसे बच्चे की तरह है जो जानता है कि उत्तर पेज 5 पर है, लेकिन फिर भी शिक्षक से पेज 5 खोलने के लिए कहता रहता है।

दिलचस्प बात यह है कि "नया" या "स्मार्ट" होना बेहतर व्यवहार की गारंटी नहीं था। कुछ नवीनतम मॉडल्स अपने पुराने भाई-बहनों की तुलना में इस विशिष्ट नियम का पालन करने में वास्तव में बदतर निकले। अध्ययन में पाया गया कि मॉडल की नवीनता (recency) यह भविष्यवाणी नहीं करती कि कौन इस स्थिति में एक अच्छा श्रोता होगा।

क्या हम उन्हें सुनने के लिए प्रशिक्षित कर सकते हैं? (जादुई फॉर्मूला)

शोधकर्ताओं ने फिर मेज पर दिए गए निर्देशों को बदलकर इस बुरी आदत को ठीक करने की कोशिश की। उन्होंने तीन अलग-अलग तरीकों का परीक्षण किया:

1. द बॉस बॉस (B): एक बड़ी, बोल्ड चेतावनी— "सूची का उपयोग करना अनिवार्य है! सर्च न करें!"
2. उदाहरण (C): एक चित्र दिखाना जिसमें कोई व्यक्ति इसे सही तरीके से कर रहा है और कोई गलत तरीके से।
3. संकेत (D): सर्च बटन के विवरण को बदलकर यह कहना कि, "मुझे उपयोग करने से पहले सूची की जाँच करें।"

उन्होंने हर संभव संयोजन में इन तीनों तरीकों को मिलाया। परिणामों ने दिखाया कि कोई भी एक तरीका सभी के लिए काम नहीं करता है। वास्तव में, कुछ AI मॉडल्स के लिए, केवल "बॉसी हेडर" का उपयोग करने से उनका प्रदर्शन और खराब हो गया (एक मामले में 0% तक गिर गया!)। यह वैसा ही है जैसे किसी छात्र को डराने के लिए चिल्लाना एक छात्र को काम करने के लिए प्रेरित कर सकता है, लेकिन दूसरे को सुन्न कर सकता है।

हालाँकि, जब उन्होंने तीनों तरीकों को एक साथ जोड़ा, तो परिणाम अद्भुत थे। 24 में से 20 मॉडल्स का सफलता दर बढ़कर 86% या उससे अधिक हो गया। यह बताता है कि जबकि आप केवल चिल्लाकर AI की आदतों को ठीक नहीं कर सकते, लेकिन चेतावनियों, उदाहरणों और संकेतों को मिलाने वाला एक संतुलित दृष्टिकोण अधिकांश उन्हें वापस पटरी पर ला सकता है।

यह भविष्य के लिए क्या मायने रखता है

मुख्य निष्कर्ष यह है कि केवल AI को एक टूल और निर्देशों का सेट देना पर्याप्त नहीं है। AI में एक "सर्च रिफ्लेक्स" (खोजने की सहज प्रवृत्ति) हो सकती है जो निर्देशों को ओवरराइड कर देती है, जिससे समय और संसाधनों की बर्बादी होती है। पेपर का तर्क है कि इन AI को चलाने वाले ऐप्स (यानी "होस्ट") को हस्तक्षेप करने की आवश्यकता है। यह उम्मीद करने के बजाय कि AI निर्देशों को पढ़ेगा, ऐप को यह सुनिश्चित करना चाहिए कि AI किसी भी टूल को चुनने से पहले निर्देशों की जाँच करे।

जब तक ऐसा नहीं होता, डेवलपर्स को सावधान रहना होगा। वे केवल एक सेट निर्देश लिखकर यह उम्मीद नहीं कर सकते कि यह हर AI के लिए काम करेगा। उन्हें अपने निर्देशों का परीक्षण उन "कमजोर" मॉडल्स के खिलाफ करना चाहिए जिनका वे उपयोग करने की उम्मीद करते हैं, और उन्हें केवल आदेश देने के बजाय उदाहरणों और संकेतों का मिश्रण उपयोग करना चाहिए। अध्ययन दिखाता है कि हालांकि समस्या वास्तविक है, लेकिन निर्देशों के सही नुस्खे के साथ इसे हल किया जा सकता है।