$\tau$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems

कल्पना कीजिए कि आप एक पुस्तकालय में प्रवेश करते हैं जहाँ लाइब्रेरियन इमारत की हर किताब को जानता है, लेकिन आप उन्हें सीधे तौर पर अपनी पसंद की सूची नहीं दे सकते। इसके बजाय, आपको उनके साथ बातचीत करनी होगी। आप शुरुआत यह कहकर कर सकते हैं कि आपको एक विज्ञान कथा (साइंस फिक्शन) उपन्यास चाहिए, लेकिन जैसे ही लाइब्रेरियन कुछ शीर्षक सुझाता है, आपको एहसास होता है कि आपको साल 2000 से पहले की किसी कहानी की भी आवश्यकता है, या शायद किसी विशिष्ट भाषा में लिखी गई कहानी की। एक कृत्रिम बुद्धिमत्ता (AI) के लिए, जो इस लाइब्रेरियन की भूमिका निभा रही है, चुनौती केवल तथ्यों की एक सूची से मेल खाने वाली किताबें खोजने की नहीं है, बल्कि यह पता लगाने की है कि वे तथ्य क्या हैं। वास्तविक लोग अक्सर बातचीत की शुरुआत में ही अपनी हर ज़रूरत को स्पष्ट रूप से नहीं बताते। वे अक्सर एक सुझाव देखने के बाद अपनी वास्तविक ज़रूरतों को प्रकट करते हैं, या सही क्षण आने तक वे सटीक रूप से यह कहने में हिचकिचाते हैं कि वे वास्तव में क्या खोज रहे हैं। यदि AI बहुत जल्दी अनुमान लगा लेता है, तो वह ऐसी किताब की सिफारिश कर सकता है जो किसी छिपी हुई आवश्यकता को चूक जाए, जिससे उपयोगकर्ता निराश हो सकता है। यदि वह बहुत अधिक प्रतीक्षा करता है या सही प्रश्न पूछने में विफल रहता है, तो वह समय बर्बाद करता है। मुख्य प्रश्न जिसका शोधकर्ता उत्तर देने का प्रयास कर रहे हैं, वह यह है कि ये डिजिटल सहायक इस खोज की नाजुक प्रक्रिया को कितनी अच्छी तरह से संचालित कर सकते हैं, विशेष रूप से तब जब उपयोगकर्ता जानकारी छिपाकर रखता है।

इसकी जांच करने के लिए, शोधकर्ताओं की एक टीम ने एक नियंत्रित प्रयोग बनाया जिसे 'बेंचमार्क' कहा जाता है, जो अनिवार्य रूप से विशिष्ट परिस्थितियों में प्रदर्शन को मापने के लिए डिज़ाइन किया गया एक मानकीकृत परीक्षण है। उन्होंने एक सार्वजनिक डेटाबेस से 20,000 वास्तविक पुस्तकों वाला एक डिजिटल कैटलॉग बनाया, जिसमें शैली, भाषा, देश का मूल और प्रकाशन वर्ष जैसे विवरण शामिल थे। इसके बाद उन्होंने 450 विशिष्ट कार्य (टास्क) डिज़ाइन किए, जिनमें से प्रत्येक एक पुस्तक के अनूठे अनुरोध का प्रतिनिधित्व करता था। उनके डिज़ाइन का चतुर हिस्सा यह था कि उन्होंने हर कार्य के लिए वास्तविक अनुरोध को बिल्कुल समान रखा, लेकिन उन्होंने उन नियमों को बदल दिया कि उपयोगकर्ता को विवरण कब प्रकट करने की अनुमति है। एक परिदृश्य में, जिसे "स्वयंसेवक" (वॉलंटियर) कहा गया, उपयोगकर्ता ने शुरुआत में ही वह सब कुछ बता दिया जो वह चाहता था। दूसरे परिदृश्य में, जिसे "मिश्रित" (मिक्सड) कहा गया, उपयोगकर्ता ने एक विवरण बताया लेकिन अन्य विवरणों को छिपा कर रखा, जिन्हें केवल तभी प्रकट किया गया जब AI ने सही प्रश्न पूछा। तीसरे और सबसे कठिन परिदृश्य में, जिसे "छिपा हुआ" (हिडन) कहा गया, उपयोगकर्ता ने कुछ आवश्यकताओं को पूरी तरह से बताने से इनकार कर दिया, जिससे AI को किताबें प्रस्तावित करके और उपयोगकर्ता की स्वीकृति या अस्वीकृति को देखकर अनुमान लगाने के लिए मजबूर होना पड़ा। शोधकर्ताओं ने चार अलग-अलग AI एजेंटों के प्रदर्शन को देखने के लिए एक सिम्युलेटेड उपयोगकर्ता (एक कंप्यूटर प्रोग्राम जो सख्त नियमों का पालन करता है) का उपयोग किया।

परिणामों ने यह स्पष्ट कर दिया कि ये सिस्टम सूचना को कैसे संभालते हैं। जब उपयोगकर्ता ने तुरंत सभी विवरण स्वयं बताए, तो AI एजेंट उल्लेखनीय रूप से सफल रहे और लगभग हर प्रयास में सही किताब ढूंढ ली। हालांकि, जैसे ही शोधकर्ताओं ने प्रश्न पूछने की आवश्यकता पेश की, सफलता दर काफी गिर गई। जब उपयोगकर्ता ने कुछ विवरण केवल पूछे जाने पर ही प्रकट किए, तो एजेंट लगभग तीन-चौथाई बार सफल रहे। स्थिति तब और भी गंभीर हो गई जब उपयोगकर्ता ने कुछ आवश्यकताओं को पूरी तरह से छिपा लिया। इन मामलों में, AI एजेंट एक-तिहाई से भी कम बार सफल हुए। अध्ययन से पता चला कि कठिनाई पुस्तकों के संग्रह के आकार या AI द्वारा उपयोग किए जाने वाले विशिष्ट उपकरणों में नहीं थी, बल्कि सूचना के समय (टाइमिंग) में थी। एजेंट तब सबसे अधिक संघर्ष करते थे जब वे सिफारिश करने से पहले प्रश्न पूछने में विफल रहते थे। जब शोधकर्ताओं ने एजेंटों को स्पष्ट रूप से प्रश्न पूछने का निर्देश दिया, तो "मिश्रित" कार्यों पर उनका प्रदर्शन नाटकीय रूप से सुधर गया, और वे उसी उच्च स्तर पर पहुँच गए जो तब था जब सारी जानकारी पहले ही दी गई थी।

शोधकर्ताओं ने यह भी पाया कि "छिपे हुए" परिदृश्यों में सबसे बड़ी विफलताएं एक विशिष्ट गलती से आई थीं: एजेंट एक ऐसी किताब की सिफारिश कर देते थे जिसे उन्होंने पहले उपयोगकर्ता के समक्ष निर्णय के लिए प्रस्तावित भी नहीं किया था। अपने विचारों का परीक्षण करने के बजाय, वे बहुत जल्दी अंतिम उत्तर पर पहुँच जाते थे। जब एजेंटों को एक किताब प्रस्तावित करने और अंतिम सिफारिश करने से पहले 'हाँ' या 'ना' के लिए प्रतीक्षा करने के लिए मजबूर किया गया, तो उन्होंने बेहतर प्रदर्शन किया, हालांकि वे पूर्ण स्कोर तक नहीं पहुँच सके। अध्ययन ने कैटलॉग खोजने के दो तरीकों की भी तुलना की। एक विधि कीवर्ड को सर्च बार में टाइप करने जैसी थी, जबकि दूसरी एक संरचित फ़िल्टर थी जो AI को वर्ष या देश जैसी विशिष्ट श्रेणियों द्वारा परिणामों को सीमित करने की अनुमति देती थी। संरचित खोज विधि ने एजेंटों को सही किताब खोजने में अधिक मदद की, लेकिन वह उस मौलिक समस्या को दूर नहीं कर सकी कि उपयोगकर्ता क्या चाहता है।

अंततः, यह कार्य प्रदर्शित करता है कि सूचना के एक बड़े डेटाबेस तक पहुँच होना ही एक सफल बातचीत की क्षमता नहीं है। यह खोज की रणनीति के बारे में है। अध्ययन सिद्ध करता है कि जब आवश्यकताएं छिपी होती हैं, तो उन्नत AI एजेंट भी बिना प्रश्न पूछने और सत्यापन की स्पष्ट प्रक्रिया के सही उत्तर खोजने के लिए संघर्ष करते हैं। शोधकर्ताओं ने पाया कि यदि किसी एजेंट को प्रश्न पूछने के लिए कहा जाता है, तो वह लगभग उन सभी समस्याओं को हल कर सकता है जहाँ उपयोगकर्ता उत्तर देने के लिए तैयार है। हालाँकि, जब उपयोगकर्ता किसी आवश्यकता को बताने के बजाय केवल सुझावों का निर्णय लेता है, तो एजेंट अभी भी महत्वपूर्ण गलतियाँ करते हैं, और अक्सर ऐसी किताबें सुझाते हैं जो उपयोगकर्ता के अनकहे नियमों पर विफल रहती हैं। टीम ने अपना सारा डेटा, बुक कैटलॉग और कोड जारी कर दिया है, जिससे अन्य वैज्ञानिक इस प्रयोग को दोहरा सकें और इन निष्कर्षों पर आगे बढ़ सकें। उनका कार्य बताता है कि सिफारिश के लिए AI को एक प्रभावी संवादात्मक साथी बनने के लिए, उसे उपयोगकर्ता की चुप्पी या उत्तर देने से इनकार को एक अंत नहीं, बल्कि एक संकेत के रूप में देखना सीखना होगा कि एक छिपी हुई आवश्यकता मौजूद है, जिसके लिए उन्मूलन और खोज के अधिक सावधानीपूर्ण और व्यवस्थित दृष्टिकोण की आवश्यकता है।