-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge
यह शोध पत्र -Knowledge प्रस्तुत करता है, जो एक नया बेंचमार्क है जिसमें -Banking डोमेन शामिल है ताकि जटिल, नीति-संचालित वर्कफ़्लो में अनस्ट्रक्चर्ड नॉलेज रिट्रीवल को टूल के उपयोग के साथ समन्वित करने की संवादात्मक एजेंटों की क्षमता का मूल्यांकन किया जा सके, जो यह प्रकट करता है कि फ्रंटियर मॉडल भी ऐसे यथार्थवादी, लॉन्ग-होरिज़न इंटरैक्शन में कम सफलता दर और विश्वसनीयता के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने बैंक खाते में मदद के लिए एक सुपर-स्मार्ट, अत्यधिक प्रशिक्षित व्यक्तिगत सहायक को काम पर रखा है। आप उनसे कहते हैं, "मेरा वॉलेट खो गया है, कृपया मेरे कार्ड फ्रीज कर दें और धोखाधड़ी की जांच करें।"
अतीत में, हमने इन सहायकों का परीक्षण उन्हें उपकरणों की एक सूची (जैसे कि "कार्ड फ्रीज करें" बटन) देकर किया था और उनसे सही बटन दबाने के लिए कहा था। लेकिन वास्तविक दुनिया में, चीजें बहुत अधिक जटिल होती हैं। आपके सहायक को केवल एक बटन की आवश्यकता नहीं है; उन्हें यह भी जानना होगा कि बटन कहाँ है, उसे कब दबाना है, और बटन दबाने से पहले किन नियमों का पालन करना है। उन्हें आपसे बात करते हुए, आपकी समस्या को हल करने की कोशिश करते हुए, एक विशाल और अस्त-व्यस्त 700 दस्तावेजों की लाइब्रेरी (नीतियां, FAQ, आंतरिक नियम) को पढ़ना होगा।
यह शोध पत्र एक नया परीक्षण पेश करता है जिसे τ-Knowledge (टाऊ-नॉलेज) कहा जाता है, ताकि यह देखा जा सके कि क्या AI एजेंट वास्तव में इस वास्तविक दुनिया की अराजकता को संभाल सकते हैं।
यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:
1. समस्या: "अंधा" लाइब्रेरियन
कल्पना कीजिए कि आपका AI एजेंट एक लाइब्रेरियन है जिसे 700 किताबों वाली लाइब्रेरी में एक विशिष्ट किताब खोजने के लिए काम पर रखा गया है।
- पुराने परीक्षण: हमने लाइब्रेरियन को किताब का शीर्षक दिया और पूछा, "क्या आप इस किताब को ढूंढ सकते हैं?" या "क्या आप इस किताब को चेक आउट कर सकते हैं?" हमने किताब खोजने और उसे चेक आउट करने को दो अलग-अलग कार्यों के रूप में परखा।
- वास्तविक दुनिया: वास्तविकता में, लाइब्रेरियन को किताबों के शीर्षक नहीं पता होते। उन्हें गलियारों में घूमना होगा, 700 किताबों की रीढ़ (spines) को पढ़ना होगा, यह पता लगाना होगा कि किस किताब में "खोए हुए वॉलेट" के नियम हैं, बारीक अक्षरों को पढ़ना होगा, और फिर यह तय करना होगा कि उन्हें आपका कार्ड फ्रीज करना है या रद्द करना है। यदि वे गलत किताब चुनते हैं, तो वे गलत कार्ड फ्रीज कर सकते हैं या किसी नियम को तोड़ सकते हैं।
2. नया परीक्षण: "τ-Banking"
शोधकर्ताओं ने τ-Banking नामक एक नकली बैंक बनाया।
- लाइब्रेरी: इसमें नकली क्रेडिट कार्ड, बचत खातों और सख्त नियमों (जैसे, "आप लंबित विवाद के रहते हुए खाता बंद नहीं कर सकते") के बारे में 700 दस्तावेज़ हैं।
- उपकरण (Tools): एजेंट के पास डेटाबेस को बदलने के उपकरण हैं (जैसे "कार्ड फ्रीज करें" या "खाता बंद करें"), लेकिन उन्हें अभी तक यह नहीं पता कि ये उपकरण मौजूद हैं। उन्हें पहले दस्तावेजों के भीतर उस टूल का नाम खोजना होगा।
- ग्राहक: एक सिम्युलेटेड मानव जो अस्पष्ट हो सकता है ("मेरा सामान खो गया है") या बातचीत के बीच में अपना मन बदल सकता है।
3. यह परीक्षण कैसे काम करता है
AI एजेंट को एक वास्तविक ग्राहक सेवा प्रतिनिधि की तरह कार्य करना होता है:
- उपयोगकर्ता की बात सुनना।
- सही नीति खोजने के लिए लाइब्रेरी में खोज करना (सर्च इंजन या फाइल एक्सप्लोरर जैसे टूल का उपयोग करके)।
- समस्या को समझने के लिए नीति को पढ़ना।
- समस्या को ठीक करने के लिए आवश्यक विशिष्ट टूल को खोजना।
- नियमों का पालन करते हुए सुधार को लागू करना।
4. परिणाम: "स्मार्ट" एजेंट अभी भी अटके हुए हैं
शोधकर्ताओं ने दुनिया के सबसे स्मार्ट AI मॉडल (जैसे GPT-5.2 और Claude-4.5) का परीक्षण किया। परिणाम आश्चर्यजनक और थोड़े डरावने थे:
- सफलता दर कम है: सबसे अच्छे AI ने भी पहली बार में केवल लगभग 25% बार सफलता प्राप्त की। इसका मतलब है कि 4 में से 3 बार वे ग्राहक की सही ढंग से मदद करने में विफल रहे।
- "गोल्डन" टेस्ट: उन्होंने AI को तुरंत सटीक दस्तावेज़ दिए (खोज वाले हिस्से को हटा दिया)। इसके बावजूद, सफलता दर बढ़कर लगभग 40% ही हुई।
- उपमा: यह एक शेफ को सटीक रेसिपी और सामग्री देने जैसा है, लेकिन फिर भी वे भोजन जला देते हैं क्योंकि वे खाना पकाने के निर्देशों को नहीं समझ पाते। समस्या केवल जानकारी खोजने की नहीं है; यह उसके साथ तर्क (reasoning) करने की है।
- "सर्च" का जाल: कुछ AI ने बहुत अधिक खोजने की कोशिश की। वे 20 दस्तावेज़ पढ़ते, भ्रमित होते, फिर से खोजते और समय बर्बाद करते। अन्य बिना पर्याप्त पढ़े ही उत्तर का अनुमान लगाने लगे।
5. यह क्यों महत्वपूर्ण है
शोध पत्र का तर्क है कि हमें AI का परीक्षण केवल इस आधार पर करना बंद कर देना चाहिए कि वे कितनी अच्छी तरह "खोजते" हैं या कितनी अच्छी तरह "निर्देशों का पालन करते" हैं। हमें उन्हें एक अस्त-व्यस्त, वास्तविक दुनिया के परिवेश में उनकी दक्षता (efficiency) और विश्वसनीयता (reliability) पर परखने की आवश्यकता है।
- दक्षता (Efficiency): यदि कोई AI किसी समस्या को हल करने में 10 मिनट लेता है जिसे 2 मिनट में लिया जाना चाहिए, तो ग्राहक निराश हो जाता है।
- विश्वसनीयता (Reliability): यदि AI आपके कार्ड को तब फ्रीज कर देता है जब उसे नहीं करना चाहिए था, या धोखाधड़ी के अलर्ट को मिस कर देता है, तो यह एक आपदा है।
मुख्य निष्कर्ष (The Big Takeaway)
वर्तमान AI एजेंटों को ऐसे बुद्धिमान छात्रों के रूप में देखें जो नक्शा (map) मानने में बहुत खराब हैं। वे एक किताब पढ़ सकते हैं, लेकिन यदि आप उन्हें एक जटिल शहर (बैंक के डेटाबेस) में नेविगेट करने के लिए कहें जबकि वे एक भ्रमित पर्यटक (उपयोगकर्ता) से बात कर रहे हों, तो वे अक्सर रास्ता भटक जाते हैं, गलत बस पकड़ लेते हैं, या सड़क के नियमों को भूल जाते हैं।
τ-Knowledge वह नया ड्राइविंग टेस्ट है जो इन AI को यह साबित करने के लिए मजबूर करता है कि वे वास्तव में कार चला सकते हैं, न कि केवल ड्राइवर मैनुअल को रट सकते हैं। परिणाम दिखाते हैं कि हालांकि "छात्र" बुद्धिमान हैं, लेकिन उन्हें अकेले हमें घुमाने के लिए भरोसेमंद बनने से पहले अभी एक लंबा रास्ता तय करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।