Assessing Task-based Chatbots: Snapshot and Curated Datasets for Dialogflow
यह शोध पत्र TOFU-D और COD को प्रस्तुत करता है, जो क्रमशः 1,788 और 185 Dialogflow चैटबॉट्स से बने दो डेटासेट हैं, ताकि अनुभवजन्य अनुसंधान के लिए क्यूरेटेड संसाधनों की कमी को दूर किया जा सके, जबकि प्रारंभिक विश्लेषण परीक्षण कवरेज में महत्वपूर्ण अंतराल और बार-बार होने वाली सुरक्षा कमजोरियों को प्रकट करता है जो चैटबॉट गुणवत्ता और सुरक्षा पर व्यवस्थित बहु-प्लेटफ़ॉर्म अध्ययनों की आवश्यकता को रेखांकित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
चैटबॉट्स की दुनिया की कल्पना एक विशाल, हलचल भरे शहर के रूप में करें। लंबे समय से, बेहतर, सुरक्षित और अधिक विश्वसनीय चैटबॉट्स बनाने के तरीके का अध्ययन करने वाले शोधकर्ता इस शहर में नेविगेट करने की कोशिश कर रहे हैं, लेकिन वे एक बहुत ही अधूरे मानचित्र के साथ काम कर रहे हैं। वे ज्यादातर कुछ छोटे, ओपन-सोर्स मोहल्लों (जैसे कि "Rasa" जिला) को देख रहे हैं, लेकिन उन्होंने उस बड़े, कमर्शियल डाउनटाउन क्षेत्र की वास्तव में खोज नहीं की है जहाँ भारी-भरकम, बिजनेस-ग्रेड चैटबॉट्स रहते हैं।
यह पेपर एक टीम के शहरी योजनाकारों (urban planners) की तरह है जिन्होंने अंततः उस पूरे कमर्शियल डाउनटाउन का एक स्नैपशॉट लेने का फैसला किया। उन्होंने क्या किया, इसे सरल भाषा में यहाँ समझाया गया है:
1. एक बड़ा स्नैपशॉट (TOFU-D)
शोधकर्ताओं ने GitHub (एक विशाल ऑनलाइन लाइब्रेरी जहाँ लोग अपना कोड स्टोर करते हैं) पर जाकर "Dialogflow" लेबल वाली किसी भी चीज़ को खोजा। Dialogflow, गूगल द्वारा बनाया गया एक लोकप्रिय, कमर्शियल टूल है जिसका उपयोग कंपनियाँ चैटबॉट्स बनाने के लिए करती हैं।
- खोज (The Hunt): उन्होंने 12,000 से अधिक संभावित "इमारतों" (repositories) से शुरुआत की।
- फ़िल्टर (The Filter): उन्हें एहसास हुआ कि इनमें से कई केवल खाली प्लॉट या निर्माण स्थल थे, न कि वास्तविक चैटबॉट्स। उन्होंने शोर को फ़िल्टर किया और 1,788 वास्तविक, काम करने वाले चैटबॉट "इमारतें" ढूँढ निकालीं।
- परिणाम (The Result): उन्होंने TOFU-D नामक एक डेटासेट बनाया। इसे उस विशिष्ट जिले में पाए जाने वाले हर चैटबॉट का एक विशाल, बिना संपादित फोटो एल्बम समझें। यह वास्तविक वास्तविकता दिखाता है: कुछ छोटे हैं, कुछ बहुत बड़े, कुछ अस्त-व्यस्त हैं, और कुछ शानदार हैं।
2. एक क्यूरेटेड टूर (COD)
1,788 चैटबॉट्स को देखना बहुत भारी पड़ सकता है, और उनमें से कई केवल "खिलौना" उदाहरण या टूटे हुए प्रोटोटाइप हैं। गंभीर शोध के लिए इसे उपयोगी बनाने के लिए, टीम ने COD नामक दूसरा, छोटा डेटासेट बनाया।
- चयन (The Selection): उन्होंने एक म्यूजियम क्यूरेटर की तरह काम किया। उन्होंने केवल रैंडम चैटबॉट्स नहीं चुने; उन्होंने उन चैटबॉट्स को चुना जो वास्तव में कुछ दिलचस्प कर रहे थे। उन्होंने ऐसे चैटबॉट्स को देखा जिनमें:
- एक वास्तविक बातचीत हुई हो (केवल पहले से लिखे गए जवाबों की सूची नहीं)।
- बाहरी सेवाओं से जुड़ाव हो (जैसे कि एक रेस्टोरेंट बॉट वास्तव में मेनू डेटाबेस की जाँच कर रहा हो)।
- वे अंग्रेजी में लिखे गए हों (ताकि शोधकर्ता उन्हें समझ सकें)।
- वे अपने GitHub पेज पर एक "स्टार" के माध्यम से पर्याप्त लोकप्रिय हों।
- परिणाम (The Result): वे 185 उच्च-गुणवत्ता वाले चैटबॉट्स तक पहुँचे। यह उनका "हॉल ऑफ फेम" संग्रह है, जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि ये बॉट्स कैसे काम करते हैं और वे कहाँ विफल होते हैं।
3. उन्होंने शहर में क्या पाया
जब शोधकर्ताओं ने इन चैटबॉट्स के माध्यम से भ्रमण किया, तो उन्होंने इस शहर की "वास्तुकला" (architecture) के बारे में कुछ दिलचस्प बातें देखीं:
- भाषा का मिश्रण (Language Mix): हालांकि अधिकांश चैटबॉट्स अंग्रेजी बोलते हैं, लेकिन यह शहर आश्चर्यजनक रूप से विविध है। इनके पीछे का कोड कई अलग-अलग भाषाओं (JavaScript, Python, Java, आदि) में लिखा गया है, जो ओपन-सोर्स मोहल्ले के विपरीत है जहाँ लगभग सभी मुख्य रूप से Python बोलते हैं।
- जटिलता (Complexity): क्यूरेटेड चैटबॉट्स (COD) बहुत अधिक जटिल थे। वे केवल "नमस्ते" और "अलविदा" नहीं कह रहे थे; वे वास्तव में कार्य कर रहे थे, क्लाउड सेवाओं से जुड़ रहे थे, और वास्तविक उपयोगकर्ता डेटा को संभाल रहे थे।
- "गूगल" कनेक्शन (The "Google" Connection): कई चैटबॉट्स को गूगल के अपने टूल्स, जैसे कि गूगल असिस्टेंट के साथ सहजता से काम करने के लिए बनाया गया था, जो एक ऐसी विशेषता है जिसे आप ओपन-सोर्स जिले में उतनी बार नहीं देखते हैं।
4. सुरक्षा निरीक्षण (The "Bandit" और "Botium" जाँच)
यह देखने के लिए कि क्या ये चैटबॉट्स सुरक्षित और विश्वसनीय हैं, शोधकर्ताओं ने दो त्वरित परीक्षण किए, जैसे कि एक बिल्डिंग इंस्पेक्टर और एक क्वालिटी कंट्रोल मैनेजर:
- क्वालिटी चेक (Botium): उन्होंने स्वचालित रूप से टेस्ट केस जेनरेट करने की कोशिश की (जैसे कि एक रोबोट द्वारा चैटबॉट से बात करने की कोशिश करना यह देखने के लिए कि क्या वह टूट जाता है)। उन्होंने पाया कि टेस्ट अक्सर गायब थे। चैटबॉट्स सरल सवालों के जवाब देने में तो बेहतरीन थे, लेकिन जब उपयोगकर्ताओं ने "हेलो" कहा, या कुछ अप्रत्याशित कहने की कोशिश की, या पिछली बात को याद रखने की आवश्यकता हुई, तो वे अक्सर विफल हो गए। यह एक ऐसी कार खोजने जैसा था जो सीधी सड़क पर तो शानदार चलती है लेकिन पहले स्टॉप साइन पर ही रुक जाती है।
- सुरक्षा चेक (Bandit): उन्होंने सुरक्षा खामियों के लिए कोड की जांच की। उन्होंने पाया कि कई चैटबॉट्स में "खुले दरवाजे" थे। उदाहरण के लिए:
- कुछ नेटवर्क से कनेक्शन सुनने के लिए तैयार थे, न कि केवल उन नेटवर्कों से जिन्हें उन्हें सुनना चाहिए।
- कुछ ऐसा कोड चलाने की अनुमति दे रहे थे जिसे नहीं चलाया जाना चाहिए।
- उन्होंने सामान्य गलतियाँ भी पाईं, जैसे अनुरोधों (requests) पर समय सीमा सेट करना भूल जाना (जो सिस्टम को फ्रीज कर सकता है) या कमजोर रैंडम नंबर जनरेटर का उपयोग करना।
मुख्य निष्कर्ष (The Bottom Line)
इस पेपर का मुख्य बिंदु यह है कि शोधकर्ता अब केवल कुछ सरल चैटबॉट्स का अध्ययन नहीं कर सकते। चैटबॉट्स की दुनिया विशाल और विविध है। इन दो नए डेटासेट्स को प्रदान करके—विशाल स्नैपशॉट (TOFU-D) और उच्च-गुणवत्ता वाला क्यूरेटेड लिस्ट (COD)—लेखक शोध समुदाय को एक बहुत बेहतर मानचित्र और परीक्षण के लिए बेहतर विषय दे रहे हैं।
वे यह नहीं कह रहे हैं कि ये चैटबॉट्स परफेक्ट हैं; वास्तव में, उनके परीक्षणों से पता चलता है कि उनमें टेस्टिंग और सुरक्षा संबंधी महत्वपूर्ण कमियां हैं। लेकिन वास्तविक दुनिया के उदाहरणों के एक स्पष्ट, बड़े और विविध संग्रह के साथ, शोधकर्ता अंततः कुछ छोटे उदाहरणों के आधार पर अनुमान लगाने के बजाय, व्यवस्थित रूप से उन खामियों को ठीक करना शुरू कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।