Multi-Level Testing of Conversational AI Systems
यह पीएचडी थीसिस कन्वर्सेशनल एआई सिस्टम के लिए एक नए बहु-स्तरीय परीक्षण ढांचे का प्रस्ताव करती है ताकि व्यक्तिगत एआई घटकों से लेकर जटिल मल्टी-एजेंट कार्यान्वयनों तक विभिन्न स्तरों पर घटक तत्वों को मान्य करके मौजूदा समाधानों की सीमाओं को संबोधित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही बुद्धिमान, बातूनी रोबोट सहायक बनाया है। इसे आपके सवालों को समझना चाहिए, जानकारी खोजनी चाहिए, अपॉइंटमेंट बुक करनी चाहिए, और शायद काम पूरा करने के लिए अन्य रोबोटों से भी बात करनी चाहिए। लेकिन कभी-कभी, यह रोबोट भ्रमित हो जाता है, अपनी बातें दोहराता है, आपको मौसम का गलत पूर्वानुमान बताता है, या यहाँ तक कि आपको कानून तोड़ने का सुझाव भी दे देता है।
यह शोध पत्र एलेना मासेरिनी नामक एक पीएच.डी. छात्रा द्वारा इन रोबोटों के लिए एक बेहतर "सुरक्षा निरीक्षक" (सेफ्टी इंस्पेक्टर) बनाने का एक प्रस्ताव है। उनका तर्क है कि सॉफ्टवेयर परीक्षण के पुराने तरीके इन बातूनी एआई (AI) प्रणालियों के लिए काम नहीं करते क्योंकि मानवीय भाषा अव्यवस्थित, अप्रत्याशित और अनगिनत तरीकों से कही जा सकती है।
एक बेहतर परीक्षण पद्धति के लिए, वह एक तीन-स्तरीय निरीक्षण योजना का प्रस्ताव करती हैं, जैसे कि कार के विभिन्न चरणों में उसके निर्माण की जांच करना:
स्तर 1: "अनुवादक और टूलबॉक्स" की जाँच
उपमा: कल्पना कीजिए कि रोबोट के पास एक मस्तिष्क (भाषा घटक) है जो आपकी बात सुनता है, और औजारों (सेवाओं) का एक सेट है जिनका उपयोग वह कार्य करने के लिए करता है, जैसे कैलेंडर खोलना या डेटाबेस की जांच करना।
समस्या: कभी-कभी मस्तिष्क "मीटिंग बुक करें" सुनता है लेकिन "कैलेंडर टूल" उठाना भूल जाता है, या वह टूल तो उठा लेता है लेकिन गलत रिंच (wrench) का उपयोग करता है।
समाधान: परीक्षण का पहला स्तर इस बात पर केंद्रित है कि मस्तिष्क और औजार एक-दूसरे से सही ढंग से संवाद करें। शोधकर्ता एक स्मार्ट खोज पद्धति (जैसे सुरागों की तलाश करता हुआ एक जासूस) का उपयोग करने की योजना बना रहे हैं, ताकि मदद मांगने के हजारों अलग-अलग तरीके उत्पन्न किए जा सकें, जिससे यह सुनिश्चित हो सके कि रोबोट जानता है कि ठीक से कौन सा टूल उठाना है और उसका उपयोग कैसे करना है।
स्तर 2: "सोलो एक्ट" (एकल प्रदर्शन) की जाँच
उपमा: अब, कल्पना कीजिए कि रोबोट मंच पर एक एकल शो कर रहा है। यह केवल औजारों का उपयोग करने के बारे में नहीं है; यह एक इंसान के साथ एक सुसंगत बातचीत करने के बारे में है।
समस्या: हर संभावित बातचीत के लिए नियम पुस्तिका लिखना कठिन है। क्या होगा यदि उपयोगकर्ता कोई अजीब सवाल पूछता है? क्या रोबोट अपने ट्रैक पर रहता है?
समाधान: चूंकि हम हर परिदृश्य के लिए एक आदर्श स्क्रिप्ट नहीं लिख सकते, इसलिए शोधकर्ता "मेटाबॉर्फिक टेस्टिंग" (Metamorphic Testing) नामक एक तकनीक का उपयोग करने की योजना बना रहे हैं। इसे एक जादू के खेल की तरह समझें: यदि आप इनपुट को थोड़ा बदल देते हैं (जैसे "मीटिंग बुक करें" के बजाय "चैट शेड्यूल करें" कहना), तो रोबोट का आउटपुट अनुमानित और तार्किक तरीके से बदलना चाहिए। यदि रोबोट थोड़े से बदलाव से भ्रमित हो जाता है, तो परीक्षण उस बग (खामी) को पकड़ लेता है।
स्तर 3: "ऑर्केस्ट्रा" की जाँच
उपमा: कभी-कभी, एक रोबोट पर्याप्त नहीं होता। आपके पास रोबोटों की एक टीम हो सकती है जो मिलकर काम कर रही है—एक बिलिंग संभालता है, दूसरा शिपिंग, और तीसरा ग्राहकों की शिकायतों को देखता है। उन्हें एक ऑर्केस्ट्रा की तरह तालमेल बिठाने और नोट्स पास करने की आवश्यकता होती है।
समस्या: यदि बिलिंग रोबोट गलत समय पर शिपिंग रोबट से बात करता है, या यदि वे दोनों एक ही कार्य करने का प्रयास करते हैं, तो पूरा सिस्टम क्रैश हो जाता है।
समाधान: यह स्तर पूरी टीम का परीक्षण करता है। शोधकर्ता जटिल परिदृश्य डिजाइन करने के लिए "एआई प्लानिंग" (AI planning) का उपयोग करने की योजना बना रहे हैं जहाँ रोबोटों को एक समस्या को हल करने के लिए मिलकर काम करना पड़ता है। वे टीम के बीच में "नकली" रोबोटों (मॉक एजेंटों) को भी शामिल करेंगे जो व्यवधान डालने वाले के रूप में कार्य करेंगे या दुर्लभ, कठिन स्थितियों का अनुकरण करेंगे ताकि यह देखा जा सके कि क्या टीम उस अराजकता को संभाल सकती है।
लक्ष्य
अंतिम लक्ष्य एक ऐसा टूलकिट बनाना है जो इन बग्स को रोबोट के लाइव होने से पहले ही ढूंढ ले। शोधकर्ता पहले से ही परीक्षण के लिए विभिन्न रोबोटों की एक लाइब्रेरी बना रहे हैं और नए तरीके विकसित कर रहे हैं जिनसे यह मापा जा सके कि क्या उनके परीक्षण वास्तव में उन गलतियों को ढूंढ पा रहे हैं जो डेवलपर्स के लिए सबसे महत्वपूर्ण हैं।
संक्षेप में, यह शोध पत्र सरल "पास/फेल" परीक्षणों से दूर जाने और एक परिष्कृत, बहु-स्तरीय सुरक्षा जाल बनाने के बारे में है ताकि यह सुनिश्चित किया जा सके कि हमारे संवादात्मक एआई सहायक विश्वसनीय, बुद्धिमान हों और हमसे झूठ न बोलें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।