PQR: A Framework to Generate Diverse and Realistic User Queries that Elicit QA Agent Failures
यह शोध पत्र PQR को प्रस्तुत करता है, जो एक पुनरावृत्ति ढांचा (iterative framework) है जो क्वेरी और प्रॉम्प्ट रिफाइनमेंट को जोड़ता है ताकि स्वचालित रूप से विविध, यथार्थवादी उपयोगकर्ता क्वेरी उत्पन्न की जा सके जो LLM-आधारित QA एजेंटों में विफलताओं को प्रभावी ढंग से उजागर और प्रकट करती हैं, जो अनुपयोगी प्रतिक्रियाओं का पता लगाने में पूर्व विधियों से काफी बेहतर प्रदर्शन करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए, सुपर-स्मार्ट शॉपिंग असिस्टेंट रोबोट के लिए क्वालिटी कंट्रोल मैनेजर हैं। आपका काम यह पता लगाना है कि वह रोबोट कहाँ गलतियाँ करता है। लेकिन, इसमें एक पेच है: वह रोबोट सरल सवालों के जवाब देने में बहुत अच्छा है, जैसे, "इस शर्ट का रंग क्या है?" इसकी कमजोरियों को खोजने के लिए, आपको इसे कठिन, भ्रमित करने वाले या अजीब सवाल पूछने होंगे।
समस्या यह है कि यदि आप रोबोट से ऐसे अजीब सवाल पूछते हैं जो कोई इंसान कभी नहीं पूछेगा (जैसे, "संख्या 5 का रंग क्या है?"), तो वह बस कह देगा, "मुझे समझ नहीं आया।" इससे आपको यह पता नहीं चलेगा कि वह वास्तविक ग्राहकों के साथ कैसा व्यवहार करता है। आपको ऐसे सवाल खोजने होंगे जो बिल्कुल वैसे ही लगें जैसे कोई वास्तविक व्यक्ति टाइप करेगा, लेकिन फिर भी वे रोबोट को गलत उत्तर देने के लिए मजबूर कर दें।
यह शोध पत्र PQR (प्रॉम्प्ट-क्वेरी-रिफाइनमेंट) नामक एक नया टूल पेश करता है जो इस समस्या को हल करता है। PQR को एक दो-सदस्यीय "रेड टीम" की तरह समझें जो रोबट को तोड़ने के लिए मिलकर काम करती है, लेकिन एक बहुत ही विशिष्ट तरीके से।
दो साथी
1. "वर्ड विजार्ड" (क्वेरी रिफाइनमेंट - शब्द जादूगर)
कल्पना कीजिए कि एक जादूगर है जो एक सामान्य वाक्य लेता है और उसके साथ खेलना शुरू कर देता है। वह ऐसा कर सकता है:
- टाइपो (Typos): "apple" को बदलकर "aple" कर देना।
- टोन (Tone): एक विनम्र अनुरोध को एक चिड़चिड़े अनुरोध में बदल देना।
- रोल-प्ले (Role-play): एक जल्दबाजी में मौजूद थके हुए माता-पिता होने का नाटक करना।
यह जादूगर यह देखने के लिए एक सवाल के कई संस्करण बनाता है कि क्या छोटे बदलाव रोबोट को विफल कर सकते हैं। हालाँकि, यदि जादूगर बहुत अधिक बेकाबू हो जाता है, तो सवाल अजीब या कोड की तरह लगने लगते हैं, जो मददगार नहीं है।
2. "डायरेक्टर" (प्रॉम्प्ट रिफाइनमेंट - निर्देशक)
कल्पना कीजिए कि एक फिल्म निर्देशक है जो जादूगर के प्रयासों को देखता है। निर्देशक केवल देखता नहीं है; वह नोट्स भी लेता है।
- "हे, वह चिड़चिड़ा लहजा रोबोट को भ्रमित करने के लिए अच्छा था!"
- "लेकिन 'क्वांटम फिजिक्स' वाला वह सवाल बहुत बनावटी था। आइए अगला सवाल ऐसा बनाएं जो एक वास्तविक खरीदार जैसा लगे।"
निर्देशक उन नोट्स का उपयोग करके जादूगर के लिए निर्देशों का एक नया सेट (एक "प्रॉम्प्ट") लिखता है। वह जादूगर को बताता है: "अगली बार, एक साथ दो सवाल पूछने की कोशिश करें, लेकिन इसे ऐसा दिखाएं जैसे कोई व्यक्ति जल्दबाजी में हो।"
वे मिलकर कैसे काम करते हैं (द लूप)
PQR इन दोनों साथियों को एक लूप में डालता है:
- निर्देशक जादूगर को निर्देशों का एक सेट देता है।
- जादूगर उन निर्देशों के आधार पर कई सवाल बनाता है।
- वे इन सवालों का परीक्षण शॉपिंग रोबोट पर करते हैं।
- यदि रोबोट विफल हो जाता है, तो वे जश्न मनाते हैं! यदि रोबोट सफल होता है, तो वे विश्लेषण करते हैं कि वह क्यों सफल हुआ।
- निर्देशक सीखे गए अनुभवों के आधार पर निर्देशों को अपडेट करता है, जिससे अगले दौर के सवाल और भी अधिक वास्तविक और कठिन बनते जाते हैं।
यह पहले से बेहतर क्यों है
PQR से पहले, शोधकर्ता रोबोट की गलतियाँ खोजने के लिए दो मुख्य तरीकों का प्रयास करते थे:
- "हैकर" दृष्टिकोण (The Hacker Approach): उन्होंने आक्रामक, अप्राकृतिक हमलों का उपयोग करके रोबोट को विफल करने की कोशिश की। इसने गलतियाँ तो ढूँढ लीं, लेकिन सवाल एक कंप्यूटर प्रोग्राम की तरह लगते थे, न कि एक इंसान की तरह।
- "ऑप्टिमाइज़र" दृष्टिकोण (The Optimizer Approach): उन्होंने सवालों को एकदम सटीक बनाने की कोशिश की, लेकिन वे बार-बार एक ही प्रकार के सवाल पूछते रहे, जिससे वे अन्य तरीकों को मिस कर गए जिनसे रोबोट विफल हो सकता था।
PQR एक हाइब्रिड (मिश्रण) है। यह "हैकर" की कमजोरियाँ खोजने की क्षमता और "ऑप्टिमाइज़र" की मानवीय दिखने की क्षमता को जोड़ता है।
परिणाम
लेखकों ने एक ई-कॉमर्स शॉपिंग बॉट पर PQR का परीक्षण किया। उन्होंने पाया कि PQR पिछले तरीकों की तुलना में "अनुपयोगी" (unhelpful) उत्तरों को खोजने में बहुत बेहतर था।
- अधिक गलतियाँ मिलीं: इसने अन्य तरीकों की तुलना में 23% से 78% अधिक खराब उत्तर खोजे।
- अधिक वास्तविक: इसके द्वारा उत्पन्न किए गए सवाल बहुत हद तक वैसे ही थे जैसे वास्तविक खरीदार वास्तव में टाइप करेंगे।
- अधिक विविधता: इसने केवल एक प्रकार की गलती नहीं ढूँढी; इसने भ्रम के कई अलग-अलग प्रकारों को खोज निकाला।
मुख्य निष्कर्ष
PBR एक स्मार्ट, स्वचालित प्रणाली है जो यह सीखती है कि परफेक्ट कठिन सवाल कैसे पूछे जाते हैं। यह केवल रोबोट को तोड़ने की कोशिश नहीं करता है; यह रोबोट को इस तरह से तोड़ने की कोशिश करता है जैसे कि यह एक वास्तविक मानवीय बातचीत हो। यह डेवलपर्स को उनके AI एजेंटों को ठीक करने में मदद करता है ताकि जब वास्तविक लोग उनका उपयोग कर रहे हों, तो वे अधिक विश्वसनीय हों।
नोट: शोध पत्र ने विशेष रूप से "अनुपयोगी" प्रतिक्रियाओं को खोजने के लिए एक शॉपिंग असिस्टेंट पर परीक्षण किया। इसने "सुरक्षा" (बुरे कंटेंट को रोकने) को भी संक्षेप में देखा, लेकिन मुख्य ध्यान AI को सहायक और वास्तविक बनाने पर था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।