PRACTIQ: A Practical Conversational Text-to-SQL dataset with Ambiguous and Unanswerable Queries
यह शोधपत्र PRACTIQ प्रस्तुत करता है, जो वास्तविक दुनिया की अंतःक्रियाओं से प्रेरित अस्पष्ट और अनुत्तरित प्रश्नों वाला एक नया संवादात्मक टेक्स्ट-टू-SQL डेटासेट है, और LLM-आधारित बेसलाइन्स के माध्यम से यह प्रदर्शित करता है कि वर्तमान अत्याधुनिक प्रणालियाँ इन व्यावहारिक चुनौतियों को प्रभावी ढंग से संभालने में संघर्ष करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लाइब्रेरियन से एक विशिष्ट पुस्तक माँगने की कोशिश कर रहे हैं। कंप्यूटर साइंस के अधिकांश परीक्षणों की आदर्श दुनिया में, आप पास जाकर कहेंगे, "मुझे लेखक X द्वारा 1990 में प्रकाशित पुस्तक चाहिए," और लाइब्रेरियन तुरंत आपको बिल्कुल सही पुस्तक थमा देगा।
लेकिन वास्तविक दुनिया में, चीजें अधिक जटिल होती हैं। हो सकता है कि आप कहें, "मुझे लेखक X की पुस्तक चाहिए," लेकिन लाइब्रेरी में उस लेखक की तीन पुस्तकें हैं, और आपने यह स्पष्ट नहीं किया कि कौन सी वाली। या, हो सकता है कि आप ऐसी पुस्तक मांगें जो उनके संग्रह में है ही नहीं। यदि लाइब्रेरियन बिना कारण बताए बस अनुमान लगा लेता है या कहता है "मैं यह नहीं कर सकता," तो आप निराश हो जाएंगे।
यह शोध पत्र, PRACTIQ, कंप्यूटरों को (विशेष रूप से, उन AI सिस्टम को जो मानवीय प्रश्नों को डेटाबेस क्वेरी में बदलते हैं) इन वास्तविक, उलझी हुई स्थितियों को संभालने के लिए सिखाने के बारे में है।
यहाँ इसका विवरण दिया गया है, जिसे सरल उपमाओं का उपयोग करके समझाया गया है:
1. समस्या: "बहुत आदर्श" लाइब्रेरियन
मौजूदा AI प्रशिक्षण डेटा अधिकांशतः एक ऐसी लाइब्रेरी की तरह है जहाँ हर एक अनुरोध एकदम सटीक होता है। उपयोगकर्ता एक स्पष्ट प्रश्न पूछता है, और उत्तर मौजूद होता है।
- वास्तविकता: वास्तविक उपयोगकर्ता भ्रमित करने वाले प्रश्न पूछते हैं (अस्पष्ट/Ambiguous) या ऐसी चीजों के बारे में पूछते हैं जो मौजूद नहीं हैं (अनुत्तरित/Unanswerable)।
- अंतराल: वर्तमान AI सिस्टम "आदर्श" प्रश्नों के लिए बेहतरीन हैं, लेकिन भ्रम या गायब डेटा का सामना करने पर वे क्रैश हो जाते हैं या बेतुके उत्तर देते हैं। उन्हें यह कहना नहीं सिखाया गया है कि, "रुको, क्या आपका मतलब इस पुस्तक से है या उस पुस्तक से?" या "क्षमा करें, हमारे पास वह पुस्तक नहीं है।"
2. समाधान: एक "अव्यवस्थित" लाइब्रेरी बनाना (PRACTIQ)
लेखकों ने PRACTIQ नामक एक नया डेटासेट बनाया है। इसे एक नए लाइब्रेरियन के लिए प्रशिक्षण मैनुअल के रूप में समझें जो कठिन, भ्रमित करने वाले और असंभव अनुरोधों से भरा हुआ है।
उन्होंने 8 विशिष्ट प्रकार की समस्याओं की पहचान की:
- भ्रम के 4 प्रकार (Ambiguous):
- उदाहरण: आप किसी आगंतुक की "आयु" पूछते हैं। डेटाबेस में "प्रवेश के समय की आयु" और "वर्तमान आयु" दोनों हैं। आप कौन सी चाहते हैं?
- उदाहरण: आप "युवा" लोगों के बारे में पूछते हैं। क्या इसका मतलब 18 से कम है? या 21 से कम? परिभाषा धुंधली है।
- असंभवता के 4 प्रकार (Unanswerable):
- उदाहरण: आप एक विजेता के "उपनाम" (nickname) के बारे में पूछते हैं, लेकिन डेटाबेस में केवल उनके कानूनी नाम हैं। वह जानकारी वहां है ही नहीं।
- उदाहरण: आप डेटा की दो ऐसी सूचियों को जोड़ने की कोशिश करते हैं जिनके बीच कोई संबंध नहीं है (जैसे छात्रों की सूची को लाइब्रेरी की पुस्तकों की सूची के साथ जोड़ना जब उनके बीच कोई साझा ID नहीं है)।
3. उन्होंने डेटा कैसे बनाया: "रिवर्स इंजीनियरिंग" का तरीका
केवल नकली प्रश्न लिखने के बजाय, उन्होंने वास्तविक बातचीत बनाने के लिए एक चतुर तीन-चरणीय प्रक्रिया का उपयोग किया:
- चरण 1: डेटाबेस को तोड़ना: उन्होंने एक सामान्य, साफ डेटाबेस लिया और जानबूझकर उसे "खराब" या भ्रमित करने वाला बना दिया। वे एक कॉलम हटा सकते हैं या दो ऐसे कॉलम जोड़ सकते हैं जो एक जैसे दिखते हों लेकिन उनका अर्थ अलग हो।
- चरण 2: बातचीत की स्क्रिप्ट: उन्होंने एक AI से एक स्क्रिप्ट लिखने के लिए कहा जहाँ:
- उपयोगकर्ता एक भ्रमित करने वाला प्रश्न पूछता है।
- सहायक (AI) भ्रम को पहचानता है और पूछता है, "क्या आपका मतलब X या Y से है?"
- उपयोगकर्ता स्पष्ट करता है, "ओह, मेरा मतलब X था।"
- सहायक सही उत्तर देता है और इसे सरल अंग्रेजी (plain English) में समझाता है।
- विशेष मोड़: कभी-នេះ, स्पष्टीकरण मांगने के बजाय, सहायक अतिरिक्त मददगार होने के लिए दोनों उत्तर एक साथ दे देता है।
- चरण 3: पॉलिशिंग: उन्होंने बातचीत को प्राकृतिक बनाने के लिए फिर से AI का उपयोग किया, ताकि यह दो मनुष्यों की बातचीत लगे, न कि किसी रोबोट द्वारा पढ़ी गई स्क्रिप्ट।
4. परीक्षण: क्या AI इस अराजकता को संभाल सकता है?
लेखकों ने आज के सबसे स्मार्ट AI मॉडल्स (जैसे Claude 3.5 और Llama 3) का इस नए "अव्यवस्थित" डेटासेट का उपयोग करके परीक्षण किया।
परिणाम:
- AI अभी भी संघर्ष कर रहा है। सबसे अच्छे मॉडल भी भ्रमित करने वाले प्रश्नों पर लगभग 70-77% उत्तर सही दे पाए।
- "परफेक्ट" बनाम "रियल" अंतराल: ये मॉडल साफ, आदर्श प्रश्नों के लिए बेहतरीन हैं (लगभग 79% सही), लेकिन जब प्रश्न अस्पष्ट होता है या डेटा गायब होता है, तो उनका प्रदर्शन काफी गिर जाता है।
- सबक: वर्तमान AI उस छात्र की तरह है जो पाठ्यपुस्तक में तो टॉप करता है लेकिन जब शिक्षक एक कठिन सवाल पूछता है, तो वह अचानक होने वाले टेस्ट (pop quiz) में फेल हो जाता है। उन्हें भ्रम और गायब जानकारी को संभालने के तरीके पर अधिक प्रशिक्षण की आवश्यकता है।
सारांश
यह शोध पत्र PRACTIQ पेश करता है, जो एक नया डेटासेट है जिसे AI को वास्तविक दुनिया के भ्रम को संभालने के लिए सिखाने के लिए डिज़ाइन किया गया है। यह दिखाता है कि हालांकि AI प्रश्नों को डेटाबेस कमांड में बदलने में बेहतर हो रहा है, लेकिन इसे अभी भी यह सीखने की आवश्यकता है कि जब कोई प्रश्न अस्पष्ट हो तो विनम्रता से स्पष्टीकरण कैसे मांगा जाए या यह कब स्वीकार किया जाए कि कोई उत्तर मौजूद नहीं है, बजाय इसके कि वह केवल अनुमान लगाने लगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।