Building Open-Retrieval Conversational Question Answering Systems by Generating Synthetic Data and Decontextualizing User Questions
यह शोध पत्र प्लेन टेक्स्ट दस्तावेज़ों से स्वचालित रूप से सिंथेटिक, एनोटेटेड ओपन-रिट्रीवल कन्वर्सेशनल क्वेश्चन आंसरिंग (OR-CONVQA) डेटासेट उत्पन्न करने के लिए एक पाइपलाइन का प्रस्ताव करता है, जिनका उपयोग फिर कुशल प्रश्न पुनर्गणकों (question rewriters) को प्रशिक्षित करने के लिए किया जाता है जो मौजूदा रिट्रीवल सिस्टम और लार्ज लैंग्वेज मॉडल्स को संवाद-जागरूक, दस्तावेज़-आधारित प्रतिक्रियाओं को संभालने में सक्षम बनाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, धूल भरी लाइब्रेरी में एक विशिष्ट तथ्य खोजने की कोशिश कर रहे हैं, लेकिन आप एक ऐसे लाइब्रेरियन से बात कर रहे हैं जिसने लाइब्रेरी के लेआउट के बारे में कभी नहीं सुना है। यदि आप पूछते हैं, "यह कितना है?" तो लाइब्रेरियन भ्रमित हो सकता है क्योंकि उसे नहीं पता कि "यह" क्या है। यह कन्वर्सेशनल क्वेश्चन आंसरिंग (Conversational Question Answering) की मूल समस्या है: इंसान बातचीत में शॉर्टकट का उपयोग करते हैं, "यह," "वह," या "वह" जैसे शब्दों का उपयोग करते हैं जो केवल तभी समझ में आते हैं जब आप याद रखें कि हमने अभी क्या बात की थी। इसे ठीक करने के लिए, कंप्यूटर रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) नामक एक ट्रिक का उपयोग करते हैं। RAG को इस तरह सोचें जैसे लाइब्रेरियन को एक जादुई आवर्धक लेंस (magnifying glass) दिया गया है जो जवाब देने से पहले लाइब्रेरी के सही पन्ने को तुरंत ढूंढ लेता है। लेकिन यहाँ एक पेच है: लाइब्रेरियन को यह जानना होगा कि आवर्धक लेंस से सवाल कैसे स्पष्ट रूप से पूछना है, और उन्हें यह सीखने के लिए बातचीत के ढेर सारे अभ्यास की आवश्यकता है।
समस्या यह है कि नए विषयों के लिए—जैसे किसी विशिष्ट बीमा कंपनी के नियम या एक नए सॉफ्टवेयर मैनुअल के लिए—किसी ने भी हजारों अभ्यास बातचीत नहीं लिखी है। लोगों को इन्हें लिखने के लिए काम पर रखना धीमा, महंगा और उबाऊ है। यह पेपर उसी सिरदर्द को हल करता है। लेखक इन AI लाइब्रेरियन के लिए एक "प्रशिक्षण जिम" बनाने का एक चतुर तरीका प्रस्तावित करते हैं, जो केवल उन कच्चे दस्तावेजों का उपयोग करता है जो कंपनी के पास पहले से ही हैं। वे केवल वाक्यों को कॉपी-पेस्ट नहीं करते हैं; वे पहले दस्तावेजों को छोटे, क्रिस्टल-क्लियर "फैक्ट कार्ड्स" (जिन्हें वे प्रपोजिशन (propositions) कहते हैं) में तोड़ते हैं। फिर वे एक सुपर-स्मार्ट AI का उपयोग करते हैं जो कल्पना करता है कि एक इंसान उन कार्ड्स के बारे में क्या पूछेगा, जिससे एक नकली लेकिन वास्तविक बातचीत तैयार होती है। उन्होंने पाया कि दस्तावेजों को साफ फैक्ट कार्ड्स में बदलने और फिर उनसे सिंथेटिक बातचीत बनाने की उनकी विधि, AI लाइब्रेरियन को कच्चे, अस्त-व्यस्त वाक्यों के बजाय सही उत्तर खोजने में बहुत बेहतर बनाती है।
सिंथेटिक कन्वर्सेशन फैक्ट्री की कहानी
तो, आप एक रोबोट को एक अच्छा बातचीत करने वाला कैसे बनाते हैं जब आपके पास उसे दिखाने के लिए लाखों वास्तविक मानव चैट नहीं हैं? इस पेपर के लेखकों ने एक दो-चरणीय असेंबली लाइन बनाई है जो उबाऊ दस्तावेजों को रोमांचक, वास्तविक अभ्यास बातचीत में बदल देती है।
चरण 1: फैक्ट कार्ड फैक्ट्री
कल्पना कीजिए कि आपके पास एक नए वीडियो गेम के लिए एक मोटा निर्देश मैनुअल है। यह लंबे, जटिल वाक्यों से भरा है जैसे, "यदि आप कंट्रोलर पकड़े हुए लाल बटन दबाते हैं, तो पात्र कूद जाएगा, लेकिन केवल तभी जब बैटरी कम हो।" यह एक सर्च इंजन के लिए एक दुःस्वप्न है। लेखकों का पाइपलाइन पहले इन दस्तावेजों को लेता है और एक शक्तिशाली AI (उन्होंने क्लॉड 3.5 नामक मॉडल का उपयोग किया) से उन्हें तोड़ने के लिए कहता है। AI एक सूक्ष्म संपादक की तरह कार्य करता है, लंबे वाक्यों को छोटे, स्वतंत्र "फैक्ट कार्ड्स" में काट देता है। यह "यह" या "वह" जैसे भ्रमित करने वाले संदर्भों को हटा देता है और सुनिश्चित करता है कि प्रत्येक कार्ड एक पूर्ण, स्व-निहित विचार हो।
महत्वपूर्ण रूप से, AI को केवल उन चीजों के लिए कार्ड बनाने के लिए कहा जाता है जिनके बारे में एक इंसान वास्तव में पूछने में रुचि रखेगा। यह "हमसे 555-0199 पर संपर्क करें" जैसे उबाऊ हिस्सों को अनदेखा कर देता है जब तक कि कोई वास्तव में इसके बारे में पूछ न सके। अपने दस्तावेजों के संग्रह से, उन्होंने अपने निजी कंपनी डेटा के लिए 11,000 से अधिक और सार्वजनिक सरकारी दस्तावेजों के लिए 14,000 से अधिक फैक्ट कार्ड जेनरेट किए। ये कार्ड वे "सत्य" बनेंगे जिसके माध्यम से AI लाइब्रेरियन अंततः खोज करेगा।
चरण 2: कन्वर्सेशन सिम्युलेटर
अब जब उनके पास फैक्ट कार्ड्स का ढेर है, तो पाइपलाइन AI से एक बातचीत की कल्पना करने के लिए कहती है। यह इन कार्ड्स के एक छोटे समूह को चुनती है और कहती है, "कल्पना करो कि एक इंसान इन तथ्यों के बारे में सवाल पूछ रहा है।" AI एक आगे-पीछे की बातचीत उत्पन्न करता है। यहाँ जादू का तरीका है: हर सवाल के लिए जो "इंसान" पूछता है, AI दो संस्करण लिखता है।
- वास्तविक मानव संस्करण (The Real Human Version): यह वह तरीका है जिससे एक व्यक्ति वास्तव में बात करता है, शॉर्टकट से भरा हुआ। "यह कितना लागत वाला है?" (पहले उल्लेखित किसी चीज़ को संदर्भित करते हुए)।
- स्पष्ट संस्करण (The Clear Version): यह वही प्रश्न है जिसे पूरी तरह से समझने योग्य बनाने के लिए फिर से लिखा गया है, जैसे "बीमा पॉलिसी की लागत कितनी है?"
सिस्टम यह भी ट्रैक रखता है कि प्रत्येक प्रश्न का उत्तर देने के लिए किन फैक्ट कार्ड्स का उपयोग किया गया था। यह एक आदर्श प्रशिक्षण डेटासेट बनाता है जहाँ कंप्यूटर को पता होता है कि कौन सा उलझा हुआ सवाल, कौन सा स्पष्ट संस्करण, उत्तर और स्रोत क्या है।
"फैक्ट कार्ड्स" क्यों "कच्चे वाक्यों" से बेहतर हैं
लेखकों ने केवल बातचीत बनाना ही नहीं छोड़ा; उन्होंने एक बड़े परिकल्पना का परीक्षण किया। वे जानना चाहते थे: क्या AI को इन साफ "फैक्ट कार्ड्स" का उपयोग करके प्रशिक्षित करना बेहतर है, या उन्हें बस मूल दस्तावेजों को वाक्यों में काटकर उपयोग करना चाहिए?
इसे घास के ढेर में सुई खोजने जैसा समझें। यदि आप कच्चे वाक्यों का उपयोग करते हैं, तो घास का ढेर अतिरिक्त भूसे—अप्रासंगिक शब्द, लंबी व्याख्याएं और भ्रमित करने वाले संदर्भों से भरा होता है। यदि आप फैक्ट कार्ड्स का उपयोग करते हैं, तो आपने पहले ही भूसा निकाल लिया है और केवल सुइयां छोड़ दी हैं।
जब उन्होंने इसका परीक्षण किया, तो परिणाम स्पष्ट थे। साफ फैक्ट कार्ड्स से बनी बातचीत ने बहुत बेहतर खोज परिणाम दिए। AI काफी तेज़ी से और सटीकता से सही जानकारी ढूंढ सका। इसके विपरीत, कच्चे वाक्यों का उपयोग करना ऐसा था जैसे घास के ढेर में सुई खोजने की कोशिश करना जिसे आपस में चिपका दिया गया हो; सर्च इंजन शोर से भ्रमित हो गया। लेखकों ने पाया कि जबकि कच्चे वाक्य बातचीत को सुचारू रूप से चलाने के लिए ठीक थे, वे वास्तव में उत्तर ढूंढने में मदद करने के लिए बहुत खराब थे।
रोबोट को खुद सोचने के लिए सिखाना
एक बार जब उनके पास हजारों सिंथेटिक बातचीत आ गईं, तो उन्होंने इनका उपयोग "लाइटवेट" AI मॉडल को प्रशिक्षित करने के लिए किया। ये बड़े, विशाल सुपर-AI के उपयोग किए जाने वाले विशाल, महंगे कंप्यूटरों की तुलना में छोटे, तेज़ और सस्ते कंप्यूटर हैं।
उन्होंने दो प्रकार के सहायकों को प्रशिक्षित किया:
- रीराइटर (The Rewriter): एक छोटा मॉडल जो एक उलझे हुए, संदर्भ-युक्त सवाल ("यह कितना है?") को लेने और उसे एक स्पष्ट सवाल ("बीमा कितना है?") में बदलने के लिए सीखता है।
- रिट्रीवर (The Retriever): एक छोटा मॉडल जो स्पष्ट सवाल को देखता है और तुरंत लाइब्रेरी में सही फैक्ट कार्ड ढूंढ लेता है।
परिणाम प्रभावशाली थे। इन छोटे, सस्ते मॉडलों ने उतना ही प्रदर्शन किया जितना कि हर बार रीराइटिंग करने के लिए विशाल, महंगे AI का उपयोग करना। वास्तव में, कुछ परीक्षणों में, उनके सिंथेटिक डेटा पर प्रशिक्षित छोटा मॉडल, उन विशाल मानव-लिखित डेटासेट्स पर प्रशिक्षित मॉडल से भी बेहतर था जिन्हें प्राप्त करना कठिन है।
उन्होंने एक स्मार्ट शॉर्टकट भी खोजा। उन्होंने रीराइटर को यह जांचना सिखाया कि क्या कोई सवाल पहले से ही स्पष्ट है। यदि उपयोगकर्ता ने पूछा, "पॉलिसी की कीमत क्या है?" (जो पहले से ही स्पष्ट है), तो रीराइटर ने सीखा कि "कोई रीराइट आवश्यक नहीं" कहना है, और चरण को छोड़ देना है। इसने समय बचाया, जिससे कई सवालों के लिए प्रोसेसिंग समय आधा हो गया।
क्या यह वास्तविक दुनिया में काम करता है?
यह सुनिश्चित करने के लिए कि यह केवल नकली डेटा पर काम करने वाली विधि नहीं है, उन्होंने सरकारी वेबसाइटों (जैसे बीमा और छात्र सहायता) से वास्तविक दुनिया के डेटासेट्स पर अपने सिस्टम का परीक्षण किया। उन्होंने यह साबित करने के लिए कि उनका तरीका शून्य से काम कर सकता है, इन वास्तविक डेटासेट्स से मानव-लिखित प्रशिक्षण डेटा को हटा दिया।
परिणाम बरकरार रहे। उनके छोटे मॉडल, जो केवल उनके द्वारा उत्पन्न सिंथेटिक बातचीत पर प्रशिक्षित थे, वास्तविक दुनिया के दस्तावेजों में कच्चे, अव्यवस्थित सवालों की तुलना में बहुत बेहतर तरीके से सही उत्तर खोजने में सक्षम थे। हालांकि वास्तविक समय में प्रश्नों को रीराइट करने के लिए एक विशाल AI का उपयोग करना थोड़ा बेहतर था, लेकिन यह बहुत धीमा और महंगा भी था। उनके छोटे, प्रशिक्षित मॉडल एक बेहतरीन संतुलन प्रदान करते थे: तेज़, सस्ता और अत्यधिक सटीक।
निष्कर्ष
यह पेपर सुझाव देता है कि हमें स्मार्ट AI असिस्टेंट बनाने के लिए मनुष्यों द्वारा लाखों पूर्ण बातचीत लिखे जाने की प्रतीक्षा करने की आवश्यकता नहीं है। इसके बजाय, हम जो दस्तावेज़ हमारे पास पहले से ही हैं, उन्हें ले सकते हैं, उन्हें साफ, छोटे टुकड़ों में बदल सकते हैं, और एक शक्तिशाली AI को बातचीत की कल्पना करने दे सकते हैं। यह सिंथेटिक डेटा छोटे, तेज़ मॉडलों को प्रभावी ढंग से वास्तविक दुनिया के सवालों को संभालने के लिए प्रशिक्षित करने के लिए पर्याप्त अच्छा है।
हालाँकि, लेखक सावधानी बरतते हैं कि यह कोई जादुई छड़ी नहीं है। उनका सिस्टम अभी भी प्रारंभिक प्रशिक्षण डेटा उत्पन्न करने के लिए एक बड़े, महंगे AI पर निर्भर करता है। और जबकि छोटे मॉडल उत्तर खोजने में बहुत अच्छे हैं, उन्हें वास्तव में उपयोगकर्ता को अंतिम प्रतिक्रिया लिखने के लिए अभी भी बड़े AI की आवश्यकता होती है। लेकिन दस्तावेजों के समुद्र में सही जानकारी खोजने के कठिन हिस्से के लिए, यह "सिंथेटिक फैक्ट्री" दृष्टिकोण एक गेम-चेंजर लगता है, जो बिना किसी मानव एनोटेटर की टीम के, अव्यवस्थित मैनुअल को स्पष्ट, खोजने योग्य ज्ञान में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।