Unifying Ranking and Generation in Query Auto-Completion via Retrieval-Augmented Generation and Multi-Objective Alignment
यह शोध पत्र क्वेरी ऑटो-कंप्लीशन के लिए एक एकीकृत ढांचे को प्रस्तुत करता है जो इस कार्य को रिट्रीवल-ऑगमेंटेड जनरेशन और मल्टी-ऑब्जेक्टिव डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन का उपयोग करके एंड-टू-एंड लिस्ट जनरेशन के रूप में पुनर्गठित करता है, जिससे पारंपरिक रिट्रीवल पाइपलाइनों और जेनेरेटिव हैलुसिनेशन की सीमाओं को संबोधित करते हुए ऑफलाइन मेट्रिक्स, मानवीय प्राथमिकता और ऑनलाइन उपयोगकर्ता जुड़ाव में महत्वपूर्ण सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने फोन पर एक सर्च क्वेरी टाइप कर रहे हैं, जैसे "apps take me to the moo..." आप उम्मीद करते हैं कि आपका फोन आपके वाक्य को पूरा करके कुछ मददगार सा दे, जैसे "moon" या "moon apps।" लेकिन कभी-कभी, पुराने सिस्टम अटक जाते हैं, और कभी-कभी, नए "स्मार्ट" सिस्टम बहुत अधिक रचनात्मक होकर ऐसी चीजें सुझा देते हैं जो अस्तित्व में ही नहीं हैं (जैसे कि कोई ऐसा ऐप जो सच में आपको चाँद पर ले जाए)।
यह पेपर इन "ऑटोकम्प्लीट" (autocomplete) फीचर्स को बनाने का एक नया, स्मार्ट तरीका बताता है। लेखकों ने, जो Apple और UC Berkeley से हैं, एक ऐसा सिस्टम बनाया है जो एक सुपर-ऑर्गनाइज्ड लाइब्रेरियन (अति-व्यवस्थित पुस्तकालयाध्यक्ष) की तरह काम करता है जो एक क्रिएटिव राइटर (रचनात्मक लेखक) भी है, और ये दोनों मिलकर आपको सुझावों की एक आदर्श सूची देने के लिए एक साथ काम करते हैं।
उनका सिस्टम कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:
1. समस्या: पुराना तरीका बनाम "बहुत स्मार्ट" तरीका
- पुराना तरीका (फाइलिंग कैबिनेट): पारंपरिक सिस्टम उन विशाल सूचियों को देखते हैं जो लोगों ने अतीत में सर्च की हैं। यदि आप कुछ नया या अजीब टाइप करते हैं, तो फाइलिंग कैबिनेट खाली होता है, और वे मदद नहीं कर पाते। यदि उन्हें कुछ मिल भी जाता है, तो वे बस सबसे लोकप्रिय वाला चुन लेते हैं, जो शायद वह न हो जो आप वास्तव में चाहते हैं।
- "बहुत स्मार्ट" तरीका (दिन में सपने देखने वाला): नए सिस्टम सुझावों को शून्य से लिखने के लिए शक्तिशाली AI का उपयोग करते हैं। हालांकि यह नए विषयों को कवर करने के लिए बेहतरीन है, लेकिन AI कभी-कभी "हैलुसिनेट" (भ्रमित होना) करता है—वह नकली ऐप्स या खतरनाक विचार बना लेता है क्योंकि वह बहुत अधिक रचनात्मक होने की कोशिश कर रहा होता है।
2. समाधान: "रिसर्चर + राइटर" की टीम
लेखकों ने दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को मिलाकर एक एकीकृत प्रणाली बनाई है, जिसमें तीन मुख्य तरकीबें शामिल हैं:
A. रिसर्चर (रिट्रीवल-ऑगमेंटेड जनरेशन - Retrieval-Augmented Generation)
AI एक शब्द भी लिखने से पहले, एक रिसर्चर की तरह काम करता है। यह वास्तव में मौजूद ऐप्स और उत्पादों के एक वास्तविक डेटाबेस (कैटलॉग) की तेजी से जांच करता है ताकि यह देखा जा सके कि वास्तव में क्या मौजूद है।
- उपमा: कल्पना कीजिए कि आप किसी लेखक को एक किताब का सुझाव देने के लिए कहते हैं। केवल शीर्षकों का अनुमान लगाने के बजाय, लेखक पहले लाइब्रेरी की शेल्फ पर दौड़ता है, आपके मूड से मेल खाती कुछ वास्तविक किताबें उठाता है, और उन्हें मेज पर रख देता है। लेखक फिर उन वास्तविक किताबों का उपयोग सुझावों को प्रेरित करने के लिए करता है। यह AI को नकली चीजें बनाने से रोकता है।
B. एडिटर (मल्टी-ऑब्जेक्टिव एलाइनमेंट - Multi-Objective Alignment)
AI केवल एक सूची नहीं लिखता; उसे मददगार होने के लिए नियमों के एक सख्त सेट का पालन करना होता है, जैसे एक शेफ नमक, चीनी और मसालों को संतुलित करता है। लेखों ने AI को एक साथ छह अलग-अलग लक्ष्यों को संतुलित करना सिखाया है:
- प्रासंगिकता (Relevance): क्या यह आपके द्वारा टाइप किए गए शब्दों से मेल खाता है?
- सुरक्षा (Safety): क्या यह सुरक्षित और सभ्य है? (उदाहरण के लिए, यदि आप "मैं उदास महसूस कर रहा हूँ" टाइप करते हैं, तो यह मदद के लिए हेल्पलाइन सुझाता है, न कि हानिकारक चीजें)।
- ग्राउंडेडनेस (Groundedness): क्या सुझाव वास्तव में ऐप स्टोर में मौजूद हैं?
- जुड़ाव (Engagement): क्या लोग वास्तव में उन पर क्लिक करेंगे?
- विविधता (Diversity): क्या सूची विभिन्न प्रकार के उत्तर देती है, या सिर्फ एक ही चीज़ को पांच बार दिखाती है?
- फॉर्मेट (Format): क्या सूची साफ-सुथरी और पढ़ने में आसान है?
इन नियमों को सिखाने के लिए, उन्होंने DPO (डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन - Direct Preference Optimization) नामक तकनीक का उपयोग किया।
- उपमा: इसे एक "टेस्ट ऑफ टेस्ट" (स्वाद परीक्षण) के रूप में सोचें। AI सुझावों की दो सूचियाँ बनाता है। न्यायाधीशों का एक पैनल (कुछ कंप्यूटर प्रोग्राम हैं, कुछ इंसान) उनका स्वाद लेता है और बेहतर वाली को चुनता है। AI सीखता है, "ओह, न्यायाधीशों ने नकली ऐप्स वाली सूची के बजाय सुरक्षित, वास्तविक ऐप्स वाली सूची को पसंद किया," और वह भविष्य में ऐसा करने के लिए अपने मस्तिष्क को समायोजित करता है।
C. क्रिटिक (इटरेटिव क्रिटीक-रिवीजन - Iterative Critique-Revision)
इससे पहले कि AI वास्तविक दुनिया के लिए तैयार हो, उन्होंने इसे एक "टीचर" AI और एक "क्रिटिक" (आलोचक) AI का उपयोग करके प्रशिक्षित किया।
- उपमा: टीचर AI सुझावों का एक ड्राफ्ट लिखता है। क्रिटिक AI उसे पढ़ता है और कहता है, "यह वाला उस दूसरे वाले के बहुत समान है," या "इसकी स्पेलिंग गलत है।" टीचर AI फिर से इसे लिखता है। वे इस लूप को तब तक दोहराते हैं जब तक कि सुझाव एकदम सही न हो जाएं। इसने "परफेक्ट प्रैक्टिस उदाहरणों" का एक विशाल पुस्तकालय बनाया जो अंतिम सिस्टम को सिखाने के काम आता है।
3. डिलीवरी: "फास्ट लेन" और "एक्सप्रेस लेन"
सिस्टम इतना स्मार्ट है कि सोचने में थोड़ा समय लगता है। लेकिन उपयोगकर्ताओं को तुरंत उत्तर चाहिए। इसे हल करने के लिए, लेखकों ने एक हाइब्रिड सर्विंग आर्किटेक्चर (Hybrid Serving Architecture) बनाया है:
- फास्ट लेन (ऑफलाइन): सबसे आम खोजों (जैसे "वेदर" या "मैप्स") के लिए, सिस्टम पहले से ही उत्तरों की गणना कर लेता है और उन्हें कैश (cache) में स्टोर कर देता है। जब आप ये टाइप करते हैं, तो उत्तर तुरंत आ जाता है, जैसे फ्रिज से पहले से बना हुआ सैंडविच निकालना।
- एक्सप्रेस लेन (ऑनलाइन): दुर्लभ या नई खोजों के लिए, एक छोटा और तेज़ AI संस्करण वास्तविक समय में उत्तर उत्पन्न करने के लिए चलता है।
4. परिणाम: क्या यह काम कर गया?
टीम ने एक बड़े, वास्तविक दुनिया के सर्च सिस्टम (जैसे आपके iPhone पर) पर इसका परीक्षण किया।
- कम कीस्ट्रोक्स (Keystrokes): उपयोगकर्ता ने 5.44% कम अक्षर टाइप किए क्योंकि सुझाव बेहतर थे और जल्दी दिखाई दिए।
- अधिक क्लिक: उपयोगकर्ताओं ने सुझावों को 3.46% अधिक बार स्वीकार किया।
- मानवीय स्वीकृति: जब लोगों से पुराने सिस्टम और नए सिस्टम के बीच चुनने के लिए कहा गया, तो उन्होंने नए सिस्टम को काफी अधिक पसंद किया।
- सुरक्षा: नया सिस्टम अन्य AI विधियों की तुलना में नकली ऐप्स और असुरक्षित सुझावों से बचने में बहुत बेहतर था।
सारांश
संक्षेप में, यह पेपर ऑटोकम्प्लीट बनाने का एक नया तरीका प्रस्तुत करता है। केवल अनुमान लगाने या केवल पुरानी सूचियों को देखने के बजाय, उन्होंने एक ऐसा सिस्टम बनाया है जो पहले वास्तविक तथ्यों की रिसर्च करता है, फिर छह नियमों के स्कोरकार्ड (सुरक्षा, प्रासंगिकता, आदि) का सख्ती से पालन करते हुए सुझाव लिखता है। परिणाम एक ऐसा सर्च हेल्पर है जो आज हमारे पास मौजूद सिस्टम की तुलना में तेज़, सुरक्षित और अधिक मददगार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।