DIVERGE: Diversity-Enhanced RAG for Open-Ended Information Seeking
यह शोध पत्र DIVERGE को प्रस्तुत करता है, जो एक नवीन एजेंटिक RAG फ्रेमवर्क है जो मानक प्रणालियों की विविधता संबंधी सीमाओं को दूर करने के लिए रिफ्लेक्शन-गाइडेड जनरेशन और मेमोरी-ऑगमेंटेड इटरेटिव रिफाइनमेंट का उपयोग करता है, जिससे ओपन-एंडेड सूचना अन्वेषण के लिए एक बेहतर विविधता-गुणवत्ता ट्रेड-ऑफ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर DIVERGE की व्याख्या दी गई है।
समस्या: "इको चैंबर" (Echo Chamber) प्रभाव
कल्पना कीजिए कि आप अपनी कोडिंग स्किल्स सुधारने के लिए एक बहुत ही बुद्धिमान और विद्वान लाइब्रेरियन (एक AI) से सलाह मांगते हैं। आप विभिन्न रणनीतियों की एक सूची की उम्मीद करते हैं: शायद एक व्यक्ति छोटे प्रोजेक्ट बनाने का सुझाव दे, दूसरा दूसरों को सिखाने का, और तीसरा विशिष्ट एल्गोरिदम का अध्ययन करने का।
हालाँकि, वर्तमान AI सिस्टम अक्सर एक टूटे हुए रिकॉर्ड प्लेयर की तरह व्यवहार करते हैं। भले ही आप लाइब्रेरियन को देखने के लिए विविध पुस्तकों का एक बड़ा ढेर (रिट्रीव की गई जानकारी) दें, AI उस विविधता को अनदेखा करने की प्रवृत्ति रखता है और आपको वही उत्तर देता है जो वह बिना उन किताबों के देता। यह सभी अलग-अलग संभावनाओं को एक "सुरक्षित" और मानक उत्तर में समेट देता है।
पेपर इसे "नॉलेज कोलैप्स" (Knowledge Collapse) कहता है। ऐसा इसलिए होता है क्योंकि AI को आत्मविश्वासी और सुसंगत होने के लिए प्रशिक्षित किया जाता है, इसलिए वह खोज परिणामों में मिलने वाले "अव्यवस्थित" लेकिन दिलचस्प वैकल्पिक दृष्टिकोणों को अनदेखा कर देता है।
समाधान: DIVERGE ("डिबेट क्लब" दृष्टिकोण)
लेखकों ने DIVERGE नामक एक नया सिस्टम बनाया है। AI से केवल "उत्तर देने" के लिए कहने के बजाय, DIVERGE इस प्रक्रिया को एक संरचित डिबेट क्लब (वाद-विवाद क्लब) में बदल देता है।
यह कैसे काम करता है, इसके चरण यहाँ दिए गए हैं:
- पहला दौर (बेसलाइन): AI जो कुछ भी पाता है उसके आधार पर एक मानक उत्तर देता है।
- चिंतन (वह क्षण जब मन में आता है, "लेकिन... के बारे में क्या?"): सिस्टम उस पहले उत्तर को देखता है और पूछता है, "हम कौन से दृष्टिकोणों को छोड़ रहे हैं?" यह स्पष्ट रूप से एक नया कोण पहचानता है जिसे अभी तक कवर नहीं किया गया है (जैसे, "हमने तकनीकी कौशल के बारे में बात की, लेकिन सॉफ्ट स्किल्स के बारे में क्या?")।
- लक्षित खोज (एक "विशिष्ट मिशन"): "कोडिंग टिप्स" के लिए फिर से खोजने के बजाय, सिस्टम एक नया सर्च क्वेरी भेजता है जो विशेष रूप से उस छूटे हुए कोण के प्रमाण खोजने के लिए डिज़ाइन किया गया है।
- परिष्करण (एक "संपादक"): AI केवल उस विशिष्ट नए कोण के आधार पर एक नया उत्तर तैयार करता है, यह सुनिश्चित करता है कि वह पहले उत्तर को न दोहराए।
- लूप: यह प्रक्रिया दोहराई जाती है, लगातार अपनी "मेमोरी" की जाँच करती रहती है कि वह खुद को दोहरा तो नहीं रही है, जब तक कि उसके पास विविध, उच्च-गुणवत्ता वाले उत्तरों का एक पूरा सेट न हो जाए।
उपमा (Analogy):
मान लीजिए कि एक मानक AI एक ऐसे शेफ की तरह है जिसे केवल एक प्रकार का सूप बनाना आता है, भले ही आप उसे 50 अलग-अलग सब्जियों की टोकरी दें। वह फिर से वही सूप बना देगा।
DIVERGE एक ऐसे शेफ की तरह है जो टोकरी को देखता है, कहता है, "ठीक है, मैंने टमाटर का सूप बनाया। अब, चलिए मशरूम देखते हैं और मशरूम का सूप बनाते हैं," फिर वह मिर्च को देखता है और मिर्च का सूप बनाता है। यह किचन को पूरे टोकरी का उपयोग करने के लिए मजबूर करता है, न कि केवल पहले घटक का।
उन्होंने सफलता को कैसे मापा
पेपर में AI को ग्रेड देने का एक नया तरीका पेश किया गया है। आमतौर पर, हम बस पूछते हैं, "क्या उत्तर सही है?"
DIVERGE दो प्रश्न पूछता है:
- क्या यह सही है? (गुणवत्ता/Quality)
- क्या यह दूसरों से अलग है? (विविधता/Diversity)
उन्होंने एक "हारमोनिक स्कोर" (GPA की तरह) बनाया जो इन दोनों को संतुलित करता है। आप ऐसे 10 उत्तर नहीं चाहते जो सभी अलग हों लेकिन गलत हों, और न ही आप ऐसे 10 उत्तर चाहते हैं जो सभी एकदम सही हों लेकिन एक जैसे हों। आप 10 ऐसे उत्तर चाहते हैं जो एकदम सही भी हों और अलग भी हों।
परिणाम
जब उन्होंने वास्तविक दुनिया के सवालों (जैसे "मैं अपने करियर को कैसे बेहतर बना सकता हूँ?" या "सबसे अच्छे यात्रा गंतव्य क्या हैं?") पर DIVERGE का परीक्षण किया:
- मानक AI + सर्च: अभी भी दोहराव वाले उत्तर दे रहा था।
- विविधता वाला AI (DIVERGE के बिना): बहुत अलग उत्तर दे रहा था, लेकिन वे अक्सर निम्न गुणवत्ता वाले या काल्पनिक तथ्य थे।
- DIVERGE: इसने "गोल्डिलॉक्स ज़ोन" (Goldilocks zone - बिल्कुल सही स्थिति) हासिल किया। इसने ऐसे उत्तर दिए जो उनके समग्र अर्थ में 2.5 गुना अधिक विविध थे और उनके विशिष्ट दृष्टिकोणों में 1.6 गुना अधिक विविध थे, जबकि गुणवत्ता को मानक AI जितना ही उच्च बनाए रखा।
मुख्य निष्कर्ष (The Bottom Line)
पेपर का दावा है कि केवल AI को अधिक जानकारी देना उसे रचनात्मक रूप से सोचने के लिए पर्याप्त नहीं है। आपको एक ऐसा सिस्टम बनाना होगा जो स्पष्ट रूप से AI को अलग-अलग दृष्टिकोण खोजने के लिए मजबूर करे और यह सुनिश्चित करने के लिए अपने काम की जाँच करे कि वह केवल खुद को दोहरा नहीं रहा है। DIVERGE बिल्कुल यही करता है, जिससे उपयोगकर्ता सटीकता से समझौता किए बिना वैध संभावनाओं की एक विस्तृत श्रृंखला देख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।