Disco-RAG: Discourse-Aware Retrieval-Augmented Generation
डिस्को-आरएजी (Disco-RAG) एक विमर्श-जागरूक (discourse-aware) ढांचा है जो संरचनात्मक संकेतों को पकड़ने के लिए इंट्रा-चंक विमर्श वृक्षों (intra-chunk discourse trees) और इंटर-चंक वक्तृत्व ग्राफों (inter-chunk rhetorical graphs) का निर्माण करके रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) को उन्नत करता है, जिससे बिना फाइन-ट्यूनिंग के प्रश्न उत्तर और दीर्घ-दस्तावेज़ सारांश बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ Disco-RAG पेपर का स्पष्टीकरण दिया गया है, जिसे सरल, रोज़मर्रा की भाषा में कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।
समस्या: "बिखरे हुए पहेली के टुकड़े" (The "Scattered Puzzle Pieces")
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपको एक स्पष्ट कहानी देने के बजाय, 50 बिखरे हुए पहेली के टुकड़ों वाला एक बैग थमा दिया जाता है। कुछ टुकड़े नीला आसमान दिखाते हैं, कुछ तूफान, और कुछ एक बिल्ली।
AI का उपयोग करने के वर्तमान मानक तरीके (जिसे Standard RAG कहा जाता है) में, AI को बताया जाता है: "यहाँ 50 पहेली के टुकड़े हैं। कृपया मौसम के बारे में एक कहानी लिखें।"
AI उन टुकड़ों को देखता है और उन्हें जोड़ने की कोशिश करता है। लेकिन क्योंकि टुकड़े केवल एक सपाट सूची (flat list) की तरह हैं, AI अक्सर भ्रमित हो जाता है। वह एक टुकड़ा देख सकता है जिसमें लिखा है "धूप खिली है" और दूसरा जिसमें लिखा है "बारिश हो रही है", और वह उन्हें बस एक भ्रमित करने वाले वाक्य में मिला सकता है जैसे, "हर जगह धूप और बारिश दोनों हो रही है।" वह इस तर्क (logic) को समझने में विफल रहता है कि टुकड़े एक-दूसरे में कैसे फिट होते हैं। उसे यह नहीं पता चलता कि "धूप खिली है" वाला टुकड़ा एक बैकग्राउंड विवरण है, जबकि "बारिश हो रही है" वाला टुकड़ा मुख्य घटना है, या एक टुकड़ा दूसरे का खंडन करता है।
समाधान: Disco-RAG (द "मास्टर आर्किटेक्ट")
इस पेपर के लेखकों ने एक नया सिस्टम बनाया है जिसे Disco-RAG कहा जाता है। Disco-RAG को केवल टुकड़ों को जोड़ने वाले एक मजदूर के रूप में नहीं, बल्कि एक मास्टर आर्किटेक्ट (मुख्य वास्तुकार) के रूप में सोचें जो कुछ भी बनाने से पहले एक ब्लूप्रिंट (नक्शा) बनाता है।
यहाँ बताया गया है कि Disco-RAG कैसे काम करता है, चरण-दर-चरण:
1. स्थानीय मानचित्र (Intra-Chunk Trees)
सबसे पहले, AI प्रत्येक व्यक्तिगत पहेली के टुकड़े (या पैराग्राफ) को देखता है और पूछता है: "यहाँ मुख्य बात क्या है, और क्या चीज़ सिर्फ अतिरिक्त विवरण है?"
- उपमा: कल्पना कीजिए कि एक पैराग्राफ एक पेड़ है। तना मुख्य विचार (Nucleus) है, और शाखाएं सहायक विवरण (Satellites) हैं।
- Disco-RAG हर पैराग्राफ के लिए एक छोटा पेड़ बनाता है, यह लेबल करता है कि कौन से हिस्से "बॉस" हैं और कौन से "सहायक" हैं। यह AI को फालतू की बातों में खो जाने से रोकता है।
2. वैश्विक मानचित्र (Inter-Chunk Graphs)
इसके बाद, AI यह देखता है कि विभिन्न पैराग्राफ एक-दूसरे से कैसे बात करते हैं।
- उपमा: कल्पना कीजिए कि पैराग्राफ एक नाटक के अलग-अलग पात्र हैं। कुछ पात्र एक-दूसरे का समर्थन करते हैं (जैसे एक दोस्त जो आपका उत्साह बढ़ा रहा हो)। कुछ आपस में बहस करते हैं (जैसे एक वकील जो गवाह से जिरह कर रहा हो)। कुछ केवल बैकग्राउंड सीन (पृष्ठभूमि) प्रदान करते हैं।
- Disco-RAG इन पात्रों को जोड़ने वाला एक विशाल नक्शा बनाता है। वह जानता है कि पैराग्राफ A, पैराग्राफ B का समर्थन करता है, लेकिन पैराग्राफ C, पैराग्राफ A का खंडन करता है। यह AI को केवल छोटे विवरणों के बजाय बड़ी तस्वीर समझने में मदद करता है।
3. ब्लूप्रिंट (Discourse Planning)
अंतिम उत्तर लिखने से पहले, AI एक योजना (Plan) या ब्लूप्रिंट तैयार करता है।
- उपमा: एक शेफ खाना पकाने से पहले, वह केवल सामग्री को बर्तन में नहीं डाल देता। वह पहले एक रेसिपी लिखता है: "पहले, प्याज को भूनें (बैकग्राउंड)। फिर, स्टेक डालें (मुख्य दावा)। अंत में, समझाएं कि सॉस तीखी क्यों है (प्रमाण)।"
- Disco-RAG AI को पहले यह "रेसिपी" लिखने के लिए मजबूर करता है। यह कहता है, "ठीक है, मेरे पास ये सभी तथ्य हैं। मैं बैकग्राउंड के साथ शुरू करूँगा, फिर मुख्य तर्क प्रस्तुत करूँगा, फिर विपरीत तर्कों को संभालूँगा, और अंत में निष्कर्ष दूँगा।"
यह क्यों महत्वपूर्ण है? ("विटामिन डी" का उदाहरण)
पेपर में विटामिन डी और फ्लू (Flu) के बारे में एक बेहतरीन उदाहरण दिया गया है।
- स्थिति: आप पूछते हैं, "क्या विटामिन डी फ्लू को रोकता है?"
- Standard RAG की गलती: इसे एक पैराग्राफ मिलता है जो कहता है "विटामिन डी मदद करता है!" और दूसरा जो कहता है "विटामिन डी काम नहीं करता!" यह भ्रमित हो जाता है और एक अस्पष्ट उत्तर देता है जैसे, "शायद यह मदद करता है, शायद नहीं।" यह बारीकियों को समझने में विफल रहता है।
- Disco-RAG की सफलता:
- यह पहले पैराग्राफ के "पेड़" को देखता है और देखता है: "मुख्य दावा है 'यह मदद करता है', लेकिन शर्त (सैटेलाइट) है 'केवल उन लोगों के लिए जो सर्दियों में विटामिन डी की कमी से जूझ रहे हैं'।"
- यह "ग्राफ" को देखता है और समझता है: "पैराग्राफ 2 सामान्य दावे का खंडन करता है, लेकिन विशिष्ट शर्त के साथ सहमत है।"
- यह एक योजना (Plan) बनाता है: "शुरुआत यह बताने से करें कि यह सभी के लिए जादुई इलाज नहीं है। फिर, समझाएं कि यह उन लोगों की मदद करता है जिनमें इसकी कमी है। अंत में, यह निष्कर्ष निकालें कि यह एक लक्षित समाधान है, न कि एक व्यापक समाधान।"
- परिणाम: AI एक स्मार्ट, सूक्ष्म उत्तर देता है: "विटामिन डी कोई रामबाण इलाज नहीं है, लेकिन यह उन वयस्कों के लिए फ्लू के जोखिम को काफी कम कर सकता है जिनमें सर्दियों के दौरान इसकी कमी होती है।"
परिणाम: बेहतर उत्तर, कम भ्रम (Less Hallucination)
शोधकर्ताओं ने तीन अलग-अलग प्रकार के कठिन कार्यों पर इसका परीक्षण किया:
- लंबे दस्तावेज़ पढ़ना: बहुत बड़े टेक्स्ट के बारे में प्रश्नों के उत्तर देना।
- जटिल प्रश्न: कई हिस्सों वाले पेचीदा सवालों के जवाब देना।
- विज्ञान समाचारों का सारांश बनाना: कठिन विज्ञान लेखों को आसान-से-पठनीय समाचारों में बदलना।
परिणाम:
Disco-RAG लगभग हर बार जीता। इसने न केवल तथ्यों को सही बताया; बल्कि इसने कहानी को भी सही ढंग से प्रस्तुत किया। यह अधिक मानवीय लगा, इसके द्वारा गलत जानकारी (Hallucination) बनाने की संभावना कम थी, और यह पुराने तरीकों की तुलना में विरोधाभासी जानकारी को बहुत बेहतर तरीके से संभाल सका।
निचोड़ (The Bottom Line)
Standard RAG को एक ऐसे छात्र के रूप में सोचें जिसे नोट्स का एक ढेर दिया जाता है और निबंध लिखने के लिए कहा जाता है। वे शायद वाक्यों को कॉपी-पेस्ट कर देंगे और भ्रमित हो जाएंगे।
Disco-RAG उस छात्र की तरह है जो पहले नोट्स को एक तार्किक रूपरेखा (outline) में व्यवस्थित करता है, यह समझता है कि विचार एक-दूसरे से कैसे जुड़े हैं, और फिर निबंध लिखता है। AI को केवल शब्दों के बजाय भाषा की संरचना (discourse) को समझने के लिए सिखाकर, हमें बहुत अधिक स्मार्ट, विश्वसनीय और मानवीय उत्तर मिलते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।