🤖 machine learning

Scaling DPPs for RAG: Density Meets Diversity

यह शोध पत्र ScalDPP प्रस्तुत करता है, जो एक स्केलेबल रिट्रीवल मैकेनिज्म है जिसे RAG के लिए बनाया गया है और जो संदर्भ घनत्व (context density) और विविधता (diversity) को संयुक्त रूप से अनुकूलित करने के लिए डिटर्मिनेंटल पॉइंट प्रोसेसेज (Determinantal Point Processes) और एक नवीन डाइवर्स मार्जिन लॉस (Diverse Margin Loss) का लाभ उठाता है, जिससे LLM जनरेशन में रेडंडेंसी को कम किया जा सके और साक्ष्य कवरेज (evidence coverage) में सुधार किया जा सके।

मूल लेखक: Xun Sun, Baiheng Xie, Li Huang, Qiang Gao

प्रकाशित 2026-04-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xun Sun, Baiheng Xie, Li Huang, Qiang Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक जटिल रहस्य को सुलझाने की कोशिश कर रहे हैं। आपके पास सुरागों का एक विशाल पुस्तकालय (the "corpus") है, और आपको एक विशिष्ट प्रश्न का उत्तर देने के लिए सही सबूतों को खोजने की आवश्यकता है।

एक मानक RAG सिस्टम (Retrieval-Augmented Generation) में, जासूस पुस्तकालय से पूछता है, "इस केस के बारे में आप क्या जानते हैं?" पुस्तकालय तुरंत उसे वे शीर्ष 10 किताबें थमा देता है जिनमें प्रश्न से मिलते-जुलते सबसे अधिक शब्द हैं।

समस्या: "इको चैंबर" (Echo Chamber) प्रभाव
यह शोध पत्र तर्क देता है कि इस मानक दृष्टिकोण में एक घातक दोष है: अतिरेक (Redundancy)।
यदि आप "द व्हाइट हॉर्स ऑफ क्रिप्टो" के बारे में पूछते हैं, तो पुस्तकालय आपको 10 अलग-अलग समाचार लेख दे सकता है जो बिल्कुल एक ही बात कहते हैं: "उन्हें क्रिप्टो का व्हाइट हॉर्स कहा जाता था।"

परिणाम: आपको एक ही कहानी के 10 पन्ने मिल जाते हैं। आपने कुछ भी नया नहीं सीखा। आपने डुप्लिकेट्स पर अपनी सीमित पढ़ने की जगह (context window) बर्बाद कर दी, और उन अन्य महत्वपूर्ण सुरागों को खो दिया (जैसे कि नियामकों के साथ उनके संबंध या विशिष्ट धोखाधड़ी के आरोप) जो अलग, कम स्पष्ट लेखों में दबे हुए थे।

समाधान: ScalDPP (द "डाइवर्स डिटेक्टिव")
लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे ScalDPP कहा जाता है। इसे एक ऐसे जासूस के अपग्रेड के रूप में सोचें जो केवल "सबसे समान" किताबें उठाने के बजाय, एक संतुलित और विविध साक्ष्य बोर्ड तैयार करता है।

इसे वे सरल रूपकों का उपयोग करके समझाते हैं:

1. "विकर्षण चुंबक" (Repelling Magnets - DPPs)

इसका मूल विचार एक गणितीय अवधारणा Determinant Point Processes (DPPs) से आता है।

उपमा: कल्पना कीजिए कि आपके साक्ष्य के टुकड़े चुंबक हैं। एक मानक खोज में, सभी चुंबक प्रश्न (केंद्र) की ओर आकर्षित होते हैं।
ScalDPP का ट्विस्ट: यह एक नियम जोड़ता है: "यदि दो साक्ष्य के टुकड़े बहुत अधिक समान हैं, तो वे एक-दूसरे को प्रतिकर्षित (repel) करेंगे।"
परिणाम: सिस्टम स्वाभाविक रूप से डुप्लिकेट लेखों को दूर धकेल देता है। यदि यह "बैंकमैन-फ्राइड की संपत्ति" के बारे में एक लेख चुनता है, तो यह सक्रिय रूप से दूसरा लेख चुनने से बचता है जो उसी तथ्य को दोहराता है। इसके बजाय, यह खाली स्थान को भरने के लिए एक अलग साक्ष्य खोजने के लिए मजबूर होता है, जैसे कि "नियामकों के साथ बैंकमैन-फ्राइड के संबंध," जो कम स्पष्ट लेखों में हो सकता है।

2. "स्मार्ट ट्रांसलेटर" (P-Adapter)

आमतौर पर, इन "विकर्षक चुंबकों" का उपयोग करना कठिन होता है क्योंकि इसके लिए पुस्तकालय की प्रत्येक पुस्तक का एक विशाल, पूर्व-गणना मानचित्र की आवश्यकता होती है, जो इंटरनेट के लिए बहुत धीमा है।

नवाचार: लेखकों ने एक छोटा, हल्का एड-ऑन बनाया है जिसे P-Adapter कहा जाता है।
उपमा: P-Adapter को एक स्मार्ट ट्रांसलेटर के रूप में सोचें जो जासूस और पुस्तकालय के बीच बैठता है।
- पहले, जासूस पुस्तकालय से शीर्ष 20 सबसे प्रासंगिक पुस्तकें मांगता है (मानक खोज)।
- फिर, P-Adapter अंतिम चयन के लिए केवल हस्तक्षेप करता है। यह उन 20 पुस्तकों को देखता है और कहता है, "ठीक है, ये सभी प्रासंगिक हैं, लेकिन चलिए इन्हें पुनर्व्यवस्थित करते हैं। हमें सर्वश्रेष्ठों को रखना चाहिए, लेकिन हमें उन तीन को छोड़ देना चाहिए जो आपस में बहुत समान हैं और उन्हें उन तीन के साथ बदलना चाहिए जो नए दृष्टिकोण प्रदान करते हैं।"
यह इतना तेज़ होता है कि यह सिस्टम को धीमा नहीं करता है, लेकिन यह साक्ष्य की अंतिम सूची को पूरी तरह से बदल देता है।

3. "टीम कोच" (Diverse Margin Loss)

आप P-Adapter को यह कैसे सिखाएंगे कि वह इस काम में कुशल बने? आप इसे केवल यह नहीं कह सकते कि "विविध बनो।" आपको एक विशिष्ट प्रशिक्षण विधि की आवश्यकता है।

नवाचार: उन्होंने एक नया प्रशिक्षण नियम बनाया जिसे Diverse Margin Loss (DML) कहा जाता है।
उपमा: एक कोच की कल्पना करें जो एक स्पोर्ट्स टीम को प्रशिक्षित कर रहा है।
- पुराना कोच (Standard Loss): "बस यह सुनिश्चित करें कि प्रत्येक खिलाड़ी अपने व्यक्तिगत स्थान (position) में अच्छा हो।" (इससे ऐसी टीम बनती है जिसमें 11 स्ट्राइकर होते हैं जो बचाव नहीं कर सकते)।
- नया कोच (DML): "मुझे केवल अच्छे खिलाड़ी नहीं चाहिए; मुझे एक संतुलित टीम चाहिए। यदि आप एक स्ट्राइकर चुनते हैं, तो आपको एक डिफेंडर और एक गोलकीपर भी चुनना ही होगा। यदि आपकी टीम केवल स्ट्राइकर से भरी है, तो आप अंक खो देंगे।"
यह प्रशिक्षण सिस्टम को यह सीखने के लिए मजबूर करता है कि प्रत्येक सुराग की व्यक्तिगत गुणवत्ता से अधिक, सुरागों का संयोजन मायने रखता है। यह सीखता है कि एक "पूर्ण" उत्तर के लिए विभिन्न प्रकार के साक्ष्यों के मिश्रण की आवश्यकता होती है।

यह क्यों मायने रखता है?

वास्तविक दुनिया में, जटिल प्रश्नों (जैसे "वह व्यक्ति कौन है जिसे क्रिप्टो का व्हाइट हॉर्स कहा गया था लेकिन अब मुकदमे का सामना कर रहा है?") के लिए मल्टी-हॉप रीजनिंग की आवश्यकता होती है। आपको उन बिंदुओं को जोड़ने की आवश्यकता है जो एक-दूसरे के बगल में नहीं हैं।

Standard RAG आपको समान कागजों का ढेर देता है जो सभी "वह व्हाइट हॉर्स है" कहते हैं। AI भ्रमित हो जाता है या मतिभ्रम (hallucinate) करने लगता है क्योंकि उसके पास पूरी तस्वीर नहीं होती।
ScalDPP आपको एक क्यूरेटेड सेट देता है: उसकी उपनाम पर एक पेपर, उसकी संपत्ति पर एक, धोखाधड़ी के आरोपों पर एक, और मुकदमे पर एक।
परिणाम: AI को एक "सघन" (सूचना-समृद्ध) और "विविध" (गैर-दोहराव वाला) संदर्भ मिलता है, जिससे वह डुप्लिकेट्स के समुद्र में खोए बिना जटिल प्रश्नों का सटीक उत्तर दे पाता है।

संक्षेप में: ScalDPP AI को एक ही लेख को दस बार पढ़ने से रोकता है। इसके बजाय, यह एक स्मार्ट संपादक की तरह कार्य करता है, यह सुनिश्चित करता है कि अंतिम कहानी का प्रत्येक वाक्य एक अद्वितीय, पूरक स्रोत से आता है, जिससे AI के उत्तर स्मार्ट, अधिक तथ्यात्मक और कम दोहराव वाले बनते हैं।

यहाँ "Scaling DPPs for RAG: Density Meets Diversity" (Xun Sun et al. द्वारा) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG), बाहरी ज्ञान के आधार पर जनरेशन को सुदृढ़ करके लार्ज लैंग्वेज मॉडल्स (LLMs) की क्षमता को बढ़ाता है। हालाँकि, मानक RAG पाइपलाइन एक गंभीर सीमा से ग्रस्त है: अतिरेक (redundancy) और विविधता की कमी (lack of diversity)।

पॉइंट-वाइज स्कोरिंग (Point-wise Scoring): मानक रिट्रीवल, क्वेरी के साथ समानता के आधार पर चंक्स (chunks) को व्यक्तिगत रूप से रैंक करता है। यह रिट्रीव किए गए उम्मीदवारों के बीच होने वाली अंतःक्रियाओं (interactions) की अनदेखी करता है।
अतिरेक (Redundancy): शीर्ष-रैंक वाले चंक्स अक्सर लगभग समान तथ्यों के क्लस्टर (जैसे, एक ही तथ्य के कई रूपांतर) बनाते हैं, जो सीमित कॉन्टेक्स्ट विंडो के भीतर सूचना घनत्व (information density) को कम कर देते हैं।
पूरकता का अभाव (Missed Complementarity): जटिल तर्क (विशेष रूप से मल्टी-हॉप रीजनिंग) के लिए महत्वपूर्ण साक्ष्य अक्सर उन चंक्स से मिलकर बने होते हैं जो व्यक्तिगत रूप से कमजोर मिलान हो सकते हैं, लेकिन सामूहिक रूप से आवश्यक होते हैं। मानक रिट्रीवल इन ऑर्थोगोनल या पूरक गुणों को पकड़ने में विफल रहता है।
मौजूदा सीमाएँ: जबकि डिटर्मिनेंटल पॉइंट प्रोसेसेज (DPPs) विविधता को मॉडल करने के लिए एक गणितीय ढांचा प्रदान करते हैं, RAG में उनका सीधा अनुप्रयोग निम्नलिखित कारणों से बाधित है:
1. स्केलेबिलिटी (Scalability): पूर्ण कर्नेल मैट्रिक्स $L$ को प्री-ट्रेन करने के लिए $O(|D|^2)$ स्टोरेज की आवश्यकता होती है, जो बड़े और विकसित होते नॉलेज बेस के लिए अव्यवहारिक है।
2. सहसंबंध बाधाएं (Correlation Constraints): मानक DPPs केवल नकारात्मक सहसंबंध (repulsion) को मॉडल करते हैं क्योंकि वे पॉजिटिव सेमी-डेफिनिट (PSD) बाधा से बंधे होते हैं, जिससे वे चंक्स के बीच आवश्यक "आकर्षक" (attractive) या पूरक संबंधों को पकड़ने में विफल रहते हैं।

2. कार्यप्रणाली: ScalDPP

लेखक ScalDPP प्रस्तावित करते हैं, जो एक हल्का और स्केलेबल आर्किटेक्चर के माध्यम से DPPs को एक विविधता-जागरूक (diversity-aware) रिट्रीवल मैकेनिज्म के रूप में RAG में एकीकृत करता है।

A. डायनेमिक कर्नेल निर्माण और P-Adapter

स्केलेबिलिटी और सहसंबंध सीमाओं को दूर करने के लिए, ScalDPP एक P-Adapter पेश करता है:

आर्किटेक्चर: एक पैरामीटर-एफिशिएंट फीड-फॉरवर्ड नेटवर्क जिसमें बॉटलनेक आर्किटेक्चर है, जिसे बेस एम्बेडिंग मॉडल से जोड़ा गया है।
संचालन:
- प्रारंभिक रिट्रीवल (Initial Retrieval): मूल क्वेरी-चंक प्रासंगिकता स्कोर को सुरक्षित रखने के लिए P-Adapter को डिसेबल (disabled) रखा जाता है।
- सबसेट चयन (Subset Selection): रिट्रीव किए गए चंक एम्बेडिंग्स ( $v_i \to \hat{v}_i$ ) को बदलने के लिए P-Adapter को इनेबल (enabled) किया जाता है। यह रूपांतरण सीखे गए इंटर-चंक इंटरेक्शन पैटर्न को इंजेक्ट करता है, जिससे मॉडल रिपल्सिव (विविधता) और अट्रैक्टिव (पूरकता) दोनों संबंधों को एनकोड कर पाता है।
कर्नेल अपडेट: कर्नेल मैट्रिक्स $L$ को डायनेमिक रूप से $L = \hat{V}^\top \hat{V}$ के रूप में बनाया जाता है, जहाँ $\hat{V}$ एडेप्टेड एम्बेडिंग्स को दर्शाता है।
क्वालिटी फ्यूजन: एक डायगोनल क्वालिटी मैट्रिक्स $Q$ (जो रेंकर स्कोर से प्राप्त होता है) को प्रभावी कर्नेल $\Gamma = QLQ$ बनाने के लिए $L$ के साथ फ्यूज किया जाता है। यदि रेंकर का उपयोग नहीं किया जाता है, तो $Q=I$ होता है।

B. MAP इन्फरेंस के माध्यम से सबसेट चयन

केवल स्कोर द्वारा शीर्ष- $k$ चंक्स चुनने के बजाय, ScalDPP आकार $k$ का एक सबसेट $Y$ चुनता है जो DPP द्वारा परिभाषित प्रायिकता को अधिकतम करता है:
$P(Y) \propto \det(\Gamma_Y)$
सिस्टम एक मैक्सिमम अ पोस्टीरियर (MAP) इन्फरेंस एल्गोरिदम (विशेष रूप से एक तेज़ ग्रीडी एप्रोक्सिमेशन) का उपयोग करता है ताकि उस सबसेट को चुना जा सके जो डिटर्मिनेंट को अधिकतम करता है। यह सुनिश्चित करता है कि चयनित चंक्स फीचर स्पेस में एक बड़ा वॉल्यूम कवर करते हैं, जिसका अर्थ है उच्च विविधता और ऑर्थोगोनैलिटी।

C. डायवर्स मार्जिन लॉस (Diverse Margin Loss - DML)

P-Adapter को प्रभावी ढंग से प्रशिक्षित करने के लिए, लेखक एक नया सेट-लेवल ऑब्जेक्टिव, डायवर्स मार्जिन लॉस (DML) पेश करते हैं, जो स्टैंडर्ड नेगेटिव लॉग-लाइक्लीहुड (NLL) का स्थान लेता है।

उद्देश्य: DML यह सुनिश्चित करता है कि ग्राउंड-ट्रुथ पूरक साक्ष्य श्रृंखला (पॉजिटिव सबसेट $Y$ ) का डिटर्मिनेंट किसी भी समान आकार के रेडंडेंट विकल्प (नेगेटिव सबसेट $Y'$ ) की तुलना में काफी बड़ा हो।
फॉर्मूलेशन:
$\mathcal{L}_{DML} = \left[ \max_{Y' \subseteq N, |Y'|=k} (\det(L_{Y'}) - \det(L_Y)) \right]_+$
ऑप्टिमाइजेशन: चूंकि 'max' और 'ReLU' ऑपरेशन्स नॉन-डिफरेंशिएबल हैं, इसलिए लेखक Log-Sum-Exp (LSE) और Softplus का उपयोग करके एक स्मूथ अप्रोक्सिमेशन प्राप्त करते हैं। यह एक कॉनवेक्स-जैसे लॉस लैंडस्केप का निर्माण करता है, जो स्थिर ग्रेडिएंट अपडेट सुनिश्चित करता है और DPPs के लिए मानक NLL प्रशिक्षण में होने वाले दोलनों (oscillations) को रोकता है।

3. मुख्य योगदान (Key Contributions)

ScalDPP फ्रेमवर्क: पहला प्लग-एंड-प्ले मॉड्यूल जो DPP-आधारित मॉडलिंग को RAG तक विस्तारित करता है, जो सरल क्वेरी प्रासंगिकता से परे स्पष्ट रूप से इंटर-चंक विविधता और पूरकता को कैप्चर करता है।
स्केलेबल डायनेमिक कर्नेल: एक डायनेमिक कर्नेल निर्माण और एक एडेप्टिव P-Adapter को जोड़ने वाला तंत्र। यह $O(|D|^2)$ स्टोरेज की समस्या को हल करता है और बेस एनकोडर को पुन: प्रशिक्षित किए बिना जटिल इंटर-चंक संबंधों (रिपल्सिव और अट्रैक्टिव दोनों) को सीखकर PSD बाधा को पार करता है।
डायवर्स मार्जिन लॉस (DML): एक नवीन सेट-लेवल ऑब्जेक्टिव जिसमें स्मूथ सरोगेट फॉर्मूलेशन शामिल हैं, जो ऑप्टिमाइजेशन स्थिरता और कन्वर्जेंस स्पीड के मामले में मानक NLL से बेहतर प्रदर्शन करता है, विशेष रूप से सबसेट सिलेक्शन कार्यों के लिए तैयार किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन विभिन्न एम्बेडिंग बैकबोन (BGE-Large, BGE-M3, Qwen3-Embedding) का उपयोग करके MultiHop-RAG बेंचमार्क (2,556 क्वेरी जिनमें 2-4 हॉप रीजनिंग की आवश्यकता है) पर किया गया।

प्रदर्शन लाभ: ScalDPP ने सभी मेट्रिक्स (NDCG@K, Recall@K, Hits@K) में मानक RAG को लगातार पछाड़ दिया।
- बिना रेंकर के (Without Reranker): इसने औसतन NDCG@10 में +7.7%, Recall@10 में +14.3%, और Hits@10 में +9.8% का सुधार हासिल किया।
- रेंकर के साथ (With Reranker): इसने लाभ बनाए रखा, जिससे पता चला कि विविधता-जागरूक चयन, प्रासंगिकता-केंद्रित रेंकिंग का पूरक है।
- कठोर कॉन्टेक्स्ट बजट (Strict Context Budgets): सुधार सबसे अधिक सख्त टोकन सीमाओं (जैसे, $k=4$ ) के तहत देखा गया, जहाँ Recall@4 में +31.9% का सुधार हुआ, जो प्रभावी रूप से टोकन रेडंडेंसी को कम करने का प्रदर्शन करता है।
एब्लेशन स्टडी (Ablation Study): P-Adapter को हटाने से प्रदर्शन में भारी गिरावट आई (उदाहरण के लिए, Qwen3-4B पर -53.7% NDCG@10), जो सिद्ध करता है कि पूरकता को इंजेक्ट करने के लिए एडॉप्टर आवश्यक है।
लॉस फंक्शन तुलना: DML ने मानक NLL की तुलना में काफी बेहतर प्रदर्शन किया। ट्रेनिंग कर्व्स ने दिखाया कि DML न्यूनतम दोलनों के साथ तेजी से कन्वर्ज होता है, जबकि NLL ने निरंतर दोलन और कन्वर्जेंस में कठिनाइयाँ दिखाईं, विशेष रूप से रेंकर्स के साथ।
केस स्टडीज: विज़ुअलाइज़ेशन (t-SNE) और डिटर्मिनेंट विश्लेषण ने पुष्टि की कि ScalDPP ऐसे सबसेट्स चुनता है जो मानक RAG की तुलना में अधिक बिखरे हुए (dispersed) हैं और ग्राउंड-ट्रुथ साक्ष्य को अधिक पूर्ण रूप से कवर करते हैं, जबकि मानक RAG रेडंडेंट चंक्स पर क्लस्टर होने की प्रवृत्ति रखता है।

5. महत्व (Significance)

यह कार्य RAG की एक मौलिक बाधा को संबोधित करता है: प्रासंगिकता (relevance) और सूचना घनत्व (information density) के बीच का ट्रेड-ऑफ। पॉइंट-वाइज स्कोरिंग से सेट-लेवल ऑप्टिमाइजेशन की ओर बढ़कर, ScalDPP यह सुनिश्चित करता है कि LLMs को प्रदान किया गया कॉन्टेक्स्ट न केवल प्रासंगिक है, बल्कि सूचनात्मक रूप से सघन और विविध भी है।

व्यावहारिक प्रभाव: यह एक हल्का, प्लग-एंड-प्ले समाधान प्रदान करता है जो फाउंडेशन मॉडल्स को बड़े पैमाने पर पुन: प्रशिक्षित किए बिना मल्टी-हॉप रीजनिंग क्षमताओं में सुधार करता है।
सैद्धांतिक योगदान: यह सफलतापूर्वक बड़े पैमाने पर, डायनेमिक रिट्रीवल सेटिंग्स के लिए DPPs को अनुकूलित करता है, जो अपने नवीन P-Adapter और DML के माध्यम से ऐतिहासिक स्केलेबिलिटी और सहसंबंध बाधाओं को पार करता है।
भविष्य की दिशा: यह पेपर इस बात पर प्रकाश डालता है कि उम्मीदवारों के बीच की अंतःक्रियाओं को मॉडल करना उच्च-गुणवत्ता वाले ग्राउंडिंग साक्ष्य के निर्माण के लिए महत्वपूर्ण है, जो जटिल रीजनिंग कार्यों के लिए अधिक मजबूत RAG सिस्टम का मार्ग प्रशस्त करता है।