💬 NLP

Influence Guided Sampling for Domain Adaptation of Text Retrievers

यह शोध पत्र Inf-DDS का प्रस्ताव करता है, जो एक हल्का, सुदृढीकरण शिक्षण-संचालित (reinforcement learning-driven) सैंपलिंग फ्रेमवर्क है जो प्रभाव-आधारित पुरस्कार संकेतों (influence-based reward signals) के आधार पर टेक्स्ट रिट्रीवल मॉडल्स के लिए विविध प्रशिक्षण कॉर्पोरा को अनुकूल रूप से पुन: भारित (reweights) करता है, और मौजूदा ग्रेडिएंट-आधारित विधियों की तुलना में बेहतर प्रदर्शन और महत्वपूर्ण GPU लागत कटौती प्राप्त करता है।

मूल लेखक: Meet Doshi, Vishwajeet Kumar, Yulong Li, Jaydeep Sen

प्रकाशित 2026-01-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Meet Doshi, Vishwajeet Kumar, Yulong Li, Jaydeep Sen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Influence Guided Sampling for Domain Adaptation of Text Retrievers" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: बहुत अधिक शोर (Noise), बहुत कम संकेत (Signal)

कल्पना कीजिए कि आप एक बहुत कठिन परीक्षा (Text Retrieval कार्य) पास करने की कोशिश कर रहे हैं। आपके पास लाखों किताबों वाली एक विशाल लाइब्रेरी तक पहुँच है जिसमें हर संभव विषय है: कुकिंग, क्वांटम फिजिक्स, प्राचीन इतिहास और पॉप कल्चर।

पढ़ने का मानक तरीका यह है कि आप रैंडम तरीके से किताबें उठा लें या बस उन्हीं को पढ़ें जिनमें सबसे अधिक पन्ने हैं (Uniform or Proportional Sampling विधियाँ)। लेकिन यहाँ एक पेच है: यदि आप गणित की परीक्षा दे रहे हैं, तो कुकिंग की किताब के 1,000 पन्ने पढ़ने से आपकी मदद नहीं होगी, भले ही वह किताब बहुत बड़ी क्यों न हो। आपको गणित की किताबों पर ध्यान केंद्रित करने की आवश्यकता है।

हालाँकि, यह पता लगाना कि कौन सी किताबें और किस अनुपात में पढ़नी हैं, बहुत कठिन है।

पुराना तरीका 1: सब कुछ समान रूप से पढ़ना (समय की बर्बादी)।
पुराना तरीका 2: एक विशेषज्ञ से सबसे अच्छी किताबों का मिश्रण चुनने के लिए कहना (महंगा और स्थिर; विशेषज्ञ गलत भी हो सकता है या परीक्षा बदल सकती है)।
पुराना तरीका 3: एक जटिल कंप्यूटर एल्गोरिदम का उपयोग करना जो छोटे गणितीय संकेतों (gradients) को देखकर सबसे अच्छे मिश्रण का अनुमान लगाने की कोशिश करता है। समस्या यह है कि ये संकेत अक्सर "शोरयुक्त" (जैसे रेडियो पर स्टेटिक/खरखराहट) होते हैं, जिससे छात्र गलत चीज़ें पढ़ने लगता है, और यह प्रक्रिया अविश्वसनीय रूप से धीमी और महंगी होती है।

समाधान: Inf-DDS (एक "स्मार्ट ट्यूटर")

लेखकों ने Inf-DDS (Influence-guided Dynamic Data Sampling) नामक एक नई विधि प्रस्तावित की है। इसे एक स्मार्ट ट्यूटर के रूप में सोचें जो आपको पढ़ते हुए देखता है और आपके अभ्यास टेस्ट में आपके प्रदर्शन के आधार पर आपकी रीडिंग लिस्ट को लगातार एडजस्ट करता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "क्या होगा अगर" वाला टेस्ट (Influence)

यह अनुमान लगाने के बजाय कि कौन सी किताब अच्छी है, स्मार्ट ट्यूटर एक छोटा प्रयोग करता है।

परिदृश्य: "क्या होगा अगर मैं आपसे 'कुकिंग' की किताब के 10 अतिरिक्त पन्ने पढ़वाऊं? आपका गणित का स्कोर कितना ऊपर या नीचे जाता है?"
परिदृश्य: "क्या होगा अगर मैं आपसे 'कैलकुलस' की किताब के 10 अतिरिक्त पन्ने पढ़वाऊं? आपका स्कोर कितना बढ़ता है?"

ट्यूटर प्रत्येक किताब का आपके अंतिम स्कोर पर वास्तविक प्रभाव (influence) मापता है। यदि कुकिंग की किताब आपके गणित के स्कोर को कम करती है, तो ट्यूटर उसे असाइन करना बंद कर देता है। यदि कैलकुलस की किताब आपके स्कोर को बढ़ाती है, तो ट्यूटर उसे अधिक असाइन करता है।

2. "पुनर्लेखन" (Dynamic Sampling)

इन "क्या होगा अगर" वाले टेस्ट के आधार पर, ट्यूटर आपके दैनिक अध्ययन कार्यक्रम को फिर से लिखता है।

यदि "कुकिंग" की किताब किसी विशिष्ट प्रकार के प्रश्न के लिए सहायक थी, तो आपको उसका अधिक हिस्सा मिलेगा।
यदि "फिजिक्स" की किताब भ्रमित करने वाली थी और आपके स्कोर को नुकसान पहुँचाया, तो आपको उसका कम हिस्सा मिलेगा।

यह लगातार होता रहता है। जैसे-जैसे आप सीखते हैं और आपकी समझ बदलती है, ट्यूटर आपकी वर्तमान आवश्यकताओं के अनुरूप आपकी रीडिंग लिस्ट को बदल देता है। इसे Dynamic Sampling कहा जाता है।

3. "कुशल शॉर्टकट" (Reptile Updates)

आमतौर पर, लाखों किताबों के लिए ये "क्या होगा अगर" टेस्ट चलाना बहुत समय लेगा और इसके लिए सुपरकंप्यूटर की आवश्यकता होगी। लेखकों ने एक चतुर ट्रिक (जिसे Reptile updates कहा जाता है) खोज ली है जो उन्हें पहले से किए गए काम का पुन: उपयोग करने देती है।

कल्पना कीजिए कि यदि आप "कुकिंग" की किताब से सबक सीख सकें और तुरंत उसी मानसिक ऊर्जा को "फिजिक्स" की किताब पर लागू कर सकें बिना शून्य से शुरुआत किए। यह स्मार्ट ट्यूटर को चलाने के लिए बहुत तेज़ और सस्ता बनाता है, जिससे बहुत कम कंप्यूटर पावर (GPU) का उपयोग होता है।

यह पेपर क्यों महत्वपूर्ण है (परिणाम)

लेखकों ने इस "स्मार्ट ट्यूटर" का परीक्षण तीन अलग-अलग प्रकार की "परीक्षाओं" (datasets) पर किया:

सामान्य ज्ञान परीक्षा (BEIR): उन्होंने एक मॉडल को विभिन्न विषयों पर प्रश्नों के उत्तर देने के लिए प्रशिक्षित किया। स्मार्ट ट्यूटर ने मॉडल को "विशेषज्ञ" द्वारा चुनी गई सूचियों और "शोरयुक्त ग्रेडिएंट" विधियों की तुलना में बेहतर प्रदर्शन करने में मदद की।
बहुभाषी परीक्षा (MLDR): उन्होंने एक मॉडल को 13 अलग-अलग भाषाएँ समझने के लिए प्रशिक्षित किया। स्मार्ट ट्यूटर ने पता लगाया कि जबकि अंग्रेजी और चीनी पहले से ही मजबूत थीं, अन्य भाषाओं को अधिक ध्यान देने की आवश्यकता थी। इसने मिश्रण को पूरी तरह से एडजस्ट किया, जिससे मानक मॉडल की तुलना में समग्र स्कोर में भारी अंतर (5.03 अंक) से सुधार हुआ।
विशेषज्ञ-स्तर की परीक्षा (Sentence Transformers): उन्होंने एक ऐसे मॉडल को बेहतर बनाने की कोशिश की जिसे विशेषज्ञों द्वारा पहले से ही प्रशिक्षित किया गया था। एक "परफेक्ट" विशेषज्ञ सूची के साथ शुरू करने के बावजूद, स्मार्ट ट्यूटर ने ऐसे छोटे बदलाव खोजे जिससे मॉडल और भी बेहतर हो गया।

मुख्य निष्कर्ष

सिर्फ बड़ी किताबें न पढ़ें: केवल इसलिए नहीं कि कोई डेटासेट बहुत बड़ा है, इसका मतलब यह नहीं है कि वह आपके विशिष्ट लक्ष्य के लिए सबसे सहायक है।
गणित के बजाय प्रभाव को मापें: पिछली विधियों ने जटिल गणित का उपयोग करके सबसे अच्छे मिश्रण का अनुमान लगाने की कोशिश की जो अक्सर शोर से भ्रमित हो जाता था। यह नई विधि पूछती है, "क्या इससे वास्तव में स्कोर में मदद मिली?"
यह तेज़ और सस्ता है: भारी कंप्यूटिंग पावर की आवश्यकता वाले अन्य स्मार्ट तरीकों के विपरीत, यह हल्का और कुशल है।
यह अनुकूलित होता है: यह एक योजना पर चिपका नहीं रहता है। यदि मॉडल कुछ नया सीखता है, तो सैंपलिंग रणनीति तुरंत उस नए ज्ञान का समर्थन करने के लिए बदल जाती है।

संक्षेप में, Inf-DDS एक ऐसा सिस्टम है जो सीखना सीखता है। यह लगातार पूछता है, "कौन सा डेटा वास्तव में हमें अभी बेहतर बनने में मदद कर रहा है?" और अपना ध्यान उस डेटा पर केंद्रित करता है, जिसके परिणामस्वरूप स्मार्ट, तेज़ और अधिक सटीक टेक्स्ट सर्च इंजन प्राप्त होते हैं।

तकनीकी सारांश: डोमेन अनुकूलन के लिए इन्फ्लुएंस गाइडेड सैंपलिंग (Influence Guided Sampling)

समस्या विवरण

सामान्य-उद्देश्य वाले ओपन-डोमेन डेंस रिट्रीवल सिस्टम आमतौर पर विविध कॉर्पोरा और सर्च टास्क के बड़े मिश्रणों पर प्रशिक्षित होते हैं। एक मजबूत, सामान्यीकरण योग्य एम्बेडिंग मॉडल विकसित करने में एक महत्वपूर्ण चुनौती यह निर्धारित करना है कि इन विविध डेटासेट्स को प्रशिक्षण के लिए कैसे सैंपल किया जाए। पारंपरिक रणनीतियाँ—जैसे कि यूनिफॉर्म सैंपलिंग, इंस्टेंस पॉपुलेशन के आधार पर आनुपातिक सैंपलिंग, या स्टेटिक एक्सपर्ट-डिफ़ाइंड वेट्स—अक्सर उप-इष्टतम (suboptimal) होती हैं। वे लक्षित डोमेन पर प्रदर्शन को अधिकतम करने के लिए आवश्यक डेटा सबसेट्स की विशिष्ट सूचनात्मकता (informativeness) के अनुकूल होने में विफल रहती हैं। हालांकि डायनेमिक, ग्रेडिएंट-आधारित दृष्टिकोण (जैसे, DDS, DoGE, DoReMi) प्रस्तावित किए गए हैं, लेकिन उन्हें महत्वपूर्ण सीमाओं का सामना करना पड़ता है: (1) वे रिवॉर्ड कंप्यूटेशन के लिए उपयोग किए जाने वाले स्टोकेस्टिक ग्रेडिएंट एस्टीमेट्स के कारण अस्थिरता और उच्च वेरिएंस से ग्रस्त होते हैं, और (2) जब प्रॉक्सी मॉडल या महंगे एस्टिमेटर्स की आवश्यकता होती है, तो वे पर्याप्त कम्प्यूटेशनल ओवरहेड उत्पन्न करते हैं।

कार्यप्रणाली: Inf-DDS

लेखक Inf-DDS (इन्फ्लुएंस-गाइडेड डायनेमिक डेटा सैंपलिंग) का प्रस्ताव करते हैं, जो एक नया रीइन्फोर्समेंट लर्निंग-ड्रिवेन फ्रेमवर्क है जिसे प्रशिक्षण डेटासेट्स को एडेप्टिवली रीवेट करने के लिए डिज़ाइन किया गया है। इसका मुख्य नवाचार नॉइज़ी ग्रेडिएंट-आधारित रिवॉर्ड्स को ऑनलाइन प्रॉक्सी मॉडल्स से प्राप्त इन्फ्लुएंस-आधारित रिवॉर्ड सिग्नल्स से बदलना है।

1. समस्या का निरूपण (Problem Formulation)

कार्य को एक बाइलेवल ऑप्टिमाइज़ेशन समस्या के रूप में फ्रेम किया गया है। लक्ष्य एक पैरामीटराइज्ड सैंपलिंग पॉलिसी $\psi$ को सीखना है जो $\{D_i^{train}\}$ के डेटा पूल पर संभाव्यता वितरण $P_D(i; \psi)$ को समायोजित करता है ताकि लक्षित डेवलपमेंट डेटासेट्स $\{D_j^{dev}\}$ पर मॉडल के प्रदर्शन को अधिकतम किया जा सके।

इनर लूप (Inner Loop): वर्तमान सैंपलिंग डिस्ट्रीब्यूशन का उपयोग करके मॉडल पैरामीटर्स $\theta$ को अपडेट करता है।
आउटर लूप (Outer Loop): डेवलपमेंट सेट पर प्रभाव के आधार पर सैंपलिंग डिस्ट्रीब्यूशन को ऑप्टिमाइज़ करने के लिए स्कोरर पैरामीटर्स $\psi$ को अपडेट करता है।

2. इन्फ्लुएंस-आधारित रिवॉर्ड्स (Influence-Based Rewards)

डेटा इन्फ्लुएंस का अनुमान लगाने के लिए फर्स्ट-ऑर्डर एप्रोक्सिमेशन या छोटे प्रॉक्सी मॉडल्स पर निर्भर रहने वाले पिछले तरीकों के विपरीत, Inf-DDS सटीक इन्फ्लुएंस स्कोर की गणना करने के लिए ऑनलाइन प्रॉक्सी मॉडल्स का उपयोग करता है।

प्रक्रिया: प्रत्येक टाइम स्टेप $t$ पर, मॉडल पैरामीटर्स $\theta_t$ को एक विशिष्ट ट्रेनिंग डेटासेट $D_i^{train}$ का उपयोग करके $l$ ग्रेडिएंट स्टेप्स के लिए अपडेट किया जाता है ताकि $\theta_{t+1}^i$ प्राप्त हो सके।
मेट्रिक: इन्फ्लुएंस को डेवलपमेंट सेट पर प्रदर्शन में परिवर्तन द्वारा मापा जाता है: $\Delta M_j^i = M(\theta_{t+1}^i; d_j^{val}) - M(\theta_t; d_j^{val})$ ।
रिवॉर्ड: अंतिम इन्फ्लुएंस स्कोर $I_i$ सभी डेवलपमेंट डेटासेट्स में इन प्रदर्शन परिवर्तनों का माध्य (mean) है। यह स्कोर उन डेटासेट्स को अधिक वेट देने के लिए रिवॉर्ड सिग्नल के रूप में कार्य करता है जो डाउनस्ट्रीम प्रदर्शन में स्पष्ट रूप से सुधार करते हैं।

3. ऑप्टिमाइज़ेशन और दक्षता (Optimization and Efficiency)

कम्प्यूटेशनल स्केलेबिलिटी को संबोधित करने के लिए, Inf-DDS एक Reptile-स्टाइल फर्स्ट-ऑर्डर मेटा-अपडेट का उपयोग करता है:

ग्रेडिएंट रियूज़ (Gradient Reuse): प्रत्येक डेटासेट के लिए अलग-अलग ऑप्टिमाइज़र स्टेट्स बनाए रखने के बजाय, यह विधि अपडेटेड पैरामीटर्स का भारित औसत $\bar{\theta}_{t+1} = \sum p_i \theta_{t+1}^i$ (जहाँ $p_i$ इन्फ्लुएंस स्कोर से प्राप्त संभावनाएँ हैं) कंप्यूट करती है और एक सिंगल अपडेट स्टेप करती है। यह एक ही सेट के इंटरमीडिएट ग्रेडिएंट्स और ऑप्टिमाइज़र स्टेट्स के पुन: उपयोग की अनुमति देता है, जिससे मेमोरी ओवरहेड काफी कम हो जाता है।
सबसैंपलिंग (Subsampling): जब डोमेन की संख्या $M$ बड़ी होती है, तो कंडीशनल ऑब्जेक्टिव के लिए एक अनबायस्ड एस्टीमेट बनाए रखते हुए प्रति-इटरेशन कंप्यूट को कम करने के लिए स्कोरर $\psi$ को डेटासेट्स के रैंडम सबसैंपल $S$ पर अपडेट किया जाता है।

मुख्य योगदान (Key Contributions)

नया एल्गोरिदम: Inf-DDS का प्रस्ताव, जो एक इन्फ्लुएंस-गाइडेड रीइन्फोर्समेंट लर्निंग दृष्टिकोण है जो रिवॉर्ड्स के लिए नॉइज़ी ग्रेडिएंट एस्टीमेट्स पर निर्भर किए बिना विविध ट्रेनिंग डेटासेट्स के बीच सैंपलिंग प्रोबेबिलिटीज को एडजस्ट करना सीखता है।
कम्प्यूटेशनल दक्षता: विधि को GPU खपत के मामले में लाइटवेट बनाया गया है। पैरामीटराइज्ड सैंपलिंग डिस्ट्रीब्यूशन अपडेट्स से कंप्यूटेशन को पुन: उपयोग करके, यह मॉडल पैरामीटर्स को भी अपडेट करता है, जिससे यह अन्य डायनेमिक सैंपलिंग विधियों में जुड़े भारी ओवरहेड से बच जाता है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक कई बेंचमार्क्स (BEIR, MLDR, और Sentence-Transformers एम्बेडिंग डेटासेट) में Inf-DDS को वैलिडेट करते हैं, जो यह प्रदर्शित करता है कि यह अधिक स्थिर सैंपलिंग ट्रेजेक्टरीज उत्पन्न करता है और ग्रेडिएंट-आधारित विधियों (MultiDDS, DoGE) और प्रॉक्सी-मॉडल दृष्टिकोणों (DoReMi) के समान या बेहतर प्रदर्शन प्राप्त करता है।

प्रयोगात्मक परिणाम (Experimental Results)

Inf-DDS की प्रभावकारिता का मूल्यांकन तीन अलग-अलग परिदृश्यों में किया गया था:

BEIR (डोमेन अनुकूलन): FEVER डेवलपमेंट सेट के लिए ऑप्टिमाइज़ करते समय, Inf-Des विभिन्न इनिशियलाइजेशन टेम्परेचर्स पर स्टैटिक सैंपलिंग और MultiDDS की तुलना में लगातार बेहतर रहा। इसने स्थिर सैंपलिंग ट्रेजेक्टरीज प्रदर्शित कीं, और MS MARCO तथा FEVER जैसे सूचनात्मक डेटासेट्स को सही ढंग से प्राथमिकता दी, जबकि ग्रेडिएंट-आधारित विधियों ने अस्थिर डायनेमिक्स दिखाया।
MLDR (बहुभाषी लंबे दस्तावेज़ रिट्रीवल): BGE-M3 कॉर्पस का उपयोग करते हुए, Inf-DDS ने बेसलाइन bge-m3-dense मॉडल में 5.03 एब्सोल्यूट NDCG@10 पॉइंट्स का सुधार किया। विशेष रूप से, इसने प्रभावी रूप से कम प्रतिनिधित्व वाली भाषाओं को अपवेट किया और प्रमुख भाषाओं (अंग्रेजी और चीनी) पर ओवरफिटिंग से बचा, 13 में से 8 भाषाओं में उच्चतम व्यक्तिगत-भाषा प्रदर्शन प्राप्त किया।
Sentence-Transformers एम्बेडिंग डेटासेट: 32 डोमेन में 1 बिलियन पैरेलल सेंटेंस के चुनौतीपूर्ण सेटिंग में:
- यूनिफॉर्म इनिशियलाइजेशन से शुरू करते हुए, Inf-DDS ने ऑफ-द-शेल्फ एक्सपर्ट मॉडल (all-MiniLM-L6-v2) के लगभग बराबर प्रदर्शन हासिल किया, जो यूनिफॉर्म बेसलाइन से 1.83 अंक बेहतर है।
- एक्सपर्ट-असाइंड वेट्स से शुरू करते हुए, Inf-DDS ने अतिरिक्त 0.94 एब्सोल्यूट NDCG@10 का सुधार प्रदान किया।
- इसके विपरीत, ग्रेडिएंट-आधारित विधियाँ (MultiDDS, DoGE) इन सेटिंग्स में बेसलाइन्स से बेहतर प्रदर्शन करने में विफल रहीं।
- Inf-DDS ने DoReMi जैसे तरीकों की तुलना में 1.5× से 4× कम GPU कंप्यूट के साथ ये लाभ प्राप्त किए।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि Inf-DDS टेक्स्ट रिट्रीवल में डोमेन अनुकूलन के लिए एक अधिक मजबूत और कम्प्यूटेशनल रूप से सुलभ समाधान प्रदान करता है। रिवॉर्ड के लिए ग्रेडिएंट-डेरिव्ड रिवॉर्ड्स के बजाय इन्फ्लुएंस-आधारित रिवॉर्ड्स का उपयोग करके, विधि सैंपलिंग वेट्स के लर्निंग को स्थिर करती है और इस बात का अधिक सीधा अनुमान प्रदान करती है कि कौन से डेटा सबसेट्स सबसे अच्छे अटटेनेबल मिनिमा (attainable minima) की ओर ले जाते हैं। लेखक इस बात पर जोर देते हैं कि हालांकि एल्गोरिदम हमेशा ग्लोबल ऑप्टिमम तक नहीं पहुँचता है, यह उचित इनिशियलाइजेशन से पर्याप्त सुधार विश्वसनीय रूप से प्रदान करता है। यह कार्य रेखांकित करता है कि प्रभावी रिट्रीवर सुधार के लिए सरल डोमेन समानता या स्टेटिक ह्यूरिस्टिक्स से आगे बढ़ने की आवश्यकता है, जिसके लिए डाउनस्ट्रीम प्रदर्शन मेट्रिक्स के लिए सीधे ऑप्टिमाइज़ करने वाले एडेप्टिव स्ट्रैटेजीज की आवश्यकता होती है।