🤖 AI

IG-Search: Step-Level Information Gain Rewards for Search-Augmented Reasoning

IG-Search एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो खोज-संवर्धित तर्क (search-augmented reasoning) को बेहतर बनाने के लिए चरण-स्तरीय सूचना लाभ (step-level Information Gain) पुरस्कार पेश करता है ताकि खोज प्रश्नों के लिए सूक्ष्म-स्तरीय क्रेडिट असाइनमेंट प्रदान किया जा सके, जिससे प्रक्षेपवक्र-स्तरीय (trajectory-level) पुरस्कारों की सीमाओं को दूर करते हुए बिना किसी मध्यवर्ती एनोटेशन के QA बेंचमार्क पर बेहतर प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Zihan Liang, Yufei Ma, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

प्रकाशित 2026-04-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zihan Liang, Yufei Ma, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े भ्रमित छात्र (AI) को एक जटिल रहस्य सुलझाना सिखा रहे हैं। उस छात्र के पास एक लाइब्रेरी कार्ड (सर्च टूल) है और वह तथ्यों को खोजने के लिए उसका उपयोग कर सकता है।

पिछली शिक्षण विधियों की समस्या यह थी कि वे छात्र को केवल अंत में एक ग्रेड देते थे।

परिदृश्य A: छात्र एक सटीक, विशिष्ट प्रश्न पूछता है, सटीक उत्तर पाता है, लेकिन फिर भ्रमित हो जाता है और गलत अंतिम निष्कर्ष लिख देता है।
परिदृश्य B: छात्र एक अस्पष्ट, बेकार प्रश्न पूछता है, कुछ भी उपयोगी नहीं पाता, भ्रमित हो जाता है, और अंत में गलत निष्कर्ष भी लिख देता है।

पुराना तरीका (ट्रैजेक्टरी-लेवल रिवॉर्ड्स): शिक्षक अंतिम उत्तर देखता है, देखता है कि दोनों छात्रों ने गलत उत्तर दिया है, और दोनों को "F" दे देता है। शिक्षक कहता है, "आप दोनों विफल रहे, इसलिए इससे कोई फर्क नहीं पड़ता कि आपने कैसे प्रयास किया।" परिदृश्य A वाले छात्र को कभी यह पता नहीं चलता कि उसका प्रश्न वास्तव में शानदार था; उसे बस यह लगता है कि वह असफल रहा।

नया तरीका (IG-Search): यह पेपर एक नई शिक्षण विधि पेश करता है जिसे IG-Search कहा जाता है। केवल अंतिम निबंध को ग्रेड देने के बजाय, शिक्षक प्रत्येक प्रश्न का ग्रेड देता है जो छात्र पूछते समय पूछता है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. "सूचना लाभ" (Information Gain) स्कोरकार्ड

कल्पना कीजिए कि छात्र एक गुप्त शब्द का अनुमान लगाने की कोशिश कर रहा है।

आधार रेखा (The Baseline): शिक्षक पूछता है, "क्या होगा यदि आप लाइब्रेरी से कोई रैंडम पेज चुन लें?" (यह एक "काउंटरफैक्चुअल बेसलाइन" है)।
वास्तविक खोज: छात्र एक विशिष्ट प्रश्न पूछता है और एक विशिष्ट पेज प्राप्त करता है।
स्कोर: शिक्षक दोनों की तुलना करता है।
- यदि छात्र द्वारा पाया गया विशिष्ट पेज गुप्त शब्द को रैंडम पेज की तुलना में बहुत अधिक स्पष्ट बना देता है, तो छात्र को उस प्रश्न के लिए उच्च स्कोर मिलता है।
- यदि विशिष्ट पेज रैंडम पेज जितना ही भ्रमित करने वाला है, तो उसे जीरो स्कोर मिलता है।
- यदि विशिष्ट पेज चीजों को और अधिक भ्रमित करने वाला बना देता है (शायद इसमें विरोधाभासी तथ्य हैं), तो उसे बहुत कम नकारात्मक स्कोर मिलता है।

इस स्कोर को इन्फॉर्मेशन गेन (IG) कहा जाता है। यह मापता है: "क्या इस विशिष्ट खोज चरण ने मुझे अनुमान लगाने की तुलना में उत्तर को बेहतर ढंग से समझने में वास्तव में मदद की?"

2. "सभी-विफलता" (All-Failure) की समस्या को ठीक करना

पुराने दिनों में, यदि छात्र अंतिम उत्तर गलत देता था, तो शिक्षक फीडबैक देना बंद कर देता था। यह बुरा है क्योंकि छात्र ने एक शानदार प्रश्न पूछा होगा लेकिन फिर अंतिम तर्क में गलती कर दी होगी। उन्हें यह जानने की आवश्यकता है कि उनका प्रश्न अच्छा था!

IG-Search इसे हल करता है। भले ही छात्र अंतिम उत्तर गलत देता है, फिर भी शिक्षक खोज चरणों (search steps) को देखता है।

"आपने एक बहुत बुरा प्रश्न पूछा, लेकिन आप भाग्य से सही उत्तर तक पहुँच गए? नहीं, आपको कोई इनाम नहीं मिलेगा।"
"आपने एक शानदार प्रश्न पूछा जिसने सही तथ्य खोजे, लेकिन आपने अंतिम वाक्य लिखने में गलती कर दी? प्रश्न के लिए बहुत बढ़िया! यहाँ उस विशिष्ट चरण के लिए एक इनाम है।"

यह सुनिश्चित करता है कि छात्र बेहतर प्रश्न पूछना सीखे, भले ही वह अभी भी पूरे पहेली को सुलझाने के लिए संघर्ष कर रहा हो।

3. "डेड ज़ोन" (The Dead Zone - शोर को फ़िल्टर करना)

कभी-कभी, छात्र पहले से ही उत्तर जानता है (जैसे "फ्रांस की राजधानी क्या है?")। यदि वह इसके लिए खोज करता है, तो उसे एक पेज मिल सकता है जो कहता है "पेरिस," लेकिन वह पहले से ही यह जानता था।

समस्या: यदि शिक्षक केवल खोजने के लिए इनाम देता है, तो छात्र उन चीजों को खोजने लग सकता है जो वह पहले से जानता है, जिससे समय बर्बाद होता है।
समाधान: IG-Search में एक "डेड ज़ोन" है। यदि खोज से नई जानकारी नहीं मिलती (क्योंकि छात्र पहले से ही यह जानता था), तो स्कोर शून्य कर दिया जाता है। यह छात्र को बताता है: "उन चीजों को खोजने की कोशिश न करें जो आप पहले से जानते हैं।"

4. यह क्यों महत्वपूर्ण है

इस पेपर का परीक्षण सात अलग-अलग प्रकार के पहेलियों (कुछ आसान, कुछ कई चरणों के तर्क की आवश्यकता वाली) पर किया गया।

परिणाम: IG-Search का उपयोग करने वाला AI जटिल, बहु-चरणीय पहेलियों (जैसे "किसने उस फिल्म का निर्देशन किया जिसने 1994 में सर्वश्रेष्ठ फिल्म का पुरस्कार जीता?") को हल करने में बहुत बेहतर हो गया।
दक्षता: इसने प्रशिक्षण प्रक्रिया को बहुत अधिक धीमा नहीं किया। यह छात्र को हर प्रश्न के बाद एक छोटा, तत्काल फीडबैक नोट देने जैसा है, बजाय इसके कि सेमेस्टर के अंत तक प्रतीक्षा की जाए।

सारांश उपमा

AI को एक जासूस के रूप में सोचें।

पुराना तरीका: जासूस को केवल तभी प्रशंसा या दंड मिलता है जब वह अंत में अपराधी को पकड़ लेता है। यदि उसने गलत आदमी को पकड़ा, तो उसे सही सुराग खोजने के लिए कोई श्रेय नहीं मिलता।
IG-Search: जासूस को हर बार "क्लू क्वालिटी बैज" (सुराग की गुणवत्ता का बैज) मिलता है जब वह सबूत का एक टुकड़ा पाता है। भले ही वह अंत में गलत व्यक्ति को गिरफ्तार कर ले, फिर भी उसे बेहतरीन सुराग खोजने के लिए बैज मिलते हैं। यह उसे बेहतर जासूस बनना सिखाता है, ताकि अगली बार वह सही अपराधी को पकड़ सके।

संक्षेप में: IG-Search मॉडल को बेहतर प्रश्न पूछना सिखाता है क्योंकि यह उन्हें उनके द्वारा खोजी गई जानकारी के मूल्य के लिए पुरस्कृत करता है, न कि केवल अंतिम परिणाम के लिए। यह एक अस्पष्ट "अच्छा काम/बुरा काम" को एक सटीक "अच्छा प्रश्न, बुरा तर्क" या "बुरा प्रश्न, भाग्यशाली अनुमान" में बदल देता है।

यहाँ शोध पत्र "IG-Search: Step-Level Information Gain Rewards for Search-Augmented Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सर्च-ऑगमेंटेड रीजनिंग (रिट्रीवल-ऑगमेंटेड जनरेशन) में लार्ज लैंग्वेज मॉडल्स (LLMs) को प्रशिक्षित करने के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एक प्रमुख प्रतिमान बन गया है। हालाँकि, ट्रैजेक्टरी-लेवल रिवॉर्ड्स (जैसे कि Group Relative Policy Optimization - GRPO) का उपयोग करते समय मौजूदा विधियाँ दो महत्वपूर्ण संरचनात्मक सीमाओं से ग्रस्त हैं:

क्वेरी की गुणवत्ता को पहचानने में असमर्थता: सैंपल किए गए ट्रैजेक्टरीज के एक समूह में, यदि दो अलग-अलग सर्च रणनीतियाँ (एक सटीक, एक अस्पष्ट) दोनों एक ही अंतिम उत्तर (या एक ही गलत उत्तर) तक पहुँचती हैं, तो उन्हें समान रिवॉर्ड सिग्नल मिलता है। मॉडल यह नहीं सीख पाता कि कौन सा विशिष्ट सर्च क्वेरी फॉर्मूलेशन प्रभावी था।
सभी विफलताओं वाले परिदृश्यों में लुप्त होते संकेत: जब एक समूह में सैंपल की गई सभी ट्रैजेक्टरीज सही उत्तर देने में विफल रहती हैं, तो ट्रैजेक्टरी-लेवल एडवांटेज लगभग शून्य हो जाता है। यह ठीक उसी समय ग्रेडिएंट सिग्नल को समाप्त कर देता है जब मॉडल को सबसे अधिक पर्यवेक्षण (supervision) की आवश्यकता होती है (जैसे कि शुरुआती प्रशिक्षण या कठिन मल्टी-हॉप प्रश्नों के दौरान)।

पूर्ववर्ती स्टेप-लेवल विधियों के लिए अक्सर बाहरी एनोटेशन (जैसे GPT-4o द्वारा उत्पन्न सब-क्वेश्चन) या साझा एनवायरनमेंट स्टेट्स की आवश्यकता होती है, जो अव्यवहारिक या महंगी हैं।

2. कार्यप्रणाली: IG-Search

लेखक IG-Search प्रस्तावित करते हैं, जो एक RL फ्रेमवर्क है जो इन्फॉर्मेशन गेन (Information Gain - IG) पर आधारित स्टेप-लेवल रिवॉर्ड पेश करता है। यह बिना किसी बाहरी एनोटेशन के व्यक्तिगत सर्च क्वेरीज के लिए सूक्ष्म-स्तरीय क्रेडिट असाइनमेंट की अनुमति देता है।

मुख्य अवधारणा: स्टेप-लेवल इन्फॉर्मेशन गेन (Step-Level Information Gain)

फाइनल उत्तर की प्रतीक्षा करने के बजाय, IG-Search रिट्रीवल के तुरंत बाद एक सर्च क्वेरी की गुणवत्ता का मूल्यांकन करता है।

परिभाषा: एक विशिष्ट सर्च स्टेप $t$ के लिए, इन्फॉर्मेशन गेन ( $IG_t$ ) यह मापता है कि वास्तविक रिट्रीव किए गए दस्तावेज़ एक रैंडम दस्तावेज़ों के काउंटरफैक्चुअल बेसलाइन की तुलना में मॉडल के गोल्ड आंसर ( $a^*$ ) उत्पन्न करने के आत्मविश्वास में कितनी वृद्धि करते हैं।
फॉर्मूला:
$IG_t = \log \pi_{\theta_{old}}(a^* | C_{real}^t) - \frac{1}{N} \sum_{j=1}^{N} \log \pi_{\theta_{old}}(a^* | C_{rand, j}^t)$
जहाँ $C_{real}^t$ वास्तविक रिट्रीवल वाला कॉन्टेक्स्ट है, और $C_{rand, j}^t$ वे कॉन्टेक्स हैं जहाँ रिट्रीव किए गए दस्तावेज़ों को उसी बैच के अन्य प्रश्नों से लिए गए रैंडम दस्तावेज़ों से बदल दिया गया है।
काउंटरफैक्चुअल बेसलाइन: रैंडम दस्तावेज़ों का उपयोग करना (खाली कॉन्टेक्स्ट के बजाय) दस्तावेज़ की लंबाई और स्ट्रक्चरल बायस को नियंत्रित करता है, जिससे केवल रिट्रीवल के सूचनात्मक मूल्य को अलग किया जा सके।

GRPO के साथ एकीकरण (Advantage Modulation)

IG-Search मानक GRPO एल्गोरिदम को संशोधित करता है ताकि टोकन स्तर पर रिवॉर्ड लागू किया जा सके:

पर-टोकन मॉड्यूलेशन: मानक ग्रुप एडवांटेज ( $\hat{A}_i$ ) सभी टोकन्स के लिए साझा किया जाता है। IG-Search सर्च क्वेरी ( $Q_t$ ) से संबंधित टोकन्स में एक विशिष्ट बोनस जोड़ता है।
मॉड्यूलेटेड एडवांटेज:
$\tilde{A}_{i,p} = \hat{A}_i + \alpha \cdot \frac{\tilde{IG}_t}{|Q_t|} \quad \text{यदि } p \in Q_t$
जहाँ $\tilde{IG}_t$ प्रोसेस्ड IG वैल्यू है, और $|Q_t|$ क्वेरी की लंबाई है। यह सुनिश्चित करता है कि एक स्टेप के लिए कुल रिवॉर्ड क्वेरी की लंबाई से स्वतंत्र हो, जिससे लंबी क्वेरीज के माध्यम से "रिवॉर्ड हैकिंग" को रोका जा सके।

स्थिरीकरण तंत्र (Stabilization Mechanisms)

लॉग-प्रोबेबिलिटी अंतर के हाई वेरिएंस और हेवी-टेल्ड डिस्ट्रीब्यूशन को संभालने के लिए, IG-Search तीन स्थिरीकरण तकनीकों का उपयोग करता है:

डेड ज़ोन फ़िल्टरिंग (Dead Zone Filtering): यदि $|IG_t| < \delta$ (डिफ़ॉल्ट 0.5), तो सिग्नल को 0 सेट कर दिया जाता है। यह उन प्रश्नों के लिए क्वेरी को सुदृढ़ करने से रोकता है जिन्हें मॉडल पहले से ही जानता है (जहाँ रिट्रीवल कोई मूल्य नहीं जोड़ता) या उन अच्छे क्वेरीज को दंडित करने से रोकता है जो पैरामीट्रिक प्रायर्स को थोड़ा कम कर देते हैं।
एसिमेट्रिक नेगेटिव स्केलिंग (Asymmetric Negative Scaling): नेगेटिव IG वैल्यूज (जो खराब रिट्रीवल का संकेत देती हैं) को एक फैक्टर $\lambda < 1$ (डिफ़ॉल्ट 0.1) द्वारा कम किया जाता है। यह मॉडल को नकारात्मक दंड से बचने के लिए पूरी तरह से सर्च करने से बचने के लिए सीखने से रोकता है।
सॉफ्ट क्लिपिंग (Soft Clipping): ग्रेडिएंट अस्थिरता को रोकने के लिए अत्यधिक पॉजिटिव IG वैल्यूज को लॉगरिदमिक रूप से क्लिप किया जाता है।

3. मुख्य योगदान

रिट्रीवल-ग्राउंडेड प्रोसेस रिवॉर्ड: IG-Search गोल्ड आंसर की स्थिति में पॉलिसी की अपनी जनरेशन प्रोबेबिलिटीज से सीधे स्टेप-लेवल सिग्नल प्राप्त करता है। इसके लिए किसी मध्यवर्ती एनोटेशन (जैसे सब-क्वेश्चन) या अलग रिवॉर्ड मॉडल की आवश्यकता नहीं है।
विफलता परिदृश्यों में मजबूती: ट्रैजेक्टरी-लेवल विधियों के विपरीत, IG-Search सार्थक ग्रेडिएंट सिग्नल प्रदान करता है, भले ही एक समूह में सभी सैंपल की गई ट्रैजेक्टरीज गलत उत्तर दें, बशर्ते कि कुछ क्वेरीज ने उपयोगी जानकारी रिट्रीव की हो।
सूक्ष्म-स्तरीय क्रेडिट असाइनमेंट: प्रति-टोकन एडवांटेज को मॉड्यूलेट करके, मॉडल एक ही रीजनिंग चेन के भीतर प्रभावी और अप्रभावी सर्च क्वेरीज के बीच अंतर करना सीखता है।

4. प्रयोगात्मक परिणाम

इस विधि का मूल्यांकन Qwen2.5-3B और Qwen2.5-7B का उपयोग करके सात QA बेंचमार्क (3 सिंगल-हॉप, 4 मल्टी-हॉप) पर किया गया।

प्रदर्शन:
- Qwen2.5-3B: इसने औसतन 0.430 का एग्जैक्ट मैच (EM) प्राप्त किया, जो सबसे मजबूत ट्रैजेक्टरी-लेवल बेसलाइन (MR-Search) से 1.6 अंक और स्टेप-लेवल मेथड GiGPO से 0.9 अंक बेहतर है।
- मल्टी-हॉप लाभ: सुधार मल्टी-हॉप कार्यों (जैसे HotpotQA पर +1.7, Musique पर +1.4) पर सबसे अधिक स्पष्ट थे, जहाँ सटीक स्टेप-लेवल रीजनिंग महत्वपूर्ण है।
- Qwen2.5-7B: निरंतर सुधार देखे गए, जिसने 0.479 का औसत EM प्राप्त किया, जो MR-Search से 1.9 अंक अधिक है।
दक्षता: IG गणना प्रति-स्टेप वॉल-क्लॉक ट्रेनिंग समय में केवल ~6.4% की वृद्धि करती है और इन्फरेंस लेटेंसी को अपरिवर्तित छोड़ती है।
एब्लेशन स्टडीज (Ablation Studies):
- IG रिवॉर्ड को हटाने से प्रदर्शन ट्रैजेक्टरी-लेवल बेसलाइन्स के स्तर तक गिर जाता है।
- स्थिरीकरण तंत्रों (विशेष रूप से एसिमेट्रिक स्केलिंग) को हटाने से सर्च अवॉयडेंस या रिवॉर्ड हैकिंग के कारण प्रदर्शन में गिरावट आती है।
- "रैंडम डॉक्स" काउंटरफैक्चुअल बेसलाइन को "एम्प्टी" या "बॉटम-के" बेसलाइन्स की तुलना में श्रेष्ठ सिद्ध किया गया।

5. महत्व और भविष्य का कार्य

महत्व: IG-Search सर्च-ऑगमेंटेड रीजनिंग में "क्रेडिट असाइनमेंट" की समस्या को हल करता है, जो स्पार्स, आउटकम-आधारित रिवॉर्ड्स को डेंस, क्वेरी-ग्राउंडेड सिग्नल्स में बदल देता है। यह मॉडल्स को न केवल यह सीखने में सक्षम बनाता है कि क्या उत्तर है, बल्कि यह भी कि कैसे प्रभावी ढंग से सर्च किया जाए, भले ही सही अंतिम उत्तर अनुपलब्ध हो।
सीमाएँ:
- प्रशिक्षण के दौरान गोल्ड आंसर तक पहुँच की आवश्यकता होती है (जो वीकली सुपरवाइज्ड सेटिंग्स में इसकी प्रयोज्यता को सीमित करता है)।
- यह एक ऑफलाइन विकिपीडिया कॉर्पस पर निर्भर है, जिसमें रियल-टाइम जानकारी का अभाव है।
भविष्य की दिशाएँ: कमजोर पर्यवेक्षण (weak supervision) के लिए IG के लिए उत्तर-मुक्त प्रॉक्सी (जैसे कि मेजॉरिटी-वोट उत्तरों का उपयोग करना) विकसित करना, डायनेमिक वेब सर्च तक विस्तार करना, और क्रॉस-एपिसोड सेल्फ-रिफ्लेक्शन रणनीतियों के साथ संयोजन करना।

संक्षेप में, IG-Search LLMs के लिए RL में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो जटिल रीजनिंग कार्यों में सर्च व्यवहार को अनुकूलित करने के लिए एक स्केलेबल, एनोटेशन-फ्री विधि प्रदान करता है।