🤖 machine learning

To Answer or to Abstain: Mitigating Search-Agent Hallucinations via Abstention-Aware Reinforcement Learning

यह शोध पत्र एब्स्टेंशन-अवेयर रीइन्फोर्समेंट लर्निंग (AWA-RL) को प्रस्तुत करता है, जो एक नवीन प्रशिक्षण प्रतिमान है जो रिट्रीवल विफल होने पर मॉडलों को उत्तर देने से बचने के लिए प्रोत्साहित करके सर्च-एजेंट मतिभ्रम (hallucinations) को कम करने हेतु एब्स्टेंशन रिवार्ड्स को गतिशील रूप से आकार देता है, जिससे कच्चे सटीकता (raw accuracy) के न्यूनतम त्याग के साथ परिशुद्धता और विश्वसनीयता में उल्लेखनीय सुधार होता है।

मूल लेखक: Fengji Zhang, Tianyu Fan, Yuxiang Zheng, Xinyao Niu, Chengen Huang, Jacky Keung, Bei Chen

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fengji Zhang, Tianyu Fan, Yuxiang Zheng, Xinyao Niu, Chengen Huang, Jacky Keung, Bei Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जिसे आपके सवालों के जवाब देना बहुत पसंद है। आप उससे पूछते हैं, "फ्रांस की राजधानी क्या है?" और वह कहता है, "पेरिस!" बहुत बढ़िया। लेकिन फिर आप पूछते हैं, "सम्राट के अदृश्य सूप की गुप्त रेसिपी क्या है?" और वह "मुझे नहीं पता" कहने के बजाय, आत्मविश्वास के साथ "घोस्ट-चिली और मून-डस्ट" के बारे में एक कहानी बना देता है। वह बुरा बनने की कोशिश नहीं कर रहा है; वह बस आपकी मदद करने के लिए बहुत अधिक उत्सुक है। एआई (AI) की दुनिया में, हम इसे हैलुसिनेशन (hallucination) कहते हैं, और जब रोबोट को वास्तविक तथ्यों को खोजने के लिए इंटरनेट का उपयोग करना होता है, तो यह एक बड़ी समस्या है।

एक लंबे समय तक, वैज्ञानिकों ने रोबोट को वेब खोजने के लिए सिखाकर इसे ठीक करने की कोशिश की। उन्होंने एक प्रशिक्षण पद्धति का उपयोग किया जिसे रीइन्फोर्समेंट लर्निंग (RL) कहा जाता है, जो एक वीडियो गेम की तरह है जहाँ रोबलेट को सही उत्तर खोजने के लिए अंक मिलते हैं। लेकिन यहाँ एक पेंच है: गेम केवल उत्तर प्राप्त करने के लिए अंक देता था। इसने यह नहीं बताया कि कब रुकना है, इसके लिए कोई अंक नहीं दिए। इसलिए, जब रोबोट को उत्तर नहीं मिल पाता था, तो वह केवल अनुमान लगाना जारी रखता था, तथ्य गढ़ने लगता था ताकि वे अंक प्राप्त कर सके। यह एक ऐसे छात्र की तरह था जो, "मुझे नहीं पता" कहने के लिए हाथ उठाने के बजाय, शर्मिंदा होने से बचने के लिए परीक्षा में केवल अंदाज़ा लगाता रहता है।

इस पेपर के लेखक, फेंगजी झांग और उनकी टीम कहते हैं, "रुको ज़रा! हमें रोबोट को यह सिखाने की ज़रूरत है कि जब वह अटक जाए तो 'मुझे नहीं पता' कहना चाहिए।" लेकिन वे यह भी समझ गए कि केवल रोबोट को "मुझे नहीं पता" कहने के लिए कहना ही काफी नहीं है। यदि आप रोबोट को अनुमान लगाने के लिए बहुत अधिक दंडित करते हैं, तो वह डर सकता है और किसी भी सवाल का जवाब देना बंद कर सकता है। इसे "लेज़ी रिफ्यूज़ल" (lazy refusal - आलसी इनकार) कहा जाता है, और यह भी उतना ही बुरा है जितना कि बातें बनाना।

इसलिए, उन्होंने एक नई प्रशिक्षण पद्धति विकसित की जिसे AWA-RL (Abstention-Aware Reinforcement Learning) कहा जाता है। इसे एक बहुत ही स्मार्ट कोच की तरह समझें जो रोबोट को खेलते हुए देखता है। एक निश्चित नियम देने के बजाय जैसे कि "यदि आप 100% सुनिश्चित नहीं हैं, तो उत्तर न दें," कोच प्रश्न के आधार पर निर्णय लेता है।

"कौरेज" (साहस) कारक: कोच के पास एक विशेष डायल है जिसे "कौरेज" कारक (जिसे ग्रीक अक्षर गामा, $\gamma$ $γ$ द्वारा दर्शाया गया है) कहा जाता है। यह डायल नियंत्रित करता है कि रोबोट कितना साहसी होना चाहिए।
- यदि डायल को उच्च स्तर पर सेट किया जाता है, तो रोबोट बहुत साहसी होता है और हर चीज़ का उत्तर देने की कोशिश करता है, भले ही वह सुनिश्चित न हो।
- यदि डायल को कम स्तर पर सेट किया जाता है, तो रोबोट बहुत सतर्क हो जाता है और लगभग हर चीज़ के लिए "मुझे नहीं पता" कहता है।
- AWA-RL की जादू की बात यह है कि कोच प्रश्न की कठिनाई और रोबोट के वर्तमान प्रदर्शन के आधार पर रोबोट के रिवॉर्ड (पुरस्कार) को डायनामिकली (गतिशील रूप से) समायोजित करता है। यदि रोबमाट अच्छा कर रहा है, तो कोच उसे प्रयास करने के लिए प्रोत्साहित करता है। यदि रोबोट बहुत अधिक अनुमान लगाने लगता है, तो कोच उसे धीरे से पीछे खींच लेता है।

टीम ने तीन कठिन पहेली खेलों (डेटासेट जिन्हें HotpotQA, 2WikiMultiHopQA, और MuSiQue कहा जाता है) पर इसका परीक्षण किया जहाँ रोबोट को उत्तर खोजने के लिए विकिपीडिया के माध्यम से खोजना पड़ता था। उन्होंने अपने नए तरीके की तुलना पुराने तरीकों से की:

केवल "मुझे नहीं पता" के उदाहरणों को मिलाना: यह अच्छी तरह काम नहीं किया। रोबोट या तो भ्रमित हो गया या वह बहुत अधिक "मुझे नहीं पता" कहने लगा, यहाँ तक कि आसान सवालों के लिए भी।
अनुमान लगाने के लिए एक निश्चित "दंड" देना: यह अखरोट तोड़ने के लिए हथौड़े का उपयोग करने जैसा था। यदि दंड बहुत अधिक शक्तिशाली था, तो रोबोट ने सब कुछ बताना बंद कर दिया (99.9% इनकार!)। यदि यह बहुत कमजोर था, तो रोबोट तथ्य बनाना जारी रखता था।

उन्होंने क्या पाया?
AWA-RL विधि एक गेम-चेंजर साबित हुई। उस गतिशील "कौरेज" डायल का उपयोग करके, उन्होंने पाया कि एक "स्वीट स्पॉट" (लगभग 0.20 का कौरेज फैक्टर) है जहाँ रोबोट बहुत अधिक विश्वसनीय हो गया।

इसने रोबोट की प्रिसिजन (Precision - सटीकता) (जब वह उत्तर देता है तो कितनी बार सही होता है) को 10.3% तक बढ़ा दिया।
इसने उनके नए स्कोर, जिसे RA-F1 कहा जाता है (जो मददगार होने और ईमानदार होने के बीच संतुलन बनाता है), में सेटअप के आधार पर 2.9% से 5.2% तक सुधार किया।
सबसे अच्छी बात? रोबोट ने उत्तर देने की अपनी समग्र क्षमता में बहुत अधिक कमी नहीं की। उसने बस तब तथ्य बनाना बंद कर दिया जब वह अटक गया था।

पेपर दिखाता है कि यह विधि इन विशिष्ट परीक्षणों में बहुत अच्छी तरह से काम करती है, लेकिन लेखक सावधानी बरतते हुए कहते हैं कि उन्होंने अभी तक हर प्रकार के रोबोट या हर प्रकार के प्रश्न का परीक्षण नहीं किया है। वे यह भी नोट करते हैं कि वर्तमान में "कौरेज" डायल को मनुष्यों द्वारा ट्यून करने की आवश्यकता होती है, हालांकि वे भविष्य में इसे स्वचालित बनाने की आशा करते हैं।

संक्षेप में, AWA-RL एआई को एक आत्मविश्वासी विशेषज्ञ बनने के लिए सिखाता है जो अपनी सीमाओं को जानता है, न कि एक ऐसे सर्वज्ञ (know-it-all) के रूप में जो बातें बनाता है। यह उन एआई एजेंटों की ओर एक कदम है जो न केवल स्मार्ट हैं, बल्कि भरोसेमंद भी हैं।

तकनीकी सारांश: उत्तर देना या परहेज करना: एब्स्टेंशन-अवेयर रीइन्फोर्समेंट लर्निंगिंग के माध्यम से सर्च-एजेंट हैलुसिनेशन को कम करना

समस्या विवरण

सर्च टूल्स और आउटकम-रिवॉर्ड रीइन्फोर्समेंट लर्निंग (RL) से लैस करने वाले हालिया विकास ने ओपन-डोमेन क्वेश्चन आंसरिंग (QA) में अत्याधुनिक परिणाम प्राप्त किए हैं। हालांकि, वर्तमान प्रशिक्षण प्रतिमानों में एक गंभीर भेद्यता है: वे मुख्य रूप से सही उत्तरों को पुरस्कृत करते हैं लेकिन जब रिट्रीवल विफल हो जाता है तो मनगढ़ंत उत्तरों के लिए दंडित करने में विफल रहते हैं। फलस्वरूप, जब एक एजेंट अपनी क्षमता की सीमाओं से परे प्रश्नों का सामना करता है या पर्याप्त साक्ष्य खोजने में विफल रहता है, तो वह सुरक्षित रूप से परहेज करने के बजाय मनगढ़ंत उत्तर बनाने की प्रवृत्ति रखता है। यह "ओवर-आंसवरिंग" (अधिक उत्तर देने की) घटना हैलुसिनेशन को बढ़ा देती है।

परहेज (abstention) सीखने वाले मौजूदा दृष्टिकोण तीन प्रमुख सीमाओं से ग्रस्त हैं:

मेल न खाने वाले परिदृश्य (Mismatched Scenarios): वे सिंगल-टर्न QA के बजाय मल्टी-टर्न एजेंटिक सेटिंग्स पर ध्यान केंद्रित करते हैं जहाँ टूल के उपयोग के आधार पर क्षमता की सीमाएं गतिशील रूप से बदलती हैं।
क्षमता का क्षरण (Capability Degradation): अधिकांश पोस्ट-हॉक पाइपलाइन प्रशिक्षण (पहले क्षमता के लिए प्रशिक्षण, फिर परहेज के लिए ट्यूनिंग) का उपयोग करते हैं, जो मॉडल की मूल खोज और तर्क क्षमताओं से समझौता करता है।
अनुमानी नियमों (Heuristics) पर निर्भरता: वे अन-आंसर करने योग्य डेटासेट्स को संश्लेषित करने पर निर्भर हैं, जो मानवीय अनुमानी नियमों को पेश करते हैं जो विभिन्न अंतर्निहित क्षमताओं वाले मॉडलों में सामान्यीकरण करने में विफल रहते हैं।

कार्यप्रणाली: AWA-RL

लेखक एब्स्टेंशन-अवेयर रीइन्फोर्समेंट लर्निंगिंग (AWA-RL) का प्रस्ताव करते हैं, जो क्षमता और विश्वसनीयता को संतुलित करने के लिए एब्स्टेंशन रिवॉर्ड को गतिशील रूप से आकार देता है। मूल अंतर्ज्ञान यह है कि परहेज करने का प्रोत्साहन एक सार्वभौमिक स्थिरांक नहीं होना चाहिए, बल्कि प्रत्येक विशिष्ट प्रश्न के लिए मॉडल की अंतर्निहित समस्या-समाधान क्षमता के अनुसार गतिशील रूप से कैलिब्रेट किया जाना चाहिए।

मुख्य घटक

क्वेरी-अवेयर बेस रिवॉर्ड ( $R_{base}$ ):
- RL प्रशिक्षण से पहले, प्रत्येक क्वेरी के लिए अनुमानित शुद्धता प्रायिकता ( $p_i$ ) की गणना करने के लिए एक मानक चेकपॉइंट का मूल्यांकन करके मॉडल की बेसलाइन क्षमता का आकलन किया जाता है।
- समयपूर्व परहेज को रोकने के लिए, एक लोअर बाउंड क्लिप ( $p_{clip}$ ) लागू किया जाता है।
- मॉडल के "लेजी रिफ्यूजल" (खोजने के बजाय मना करने को प्राथमिकता देना) के स्वाभाविक पूर्वाग्रह का मुकाबला करने के लिए, एक नॉन-लीनियर ट्रांसफॉर्मेशन लागू किया जाता है: $p^*_i = (p_{clip})^\gamma$ । यहाँ, $\gamma \in (0, 1]$ एक "करेज" (साहस) फैक्टर है जो मॉडल के आत्मविश्वास को स्केल करता है।
- बेस रिफ्यूसल रिवॉर्ड को $R_{base}(q_i) = 1 - p^*_i$ के रूप में परिभाषित किया गया है। यह एक सैद्धांतिक संतुलन बनाता है जहाँ, उच्च अनुमानित क्षमता वाले प्रश्नों के लिए, उत्तर देने का अपेक्षित रिवॉर्ड, मना करने के रिवॉर्ड से अधिक होता है।
डायनामिक पेनल्टी ( $P(E_t)$ ):
- RL चरण के दौरान, अनुभवजन्य (empirical) रिफ्यूसल रेट सैद्धांतिक अपेक्षाओं से विचलित हो सकता है। ओवर- या अंडर-रिफ्यूजल को ठीक करने के लिए एक बैच-लेवल डायनामिक पेनल्टी पेश की जाती है।
- एक्स्ट्रा रिफ्यूसल रेट ( $E_t$ ) की गणना अनुभवजन्य औसत रिफ्यूसल रेट और अपेक्षित बैच-लेवल रेट के बीच विचलन के आधार पर की जाती है।
- एक पीसवाइज पेनल्टी फंक्शन वास्तविक समय में अंतिम रिफ्यूसल रिवॉर्ड ( $r_{ref}$ ) को समायोजित करता है। गंभीर ओवर-रिफ्यूजल रिवॉर्ड को नकारात्मक मानों की ओर धकेलता है (मना करने को दंडित करना), जबकि गंभीर अंडर-रिफ्यूजल इसे सकारात्मक मानों की ओर धकेलता है (परहेज को प्रोत्साहित करना)।
कंपोजिट ऑब्जेक्टिव:
- फ्रेमवर्क ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करता है।
- स्पार्स आउटकम रिवॉर्ड (सही/गलत/परहेज) के अलावा, लेखक एक सघन साइटेशन रिवॉर्ड पेश करते हैं जिसका मूल्यांकन एक बाहरी LLM जज द्वारा किया जाता है। यह रिवॉर्ड साइटेशन कवरेज और रेडंडेंसी का आकलन करता है, जो मल्टी-हॉप सर्च और रीजनिंग कौशल को मजबूत करने के लिए ग्रैनुलर फीडबैक प्रदान करता है, बिना प्राथमिक लक्ष्य (उत्तर बनाम परहेज के बीच संतुलन) से समझौता किए।

मुख्य योगदान

डायनामिक रिवॉर्ड शेपिंग: स्टेटिक रिफ्यूसल रिवॉर्ड या डेटा हेरफेर के विपरीत, AWA-RL अपने रिफ्यूसल रिवॉर्ड को क्वेरी-विशिष्ट पूर्व क्षमताओं से जोड़ता है, जिससे अधिक विश्वसनीय एजेंटों के लिए एक मजबूत और स्केलेबल मार्ग प्रशस्त होता है।
"करेज" फैक्टर ( $\gamma$ ): लेखक एक एकल, व्याख्या योग्य हाइपरपैरामीटर पेश करते हैं जो कॉन्फिडेंस के नॉन-लीनियर मैपिंग को नियंत्रित करता है। अनुभवजन्य परिणाम दिखाते हैं कि यह फैक्टर अत्यधिक प्रतिक्रियाशील और ट्यून करने में आसान है, जो क्षमता प्राप्ति को एब्स्टेंशन कैलिब्रेशन से प्रभावी रूप से अलग करता है।
RA-F1 मेट्रिक: एक नया मेट्रिक, रिलायबिलिटी-अवेयर F1 (RA-F1), पेश किया गया है जो प्रिसिजन (उत्तर देते समय शुद्धता) और एक्यूरेसी (समग्र उपयोगिता) के बीच के ट्रेड-ऑफ को मापने के लिए है। यह आत्मविश्वास से उत्तर देने और सुरक्षित रूप से परहेज करने के बीच इष्टतम संतुलन के समग्र संकेतक के रूप में कार्य करता है।
स्टेबलाइजेशन तकनीकें: पेपर में EMA स्मूथिंग और पेनल्टी के स्टेप-वाइज क्वांटाइजेशन जैसे तंत्रों का विवरण दिया गया है ताकि ट्रेनिंग के दौरान रिवॉर्ड हैकिंग और पॉलिसी कोलैप्स को रोका जा सके।

प्रयोगात्मक परिणाम

लेखकों ने Qwen2.5-7B-Instruct को बेस मॉडल के रूप में उपयोग करते हुए तीन मल्टी-हॉप QA बेंचमार्क्स: HotpotQA, 2WikiMultiHopQA, और MuSiQue पर AWA-RL का मूल्यांकन किया।

प्रदर्शन लाभ: नॉन-एब्स्टेनिंग बेसलाइन्स की तुलना में, AWA-RL ने एब्सोल्यूट प्रिसिजन को 10.3% तक बढ़ाया और समग्र RA-F1 में 2.9% का सुधार किया (एब्स्ट्रैक्ट में 5.2% सुधार का विशेष उल्लेख है, हालांकि मुख्य टेक्स्ट सारांश में 2.9% का लाभ बताया गया है)।
ट्रेड-ऑफ प्रबंधन: इस पद्धति ने केवल मामूली शुद्ध एक्यूरेसी के त्याग के साथ ये लाभ प्राप्त किए। उदाहरण के लिए, कोल्ड-स्टार्ट सेटिंग में, AWA-RL ने 0.585 का स्टेट-ऑफ-द-आर्ट RA-F1 प्राप्त किया, जिससे प्रिसिजन 0.559 से बढ़कर 0.662 हो गई, जबकि एक्यूरेसी केवल 0.552 से घटकर 0.529 हुई।
बेसलाइन्स की विफलता: पारंपरिक बेसलाइन्स विश्वसनीय सीमाएं स्थापित करने में विफल रहे। स्टैटिक रिफ्यूसल रिवॉर्ड्स ने विनाशकारी "रिवॉर्ड हैकिंग" (जैसे, न्यूनतम रिवॉर्ड परिवर्तन के साथ 99.9% रिफ्यूसल दर) को ट्रिगर किया, जबकि डेटा मैनिपुलेशन (अन-आंसर करने योग्य प्रश्नों को डालना) ने अप्रत्याशित व्यवहार या "लेजी रिफ्यूजल" कोलैप्स की ओर ले जाने वाली स्थितियाँ पैदा कीं।
ट्रेनिंग डायनेमिक्स: AWA-RL ने उल्लेखनीय रूप से स्थिर ट्रेनिंग डायनेमिक्स प्रदर्शित किए, जहाँ बैच-लेवल रिफ्यूसल रेट "करेज" फैक्टर के अनुरूप विशिष्ट प्लेटो (plateaus) तक सुचारू रूप से अभिसरित (converge) हुआ, जिससे अन्य विधियों में देखी गई अस्थिरता से बचा जा सका।

महत्व और दावे

पेपर का दावा है कि AWA-RL वास्तविक रूप से विश्वसनीय सर्च एजेंटों की ओर एक मजबूत और स्केलेबल मार्ग प्रदान करता है। एजेंटों को उनकी क्षमता की सीमाओं को पहचानने और बिना आधार वाले उत्तरों से सुरक्षित रूप से परहेज करने के लिए स्पष्ट रूप से प्रशिक्षित करके, यह फ्रेमवर्क क्षमता-विश्वसनीयता के महत्वपूर्ण ट्रेड-ऑफ को संबोधित करता है।

लेखक जोर देते हैं कि उनका दृष्टिकोण निम्नलिखित द्वारा पिछले कार्यों की सीमाओं को सफलतापूर्वक हल करता है:

एब्स्टेंशन को RL प्रक्रिया में सीधे एकीकृत करना, न कि इसे एक पोस्ट-हॉक पैच के रूप में मानना।
स्टैटिक बोनस के बजाय अनुमानित पूर्व क्षमता से जुड़े डायनामिकली शेप्ड रिफ्यूसल रिवॉर्ड का उपयोग करना।
"लेजी रिफ्यूजल" में ढलने से बचने के लिए एक स्पष्ट जनरेशन-एन्करेजमेंट टर्म जोड़ना।

यह कार्य हैलुसिनेशन और अत्यधिक आत्मविश्वासी तथ्यात्मक त्रुटियों के जोखिमों को कम करके, LLM एजेंटों के लिए विश्वसनीय AI को तैनात करने की दिशा में एक महत्वपूर्ण कदम है। लेखक परीक्षण किए गए मॉडल्स के स्केल (वर्तमान में Qwen2.5-7B) और "करेज" फैक्टर पर निर्भरता के संबंध में सीमाओं को स्वीकार करते हैं, और उल्लेख करते हैं कि भविष्य के कार्य इस कॉन्फिडेंस मैपिंग को ऑटो-कैलिब्रेट करने वाले एडेप्टिव मैकेनिज्म की खोज करेंगे।