ERA: Evidence-based Reliability Alignment for Honest Retrieval-Augmented Generation
यह शोध पत्र ERA प्रस्तुत करता है, जो एक ऐसा ढांचा है जो डिरिचलेट मॉडलिंग (Dirichlet modeling) और डेम्पस्टर-शेफर थ्योरी (Dempster-Shafer Theory) का उपयोग करके स्केलर कॉन्फिडेंस के स्थान पर साक्ष्य-आधारित वितरणों (evidence-based distributions) के माध्यम से रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) प्रणालियों की विश्वसनीयता को बढ़ाता है, ताकि एपिस्टेमिक अनिश्चितता (epistemic uncertainty) और डेटा अस्पष्टता (data ambiguity) के बीच स्पष्ट रूप से अंतर किया जा सके, जिससे ज्ञान संबंधी संघर्षों की उपस्थिति में उत्तर कवरेज और परहेज (abstention) के बीच के संतुलन में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत बुद्धिमान, विद्वान मित्र (AI) है जो आपके सवालों के जवाब देने में माहिर है। लेकिन इस मित्र के पास चीजों को जानने के दो अलग-अलग तरीके हैं:
- मेमोरी बैंक (The Memory Bank): वह सब कुछ जो उन्होंने अपने बचपन के प्रशिक्षण (उनके आंतरिक ज्ञान) के दौरान याद किया था।
- लाइब्रेरी (The Library): समाचार पत्रों और किताबों का एक ढेर जो आपने अभी उन्हें थमाया है (प्राप्त जानकारी)।
आमतौर पर, ये दोनों स्रोत एकमत होते हैं। लेकिन कभी-कभी, वे आपस में असहमत होते हैं। शायद आपका मित्र याद करता है कि "ऑस्ट्रेलिया की राजधानी सिडनी है" (जो कि गलत है), लेकिन समाचार पत्र जो आपने उन्हें दिया है, कहता है "राजधानी कैनबरा है।"
समस्या: अति-आत्मविश्वासी मित्र (The Overconfident Friend)
वर्तमान AI सिस्टम उस मित्र की तरह हैं जो बहुत अधिक आत्मविश्वासी है। भले ही समाचार पत्र "कैनबरा" कह रहा हो, यदि उनका मेमोरी बैंक "सिडनी" चिल्ला रहा है, तो वे भ्रमित हो सकते हैं, या इससे भी बुरा, वे अपनी गलत याददाश्त पर अड़े रह सकते हैं और आपसे झूठ बोल सकते हैं। या, वे इस संघर्ष से इतने भ्रमित हो सकते हैं कि वे कुछ भी बताने से इनकार कर दें, जबकि उन्हें उत्तर देना चाहिए था।
मौजूदा तरीके इसे ठीक करने की कोशिश करते हैं, जैसे AI से पूछना, "आप कितने सुनिश्चित हैं?" और उसे एक एकल संख्या (जैसे 85% आत्मविश्वास) देना। लेकिन एक एकल संख्या एक धुंधली तस्वीर की तरह है; यह अंतर नहीं बता सकती कि:
- "मुझे नहीं पता क्योंकि मैंने पहले कभी ऐसा कुछ नहीं देखा" (वास्तविक अज्ञानता)।
- "मैं भ्रमित हूँ क्योंकि मेरी याददाश्त और समाचार पत्र आपस में लड़ रहे हैं" (संघर्ष)।
समाधान: ERA ("साक्ष्य जासूस" - The Evidence Detective)
यह शोध पत्र एक नया सिस्टम पेश करता है जिसे ERA (एविडेंस-बेस्ड रिलायबिलिटी अलाइनमेंट) कहा जाता है। केवल एक विश्वास स्कोर (confidence score) मांगने के बजाय, ERA एक जासूस की तरह काम करता है जो साक्ष्य को दो ढेरों में अलग करता है और विरोधाकारों की जांच करता है।
ERA कैसे काम करता है, इसे एक सरल उपमा से समझते हैं:
1. दो सिरों वाला जासूस (संदर्भगत साक्ष्य परिमाणीकरण - Contextual Evidence Quantification)
केवल एक मस्तिष्क के बजाय, ERA AI को दो "सिर" (या दृष्टिकोण) देता है:
- सिर A (स्मृति/मेमोरी): केवल उस जानकारी का उपयोग करके प्रश्न को देखता है जो AI पहले से जानता है।
- सिर B (लाइब्रेरी): केवल उन नए दस्तावेजों का उपयोग करके प्रश्न को देखता है जो आपने प्रदान किए हैं।
केवल "मैं 80% निश्चित हूँ" कहने के बजाय, ये सिर कहते हैं, "मेरे पास साक्ष्य की मात्रा कितनी है।"
- यदि सिर A के पास "सिडनी" के लिए सबूतों का पहाड़ है और सिर B के पास "कैनबरा" के लिए सबूतों का पहाड़ है, तो ERA बड़े पैमाने पर विरोधाभासी साक्ष्य देखता है।
- यदि सिर A के पास कोई साक्ष्य नहीं है और सिर B के पास सबूतों का पहाड़ है, तो ERA एक स्पष्ट संकेत देखता है कि लाइब्रेरी पर भरोसा किया जाए।
2. संघर्ष मीटर (ज्ञान संघर्ष का परिमाणीकरण - Quantifying Knowledge Conflict)
ERA दोनों सिरों के बीच के घर्षण (friction) को मापने के लिए एक विशेष गणितीय उपकरण (जिसे डेम्पस्टर-शेफर थ्योरी कहा जाता है) का उपयोग करता है।
- कम घर्षण: दोनों सिर सहमत हैं, या एक शांत है। -> उत्तर देने के लिए सुरक्षित।
- उच्च घर्षण: दोनों सिर अलग-अलग उत्तरों के साथ जोर-जोर से चिल्ला रहे हैं और उनके पास पुख्ता सबूत हैं। -> खतरा! मतिभ्रम (Hallucination) का जोखिम!
इसे रस्साकशी की तरह समझें। यदि दोनों टीमें विपरीत दिशाओं में जोर से खींच रही हैं, तो रस्सी (AI का उत्तर) टूटने ही वाली है। ERA इस तनाव को पहचान लेता है और जानता है कि, "हे! हम अभी किसी भी पक्ष पर भरोसा नहीं कर सकते; हमें रुकना होगा।"
3. स्मार्ट पॉज बटन (अनिश्चितता-जागरूक परहेज - Uncertainty-Aware Abstention)
यह सबसे महत्वपूर्ण हिस्सा है। जब ERA उच्च घर्षण (संघर्ष) या पूर्ण सन्नाटा (कोई साक्ष्य नहीं) का पता लगाता है, तो यह AI को अनुमान लगाने के बजाय परहेज करने (यह कहना कि "मुझे नहीं पता") की शिक्षा देता है।
- पुराना AI: "मुझे 60% यकीन है कि यह सिडनी है!" (गलत, लेकिन आत्मविश्वासी)।
- ERA AI: "मेरी याददाश्त सिडनी कहती है, लेकिन समाचार पत्र कैनबरा कहता है। वे आपस में लड़ रहे हैं। मैं निश्चित नहीं हो सकता। मैं कहूँगा 'मुझे नहीं पता'।"
यह बहुत महत्वपूर्ण है क्योंकि गलत अनुमान लगाने से बेहतर है कि अज्ञानता स्वीकार कर ली जाए।
यह क्यों मायने रखता है
शोधकर्ताओं ने इसका परीक्षण एक "विकी इवेंट" डेटासेट पर किया (हाल की खबरों के बारे में प्रश्न जिनके लिए AI को प्रशिक्षित नहीं किया गया था)।
- पुराने तरीके अक्सर "मुझे नहीं पता" कहने के विशिष्ट तरीकों को याद कर लेते थे, इसलिए जब उन्होंने एक नया प्रकार का प्रश्न देखा, तो वे विफल हो गए और अनुमान लगाते रहे।
- ERA ने संघर्ष के तर्क को सीखा। इसने महसूस किया, "ओह, साक्ष्य आपस में लड़ रहे हैं, इसलिए मुझे रुक जाना चाहिए।" इसने इसे बिना ओवरफिटिंग (गलत पैटर्न को रटने) के, नई और अनदेखी स्थितियों को संभालने में बहुत बेहतर बनाया।
बड़ी तस्वीर (The Big Picture)
ERA खेल को "आपका आत्मविश्वास कितना है?" से बदलकर "साक्ष्य क्या कहते हैं, और क्या स्रोत सहमत हैं?" में बदल देता है।
साक्ष्य को भौतिक साक्ष्य की तरह मानकर, जिसे तौला और मापा जा सकता है, ERA एक ऐसा AI बनाता है जो:
- ईमानदार है: जब वह भ्रमित होता है, तो वह इसे स्वीकार करता है।
- विश्वसनीय है: जब तथ्य उलझे हुए होते हैं, तो वह अनुमान नहीं लगाता।
- बुद्धिमान है: वह जानता है कि अपनी याददाश्त पर कब भरोसा करना है और नई जानकारी पर कब भरोसा करना है।
संक्षेप में, ERA AI को एक आत्मविश्वासी झूठे के बजाय एक विनम्र विशेषज्ञ बनने की शिक्षा देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।