Entropic Claim Resolution: Uncertainty-Driven Evidence Selection for RAG
यह शोध पत्र एंट्रोपिक क्लेम रेज़ोल्यूशन (ECR) प्रस्तुत करता है, जो एक नवीन इन्फरेंस-टाइम एल्गोरिदम है जो अपेक्षित एंट्रोपी न्यूनीकरण (Expected Entropy Reduction) को अधिकतम करने के लिए साक्ष्य को गतिशील रूप से चुनकर रिट्रीवल-ऑगमेंटेड जनरेशन सिस्टम को उन्नत करता है, जिससे रिट्रीवल प्रतिमान को विरोधाभासी या संदिग्ध प्रश्नों को हल करने के लिए सिमेंटिक प्रासंगिकता से बदलकर विभेदक अनिश्चितता न्यूनीकरण की ओर स्थानांतरित किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपके पास सुरागों (दस्तावेजों) का एक बड़ा डिब्बा है और संदिग्धों (संभावित उत्तरों) की एक सूची है।
पुराना तरीका (स्टैंडर्ड RAG):
वर्तमान AI सिस्टम ज्यादातर एक ऐसे जासूस की तरह काम करते हैं जो केवल उन पहले 5 सुरागों को उठा लेते हैं जो अपराध स्थल की फोटो से सबसे अधिक मिलते-जुलते दिखते हैं। यदि फोटो में एक लाल कार है, तो AI "लाल" या "कार" का उल्लेख करने वाले सभी सुराग उठा लेता है।
- समस्या: कभी-कभी, सुराग उसी लाल कार के बारे में होते हैं, लेकिन वे यह नहीं बताते कि उसे किसने चलाया। या इससे भी बुरा, एक सुराग कहता है "जॉन ने लाल कार चलाई," और दूसरा कहता है "मैरी ने लाल कार चलाई।" यदि AI केवल "सबसे मिलते-जुलते" सुराग उठाता है, तो वह जॉन के बारे में 5 सुराग उठा सकता है और मैरी के बारे में सुरागों को अनदेखा कर सकता है, जिससे वह गलत संदिग्ध का आत्मविश्वास से अनुमान लगा सकता है। यह किताब के एक ही पन्ने को पांच बार पढ़ने जैसा है और यह सोचना कि आपको पूरी कहानी पता चल गई है।
नया तरीका (एंट्रोपिक क्लेम रेज़ोल्यूशन - ECR):
यह पेपर एक नई जासूसी रणनीति पेश करता है जिसे एंट्रोपिक क्लेम रेज़ोल्यूशन (ECR) कहा जाता है। समानता के आधार पर सुराग खोजने के बजाय, यह जासूस इस आधार पर सुराग पकड़ता है कि वे कितना भ्रम कम करते हैं।
यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:
1. "कन्फ्यूजन मीटर" (एंट्रॉपी)
कल्पना कीजिए कि आपका मन एक धुंधला कमरा है। हर बार जब आपके मन में कोई सवाल आता है, तो कमरा धुंध (अनिश्चितता) से भरा होता है।
- स्टैंडर्ड AI: केवल धुंध के रंग से मेल खाने वाले सुरागों को देखता है।
- ECR: इसके पास एक विशेष "कन्फ्यूजन मीटर" है। इसका एकमात्र लक्ष्य धुंध को जितनी जल्दी हो सके साफ करना है। यह पूछता है: "कौन सा एक सुराग, जिसे मैं अभी पढ़ लूँ, सबसे अधिक धुंध साफ कर देगा?"
2. "टिपिंग पॉइंट" रणनीति (एक्सपेक्टेड एंट्रॉपी रिडक्शन)
मान लीजिए कि आपके पास तीन संदिग्ध हैं: एलिस, बॉब और चार्ली।
- सुराग A: "एलिस को पिज्जा पसंद है।" (इससे ज्यादा मदद नहीं मिलती; तीनों को पिज्जा पसंद है। यह बहुत अधिक धुंध साफ नहीं करता।)
- सुराग B: "बॉब को घटनास्थल पर देखा गया था।" (यह कुछ धुंध साफ करता है; एलिस और चार्ली की संभावना कम हो जाती है।)
- सुराग C: "चार्ली दूसरे देश में था।" (यह बहुत अधिक धुंध साफ करता है! यह तुरंत चार्ली को बाहर कर देता है।)
ECR इतना स्मार्ट है कि वह जानता है कि सुराग C सबसे मूल्यवान है, भले ही वह आपके प्रश्न जैसा बिल्कुल न सुनाई दे। यह उस सुराग को चुनता है जो संभावनाओं को सबसे अधिक विभाजित करता है। यह "20 सवाल" खेलने जैसा है जहाँ आप हमेशा वह सवाल पूछते हैं जो शेष संभावनाओं को आधा कर देता है, बजाय इसके कि आप पूछें "क्या यह एक कुत्ता है?" जब आप पहले से ही जानते हैं कि यह एक वाहन है।
3. "स्टॉप साइन" (एपिस्टेमिक सफिशिएंसी)
ज्यादातर AI तब तक पढ़ते रहते हैं जब तक कि उनके पास समय खत्म न हो जाए या शब्द सीमा समाप्त न हो जाए। ECR के पास एक गणितीय स्टॉप साइन होता है।
- यह "कन्फ्यूजन मीटर" की जांच करता रहता है।
- जैसे ही धुंध पर्याप्त रूप से कम हो जाती है (मीटर एक कम संख्या पर पहुँच जाता है), यह कहता है, "रुक जाओ! हम काफी जान गए हैं। चलिए उत्तर देते हैं।"
- यदि मीटर उच्च बना रहता है क्योंकि सुराग विरोधाभासी हैं (जैसे, एक कहता है "यह एलिस थी," दूसरा कहता है "यह निश्चित रूप से एलिस नहीं थी"), तो ECR रुक जाता है और कहता है, "मैं इसे हल नहीं कर सकता। सुराग एक-दूसरे से लड़ रहे हैं। मैं आपको बताऊंगा कि मैं भ्रमित हूँ।" यह बेतहाशा अनुमान लगाने से इनकार कर देता है।
4. "ट्रुथ डिटेक्टिव" (क्लेम वेरिफिकेशन)
पूरे पैराग्राफ पढ़ने के बजाय, ECR टेक्स्ट को छोटे, परमाणु तथ्यों (क्लेम) में तोड़ देता है।
- यह हर वाक्य को एक छोटे तथ्य-जांचकर्ता (fact-checker) की तरह मानता है।
- यह एक "सत्य का जाल" बनाता है। यदि कोई नया सुराग किसी संदिग्ध का समर्थन करता है, तो उस संदिग्ध को एक अंक मिलता है। यदि कोई सुराग उसका खंडन करता है, तो वह अंक खो देता है।
- यह अंक जोड़ता रहता है जब तक कि एक संदिग्ध के पास इतने अंक न हो जाएं कि दूसरे उसे पकड़ न सकें।
यह क्यों मायने रखता है?
वास्तविक दुनिया में (जैसे अस्पतालों, अदालतों या बैंकों में), "काफी हद तक सही" होना पर्याप्त नहीं है।
- पुराना AI: गलत मेडिकल डायग्नोसिस के साथ आत्मविश्वास से उत्तर दे सकता है क्योंकि उसे समान दिखने वाले कुछ लेख मिल गए थे।
- ECR: यह महसूस करेगा कि सबूत विरोधाभासी हैं, प्रक्रिया को रोक देगा, और डॉक्टर को बताएगा, "साक्ष्य मिश्रित हैं; मैं निश्चित नहीं हो सकता।" यह खतरनाक कल्पनाओं (hallucinations) को रोकता है।
"मैजिक" सारांश
ECR को एक सुपर-कुशल लाइब्रेरियन के रूप में सोचें जो केवल आपको वे किताबें नहीं थमाती जिनके शीर्षक सबसे मिलते-जुलते हैं। इसके बजाय, वह आपसे पूछती है: "कौन सी किताब आपको विषय को सबसे तेज़ी से समझने में मदद करेगी?"
- वह उस किताब को चुनती है जो सबसे अधिक भ्रम दूर करती है।
- जैसे ही आप विषय को समझ जाते हैं, वह पढ़ना बंद कर देती है।
- यदि किताबें एक-दूसरे का खंडन करती हैं, तो वह स्वीकार करती है, "मैं निर्णय नहीं ले सकती," बजाय इसके कि वह कोई कहानी बना ले।
यह पेपर साबित करता है कि केवल समानता खोजने के बजाय भ्रम को कम करने पर ध्यान केंद्रित करके, हम ऐसे AI बना सकते हैं जो अधिक स्मार्ट, सुरक्षित और इस बात के प्रति ईमानदार है कि वे क्या जानते हैं और क्या नहीं जानते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।