Explicit Evidence Grounding via Structured Inline Citation Generation
यह शोध पत्र FullCite प्रस्तुत करता है, जो एक ऐसा ढांचा है जो दावों को विशिष्ट साक्ष्य स्पैन (evidence spans) से जोड़ने वाले संरचित इनलाइन उद्धरण उत्पन्न करता है, और तीन बेंचमार्क पर मूल्यांकन के माध्यम से यह प्रदर्शित करता है कि जहाँ बड़े भाषा मॉडल प्रासंगिक दस्तावेजों की प्रभावी ढंग से पहचान करते हैं, वहीं वे सटीक साक्ष्य स्पैन की पहचान करने में संघर्ष करते हैं, जो निष्ठावान एट्रिब्यूटेड क्यूए (faithful attributed QA) में भविष्य के अनुसंधान के लिए एक प्रमुख क्षेत्र को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (एक AI) से एक सवाल पूछ रहे हैं। अतीत में, यह लाइब्रेरियन आपको बस एक उत्तर दे देता। यदि आपने पूछा होता, "प्राइड एंड प्रेजुडिस किसने लिखी थी?", तो वह कहता, "जेन ऑस्टेन।" लेकिन वह आपको किताब नहीं दिखाता, और आपको उनके शब्दों पर विश्वास करना पड़ता।
कभी-कभी, लाइब्रेरियन आत्मविश्वासी हो सकता है लेकिन गलत हो सकता है, या वह अपनी याददाश्त के तथ्यों को उन किताबों के तथ्यों के साथ मिला सकता है जो उसने वर्षों पहले पढ़ी थीं। उच्च-जोखिम वाली स्थितियों में—जैसे चिकित्सा सलाह या कानूनी तथ्यों के लिए—आपको यह जानने की आवश्यकता है कि उस लाइब्रेरियन को वह जानकारी कहाँ से मिली।
यह शोध पत्र FullCite नामक एक नई प्रणाली पेश करता है। FullCite को एक बहुत ही सख्त लाइब्रेरियन के रूप में सोचें जो आपको केवल उत्तर नहीं देता; बल्कि उसे उत्तर और उस सटीक पृष्ठ भी हाथ में थमाता है जिसका उपयोग उसने उत्तर खोजने के लिए किया था।
यहाँ यह शोध पत्र इसे सरल उपमाओं का उपयोग करके कैसे समझाता है:
समस्या: "अस्पष्ट संदर्भ" वाला लाइब्रेरियन
आज के अधिकांश AI सिस्टम एक ऐसे लाइब्रेरियन की तरह हैं जो कहता है, "मैंने यह इतिहास की एक किताब में पढ़ा है," लेकिन वह यह नहीं बताता कि वह कौन सी किताब है, और यह भी नहीं कि कौन सा पन्ना है।
- दस्तावेज़-स्तर का उद्धरण (Document-level citation): यह लाइब्रेरी की पूरी शेल्फ की ओर इशारा करने जैसा है और कहना कि, "उत्तर इन किताबों में से एक में है।" यह मददगार है, लेकिन यह अभी भी अस्पष्ट है।
- साक्ष्य-स्तर का उद्धरण (Evidence-level citation): यह सटीक पृष्ठ पर सटीक वाक्य की ओर इशारा करने जैसा है। यही वह चीज़ है जिसे हम वास्तव में चाहते हैं, लेकिन AI के लिए ऐसा करना बहुत कठिन है।
समाधान: FullCite
शोधकर्ताओं ने FullCite नामक एक फ्रेमवर्क बनाया जो AI को एक साथ दो चीजें करने के लिए मजबूर करता है:
- विशिष्ट दस्तावेज़ (किताब) का नाम बताना।
- पाठ के उस सटीक अंश (वाक्य) को उद्धत (quote) करना जो उत्तर का समर्थन करता है।
उन्होंने AI को यह करने के लिए तीन अलग-अलग तरीकों का परीक्षण किया:
- "बस पूछने" का तरीका (प्रॉम्प्ट-आधारित): उन्होंने बस AI को बताया, "कृपया टेक्स्ट को उद्धत करें।" AI अपनी पूरी कोशिश करता है, लेकिन कभी-कभी वह आलसी हो जाता है या उद्धरण बना लेता है।
- "सख्त नियम पुस्तिका" का तरीका (प्रतिबंधित डिकोडिंग): उन्होंने AI को एक पिंजरे में डाल दिया जहाँ वह केवल उन्हीं शब्दों को टाइप कर सकता है जो एक विशिष्ट पैटर्न में फिट बैठते हैं। यह AI को एक 'फिल-इन-द-ब्लैंक' फॉर्म देने जैसा है जहाँ वह कुछ भी ऐसा नहीं लिख सकता जो स्रोत पाठ की सटीक प्रतिलिपि न हो। यह बहुत सटीक है लेकिन कठोर हो सकता है; यदि AI लड़खड़ाता है, तो उसे फिर से शुरू करना पड़ता है।
- "बाद में ठीक करने" का तरीका (पोस्टहॉक): AI पहले उत्तर लिखता है और फिर उद्धरण का अनुमान लगाता है। फिर, दूसरा चरण वापस जाता है और AI के अनुमान को बदलने के लिए मूल दस्तावेजों में सबसे करीबी मिलान वाला टेक्स्ट खोजता है। यह सबसे सफल दृष्टिकोण साबित हुआ।
उन्होंने क्या पाया (परिणाम)
शोधकर्ताओं ने तीन अलग-अलग प्रकार के प्रश्नों पर इसका परीक्षण किया: चिकित्सा (BioASQ), सामान्य तथ्य (ASQA), और विशेषज्ञ ज्ञान (ExpertQA)।
- किताब ढूँढना आसान है, पन्ना ढूँढना कठिन है: AI वास्तव में सही "किताब" (दस्तावेज़) चुनने में काफी अच्छा है। हालाँकि, वह सटीक "वाक्य" (साक्ष्य स्पैन) खोजने में संघर्ष करता है। यह ऐसा है जैसे लाइब्रेरियन जानता है कि उत्तर हैरी पॉटर में है, लेकिन वह सॉर्टिंग हैट के बारे में विशिष्ट पैराग्राफ नहीं ढूँढ पा रहा है।
- "बाद में ठीक करने" वाला तरीका जीतता है: "बाद में ठीक करने" वाला तरीका (Posthoc) सबसे सफल रहा। इसने एक परीक्षण में AI की सटीक वाक्य खोजने की क्षमता को 12% के निम्न स्कोर से सुधारकर 61% तक पहुँचा दिया।
- "पहला पन्ना" पूर्वाग्रह: शोधकर्ताओं ने एक अजीब आदत देखी। जब AI के पास पाँच किताबें चुनने का विकल्प होता है, तो वह लगभग हमेशा पहली दो को ही चुनता है और बाकी को अनदेखा कर देता है। यह एक ऐसे छात्र की तरह है जो पाठ्यपुस्तक के पहले दो अध्यायों को पढ़ता है और मान लेता है कि वह पूरे विषय को जानता है। इसे "बीच में खो जाने" (lost-in-the-middle) की घटना कहा जाता है।
- हाँ/नहीं वाले प्रश्न पेचीदा हैं: जब "हाँ या ना" वाले सरल प्रश्न पूछे जाते हैं, तो AI अक्सर उद्धरण छोड़ देता है और बस "हाँ" या "नहीं" कह देता है। यह AI को स्मार्ट दिखाता है (क्योंकि वह सही है), लेकिन वास्तव में वह धोखाधड़ी कर रहा है क्योंकि उसने अपना काम नहीं दिखाया।
एक बड़ा समझौता (Trade-off)
यह शोध पत्र एक पेचीदा संतुलन को उजागर करता है। जब AI सटीक वाक्य (साक्ष्य) खोजने में बेहतर होता है, तो यह कभी-कभी उत्तर के अर्थ के साथ कितनी अच्छी तरह मेल खाता है, इसके मामले में थोड़ा कम "वफादार" हो जाता है। यह एक ऐसे सटीक उद्धरण को खोजने जैसा है जो तकनीकी रूप से सही है लेकिन थोड़ा संदर्भ से बाहर लगता है। हालाँकि, FullCite सिस्टम अन्य तरीकों की तुलना में इस संतुलन को बेहतर ढंग से बनाए रखता है।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि जबकि AI सही स्रोतों को खोजने में अच्छा हो रहा है, उसे अभी भी उन स्रोतों के भीतर सटीक प्रमाण खोजने में मदद की आवश्यकता है। FullCite एक कदम आगे है क्योंकि यह AI को हर दावे को एक विशिष्ट वाक्य से जोड़कर अपना काम दिखाने के लिए मजबूर करता है, जिससे AI अधिक ईमानदार और पारदर्शी बनता है।
महत्वपूर्ण नोट: शोध पत्र यह दावा नहीं करता कि यह प्रणाली अस्पतालों या अदालतों के लिए तैयार है। यह एक शोध अध्ययन है जो दिखाता है कि हमें AI को वास्तव में भरोसेमंद बनाने के लिए केवल सही दस्तावेज़ ही नहीं, बल्कि सटीक साक्ष्य ढूँढने के लिए सिखाने पर ध्यान केंद्रित करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।