ProvenAI: Provenance-Native Traces of Evidence in Generated Answers
ProvenAI एक नया ढांचा पेश करता है जो रिट्रीवल-ऑगमेंटेड क्वेश्चन अनswering में पारदर्शिता को बढ़ाता है, इसे तीन स्वतंत्र रूप से मापने योग्य परतों—उत्तर की शुद्धता, उद्धरण निष्ठा और प्रति-दस्तावेज़ प्रभाव—में विभाजित करके, जो उद्धृत स्रोतों और वास्तव में मॉडल आउटपुट को संचालित करने वाले साक्ष्यों के बीच के महत्वपूर्ण अंतराल को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन से एक कठिन प्रश्न पूछ रहे हैं। यह करने के लिए, लाइब्रेरियन शेल्फ से दस किताबों का एक ढेर उठाता है, उन्हें पढ़ता है, और आपको एक उत्तर लिखकर देता है। अंत में, लाइब्रेरियन एक "संदर्भ" (References) सूची लिखता है, लेकिन उन दस किताबों में से केवल दो का ही उल्लेख करता है जिन्हें उसने वास्तव में पकड़ा था।
ProvenAI एक नया सिस्टम है जिसे ठीक इसी स्थिति का ऑडिट करने के लिए बनाया गया है। यह पूछता है: क्या लाइब्रेरियन ने वास्तव में उन दो किताबों का उपयोग उत्तर लिखने के लिए किया? या अन्य आठ किताबों ने बिना किसी उल्लेख के गुप्त रूप से कहानी को प्रभावित किया?
यहाँ इस पेपर के काम करने का एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है।
1. समस्या: "नकली साइटेशन" का भ्रम (The "Fake Citation" Illusion)
AI की दुनिया में, सिस्टम अक्सर यह साबित करने के लिए स्रोतों (साइटेशन) की एक सूची दिखाते हैं कि वे मनगढ़ंत बातें नहीं बना रहे हैं। लेकिन यह पेपर तर्क देता है कि एक साइटेशन सूची उस रसीद की तरह है जो शॉपिंग कार्ट से मेल नहीं खाती।
सिर्फ इसलिए कि लाइब्रेरियन कहता है कि उसने किताब A और किताब B का उपयोग किया, इसका मतलब यह नहीं है कि उन किताबों ने वास्तव में कहानी को आकार दिया।
- वास्तविकता: लाइब्रेरियन किताब C, D और E से अत्यधिक प्रभावित हो सकता था (जिनका उसने उल्लेख नहीं किया), जबकि किताब A और B को शायद ही देखा गया हो।
- अंतराल: पेपर इसे "साइटेशन-इन्फ्लुएंस गैप" (Citation-Influence Gap) कहता है। यह उस अंतर को दर्शाता है जो AI द्वारा दावा किए गए उपयोग (साइटेशन) और उस चीज़ के बीच है जिस पर AI ने वास्तव में अपना उत्तर बनाने के लिए भरोसा किया (प्रभाव/influence)।
2. समाधान: ProvenAI का तीन-स्तरीय ऑडिट
केवल यह जाँचने के बजाय कि उत्तर सही है या नहीं, ProvenAI पारदर्शिता को तीन अलग-अलग स्तरों में विभाजित करता है, जैसे कि एक कार को तीन अलग-अलग तरीकों से जाँचना:
- लेयर 1: क्या उत्तर सही है? (गंतव्य - The Destination)
- उपमा: क्या कार वास्तव में सही पते पर पहुँची?
- यह क्या जाँचता है: क्या अंतिम उत्तर ज्ञात सत्य से मेल खाता है?
- लेयर 2: क्या साइटेशन ईमानदार है? (रसीद - The Receipt)
- उपमा: क्या ड्राइवर ने वास्तव में उन गैस स्टेशनों पर रुकना शुरू किया जो उसकी रसीद पर सूचीबद्ध थे?
- यह क्या जाँचता है: क्या उन किताबों में वे तथ्य वास्तव में मौजूद हैं जिनका AI दावा करता है?
- लेयर 3: वास्तव में किस चीज़ ने बदलाव लाया? (इंजन - The Engine)
- उपमा: यदि हम कार को खोल दें और उसका एक विशिष्ट इंजन वाला हिस्सा निकाल दें, तो क्या कार अभी भी चलेगी?
- यह क्या जाँचता है: यह सबसे अनूठा हिस्सा है। सिस्टम AI के उत्तर को लेता है, किताबों के ढेर में से एक विशिष्ट किताब को हटा देता है, और AI से फिर से उत्तर लिखने के लिए कहता है। यदि उत्तर बदल जाता है, तो वह किताब प्रभावशाली (influential) थी। यदि उत्तर वही रहता है, तो वह किताब केवल "सजावट" थी।
3. "मैजिक ट्रिक" प्रयोग
शोधकर्ताओं ने इसका परीक्षण HotpotQA नामक एक प्रसिद्ध पहेली डेटासेट पर किया, जहाँ प्रश्नों के लिए कई दस्तावेजों के बीच कड़ियों को जोड़ने की आवश्यकता होती है।
- सेटअप: उन्होंने AI को 7,405 प्रश्नों पर चलाया।
- आश्चर्य: AI लगभग 53% बार सही उत्तर देता था, लेकिन वह 71% बार सही स्रोतों को उद्धृत (cite) करता था। इसका मतलब है कि AI सही तथ्यों को ढूँढने में तो अच्छा था, लेकिन अंतिम वाक्य लिखने के लिए उनका उपयोग करने में बुरा था।
- "साइटेशन-इन्फ्लुएंस गैप" केस स्टडी:
- उन्होंने दो फिल्म निर्देशकों के बारे में एक विशिष्ट प्रश्न देखा।
- AI ने दो किताबों को पूरी तरह से उद्धृत किया। "रसीद" 100% साफ थी।
- लेकिन, जब उन्होंने उन उद्धृत किताबों में से एक को हटाया, तो उत्तर नहीं बदला।
- और, जब उन्होंने उन सात अन्य किताबों को हटाया जिन्हें AI ने उद्धृत भी नहीं किया था, तो उत्तर बदल गया।
- निष्कर्ष: AI सही उत्तर पाने के लिए गुप्त रूप से उन अन-उद्धृत (uncited) किताबों पर निर्भर था, जबकि उद्धृत किताबें केवल "दिखावा" (window dressing) थीं।
4. यह क्यों महत्वपूर्ण है (बिना तकनीकी शब्दों के)
पेपर का तर्क है कि हम केवल एक स्कोर (जैसे "सटीकता/Accuracy") को देखकर AI पर भरोसा नहीं कर सकते। हमें पूरी तस्वीर देखने की आवश्यकता है:
- क्या इसने सही उत्तर दिया?
- क्या इसने सही स्रोत सूचीबद्ध किए?
- क्या उन स्रोतों ने वास्तव में मुख्य भूमिका निभाई?
यदि आप केवल #1 और #2 की जाँच करते हैं, तो आप सोच सकते हैं कि AI भरोसेमंद है। लेकिन यदि आप #3 की जाँच करते हैं, तो आपको पता चल सकता है कि AI वास्तव में उन "भूतिया" (ghost) दस्तावेजों से प्रभावित हो रहा है जिनके बारे में उसने आपको कभी नहीं बताया।
5. "ब्लैक बॉक्स" की सीमा
पेपर एक छोटी सी सीमा स्वीकार करता: प्रभाव को पूरी तरह से मापने के लिए, आपको आमतौर पर AI की आंतरिक "सोचने की प्रक्रिया" (गणितीय संभावनाओं) को देखने की आवश्यकता होती है। चूंकि उनका सिस्टम AI के मस्तिष्क के अंदर नहीं देख सका, इसलिए उन्होंने एक चतुर तरीका अपनाया: उन्होंने बस एक किताब को हटाने से पहले और बाद के अंतिम वाक्यों की तुलना की।
- उपमा: इंजन के आंतरिक दहन (combustion) को सुनने के बजाय, उन्होंने बस यह जाँच की कि एक हिस्सा हटाने पर कार अलग तरह से चली या नहीं। यह इंजन के नीचे झाँकने जितना सटीक नहीं है, लेकिन यह एक बहुत अच्छा अनुमान है।
सारांश
ProvenAI एक ऐसा टूल है जो हमें साइटेशन की एक सुंदर सूची द्वारा मूर्ख बनने से रोकता है। यह सिद्ध करता है कि AI में, जो उद्धृत किया जाता है, वह हमेशा वह नहीं होता जिसका उपयोग किया जाता है। एक स्रोत को हटाने पर क्या होता है, इसकी जाँच करके, यह मशीन के भीतर छिपे उन "भूतों" को उजागर करता है जो वास्तव में उत्तरों को संचालित कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।