Retromorphic Testing with Hierarchical Verification for Hallucination Detection in RAG
यह शोध पत्र RT4CHART प्रस्तुत करता है, जो एक रेट्रोमॉर्फिक परीक्षण ढांचा है जो रिट्रीवल-ऑगमेंटेड जनरेशन सिस्टम में अत्याधुनिक सूक्ष्म-स्तरीय मतिभ्रम (hallucination) का पता लगाने के लिए पदानुक्रमित, दावा-स्तर के सत्यापन का उपयोग करता है और यह प्रकट करता है कि मौजूदा बेंचमार्क मतिभ्रम की व्यापकता को काफी कम करके आंकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही बुद्धिमान, विद्वान सहायक (एक AI) को आपके लिए एक रिपोर्ट लिखने के लिए काम पर रखा है। आप उन्हें विशिष्ट दस्तावेजों का एक ढेर (Context) देते हैं और उनसे एक प्रश्न पूछते हैं। वे एक शानदार दिखने वाला उत्तर लिखते हैं। लेकिन, क्योंकि AI बहुत बुद्धिमान है, इसलिए वह कभी-कभी अनजाने में उन चीजों को मिला देता है जो उसे अपने सामान्य प्रशिक्षण से याद हैं, या वह ऐसी चीजें बना देता है जो सुनने में तर्कसंगत लगती हैं लेकिन आपके दस्तावेजों में नहीं हैं। इसे हैलुसिनेशन (Hallucination) कहा जाता है।
समस्या यह है: आप इन झूठों को कैसे पकड़ें?
अधिकांश वर्तमान उपकरण एक वॉकी-टॉकी वाले सुरक्षा गार्ड की तरह हैं। वे पूरी रिपोर्ट को देखते हैं और कहते हैं, "यह 30% संदिग्ध लग रहा है" या "यह 90% सुरक्षित है।" वे एक एकल संख्या देते हैं। लेकिन यदि आपकी रिपोर्ट 10 पन्नों लंबी है, तो वह संख्या आपको यह नहीं बताएगी कि कौन सा वाक्य झूठ है। आप केवल अनुमान लगाते रह जाएंगे।
यह शोध पत्र एक नई प्रणाली पेश करता है जिसे RT4CHART कहा जाता है। इसे एक सुरक्षा गार्ड के रूप में नहीं, बल्कि एक फोरेंसिक जासूस के रूप में सोचें जो एक विशेष "रिवर्स-इंजीनियरिंग" तकनीक का उपयोग करता है।
जासूस का टूलकिट: RT4CHART कैसे काम करता है
लेखक उनकी विधि को "रिट्रोमॉर्फिक टेस्टिंग (Retromorphic Testing)" कहते हैं। यह एक फैंसी तरीका है यह कहने का: "आइए उत्तर से पीछे की ओर काम करें और देखें कि क्या यह वास्तव में स्रोत से आया है।"
यहाँ जासूस मामला कैसे सुलझाता है, चरण-दर-चरण:
1. उत्तर को छोटे सुरागों में तोड़ना (Decomposition)
पूरे निबंध को देखने के बजाय, जासूस AI के उत्तर को व्यक्तिगत, स्वतंत्र वाक्यों (दावों) में तोड़ देता है।
- उपमा: कल्पना कीजिए कि AI का उत्तर एक विशाल पहेली है। जासूस इसे अलग-अलग टुकड़ों में तोड़ देता है ताकि वह प्रत्येक टुकड़े की व्यक्तिगत रूप से जांच कर सके।
2. "लोकल" खोज (Local Verification)
जासूस स्रोत दस्तावेजों के ढेर को लेता है और उन्हें छोटे, ओवरलैपिंग हिस्सों में काट देता है (जैसे टेक्स्ट पर आवर्धक लेंस खिसकाना)। वह प्रत्येक छोटे दावे की इन छोटे टुकड़ों के साथ जांच करता है।
- समस्या: कभी-कभी, किसी दावे का प्रमाण दो अलग-अलग पन्नों में विभाजित होता है। यदि आप एक बार में केवल एक ही पन्ना देखते हैं, तो आप उस संबंध को मिस कर सकते हैं।
- समाधान: जासूस एक 'स्लाइडिंग विंडो' का उपयोग करता है ताकि टुकड़े ओवरलैप हों, जिससे यह सुनिश्चित हो सके कि कोई भी सुराग किनारों पर छूट न जाए।
3. "ग्लोबल" समीक्षा (Global Verification)
यही असली सफलता का मंत्र है। यदि लोकल सर्च अनिश्चित है, तो जासूस पीछे हटता है और स्थानीय खोज के परिणामों को केवल एक संकेत के रूप में उपयोग करते हुए, दस्तावेजों के पूरे ढेर को फिर से पढ़ता है।
- उपमा: कल्पना कीजिए कि आप एक किताब में एक विशिष्ट शब्द खोज रहे हैं। आप एक एकल पृष्ठ को स्कैन कर सकते (Local) और उसे मिस कर सकते हैं क्योंकि वह पेज 10 और 11 के बीच विभाजित है। इसलिए, आप पूरी तरह से सुनिश्चित होने के लिए पूरा अध्याय (Global) पढ़ते हैं।
- यह चरण उन गलतियों को ठीक करता है जहाँ साक्ष्य इतने बिखरे हुए थे कि "लोकल" चेक उन्हें पकड़ नहीं पाया।
4. साक्ष्य के साथ निर्णय (Labeling)
AI के उत्तर के प्रत्येक वाक्य के लिए, जासूस एक निर्णय देता है:
- एन्टेलड (Entailed - हरा): "हाँ, यह दस्तावेजों में है।"
- कॉन्ट्राडिक्टेड (Contradicted - लाल): "नहीं, दस्तावेज इसके ठीक विपरीत कहते हैं।"
- बेसलेस (Baseless - पीला): "मुझे यह दस्तावेजों में कहीं नहीं मिल रहा है।"
महत्वपूर्ण रूप से, प्रत्येक "लाल" या "पीले" निर्णय के लिए, जासूस उस स्रोत दस्तावेज़ के सटीक वाक्य की ओर इशारा करता है जो साबित करता है कि AI गलत है।
यह क्यों मायने रखता है: "अंडर-रिपोर्टिंग" का आश्चर्य
शोधकर्ताओं ने यह भी महसूस किया कि AI हैलुसिनेशन को टेस्ट करने के लिए उपयोग किए जाने वाले "स्कोरकार्ड" (बेंचमार्क) हमें झूठ बोल रहे थे। वे बहुत सारे झूठों को मिस कर रहे थे।
- पुराना तरीका: पुराने टेस्ट ने कहा, "इस उत्तर में 86 झूठ हैं।"
- नया तरीका (RAGTruth-Enhance): शोधकर्ताओं ने अपनी नई जासूसी विधि के साथ उत्तरों की पुन: जांच की और पाया कि वहाँ 865 झूठ थे।
उन्होंने पाया कि मानक परीक्षणों ने उनकी सोच से 1.68 गुना अधिक हैलुसिनेशन मिस किए। इनमें से कई "माइक्रो-हैलुसिनेशन" थे—जैसे कि संख्या गलत होना (जैसे "कुल 100 लोगों" के बजाय "100 यात्री" कहना) या किसी राय को तथ्य के रूप में प्रस्तुत करना।
निष्कर्ष
RT4CHART एक "क्या यह सुरक्षित है?" ट्रैफिक लाइट से अपग्रेड होकर एक जीपीएस नेविगेशन सिस्टम की तरह है जो ठीक से हाइलाइट करता है कि कौन सी सड़क बंद है और आपको वह मैप दिखाता है जो इसे साबित करता है।
- यह सूक्ष्म (Granular) है: यह केवल "खराब उत्तर" नहीं कहता। यह कहता है "वाक्य 3 एक झूठ है क्योंकि यह पेज 4, पैराग्राफ 2 का खंडन करता है।"
- यह पदानुक्रमित (Hierarchical) है: यह पहले छोटे टुकड़ों की जांच करता है, फिर पूरी तस्वीर की, ताकि यह सुनिश्चित हो सके कि वह कुछ भी मिस न करे।
- यह ईमानदार है: यह अनुमान लगाने के बजाय यह स्वीकार करता है कि उसे सबूत नहीं मिल पा रहे हैं।
एक ऐसी दुनिया में जहाँ AI का उपयोग कानूनी, चिकित्सा और व्यावसायिक निर्णयों के लिए तेजी से किया जा रहा है, यह उपकरण यह सुनिश्चित करता है कि AI केवल स्मार्ट ही नहीं लग रहा है, बल्कि वास्तव में आपके द्वारा दिए गए तथ्यों पर ही टिका हुआ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।