VeriTrail: Closed-Domain Hallucination Detection with Traceability
यह शोध पत्र VeriTrail को प्रस्तुत करता है, जो कि एकल-चरण और बहु-चरण जनरेटिव प्रक्रियाओं में मध्यवर्ती आउटपुट का विश्लेषण करके गैर-निष्ठापूर्ण सामग्री के मूल स्रोत की पहचान करने और क्लोज्ड-डोमेन मतिभ्रम (hallucinations) का पता लगाने और उनका पता लगाने के लिए डिज़ाइन की गई पहली विधि और डेटासेट है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने किताबों के एक विशाल पुस्तकालय का सारांश लिखने के लिए लेखकों की एक टीम को काम पर रखा है। आप उन्हें सख्त निर्देश देते हैं: "केवल इन किताबों के तथ्यों का ही उपयोग करें। अपनी ओर से कुछ भी न बनाएं।"
इसे हम क्लोज्ड-डोमेन (Closed-Domain) कार्य कहते हैं। समस्या यह है कि इन निर्देशों के बावजूद, लेखक कभी-कभी चूक कर जाते हैं। वे अनजाने में कोई विवरण बना सकते हैं, किसी तारीख को गलत कर सकते हैं, या ऐसी बात दावा कर सकते हैं जो कभी हुई ही नहीं। एआई (AI) की दुनिया में, इसे हैलुसिनेशन (Hallucination) कहा जाता है।
सरल कार्यों के लिए (जैसे एक छोटे लेख का सारांश बनाना), काम की जांच करना आसान है। आप बस अंतिम सारांश की तुलना मूल लेख से करते हैं। यदि वे मेल खाते हैं, तो सब ठीक है।
लेकिन क्या होगा अगर कार्य बहुत बड़ा हो? क्या होगा अगर लेखकों को पुस्तकालय को अध्यायों में बांटना पड़े, उनका सारांश बनाना पड़े, फिर उन सारांशों का सारांश बनाना पड़े, और अंत में उन्हें एक विशाल रिपोर्ट में मिला देना पड़े? यह एक बहु-चरणीय प्रक्रिया (Multi-Step Process) है।
यहाँ पेंच यह है: यदि अंतिम रिपोर्ट में कोई झूठ है, तो एक साधारण जांच आपको यह तो बता देगी कि वहाँ एक झूठ है, लेकिन यह आपको यह नहीं बताएगी कि वह झूठ कहाँ से शुरू हुआ। क्या पहले लेखक ने कुछ मनगढ़ंत बनाया? क्या दूसरे लेखक ने पहले वाले की गलत व्याख्या की? क्या अंतिम संपादक ने दो सत्य तथ्यों को इस तरह मिला दिया जिससे एक झूठी कहानी बन गई?
VeriTrail एक नया टूल है जिसे ठीक इसी समस्या को हल करने के लिए डिज़ाइन किया गया है। इसे एक समय यात्रा करने वाले जासूस (Detective with a time machine) के रूप में समझें।
जासूस का टूलकिट: VeriTrail कैसे काम करता है
केवल अंतिम रिपोर्ट को देखने के बजाय, VeriTrail सूचना की पूरी यात्रा का पता लगाता है। यह लेखन प्रक्रिया को एक फैमिली ट्री (Family Tree) (या एक सबवे सिस्टम के मानचित्र) की तरह मानता है।
- मानचित्र (The DAG): कल्पना कीजिए कि हर लेखक द्वारा लिखा गया प्रत्येक वाक्य मानचित्र पर एक "स्टॉप" (स्थान) है। मूल किताबें शुरुआती स्टेशन (Roots) हैं। अंतिम रिपोर्ट अंतिम स्टेशन है। जब भी कोई लेखक टेक्स्ट के एक हिस्से का सारांश बनाता है, तो वे पुराने स्टेशनों से जुड़े एक नए स्टॉप का निर्माण करते हैं।
- दावा (The Claim): VeriTrail अंतिम रिपोर्ट को छोटे, परीक्षण योग्य तथ्यों में तोड़ देता है (जैसे "कंपनी X ने 2020 में दो स्टार्टअप खरीदे")।
- उल्टी दौड़ (The Reverse Chase): जब VeriTrail किसी तथ्य की जांच करता है, तो वह केवल अंतिम वाक्य को नहीं देखता। वह पूछता है: "इस वाक्य को अपनी जानकारी कहाँ से मिली?"
- वह पिछले सारांश को देखता है।
- वह उससे पहले के सारांशों को देखता है।
- वह पीछे की ओर तब तक जाता है जब तक कि वह मूल किताब तक नहीं पहुँच जाता।
- साक्ष्य का मार्ग (The Evidence Trail): पीछे की ओर बढ़ते हुए, यह तथ्य का समर्थन करने वाले सटीक वाक्यों का एक "ब्रेडक्रंब ट्रेल" (रोटी के टुकड़ों जैसा रास्ता) बनाता है। यदि यह मार्ग किसी मृत अंत या विरोधाभास की ओर ले जाता है, तो VeriTrail समझ जाता है कि यहाँ हैलुसिनेशन हुआ है।
"टूटी हुई कड़ी" का उदाहरण (The "Broken Chain" Analogy)
कल्पना कीजिए कि आप 100 लोगों के साथ "टेलीफोन" (या "ब्रोकन टेलीफोन") का खेल खेल रहे हैं।
- व्यक्ति 1 एक किताब से एक वाक्य पढ़ता है।
- व्यक्ति 2 व्यक्ति 1 ने जो कहा उसका सारांश बनाता है।
- व्यक्ति 3 व्यक्ति 2 द्वारा कहे गए बातों का सारांश बनाता है।
- ...और इसी तरह, जब तक व्यक्ति 100 आपको अंतिम संदेश नहीं दे देता।
यदि व्यक्ति 100 कहता है, "आसमान हरा है," और आप पूछते हैं, "क्या यह सच है?"
- पुराने तरीके केवल इतना कहेंगे: "नहीं, किताब कहती है कि आसमान नीला है। आप गलत हैं।" (लेकिन उन्हें यह नहीं पता कि किसने रंग बदल दिया)।
- VeriTrail लाइन में पीछे की ओर चलता है।
- वह व्यक्ति 100 से पूछता है: "तुम्हें किसने बताया कि आसमान हरा है?"
- व्यक्ति 100 कहता है: "व्यक्ति 99 ने।"
- VeriTrail व्यक्ति 99 से पूछता है: "क्या तुमने ऐसा कहा था?"
- व्यक्ति 99 कहता है: "नहीं, मैंने कहा था 'आसमान ग्रे है,' लेकिन व्यक्ति 100 ने मुझे गलत समझा।"
- निर्णय: त्रुटि चरण 100 पर हुई। मूल किताब ठीक थी; गलती अंतिम चरण में हुई।
यह क्यों महत्वपूर्ण है
वास्तविक दुनिया में, यह अत्यंत महत्वपूर्ण है।
- एक डॉक्टर के लिए: यदि कोई एआई मेडिकल रिसर्च का सारांश देता है और कहता है "दवा X कैंसर को ठीक करती है," तो डॉक्टर को यह जानने की आवश्यकता है कि क्या यह एक विश्वसनीय अध्ययन (मूल स्रोत) से आया है या यह एआई के प्रोसेसिंग के मध्य स्तर द्वारा की गई एक गलती है।
- एक वकील के लिए: यदि कोई एआई अदालती मामलों का सारांश देता है, तो वकील को यह जानने की आवश्यकता है कि प्रक्रिया के किस भाग ने गलत मिसाल पेश की ताकि वे उसे ठीक कर सकें।
नए डेटासेट्स: FABLES+ और DiverseSumm+
VeriTrail को यह सिखाने के लिए कि यह कैसे किया जाए, शोधकर्ताओं को नए प्रशिक्षण मैदान बनाने पड़े।
- FABLES+ किताबों का एक विशाल पुस्तकालय है जहाँ उन्होंने एआई द्वारा बनाया गया हर एक ड्राफ्ट, हर सारांश और हर संपादन सुरक्षित रखा है।
- DiverseSumm+ एक विशाल समाचार संग्रह की तरह है जहाँ एआई को जटिल प्रश्नों के उत्तर देने के लिए दर्जनों अलग-अलग लेखों को जोड़ना पड़ा।
ये डेटासेट्स विशेष हैं क्योंकि इनमें प्रत्येक मध्यवर्ती चरण (Intermediate Step) शामिल है। इससे पहले, शोधकर्ता केवल अंतिम उत्तर की जांच करने के लिए होते थे। अब, उनके पास केवल अंतिम भोजन ही नहीं, बल्कि पूरी "खाना पकाने की प्रक्रिया" भी उपलब्ध है।
परिणाम
यह शोध पत्र दिखाता है कि VeriTrail झूठ पकड़ने में पिछले तरीकों से कहीं अधिक बेहतर है।
- यह हैलुसिनेशन को अधिक पकड़ता है।
- यह आपको सटीक रूप से बताता है कि झूठ कहाँ शुरू हुआ (Error Localization)।
- यह बिना अत्यधिक लागत के यह सब करता है, भले ही यह साधारण चेकर की तुलना में बहुत अधिक काम कर रहा है।
संक्षेप में: VeriTrail केवल यह नहीं बताता कि रिपोर्ट फर्जी है; यह एक फोरेंसिक अकाउंटेंट की तरह काम करता है, जो हर पैसे का पीछा उसके स्रोत तक करता है ताकि यह पता लगाया जा सके कि ठीक किसने, कब और कैसे धोखाधड़ी की। यह एआई को जटिल, वास्तविक दुनिया के कार्यों के लिए बहुत अधिक भरोसेमंद बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।