SIRIN: A Unified Toolkit for Detecting Contextual Hallucinations in Retrieval-Augmented and Memory-Grounded LLM Systems
SIRIN एक एकीकृत टूलकिट और इंटरैक्टिव वेब इंटरफेस है जो रिट्रीवल-ऑगमेंटेड, एजेंटिक और मेमोरी-ग्राउंडेड LLM सिस्टम में कॉन्टेक्स्टुअल हैलुसिनेशन (contextual hallucinations) की पहचान करने और क्वेरी की उत्तरदेयता (answerability) का आकलन करने के लिए कई डिटेक्शन प्रतिमानों (detection paradigms) को एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट, सुपर-फास्ट रोबोट के साथ चैट कर रहे हैं जिसने लाइब्रेरी की लगभग हर किताब पढ़ ली है। आप उससे एक सवाल पूछते हैं, और वह तुरंत सटीक व्याकरण और आत्मविश्वास भरे लहजे के साथ जवाब देता है। लेकिन यहाँ एक पेंच है: कभी-कभी, वह रोबोट अपनी ओर से चीजें बना रहा होता है। वह किसी ऐतिहासिक घटना को गलत तारीख पर बता सकता है या किसी कहानी के पात्र के बारे में कुछ ऐसा कर सकता है जो उसने कभी नहीं किया। इसे "हैलुसिनेशन" (hallucination) या भ्रम कहा जाता है। रोबोट जानबूझकर झूठ नहीं बोल रहा होता; वह बस इतना अच्छा दिखने का आदी है कि वह तथ्यों की जाँच करना भूल जाता है।
आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे रोकने के लिए हम दो मुख्य तरीके अपनाते हैं। एक तरीका यह है कि रोबोट को नोट्स (जिसे "कॉन्टेक्स्ट" या "एविडेंस" कहा जाता है) का एक विशिष्ट सेट दिया जाए और उसे कहा जाए, "केवल इन नोट्स का उपयोग करके ही उत्तर दें।" यह एक छात्र को परीक्षा के दौरान संदर्भ शीट (reference sheet) देने जैसा है। दूसरा तरीका एक "सत्य डिटेक्टर" (truth detector) बनाना है जो यह सूंघ सके कि रोबोट कब उन नोट्स से भटक रहा है। लंबे समय तक, इन सत्य डिटेक्टरों को बनाना बहुत अव्यवस्थित रहा है। कुछ डिटेक्टर तभी काम करते हैं जब आप रोबोट के दिमाग (इसके आंतरिक कोड) के अंदर झाँक सकें, जबकि अन्य केवल इसके अंतिम उत्तर को पढ़कर काम करते हैं। कुछ इस बात की जाँच करते हैं कि रोबोट कितना आश्वस्त है, जबकि अन्य एक सख्त शिक्षक की तरह निबंध को ग्रेड देते हैं। क्योंकि ये सभी उपकरण अलग-अलग तरह से बनाए गए हैं, इसलिए उनकी तुलना करना या उन्हें हमारे AI को ईमानदार रखने के लिए एक साथ उपयोग करना कठिन रहा है।
यहाँ आता है SIRIN, एक नया टूलकिट जिसे Sber AI Lab के शोधकर्ताओं द्वारा बनाया गया है, जो एक सार्वभौमिक अनुवादक और AI के झूठ को पकड़ने के लिए एक स्विस आर्मी नाइफ की तरह काम करता है। SIRIN को एक "हैलुसिनेशन कंट्रोल टॉवर" के रूप में सोचें। आपको विभिन्न प्रकार के सत्य डिटेक्टरों में से चुनने के लिए मजबूर करने के बजाय, SIRIN उन सभी को एक छत के नीचे लाता है। यह AI की जाँच करने के तीन बहुत अलग तरीकों को एकीकृत करता है:
- "ब्रेन स्कैन" (प्रोबिंग): यह बोलने से पहले, रोबोट के सोचने के दौरान उसके दिमाग के अंदर देखता है कि क्या वह हिचकिचा रहा है या भ्रमित है।
- "सख्त शिक्षक" (जज): यह एक दूसरे, स्वतंत्र AI का उपयोग करता है जो उत्तर और नोट्स को एक साथ पढ़ता है ताकि यह देखा जा सके कि वे मेल खाते हैं या नहीं।
- "कॉन्फिडेंस मीटर" (अनसर्टेन्टी): यह मापता है कि रोबोट अपने उत्तर के बारे में कितना डगमगा रहा है, जैसे कि कोई घबराया हुआ छात्र जिसे यकीन नहीं है कि उसने पर्याप्त पढ़ाई की है या नहीं।
SIRIN केवल रोबोट के बोलने के बाद झूठ पकड़ने तक ही सीमित नहीं है। यह रोबोट के लिखना शुरू करने से पहले भी जाँच करता है कि क्या उसके पास प्रश्न का उत्तर देने के लिए पर्याप्त नोट्स हैं। यदि नोट्स कम हैं, तो SIRIN कहता है, "रुको! तुम अभी इसका उत्तर नहीं दे सकते," जिससे रोबट को अनुमान लगाने से रोका जा सके।
शोधकर्ताओं ने पाया कि इन तरीकों को मिलाकर, वे एक बहुत अधिक मजबूत सुरक्षा जाल बना सकते हैं। जब उन्होंने विभिन्न कार्यों पर SIRIN का परीक्षण किया, तो "सख्त शिक्षक" विधि (एक प्रशिक्षित AI जज का उपयोग करना) झूठ पकड़ने में सबसे सटीक थी, खासकर जब उनके पास सीखने के लिए बहुत सारे उदाहरण थे। हालाँकि, "ब्रेन स्कैन" विधि आश्चर्यजनक रूप से कम उदाहरणों के बावजूद त्रुटियों को पकड़ने में अच्छी थी, जिससे यह एक हल्का और कुशल विकल्प बन गया।
शायद सबसे रोमांचक खोज यह थी कि SIRIN दीर्घकालिक स्मृति प्रणालियों (long-term memory systems) के लिए एक "द्वारपाल" (gatekeeper) के रूप में कैसे कार्य करता है। कल्पना कीजिए कि एक AI एजेंट है जो हफ्तों तक आपकी बातचीत को याद रखता है। यदि वह एजेंट किसी विवरण को गलत याद करता है, तो वह उस पर एक पूरी नई झूठी स्मृति बना सकता है, जिससे त्रुटि बढ़ती जाती है। शोधकर्ताओं ने दिखाया कि एजेंट के उत्तर देने से पहले एक चेकपॉइंट के रूप में SIRIN का उपयोग करके, वे उसके द्वारा दिए गए उत्तरों की सटीकता को लगभग 62% से बढ़ाकर लगभग 79% कर सकते हैं, जबकि पूरी तरह से मनगढ़ंत तथ्यों की संख्या को आधा कर सकते हैं।
संक्षेप में, यह पेपर सुझाव देता है कि AI हैलुसिनेशन को पकड़ना एक आदर्श डिटेक्टर खोजने के बारे में नहीं है। इसके बजाय, यह एक लचीली प्रणाली बनाने के बारे में है जो विभिन्न प्रकार की जाँचों को मिला और मिला सकती है। SIRIN साबित करता है कि जब आप इन उपकरणों को एक एकल, उपयोग में आसान इंटरफ़ेस में एकीकृत करते हैं, तो आप AI सिस्टम को काफी अधिक विश्वसनीय बना सकते हैं, बिना AI के मूल कोड को फिर से लिखे, बिना समर्थित दावों को पकड़ सकते हैं और यह उजागर कर सकते हैं कि रोबोट ने कहाँ गलती की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।