A Risk-Oriented Verification and Validation Framework for Hallucination Detection in Public-Sector LLM Systems
यह शोध पत्र एक जोखिम-उन्मुख सत्यापन और पुष्टिकरण ढांचे का प्रस्ताव करता है जो सार्वजनिक क्षेत्र के एलएलएम (LLM) में मतिभ्रम (hallucination) का पता लगाने को एक विशुद्ध तकनीकी चुनौती से बदलकर एक शासन संबंधी मुद्दे में परिवर्तित करता है, जिससे स्थगन या मानवीय वृद्धि जैसे परिचालन निर्णयों को निर्देशित करने के लिए एक संयुक्त जोखिम सूचकांक पेश किया जाता है, जिससे कानूनी निश्चितता और प्रशासनिक जवाबदेही सुनिश्चित होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने शहर की सरकार को कानूनों, करों (taxes), और ड्राइविंग लाइसेंस प्राप्त करने के तरीके के बारे में सवालों के जवाब देने में मदद करने के लिए एक सुपर-स्मार्ट, अविश्वसनीय रूप से तेज़ रोबोट सहायक को काम पर रखा है। यह रोबोट, जो एक लार्ज लैंग्वेज मॉडल (LLM) द्वारा संचालित है, आत्मविश्वास से भरी बातें करने और धाराप्रवाह वाक्य लिखने में बहुत कुशल है। लेकिन इसमें एक पेंच है: कभी-कभी, यह रोबट मनगढ़ंत बातें बना लेता है। यह एक फर्जी कानून बना सकता है, किसी ऐसे सरकारी कार्यालय का नाम ले सकता है जिसका अस्तित्व ही नहीं है, या आपको कोई ऐसा डेडलाइन दे सकता है जो असली नहीं है। तकनीकी दुनिया में, हम इसे "हैलुसिनेशन" (hallucination) कहते हैं।
निजी दुनिया में, यदि कोई रोबोट आपको गलत फिल्म का सुझाव देता है, तो यह केवल कष्टप्रद है। लेकिन सार्वजनिक क्षेत्र में, यदि एक रोबोट आपको गलत एजेंसी के पास टैक्स फॉर्म भरने के लिए कहता है या किसी ऐसे कानून का हवाला देता है जो मौजूद ही नहीं है, तो यह आपकी ज़िंदगी बर्बाद कर सकता है, आपके पैसे बर्बाद कर सकता है, या सरकार को कानूनी मुसीबत में डाल सकता है।
पुराने तरीके के साथ समस्या
अधिकांश शोधकर्ता इसे ठीक करने के लिए रोबोट के मस्तिष्क के अंदर झांकने की कोशिश कर रहे हैं। वे कोशिश करते हैं कि रोबोट अधिक "गहराई से सोच सके", उसे फिर से प्रशिक्षित (retrain) कर सकें, या यह जाँच सकें कि क्या वह एक ही उत्तर दो बार देता है (self-consistency)। यह पेपर तर्क देता है कि यह दृष्टिकोण एक ब्लैक बॉक्स को हिलाकर ठीक करने जैसा है। वास्तविक दुनिया में, सरकारें अक्सर ऐसे रोबots का उपयोग करती हैं जिनके अंदर वे देख नहीं सकतीं (ब्लैक-बॉक्स API) और उन्हें फिर से प्रशिक्षित नहीं कर सकतीं। इसके अलावा, एक रोबोट बहुत आत्मविश्वासी हो सकता है और हर बार एक ही गलत उत्तर दे सकता है, जिससे वह "दो बार हिलाकर देखने" वाले परीक्षण को भी धोखा दे सकता है।
नया विचार: एक जोखिम-आधारित सुरक्षा जाल
रोबोट को पूर्ण बनाने की कोशिश करने के बजाय (जिसे लेखक असंभव मानते हैं), यह पेपर एक अलग दृष्टिकोण का सुझाव देता है: हैलुसिनेशन को एक शासन संबंधी जोखिम (governance risk) के रूप में देखें, ठीक वैसे ही जैसे हम अग्नि सुरक्षा या डेटा सुरक्षा की जाँच करते हैं।
लेखक एक नया ढांचा (framework) सुझाव देते हैं जो एक क्लब के स्मार्ट बाउंसर की तरह काम करता है, लेकिन सरकारी जवाबों के लिए। यह कैसे काम करता है, यहाँ देखें:
1. पांच-सूत्रीय चेकलिस्ट (स्लॉट-आधारित अपघटन)
कल्पना कीजिए कि रोबोट का उत्तर केवल टेक्स्ट का एक बड़ा ब्लॉक नहीं है। यह ढांचा उत्तर को पांच विशिष्ट "स्लॉट्स" या बकेटों में तोड़ देता है, ठीक एक उड़ान की चेकलिस्ट की तरह:
- आवश्यक दस्तावेज़: मुझे किन कागजों की आवश्यकता है?
- सक्षम प्राधिकारी (Competent Authority): सही व्यक्ति कौन है जिससे मुझे बात करनी चाहिए?
- प्रसंस्करण समयसीमा (Processing Timeline): इसमें कितना समय लगेगा?
- शुल्क (Fees): इसकी लागत कितनी है?
- कानूनी आधार (Legal Basis): कौन सा कानून कहता है कि यह सच है?
यह ढांचा प्रत्येक बकेट की अलग-अलग जाँच करता है। एक स्टैम्प की लागत के बारे में गलती करना कष्टप्रद है, लेकिन यह गलती कि कौन सा कानून लागू होता है, एक आपदा है।
2. तीन खतरे के संकेत
प्रत्येक बकेट के लिए, सिस्टम यह देखने के लिए तीन त्वरित जाँच करता है कि क्या रोबोट हैलुसिनेट कर रहा है:
- "डगमगाती आवाज़" परीक्षण (क्रॉस-सैंपल अस्थिरता): सिस्टम रोबोट से एक ही सवाल पाँच बार पूछता है। यदि रोबोट "कानूनी आधार" के लिए पाँच अलग-अलग उत्तर देता है, तो वह डगमगा रहा है। यह एक रेड फ्लैग है।
- "मुझे रसीद दिखाओ" परीक्षण (उद्धरण कवरेज): क्या रोबोट अपने दावे को पुख्ता करने के लिए किसी वास्तविक, आधिकारिक दस्तावेज़ की ओर इशारा करता है? यदि वह कहता है "कानून X के अनुसार" लेकिन कानून X डेटाबेस में मौजूद नहीं है, तो यह शून्य स्कोर है।
- "नियम पुस्तिका" परीक्षण (नियम-आधारित सत्यापन): क्या उत्तर बुनियादी नियमों को तोड़ता है? उदाहरण के लिए, यदि रोबोट कहता है कि डेडलाइन "अगले मंगलवार" को है, लेकिन कानून कहता है कि डेडलाइन "कार्य दिवसों" (working days) में होनी चाहिए, या यदि वह ऐसे मेयर का नाम लेता है जिसके पास उस दस्तावेज़ पर हस्ताक्षर करने की शक्ति नहीं है।
3. हैलुसिनेशन रिस्क इंडेक्स (HRI)
सिस्टम इन तीनों परीक्षणों को एक एकल स्कोर में जोड़ता है जिसे हैलुसिनेशन रिस्क इंडेक्स (HRI) कहा जाता है। इसे एक वीडियो गेम पर "खतरे के मीटर" की तरह समझें।
- कम स्कोर (< 0.20): उत्तर सुरक्षित है। पास (PASS)। रोबोट सीधे आपको उत्तर भेज सकता है।
- मध्यम स्कोर (0.20 से 0.35): उत्तर डगमगा रहा है। चेतावनी (WARN)। रोबोट उत्तर भेजता है लेकिन एक बड़ा चेतावनी लेबल जोड़ता है: "हे, इस हिस्से की दोबारा जाँच करें!"
- उच्च स्कोर (0.35 से 0.50): उत्तर जोखिम भरा है। विलंबित (DEFER)। रोबोट उत्तर को रोक देता है। वह तब तक कोई आधिकारिक उत्तर नहीं देगा जब तक कि कोई इंसान इसकी जाँच न कर ले।
- बहुत उच्च स्कोर (≥ 0.50): उत्तर खतरनाक है। रूट (ROUTE)। रोबोट तुरंत रुक जाता है और पूरे सवाल को एक मानव अधिकारी को भेज देता है। रोबोट द्वारा कोई उत्तर देने की अनुमति नहीं है।
महत्वपूर्ण सुरक्षा ओवरराइड
लेखक बहुत सावधानी से नोट करते हैं कि स्कोर ही सब कुछ नहीं है। वे विशिष्ट "ओवरराइड नियम" सुझाव देते हैं जो आपातकालीन ब्रेक के रूप में कार्य करते हैं। उदाहरण के लिए, यदि रोबोट एक कानूनी आधार बनाता है (एक फर्जी कानून), तो इससे कोई फर्क नहीं पड़ता कि स्कोर क्या है—सिस्टम को तुरंत इसे मानव के पास भेजना अनिवार्य है। यह सिस्टम को एक ऐसे रोबोट द्वारा ठगे जाने से रोकता है जो पूरी तरह से आत्मविश्वास के साथ गलत जानकारी दे रहा है।
यह ढांचा क्या नहीं है
यह समझना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है।
- यह यह दावा नहीं करता कि इसने रोबोट के झूठ बोलने को रोकने का कोई नया तरीका खोज लिया है। यह रोबोट के मस्तिष्क को ठीक नहीं करता है।
- यह दावा नहीं करता कि इसने लाखों वास्तविक मामलों पर इसका परीक्षण किया है। प्रस्तुत परिणाम सिम्युलेटेड परिदृश्यों और उदाहरणों पर आधारित हैं, न कि विशाल डेटा सेटों पर।
- यह यह नहीं कहता कि यह उन रोबोटों के लिए काम करता है जो चित्र देख सकते हैं या आवाज सुन सकते हैं (मल्टीमॉडल)। यह केवल टेक्स्ट पर केंद्रित है।
निष्कर्ष
लेखक प्रस्ताव करते हैं कि एक "पूर्ण" रोबोट के असंभव सपने के पीछे भागने के बजाय, सरकारों को एक सुरक्षा प्रणाली बनानी चाहिए जो रोबोट की गलतियों को पकड़ सके इससे पहले कि वे किसी को नुकसान पहुँचाएँ। उत्तरों को छोटे हिस्सों में तोड़कर, उन्हें नियमों के विरुद्ध जाँचकर, और यह तय करने के लिए कि कब इंसान को बुलाना है एक जोखिम स्कोर का उपयोग करके, यह ढांचा सुझाव देता है कि इन शक्तिशाली उपकरणों का जिम्मेदारी से उपयोग कैसे किया जाए। यह समस्या को "क्या रोबोट सही है?" से बदलकर "क्या यह उत्तर भेजने के लिए पर्याप्त सुरक्षित है?" में बदल देता है।
यह दृष्टिकोण एक तरीका के रूप में सुझाया गया है कि कैसे AI को सरकार की सख्त, नियम-प्रधान दुनिया में फिट किया जाए, यह सुनिश्चित करते हुए कि भले ही रोबोट हैलुसिनेट करे, सिस्टम उसे कानूनी दुस्वप्न बनने से पहले पकड़ ले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।