Robust Explanations for User Trust in Enterprise NLP Systems
यह शोध पत्र एंटरप्राइज एनएलपी (enterprise NLP) में टोकन-स्तरीय स्पष्टीकरणों के लिए एक एकीकृत ब्लैक-बॉक्स मजबूती मूल्यांकन ढांचे का प्रस्ताव करता है, जो एक बड़े पैमाने के क्रॉस-आर्किटेक्चर अध्ययन के माध्यम से यह प्रदर्शित करता है कि डिकोडर-आधारित एलएलएम (LLMs), एनकोडर मॉडलों की तुलना में काफी अधिक स्थिर स्पष्टीकरण प्रदान करते हैं, जिसमें मॉडल के पैमाने के साथ स्थिरता में सुधार होता है, जिससे अनुपालन-संवेदनशील परिनियोजन (compliance-sensitive deployments) के लिए व्यावहारिक लागत-मजबूती ट्रेडऑफ निर्णय सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त कार्यालय के प्रबंधक हैं। आपके पास महत्वपूर्ण निर्णय लेने में आपकी मदद करने के लिए दो प्रकार के सहायक हैं:
- "पुराने स्कूल" का सहायक (एन्कोडर मॉडल): वे तेज़, सस्ते और छोटे नोट्स पढ़ने में माहिर हैं। लेकिन, यदि वे अभी-अभी पढ़े गए वाक्य में एक शब्द को थोड़ा सा भी बदल देते हैं, तो वे अचानक अपने निर्णय के कारण के रूप में एक बिल्कुल अलग शब्द की ओर इशारा कर सकते हैं।
- "नया जीनियस" सहायक (डिकोडर LLMs): ये नए, अधिक शक्तिशाली AI मॉडल हैं (जैसे कि उन्नत चैटबॉट्स को चलाने वाले)। इन्हें चलाना थोड़ा महंगा है, लेकिन वे बहुत अधिक स्थिर हाथ रखते हैं। भले ही आप शब्दों को इधर-उधर कर दें या कोई टाइपिंग की गलती कर दें, वे आमतौर पर अपने निर्णय के लिए एक ही कारण पर टिके रहते हैं।
यह शोध पत्र Workday AI (एक कंपनी जो HR और वित्त सॉफ्टवेयर प्रबंधित करती है) का एक रिपोर्ट है, जो ठीक इसी परिदृश्य का परीक्षण कर रहा है। वे जानना चाहते थे कि: जब हम पुराने सहायकों से नए "जीनियस" की ओर बढ़ते हैं, तो क्या उनके द्वारा दिए गए निर्णय के कारण अधिक विश्वसनीय हो जाते हैं?
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: एक "मनमौजी" सहायक
कॉर्पोरेट जगत में (जैसे बैंकों या HR विभागों में), आप केवल AI से यह नहीं कह सकते, "आपने इस ऋण को क्यों अस्वीकार किया?" और उम्मीद नहीं कर सकते कि वह एक सुसंगत उत्तर देगा। आपको एक लिखित रिकॉर्ड की आवश्यकता है जो तर्कसंगत हो।
शोधकर्ताओं ने पाया कि "पुराने स्कूल" के सहायक मनमौजी थे।
- उपमा: कल्पना करें कि आप सहायक से पूछते हैं, "यह कर्मचारी फिट क्यों है?" वह "रचनात्मक" शब्द की ओर इशारा करता है। लेकिन यदि आप वाक्य से "बहुत" शब्द को हटा देते हैं या "रचनात्मक" को "अभिनव" से बदल देते हैं, तो वह अचानक "समयनिष्ठ" की ओर इशारा करने लगता है।
- परिणाम: पुराने मॉडलों के लिए, लगभग 50% मामलों में, इनपुट में एक मामूली बदलाव ने "मुख्य कारण" को किसी और चीज़ में बदल दिया। यह भरोसे के लिए बुरा है। यदि कोई ऑडिटर पूछता है, "आपने अपना विचार क्यों बदला?" और AI कहता है, "क्योंकि टेक्स्ट थोड़ा बदल गया था," तो यह अनुपालन (compliance) के लिए एक बड़ी समस्या है।
2. समाधान: "स्थिर" जीनियस
शोधकर्ताओं ने नए "जीनियस" मॉडलों (जैसे Llama और Qwen) का परीक्षण किया।
- उपमा: ये सहायक एक अनुभवी न्यायाधीश की तरह हैं। यदि आप प्रश्न को फिर से लिखते हैं या कोई छोटी टाइपिंग त्रुटि करते हैं, तो न्यायाधीश भी निर्णय लेने के लिए उसी मूल साक्ष्य को देखता है।
- परिणाम: नए मॉडल 73% अधिक स्थिर थे। यदि आपने इनपुट बदला, तो वे अधिकांश समय एक ही "मुख्य कारण" की ओर इशारा करते रहे।
- "आकार" का प्रभाव: उन्होंने यह भी पाया कि बड़े जीनियस अधिक स्थिर होते हैं। एक "70 बिलियन पैरामीटर" वाला मॉडल (एक बहुत बड़ा मस्तिष्क) "7 बिलियन पैरामीटर" वाले मॉडल की तुलना में और भी अधिक सुसंगत था। यह एक सीनियर पार्टनर द्वारा निर्णय की समीक्षा करने जैसा है; उनके विचलित होने की संभावना कम होती है।
3. परीक्षण: उन्होंने यह कैसे किया
चूंकि ये कंपनियां अक्सर AI के "अंदर" नहीं देख पातीं (यह एक "ब्लैक बॉक्स" है जिसे केवल API के माध्यम से एक्सेस किया जाता है), इसलिए वे कोड को नहीं देख सके कि AI ने जो निर्णय लिया उसके पीछे का कारण क्या था।
इसलिए, उन्होंने एक "लीव-वन-आउट" (Leave-One-Out) खेल का उपयोग किया:
- उन्होंने AI को एक वाक्य दिखाया।
- उन्होंने पूछा, "यहाँ सबसे महत्वपूर्ण शब्द क्या है?"
- फिर, उन्होंने गुप्त रूप से उस शब्द को हटा दिया (या उसे बदल दिया, या वाक्य को उलट-पुलट दिया) और फिर से पूछा।
- मेट्रिक: यदि AI ने एक अलग शब्द को सबसे महत्वपूर्ण बताया, तो वह एक "फ्लिप" (बदलाव) था। उन्होंने गिना कि कितने "फ्लिप" हुए।
उन्होंने डेटा का एक विशाल भंडार प्राप्त करने के लिए विभिन्न प्रकार के टेक्स्ट (छोटे ट्वीट्स, समाचार लेख, लंबे रिव्यूज) पर इस परीक्षण को 64,800 बार चलाया।
4. ट्रेड-ऑफ: लागत बनाम विश्वास
यह शोध पत्र स्वीकार करता है कि "स्थिर जीनियस" को चलाने में "पुराने स्कूल" के सहायकों की तुलना में अधिक पैसा और समय लगता है।
वे कंपनियों के लिए अपना AI चुनने के लिए एक तीन-स्तरीय रणनीति प्रस्तावित करते हैं:
- स्तर 1: गति पहले (पुराना स्कूल): उन सस्ते, तेज़ मॉडलों का उपयोग करें यदि आपको केवल एक त्वरित अनुमान की आवश्यकता है और आपको नियामक (regulator) को "क्यों" समझाने की आवश्यकता नहीं है। (जैसे, "क्या यह ईमेल स्पैम है?")
- स्तर 2: संतुलित (मध्यम आकार का जीनियस): मध्यम आकार के नए मॉडल का उपयोग करें यदि आपको ग्राहकों से बात करने की आवश्यकता है और एक उचित स्पष्टीकरण की आवश्यकता है। (जैसे, "दावा क्यों खारिज किया गया था?")
- स्तर 3: नियामक स्वर्ण (बड़ा जीनियस): बहुत बड़े, महंगे मॉडलों का उपयोग करें यदि आप उच्च-जोखिम वाले कानूनों, ऑडिट या कानूनी जोखिमों से निपट रहे हैं। यहाँ, स्थिरता अतिरिक्त लागत के लायक है क्योंकि आपको अपनी निर्णय लेने की प्रक्रिया को सुसंगत साबित करने की आवश्यकता है।
मुख्य निष्कर्ष
यदि आप किसी बैंक, अस्पताल या HR विभाग के लिए AI सिस्टम बना रहे हैं जहाँ विश्वास और ऑडिट मायने रखते हैं, तो केवल सटीकता (accuracy) न देखें। स्थिरता (stability) देखें।
शोध पत्र निष्कर्ष निकालता है कि नए, बड़े "डिकोडर" मॉडलों पर स्विच करना एक अस्थिर मौसम सूचक यंत्र (weather vane) से एक ठोस दिशा-सूचक यंत्र (compass) में अपग्रेड करने जैसा है। कंपास खरीदने में थोड़ा अधिक खर्च हो सकता है, लेकिन जब हवा (या उपयोगकर्ता इनपुट) बदलती है, तो आप जानते हैं कि उत्तर दिशा किस ओर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।