Applied Explainability for Large Language Models: A Comparative Study
यह शोध पत्र सेंटीमेंट क्लासिफिकेशन के लिए एक फाइन-ट्यून्ड डिस्टिलबर्ट (DistilBERT) मॉडल पर इंटीग्रेटेड ग्रेडिएंट्स (Integrated Gradients), अटेंशन रोलआउट (Attention Rollout) और शाप (SHAP) का एक तुलनात्मक अध्ययन प्रस्तुत करता है, जो यह दर्शाता है कि ग्रेडिएंट-आधारित विधियाँ अधिक स्थिर और सहज स्पष्टीकरण प्रदान करती हैं और व्यावहारिक एलएलएम (LLM) व्याख्यात्मकता में कम्प्यूटेशनल दक्षता, लचीलेपन और विश्वसनीयता के बीच के समझौतों को उजागर करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक शानदार लेकिन रहस्यमय शेफ (लार्ज लैंग्वेज मॉडल) को आपके लिए खाना पकाने के लिए काम पर रखा है। यह शेफ अद्भुत है; वे व्यंजनों की एक विशाल लाइब्रेरी का उपयोग करके सबसे स्वादिष्ट व्यंजन बना सकते हैं (सेंटिमेंट एनालिसिस, सवालों के जवाब देना, आदि)। लेकिन इसमें एक पेच है: शेफ कभी आपको यह नहीं बताता कि उन्होंने एक चुटकी नमक या एक चुटकी काली मिर्च क्यों डाली। वे बस कहते हैं, "मुझ पर भरोसा करें, यह अच्छा है।"
आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक बड़ी समस्या है। यदि शेफ आपको ऐसा व्यंजन परोसता है जिसका स्वाद साबुन जैसा है, तो आपको पता होना चाहिए कि ऐसा क्यों हुआ ताकि आप उसे ठीक कर सकें। यहीं पर एक्सप्लेनेबिलिटी (व्याख्यात्मकता) आती है। यह शेफ के दिमाग में झाँकने की कला है ताकि यह देखा जा सके कि उन्होंने किन सामग्रियों को सबसे महत्वपूर्ण समझा था।
यह पेपर एक स्वाद-परीक्षण प्रतियोगिता (टेस्ट-कंपटीशन) की तरह है जहाँ लेखक तीन अलग-अलग "स्पाय कैमरों" का परीक्षण करता है ताकि यह देखा जा सके कि जब शेफ किसी मूवी रिव्यू को "अच्छा" या "बुरा" के रूप में वर्गीकृत करता है, तो वह वास्तव में क्या सोच रहा होता है।
यहाँ उन तीन कैमरों (तरीकों) का विवरण दिया गया जिनका परीक्षण लेखक ने किया है, सरल उपमाओं का उपयोग करते हुए:
1. द "अटेंशन रोलआउट" कैमरा (चमकदार स्पॉटलाइट)
- यह कैसे काम करता है: यह तरीका शेफ की आँखों को देखता है। AI में, "अटेंशन" शेफ की नज़र की तरह है। यदि शेफ खाना बनाते समय "वंडरफुल" (शानदार) शब्द की ओर देखता है, तो यह कैमरा मानता है कि वह शब्द सबसे महत्वपूर्ण है।
- समस्या: लेखक ने पाया कि शेफ अक्सर खाने की सामग्री के साथ-साथ प्लेट या चम्मच (संरचनात्मक शब्दों जैसे "द", "ए", या विराम चिह्न) को भी उतना ही देखता है।
- उपमा: कल्पना कीजिए कि एक जासूस अपराध को सुलझाने की कोशिश कर रहा है और यह देख रहा है कि संदिग्ध की आँखें कहाँ टिकी थीं। संदिग्ध मेज पर रखी एक चमकदार घड़ी (भटकाव) को देख सकता है, न कि हथियार को। यह कैमरा तेज़ और सस्ता है, लेकिन यह अक्सर उन चमकदार वस्तुओं से विचलित हो जाता है जिनका वास्तविक स्वाद से कोई लेना-देना नहीं होता।
2. द "SHAP" कैमरा ("क्या होगा अगर?" सिम्युलेटर)
- यह कैसे काम करता है: यह तरीका एक समय-यात्रा करने वाले सिम्युलेटर की तरह है। यह पूछता है, "क्या होगा अगर हम 'वंडरफुल' शब्द को हटा दें? क्या व्यंजन का स्वाद अभी भी अच्छा रहेगा?" यह एक-एक करके सामग्रियों को हटाकर देखता है कि अंतिम परिणाम कैसे बदलता है।
- समस्या: यह सिद्धांत में अविश्वसनीय रूप से सटीक है, लेकिन यह धीमा और चंचल (finicky) है।
- उपमा: कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि केक क्यों खराब हुआ, इसके लिए आप 1,000 थोड़े अलग केक बनाते हैं, जिनमें से एक-एक सामग्री को हटाकर देखते हैं। यह आपको एक बहुत सटीक उत्तर देता है, लेकिन जब तक आप समाप्त करते हैं, तब तक आपने सारा पैसा आटे और अंडों पर खर्च कर दिया होगा। साथ ही, यदि आप ओवन का तापमान थोड़ा सा भी बदलते हैं (इनपुट फॉर्मेटिंग), तो परिणाम बहुत अधिक बदल सकते हैं। यह शक्तिशाली है लेकिन रोज़मर्रा के उपयोग के लिए बहुत महंगा और अस्थिर है।
3. द "इंटीग्रेटेड ग्रेडिएंट्स" कैमरा (स्वाद-परीक्षण स्केल)
- यह कैसे काम करता: यह तरीका मापता है कि प्रत्येक सामग्री ने अंतिम स्वाद में कितना योगदान दिया। यह हर एक शब्द के प्रति व्यंजन की "संवेदनशीलता" की गणना करता है।
- परिणाम: यह अध्ययन का विजेता था।
- उपमा: यह एक अत्यंत सटीक तराजू की तरह है जो आपको बताता है, "नमक ने स्वाद में 10% योगदान दिया, चीनी ने 5%, और काली मिर्च ने 20% योगदान दिया।" इसने लगातार वास्तविक "फ्लेवर वर्ड्स" (जैसे "अमेजिंग" या "टेरिबल") की ओर इशारा किया और उबाऊ शब्दों को अनदेखा कर दिया। यह स्थिर, विश्वसनीय और मनुष्यों के लिए तर्कसंगत था।
मुख्य निष्कर्ष
लेखक ने इन परीक्षणों को एक विशिष्ट प्रकार के AI (DistilBERT) पर चलाया जो मूवी रिव्यूज को देख रहा था। यहाँ उन्होंने क्या सीखा:
- "आई-ट्रैकर" (अटेंशन) पर भरोसा न करें: केवल इसलिए कि AI किसी शब्द को "देख" रहा है, इसका मतलब यह नहीं है कि वह निर्णय लेने के लिए उस शब्द का उपयोग कर रहा है। वह अक्सर केवल व्याकरण को देख रहा होता है।
- केवल "सिम्युलेटर" (SHAP) पर निर्भर न रहें: हालांकि यह स्मार्ट है, लेकिन यह वास्तविक दुनिया के तेज़-तर्रार कामों के लिए बहुत धीमा और अस्थिर है।
- "स्केल" (इंटीग्रेटेड ग्रेडिएंट्स) का उपयोग करें: यदि आप जानना चाहते हैं कि आपके AI ने कोई निर्णय क्यों लिया, तो यह सबसे भरोसेमंद उपकरण है। यह एक ऐसी कहानी बताता है जो मानवीय अंतर्ज्ञान (इंट्यूशन) से मेल खाती है।
अंतिम सबक
पेपर यह निष्कर्ष निकालता है कि एक्सप्लेनेबिलिटी एक नैदानिक उपकरण (डायग्नोस्टिक टूल) है, न कि कोई जादुई सत्य।
इसे एक डॉक्टर के एक्स-रे की तरह समझें। एक एक्स-रे डॉक्टर को टूटी हुई हड्डी देखने में मदद करता है, लेकिन यह रोगी के स्वास्थ्य की पूरी कहानी नहीं बताता। इसी तरह, ये AI स्पष्टीकरण उपकरण इंजीनियरों को अपने मॉडल को डीबग करने और विश्वास बनाने में मदद करते हैं, लेकिन वे पूर्ण नहीं हैं। आपको उन्हें बुद्धिमानी से उपयोग करना चाहिए, उनकी ताकत और कमजोरियों को जानते हुए, न कि जो कुछ भी वे दिखाते हैं उस पर आँख मूंदकर विश्वास करना चाहिए।
संक्षेप में: यदि आप अपने AI को समझना चाहते हैं, तो केवल उसकी आँखों को न देखें; उसकी सामग्रियों को तौलें। और सर्वोत्तम परिणामों के लिए, "इंटीग्रेटेड ग्रेडिएंट्स" स्केल का उपयोग करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।