Hessian-Enhanced Token Attribution (HETA): Interpreting Autoregressive LLMs
यह शोध पत्र हेसियन-एन्हांस्ड टोकन एट्रिब्यूशन (HETA) को प्रस्तुत करता है, जो एक नवीन ढांचा है जिसे सिमेंटिक ट्रांज़िशन वेक्टर्स, हेसियन-आधारित संवेदनशीलता स्कोर और KL डाइवर्जेंस को संयोजित करके डिकोडर-ओनली ऑटोरेग्रेसिव लैंग्वेज मॉडल्स की व्याख्यात्मकता में सुधार करने के लिए डिज़ाइन किया गया है ताकि अधिक निष्ठावान और मानव-संरेखित टोकन एट्रिब्यूशन उत्पन्न किए जा सकें, साथ ही जेनेरेटिव एट्रिब्यूशन गुणवत्ता के मूल्यांकन के लिए एक नए बेंचमार्क को भी प्रस्तुत किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादूगर को टोपी से खरगोश निकालते हुए देख रहे हैं। आप खरगोश को प्रकट होते देखते हैं, लेकिन आपको पता नहीं है कि जादूगर ने यह कैसे किया। क्या उन्होंने कोई छिपा हुआ कम्पार्टमेंट इस्तेमाल किया? क्या यह हाथ की सफाई (sleight of hand) थी? या कोई गुप्त संकेत?
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, लार्ज लैंग्वेज मॉडल्स (LLMs) वे जादूगर हैं। वे कविताएँ लिखते हैं, सवालों के जवाब देते हैं, और समस्याओं को हल करते हैं, लेकिन वे "ब्लैक बॉक्स" हैं। हम इनपुट (सवाल) को जानते हैं और आउटपुट (जवाब) को भी, लेकिन हमें यह नहीं पता कि सवाल के किन विशिष्ट शब्दों ने वास्तव में उस विशिष्ट उत्तर को उत्पन्न करने के लिए मॉडल को प्रेरित किया।
यह शोध पत्र HETA (हेसियन-एन्हांस्ड टोकन एट्रिब्यूशन) नामक एक नया टूल पेश करता है जो इस रहस्य को सुलझाने के लिए है। HETA को एक सुपर-पावर्ड डिटेक्टिव के रूप में समझें जो जादूगर की टोपी के अंदर झाँक सकता है और ठीक उसी ओर इशारा कर सकता है जहाँ असली ट्रिक छिपी है।
HETA कैसे काम करता है, इसे तीन सरल जासूसी उपकरणों में विभाजित किया गया है:
1. "कॉज़ल मैप" (सिमेंटिक फ्लो)
समस्या: एक सामान्य बातचीत में, यदि मैं कहता हूँ, "बिल्ली चटाई पर बैठी है" (The cat sat on the mat), तो "बिल्ली" शब्द महत्वपूर्ण है। लेकिन एक लंबी कहानी में, मॉडल अप्रासंगिक विवरणों से विचलित हो सकता है। पुराने तरीके अक्सर केवल इस बात को देखते थे कि मॉडल कहाँ "देख" रहा है (अटेंशन), जो जादूगर के ट्रिक का अनुमान लगाने के लिए उसकी आँखों की दिशा देखने जैसा है। लेकिन जादूगर अक्सर आपको धोखा देने के लिए एक तरफ देखता है जबकि असली काम अपने हाथों से कहीं और कर रहा होता है।
HETA का समाधान: HETA एक कॉज़ल मैप (Causal Map) बनाता है। यह वाक्य की शुरुआत से लेकर अनुमानित विशिष्ट शब्द तक सूचना के वास्तविक मार्ग का पता लगाता है। यह पूछता है: "क्या इस विशिष्ट शब्द ने अगले शब्द को बनाने में मदद करने के लिए मॉडल के 'दिमाग' के माध्यम से वास्तव में यात्रा की?" यदि उस शब्द ने उत्तर तक पहुँचने के लिए सीधा रास्ता नहीं लिया, तो HETA उसे अनदेखा कर देता है। यह शोर को छान देता है और केवल उन्हीं शब्दों पर ध्यान केंद्रित करता है जो वास्तव में मायने रखते हैं।
2. "कर्वेचर सेंसर" (हेसियन-आधारित संवेदनशीलता)
समस्या: एक पहाड़ी की कल्पना करें। यदि आप पहाड़ी के समतल हिस्से पर खड़े हैं, तो एक छोटा सा कदम आपकी ऊँचाई को बहुत अधिक नहीं बदलता है। लेकिन यदि आप एक खड़ी ढलान के किनारे पर हैं, तो एक छोटा सा कदम आपको नीचे गिरा सकता है।
पुराने AI टूल्स मुख्य रूप से "ढलान" (gradients) को देखते हैं। यदि ज़मीन समतल है, तो वे कहते हैं, "यह शब्द महत्वपूर्ण नहीं है।" लेकिन कभी-कभी, समतल ज़मीन पर भी, एक छोटा सा धक्का बड़े बदलाव को ट्रिगर कर सकता है क्योंकि उसके नीचे की पहाड़ी का आकार अलग होता है।
HETA का समाधान: HETA एक कर्वेचर सेंसर (Curvature Sensor) का उपयोग करता है। केवल ढलान को देखने के बजाय, यह पहाड़ी के आकार को महसूस करता है। यह उन छिपे हुए "क्लिफ एड्ज" (खतरनाक किनारों) का पता लगाता है जहाँ एक शब्द में मामूली बदलाव उत्तर में एक बड़ा बदलाव ला देता है। यह उन महत्वपूर्ण शब्दों को खोजने में मदद करता है जिन्हें अन्य टूल्स मिस कर देते हैं क्योंकि वे गणित के "समतल" क्षेत्रों में छिपे होते हैं।
3. "व्हाट-इफ" सिम्युलेटर (KL डाइवर्जेंस)
समस्या: कभी-कभी एक शब्द महत्वपूर्ण लगता है, लेकिन शायद वह सिर्फ एक संयोग है। हम निश्चित रूप से कैसे जानें?
HETA का समाधान: HETA एक "व्हाट-इफ" सिम्युलेटर चलाता है। यह वाक्य लेता है, एक शब्द को मिटा देता है, और मॉडल से पूछता है: "ठीक है, अब जब मैंने इस शब्द को हटा दिया है, तो क्या उत्तर बदलता है?"
- यदि मॉडल अचानक गलत उत्तर देता है या भ्रमित हो जाता है, तो HETA जानता है कि वह शब्द महत्वपूर्ण (critical) था।
- यदि मॉडल वही उत्तर देता है, तो वह शब्द केवल सजावट (decoration) था।
यह दीवार से एक ईंट निकालने और यह देखने जैसा है कि क्या दीवार गिर जाती है।
सबको एक साथ जोड़ना
HETA इन तीनों उपकरणों को एक सुपर-समाधान में मिलाता है:
- मैप (Map) यह सुनिश्चित करता है कि हम केवल उन शब्दों को देखें जिनका उत्तर से सीधा संबंध है।
- सेंसर (Sensor) उन छिपे हुए, जटिल संबंधों को खोजता है जिन्हें सरल गणित मिस कर देता है।
- सिम्युलेटर (Simulator) यह साबित करता है कि उस शब्द ने वास्तव में परिणाम को बदला है।
यह क्यों मायने रखता है?
HETA से पहले, यह समझना कि AI ने कोई निर्णय क्यों लिया, अंतिम डिश (पकवान) को चखकर उसके अवयवों (ingredients) का अनुमान लगाने जैसा था। आप करीब तो पहुँच सकते थे, लेकिन आप अक्सर गलत होते थे।
HETA के साथ, हम अंततः कह सकते हैं: "AI ने 'स्लाइस' (slice) की भविष्यवाणी इसलिए की क्योंकि शब्द 'पिज्जा', 'चाकू' और 'काटना' मौजूद थे, और इसने शब्द 'लाल' को अनदेखा कर दिया भले ही वह वाक्य में था।"
यह AI को बनाता है:
- विश्वसनीय (Trustworthy): हम जानते हैं कि इसने निर्णय क्यों लिया।
- सुरक्षित (Safe): यदि कोई AI अस्पताल या बैंक में गलती करता है, तो हम उस सटीक शब्द तक वापस जा सकते हैं जिसके कारण त्रुटि हुई और उसे ठीक कर सकते हैं।
- बेहतर (Better): यह समझकर कि मॉडल कैसे सोचता है, हम भविष्य में स्मार्ट मॉडल बना सकते हैं।
संक्षेप में, HETA AI के "ब्लैक बॉक्स" को एक "ग्लास बॉक्स" में बदल देता है, जिससे हम देख सकते हैं कि जादू वास्तव में कैसे होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।