DMDIntel: Interpreting Large Language Models via Dynamic Mode Decomposition
यह शोध पत्र DMDIntel प्रस्तुत करता है, जो एक नवीन व्याख्यात्मकता ढांचा (interpretability framework) है जो डायनेमिक मोड डिकंपोजिशन का लाभ उठाकर LLM हिडन स्टेट्स को प्रमुख मोड में विभाजित करता है और इनपुट टोकन को रैंक करता है, जो कई डेटासेट्स और मॉडल परिवारों में PCA, इंटीग्रेटेड ग्रेडिएंट्स और SHAP जैसे अत्याधुनिक एट्रिब्यूशन तरीकों की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादूगर को टोपी से खरगोश निकालते हुए देख रहे हैं। आप टोपी देखते हैं, आप खरगोश देखते हैं, लेकिन जादू उस पल में होता है जब वह टोपी और खरगोश के बीच होता है, जो जादूगर की आस्तीन के भीतर छिपा होता है। लंबे समय से, आर्टिफिशियल इंटेलिजेंस (AI) वही जादूगर रहा है। हम इसे एक वाक्य देते हैं, और यह हमें एक उत्तर देता है, लेकिन वास्तव में कोई नहीं जानता कि इसने उस उत्तर का निर्णय कैसे लिया। AI एक "ब्लैक बॉक्स" है, और वैज्ञानिक इसके अंदर झांकने के लिए बेताब हैं ताकि देख सकें कि कंप्यूटर वास्तव में किन शब्दों पर ध्यान दे रहा था। इस क्षेत्र को "इंटरप्रिटेबिलिटी" (व्याख्यात्मकता) कहा जाता है। इस नए शोध पत्र को समझने के लिए, आपको पहले दो चीजें जानने की आवश्यकता है: AI टेक्स्ट को कैसे पढ़ता है और हम आमतौर पर इसके अंदर झांकने की कोशिश कैसे करते हैं।
AI मॉडल, विशेष रूप से वे जिन्हें "लार्ज लैंग्वेज मॉडल्स" (LLMs) कहा जाता है, शब्दों को हमारे जैसे नहीं पढ़ते हैं। इसके बजाय, वे हर शब्द को संख्याओं की एक लंबी सूची (एक वेक्टर) में बदल देते हैं और उन्हें परतों की एक श्रृंखला के माध्यम से भेजते हैं, जैसे कि एक रिले रेस हो। प्रत्येक परत पर, संख्याएँ थोड़ी बदल जाती हैं, वर्तमान शब्द के अर्थ को उससे पहले आए शब्दों के साथ मिला देती हैं। इस दौड़ के अंत तक, मॉडल के पास संख्याओं का एक अंतिम सेट होता है जो उत्तर तय करता है। आमतौर पर, यह पता लगाने के लिए कि कौन से शब्द महत्वपूर्ण थे, वैज्ञानिक उन उपकरणों का उपयोग करते हैं जो मॉडल की "स्थिर" (static) अवस्था को देखते हैं—जैसे कि रिले रेस की एक एकल फोटो लेना और यह अनुमान लगाना कि कौन सबसे तेज़ दौड़ रहा है। लेकिन यह शोध पत्र सुझाव देता है कि एक एकल फोटो देखना पूरी कहानी को समझने में चूक जाता है। इसका तर्क है कि हमें दौड़ का "मूवी" देखना चाहिए, यह देखना चाहिए कि एक कदम से दूसरे कदम तक संख्याएँ कैसे विकसित होती हैं, क्योंकि AI की सोच का रहस्य उसी गति (movement) में है।
यहाँ DMDINTEL आता है, जो अमोघ जोशी और उनकी टीम (IIT खड़गपुर और यूनिवर्सिटी ऑफ मैनचेस्टर) द्वारा पेश किया गया एक नया तरीका है। AI की आंतरिक प्रक्रिया को संख्याओं की एक स्थिर सूची के रूप में नहीं, बल्कि एक बहती हुई नदी के रूप में सोचें। जैसे ही AI एक वाक्य पढ़ता है, "पानी" (छिपी हुई जानकारी) हर नए शब्द के साथ लहरें पैदा करता है और अपना आकार बदलता है। शोधकर्ताओं ने डायनेमिक मोड डिकंपोजिशन (DMD) नामक एक गणितीय उपकरण का उपयोग किया—जिसे मूल रूप से फ्लूइड मैकेनिक्स (द्रव यांत्रिकी) में पानी के भंवरों का अध्ययन करने के लिए बनाया गया था—इन लहरों का मानचित्र बनाने के लिए।
यहाँ उनका "नदी" वाला रूपक वास्तव में कैसे काम करता है: जब AI एक वाक्य पढ़ता है, तो शब्दों की छिपी हुई अवस्थाएं एक जटिल, घूमता हुआ पैटर्न बनाती हैं। DMDINTEL इस पैटर्न को कुछ सरल, दोहराने वाले "मोड्स" या आकारों में तोड़ देता है, ठीक वैसे ही जैसे समुद्र की एक जटिल लहर को कुछ बुनियादी तरंग आकारों के संयोजन के रूप में वर्णित किया जा सकता है। टीम ने पाया कि यह देखकर कि ये आकार वाक्य पढ़ते समय कैसे बढ़ते, घटते या दोलन (oscillate) करते हैं, वे पहचान सकते थे कि कौन से शब्द अंतिम निर्णय के "ड्राइवर्स" (प्रेरक) थे। उन्होंने AI को एक डायनामिकल सिस्टम के रूप में माना, जिसका अर्थ है कि उन्होंने केवल शब्द को ही नहीं, बल्कि एक शब्द से दूसरे शब्द के बीच के बदलाव को देखा।
शोधकर्ताओं ने इस विचार का परीक्षण AI मॉडलों के तीन अलग-अलग परिवारों (Llama, Qwen, और Mistral) और तीन अलग-अलग कार्यों पर किया: यह पता लगाना कि समीक्षा सकारात्मक है या नकारात्मक, फर्जी खबरों (fake news) का पता लगाना, और घृणास्पद भाषण (hateful speech) का पता लगाना। उन्होंने अपने "नदी मूवी" वाले तरीके की तुलना पुराने "स्थिर फोटो" वाले तरीकों से की, जिसमें इंटीग्रेटेड ग्रेडिएंट्स (Integrated Gradients), SHAP, और प्रिंसिपल कंपोनेंट एनालिसिस (PCA) जैसी तकनीकें शामिल हैं।
परिणाम बताते हैं कि DMDINTEL एक बहुत बेहतर जासूस है। अपने प्रयोगों में, नए तरीके ने अन्य तरीकों की तुलना में लगातार सबसे महत्वपूर्ण शब्दों (ग्राउंड ट्रुथ) को अधिक बार खोजा। उदाहरण के लिए, जब AI यह तय कर रहा था कि समीक्षा नकारात्मक है या नहीं, तो DMDINTEL ने "trash" और "unable" जैसे शब्दों को शीर्ष ड्राइवरों के रूप में सही ढंग से रैंक किया, जबकि अन्य तरीके कभी-कभी "scheduled" या "conference" जैसे कम महत्वपूर्ण शब्दों से विचलित हो जाते थे। पेपर दिखाता है कि AI की सोच के विकास (evolution) को देखकर, DMDINTEL वाक्य के तर्क को बेहतर तरीके से पकड़ लेता है। यह सुझाव देता है कि AI का तर्क केवल स्थिर बैठे शब्दों के बारे में नहीं है; यह इस बारे में है कि वाक्य बनते समय अर्थ कैसे बहता और परिवर्तित होता है।
हालाँकि, लेखक सावधानीपूर्वक यह नोट करते हैं कि यह हर AI समस्या के लिए कोई जादुई समाधान (magic bullet) नहीं है। उनका तरीका तब सबसे अच्छा काम करता है जब AI केवल एक वाक्य पढ़ रहा होता है और एक सरल उत्तर दे रहा होता है (जैसे कि एक वर्गीकरण कार्य)। वे स्वीकार करते हैं कि यदि AI एक लंबी कहानी लिखना शुरू कर देता है या पूरी किताब को शब्द-दर-शब्द अनुवाद करना शुरू कर देता है, तो गणित जटिल हो जाता है क्योंकि AI अपने ही नए शब्दों को वापस सिस्टम में फीड करने लगता है। लेकिन इस विशिष्ट कार्य के लिए कि यह समझाया जाए कि AI ने किसी वाक्य को "घृणास्पद भाषण" या "फर्जी खबर" के रूप में क्यों लेबल किया, संख्याओं के नृत्य को देखने का यह नया तरीका मशीन के मन की एक स्पष्ट और अधिक सटीक तस्वीर पेश करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।