LLMs Explain't: A Post-Mortem on Semantic Interpretability in Transformer Models
यह शोध पत्र यह तर्क देता है कि लार्ज लैंग्वेज मॉडल्स के लिए व्यापक रूप से उपयोग की जाने वाली व्याख्यात्मक विधियाँ, विशेष रूप से अटेंशन-आधारित स्पष्टीकरण और एम्बेडिंग्स के माध्यम से फीचर-मैपिंग, मौलिक पद्धतिगत दोषों और आर्टिफैक्ट्स के कारण भाषाई अमूर्तन या अर्थ संबंधी समझ का विश्वसनीय रूप से पता लगाने में विफल रहती हैं, जिससे सर्वव्यापी कंप्यूटिंग संदर्भों में एलएलएम (LLM) व्याख्यात्मकता के वर्तमान दावों की वैधता को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, जादुई काला डिब्बा (black box) है जो कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और भाषाओं का अनुवाद कर सकता है। हर कोई इस डिब्बे को "लार्ज लैंग्वेज मॉडल" (LLM) कहता है। क्योंकि यह अपने काम में इतना अच्छा है, इंजीनियर और वैज्ञानिक जानना चाहते हैं कि यह कैसे सोचता है। वे उस डिब्बे के अंदर झाँककर देखना चाहते हैं कि उसके भीतर गियर कैसे घूम रहे हैं।
यह शोध पत्र (paper) उन दो लोकप्रिय तरीकों का एक "पोस्ट-मॉर्टम" (एक मेडिकल ऑटोप्सी) है जिनका उपयोग वैज्ञानिक इस डिब्बे के अंदर देखने के लिए करने की कोशिश कर रहे थे। लेखकों ने—जो हैम्बर्ग विश्वविद्यालय के शोधकर्ताओं की एक टीम है—इन दो तरीकों का परीक्षण किया ताकि यह देखा जा सके कि क्या ये मॉडल वास्तव में भाषा को समझते हैं।
फैसला: दोनों तरीके विफल रहे। उन्होंने केवल "कमजोर" स्पष्टीकरण नहीं दिए; बल्कि उन्होंने पाया कि ये तरीके स्वयं गलत धारणाओं पर आधारित हैं। वह "प्रमाण" जिसका उपयोग वैज्ञानिक यह कहने के लिए कर रहे थे कि, "देखो, मॉडल इसे समझता है!", वास्तव में उस तरीके से पैदा हुआ एक भ्रम था जिससे ये परीक्षण सेटअप किए गए थे।
यहाँ उन दो तरीकों का विवरण दिया गया जिनका उन्होंने परीक्षण किया और वे क्यों टूट गए, सरल उपमाओं (analogies) का उपयोग करते हुए।
विधि 1: "स्पॉटलाइट" (अटेंशन एनालिसिस)
सिद्धांत:
इन AI मॉडलों में, "अटेंशन हेड्स" (attention heads) नामक कुछ हिस्से होते हैं। वैज्ञानिकों ने सोचा कि ये एक स्पॉटलाइट की तरह काम करते हैं। यदि मॉडल "डॉग" (कुत्ता) के बारे में बात कर रहा है, और स्पॉटलाइट "लैब्राडूडल" शब्द पर चमक रही है, तो सिद्धांत यह था: "आहा! मॉडल 'डॉग' और 'लैब्राडूडल' को आपस में जोड़ रहा है क्योंकि वह जानता है कि वे संबंधित हैं!"
वास्तविकता की जाँच:
शोधकर्ताओं ने परीक्षण किया कि क्या यह स्पॉटलाइट मॉडल की परतों (layers) के माध्यम से जानकारी आगे बढ़ने के साथ वास्तव में उसी शब्द पर केंद्रित रहती है।
- उपमा: कल्पना कीजिए कि आप एक कक्षा में एक नोट पास कर रहे हैं। आप कागज पर "Dog" लिखते हैं। आप इसे अगले छात्र को पास करते हैं, जो इसमें एक डूडल जोड़ देता है। आप इसे अगले को पास करते हैं, जो इसे मोड़ देता है और दूसरे नोट के साथ मिला देता है। जब तक यह कमरे के पीछे पहुँचता है, कागज कई अलग-अलग नोट्स का एक मुड़ा-तुड़ाया गोला बन चुका होता है जो आपस में मिल गए हैं।
- निष्कर्ष: शोधकर्ताओं ने पाया कि जब तक जानकारी मॉडल की गहरी परतों तक पहुँचती है, तब तक "नोट" (शब्द का प्रतिनिधित्व) अन्य नोट्स के साथ पिघलकर और मिलकर एक मिश्रण बन चुका होता है। "स्पॉटलाइट" अब मूल शब्द पर नहीं चमक रही है; यह कई शब्दों के एक अस्त-व्यस्त मिश्रण पर चमक रही है।
- निष्कर्ष: जब वैज्ञानिक सुंदर चित्र बनाते हैं जो दिखाते हैं कि मॉडल किन शब्दों पर "अटेंड" (ध्यान) करता है, तो वे एक ऐसा पैटर्न देख रहे होते हैं जो अर्थपूर्ण दिखता है, लेकिन वास्तव में यह केवल मिश्रण की प्रक्रिया से उत्पन्न एक आर्टिफैक्ट (artifact) है। मॉडल अनिवार्य रूप से शब्दों के बीच के संबंध के बारे में नहीं सोच रहा है; गणित बस ऐसा दिखता है जैसे वह हो रहा हो।
विधि 2: "अनुवादक" (एम्बेडिंग प्रॉपर्टी इन्फरेंस)
सिद्धांत:
दूसरा तरीका यह देखने की कोशिश करता है कि मॉडल क्या "जानता" है, इसके लिए मॉडल के आंतरिक नंबरों (embeddings) को एक गुप्त कोड के रूप में उपयोग करता है। वैज्ञानिक इन नंबरों को मानवीय गुणों में डिकोड करने के लिए एक "अनुवादक" (एक छोटा कंप्यूटर प्रोग्राम) बनाने की कोशिश करते हैं।
- उदाहरण: यदि मॉडल के पास "Apple" के लिए एक संख्यात्मक वेक्टर है, तो क्या अनुवादक यह अनुमान लगा सकता है कि "Apple" "लाल," "खाने योग्य," और "पेड़ों पर उगने वाला" है? यदि अनुवादक को उच्च स्कोर मिलता है, तो वैज्ञानिक कहते हैं, "देखो! मॉडल जानता है कि सेब क्या है!"
वास्तविकता की जाँच:
शोधकर्ताओं ने परीक्षण किया कि क्या अनुवादक वास्तव में अर्थ को डिकोड कर रहा था या केवल धोखाधड़ी कर रहा था।
- उपमा: कल्पना कीजिए कि आप किसी व्यक्ति की ऊंचाई देखकर उसके पसंदीदा रंग का अनुमान लगाने की कोशिश कर रहे हैं।
- चाल: यदि आपके पास एक ऐसा डेटासेट है जहाँ हर वह व्यक्ति जो लंबा है उसे "नीला" रंग पसंद है, और आप ऊंचाई के आधार पर "नीला" रंग बताने के लिए एक अनुवादक बनाते हैं, तो आपको एक परफेक्ट स्कोर मिलेगा।
- वास्तविकता: लेकिन यदि आप डेटा को बदल देते हैं जहाँ "लंबे लोग" अब "लाल" रंग पसंद करते हैं, और आपका अनुवादक अभी भी पूरी तरह से "नीला" बताता है, तो इसका मतलब है कि आपका अनुवादक वास्तव में रंगों के बारे में नहीं सीख रहा था। वह केवल डेटा के आकार को या इस तथ्य को याद कर रहा था कि रंगों की सूची छोटी और दोहराव वाली है।
- निष्कर्ष: शोधकर्ताओं ने अनुवादक को बेमतलब (nonsense) डेटा खिलाकर परीक्षण किया। उन्होंने शब्दों को बिखेर दिया, "Apple" को रैंडम बकवास से बदल दिया, या गुणों को आपस में मिला दिया (जैसे "Apple" को "डंक मारने वाला" और "घातक" से जोड़ दिया)।
- परिणाम: अनुवादक को अभी भी उच्च स्कोर मिलते रहे! इससे कोई फर्क नहीं पड़ा कि अर्थ वास्तविक था या नकली। उच्च स्कोर डेटा की गणितीय संरचना (जैसे कि डेटा कितना विरल या भीड़भाड़ वाला है) द्वारा संचालित थे, न कि मॉडल द्वारा अवधारणाओं को वास्तव में समझने से।
यह क्यों मायने रखता है?
लेखक तर्क देते हैं कि हम वर्तमान में जटिल प्रणालियाँ (जैसे सेल्फ-ड्राइविंग कार या मेडिकल डायग्नोस्टिक टूल्स) बना रहे हैं जो इन AI मॉडलों पर निर्भर करती हैं। इन प्रणालियों को सुरक्षित और कुशल बनाने के लिए, इंजीनियर इन "इंटरप्रिटेबिलिटी" (व्याख्यात्मकता) तरीकों का उपयोग करते हैं ताकि:
- डिबग (Debug) किया जा सके (यह पता लगाया जा सके कि गलती क्यों हुई)।
- कंप्रेस (Compress) किया जा सके (सिस्टम को छोटा बनाया जा सके ताकि फोन पर चल सके)।
- भरोसा (Trust) किया जा सके (यह तय किया जा सके कि क्या यह उपयोग के लिए सुरक्षित है)।
खतरा: यदि सिस्टम की जाँच करने वाले उपकरण ही टूटे हुए हैं, तो हमें लग सकता है कि सिस्टम सुरक्षित और सही ढंग से काम कर रहा है, जबकि वास्तव में वह नहीं है। यह एक मरीज का बुखार जाँचने के लिए टूथ थर्मामीटर का उपयोग करने जैसा है; यदि थर्मामीटर हमेशा "98.6" ही दिखाता है, तो आप वास्तविक बीमारी को मिस कर सकते हैं।
मुख्य बात (The Bottom Line)
यह शोध पत्र निष्कर्ष निकालता है कि हालांकि ये दो तरीके दमदार कहानियाँ (सुंदर चित्र और उच्च स्कोर) पेश करते हैं, लेकिन वे वास्तविक वैज्ञानिक स्पष्टीकरण प्रदान नहीं करते हैं।
- अटेंशन मैप्स (Attention maps) एक धुंधली फोटो को देखने और खुद को यह समझाने जैसा है कि आप उसमें एक चेहरा देख रहे हैं, भले ही वह केवल शोर (noise) हो।
- प्रॉपर्टी इन्फरेंस (Property inference) स्ट्रिंग के वास्तविक अक्षरों के बजाय स्ट्रिंग की लंबाई के आधार पर पासवर्ड का अनुमान लगाने जैसा है।
लेखक यह नहीं कह रहे हैं कि AI बेकार है; वे कह रहे हैं कि हमें यह मान लेना बंद करना चाहिए कि ये विशिष्ट उपकरण हमें बताते हैं कि AI क्या "सोचता" है। हमें अपने परिणामों पर भरोसा करने से पहले, विशेष रूप से जब ये मॉडल वास्तविक दुनिया की प्रणालियों को नियंत्रित कर रहे हों, अपनी धारणाओं का अधिक कठोरता से परीक्षण करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।