Fine-Grained Analysis of Shared Syntactic Mechanisms in Language Models
यह अध्ययन कारण संबंधी व्याख्यात्मकता (causal interpretability) विधियों का उपयोग करके यह प्रदर्शित करता है कि भाषा मॉडल विभिन्न संरचनाओं में फिलर-गैप डिपेंडेंसीज़ (filler-gap dependencies) के लिए एक साझा, स्थानीयकृत तंत्र (localized neural mechanism) का उपयोग करते हैं, जबकि एनपीआई लाइसेंसिंग (NPI licensing) ऐसा नहीं करता है, और साथ ही यह भी दिखाता है कि एक्टिवेशन पैचिंग (activation patching), सुपरवाइज्ड एलाइनमेंट सर्च (supervised alignment search) की तुलना में आउट-ऑफ-डिस्ट्रीब्यूशन डेटा पर बेहतर सामान्यीकरण करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
AI का "मस्तिष्क": क्या यह अलग-अलग कामों के लिए एक ही औजारों का उपयोग करता है?
कल्पना कीजिए कि आप एक कुशल शेफ (रसोइया) हैं। जब आप एक नाजुक सूफ़ले (soufflé) बनाते हैं, तो आप एक व्हिस्क (फेंटने वाला उपकरण) का उपयोग करते हैं। जब आप एक गाढ़ा स्टू (stew) बनाते हैं, तो आप एक भारी लैडल (कड़छी) का उपयोग करते हैं। भले ही व्यंजन पूरी तरह से अलग हों, फिर भी आप प्रत्येक के लिए "औजारों" (बर्तनों) के एक विशिष्ट सेट का उपयोग कर रहे हैं।
अब, एक सुपर-इंटेलिजेंट रोबोट शेफ की कल्पना करें। यदि आप उससे केक बनाने और फिर सूप बनाने के लिए कहते हैं, तो क्या वह उन व्यंजनों को प्रोसेस करने के लिए बिल्कुल एक ही आंतरिक गियर्स और तारों का उपयोग करता है, या वह प्रत्येक के लिए पूरी तरह से अलग "सर्किट्री" (परिपथ) पर स्विच कर देता है?
टोक्यो विश्वविद्यालय और RIKEN के शोधकर्ताओं द्वारा लिखा गया यह शोध पत्र, आर्टिफिशियल इंटेलिजेंस (लार्ज लैंग्वेज मॉडल्स) के बारे में ठीक यही सवाल पूछता है।
दो "व्याकरण पहेलियाँ" (Grammar Puzzles)
शोधकर्ताओं ने AI का परीक्षण दो अलग-अलग प्रकार की भाषाई पहेलियों के साथ करने का निर्णय लिया:
"लुप्त हिस्सा" पहेली (Filler-Gap Dependencies):
एक वाक्य की कल्पना करें जो किसी खोज (scavenger hunt) की तरह हो। "वह आदमी [जिसको] लड़की ने [___] पसंद किया।" यहाँ "जिसको" एक सुराग है, और वहाँ एक अदृश्य "खाली स्थान" है जहाँ उस व्यक्ति का होना चाहिए जिसे पसंद किया गया। AI को वाक्य के अंत को समझने के लिए शुरुआत के सुराग को याद रखना होगा।"अनुमति" पहेली (NPI Licensing):
कुछ शब्द "शर्मीले" होते हैं और वे तभी बाहर आते हैं जब कोई निश्चित "लीडर" शब्द मौजूद हो। उदाहरण के लिए, वाक्य "मेरे पास कोई सेब नहीं है" में, "कोई" शब्द केवल इसलिए मान्य है क्योंकि "नहीं" (एक नकारात्मक शब्द) ने इसे अनुमति दी है।
बड़ा सवाल यह है: क्या AI इन दोनों पहेलियों को हल करने के लिए एक ही "मानसिक गियर्स" का उपयोग करता है, या उन्हें मस्तिष्क के अलग-अलग हिस्सों द्वारा संभाला जाता है?
उन्हें क्या मिला: एक टूल बनाम कई टूल्स
शोधकर्ताओं ने "एक्टिवेशन पैचिंग" (Activation Patching) नामक तकनीक का उपयोग किया। कल्पना कीजिए कि यदि आप एक रोबोट के मस्तिष्क के भीतर जा सकें, एक विशिष्ट तार को ढूंढ सकें और यह देखने के लिए बिजली को बढ़ा सकें कि क्या वह रोबोट को एक विशिष्ट कार्य में अधिक स्मार्ट बनाता है। उन्होंने बिल्कुल यही किया।
1. "लुप्त हिस्सा" पहेली के पास एक "मास्टर गियर" है:
खोज वाले वाक्यों (Filler-Gap) के लिए, शोधकर्ताओं ने कुछ अद्भुत पाया: AI चाहे वाक्य को किसी भी तरह से पेश करे, वह एक ही विशिष्ट "गियर्स" (अटेंशन हेड्स) का उपयोग करता है। चाहे वह एक जटिल प्रश्न हो या एक सरल कथन, AI हमेशा सुराग को खाली स्थान से जोड़ने के लिए अपने मध्य स्तरों (middle layers) में एक ही छोटे क्लस्टर "तारों" को सक्रिय करता है। इस काम के लिए उसके पास एक समर्पित "स्ट्रक्चरल टूल" है।
2. "अनुमति" पहेली "अव्यवस्थित" है:
"शर्मीले" शब्दों (NPIs) के लिए, कोई एक मास्टर गियर नहीं था। AI वाक्य के विशिष्ट विवरण के आधार पर अपने मस्तिष्क के विभिन्न हिस्सों का उपयोग करता है। यह ऐसा है जैसे रोबोट के पास एक "अनुमति टूल" नहीं है; इसके बजाय, उसके पास बहुत सारे अलग-अलग, विशिष्ट गैजेट्स हैं जिन्हें वह स्थिति के अनुसार उठा लेता है।
यह क्यों महत्वपूर्ण है? ("वॉल्यूम नॉब" टेस्ट)
यह साबित करने के लिए कि वे सही थे, शोधकर्ताओं ने एक साहसी कदम उठाया: उन्होंने उन विशिष्ट "खोज वाले गियर्स" के वॉल्यूम को बढ़ा दिया।
उन्होंने विशेष रूप से उन तारों में सिग्नल को कृत्रिम रूप से बढ़ाया, और अनुमान लगाइए क्या हुआ? AI वास्तव में व्याकरण में बेहतर हो गया! यह यह तय करने में अधिक सटीक हो गया कि वाक्य सही हैं या गलत। यह एक मशीन में "लॉजिक नॉब" खोजने और पूरी मशीन को सुचारू रूप से चलाने के लिए उसे घुमाने जैसा है।
निष्कर्ष (The Takeaway)
यह अध्ययन हमें बताता है कि AI केवल सूचना का एक विशाल, धुंधला मिश्रण नहीं है। यह वास्तव में कुछ प्रकार के तर्क के लिए विशेषज्ञ आंतरिक मशीनरी बनाता है।
इन "मास्टर गियर्स" को खोजकर, हम केवल यह नहीं सीख रहे हैं कि AI कैसे काम करता है; हम उन "ट्यूनिंग नॉब्स" को भी ढूंढ रहे हैं जो भविष्य में हमें और भी स्मार्ट, अधिक विश्वसनीय AI बनाने में मदद कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।