Mechanistic Interpretability of Chain-of-Thought Reasoning via Sequential Activation Patching
यह शोध पत्र एक अनुक्रमिक सक्रियण पैचिंग (sequential activation patching) ढांचे को प्रस्तुत करता है जो टोकन स्थितियों में समयबद्ध रूप से फैले प्रभावों का पता लगाकर और लक्षित एब्लेशन (ablation) के माध्यम से उनके कार्यात्मक महत्व को सत्यापित करके, लार्ज लैंग्वेज मॉडल्स में चेन-ऑफ-थॉट (Chain-of-Thought) तर्क का कारण बनने वाले वितरित अटेंशन-हेड सब-सर्किट्स की पहचान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) आधुनिक आर्टिफिशियल इंटेलिजेंस टूल्स के पीछे के इंजन हैं, जो मानव जैसा टेक्स्ट जेनरेट करने, समस्याओं को हल करने और सवालों के जवाब देने में सक्षम हैं। जब ये मॉडल जटिल कार्यों का सामना करते हैं, जैसे कि एक कठिन गणितीय शब्द समस्या (math word problem), तो वे अक्सर बेहतर प्रदर्शन करते हैं यदि उन्हें अंतिम उत्तर देने से पहले अपने सोचने के चरणों को चरण-दर-चरण लिखने के लिए कहा जाए। यह तकनीक, जिसे "चेन-ऑफ-थॉट" (chain-of-thought) प्रॉम्पटिंग कहा जाता है, मॉडल को समस्या को छोटे, प्रबंधनीय टुकड़ों में तोड़ने के लिए प्रोत्साहित करती है, ठीक वैसे ही जैसे एक इंसान कागज पर गणनाएँ लिखता है। हालांकि, एक अनसुलझा रहस्य बना हुआ है कि क्या ये लिखित चरण वास्तव में मॉडल को सोचने में मदद कर रहे हैं, या वे केवल एक विनम्र प्रदर्शन मात्र हैं। यह स्पष्ट नहीं था कि क्या मॉडल वास्तव में अपने आंतरिक तर्क को निर्देशित करने के लिए मध्यवर्ती टेक्स्ट का उपयोग कर रहा है, या वह केवल विश्वसनीय लगने वाले शब्द उत्पन्न कर रहा है जबकि गुप्त रूप से एक अलग, छिपी हुई प्रक्रिया पर निर्भर है। इस अंतर को समझना महत्वपूर्ण है क्योंकि यदि मॉडल वास्तव में तर्क नहीं कर रहा है, तो उसके स्पष्टीकरण भ्रामक हो सकते हैं, और महत्वपूर्ण स्थितियों में उसकी विश्वसनीयता संदिग्ध होगी।
इस पहेली को सुलझाने के लिए, इज़मिर इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं ने मॉडल के काम करने के दौरान उसके "मस्तिष्क" के भीतर झांकने का निर्णय लिया। उन्होंने एक विशिष्ट प्रकार के आर्टिफिशियल इंटेलिजेंस पर ध्यान केंद्रित किया जिसे 'ट्रांसफॉर्मर' कहा जाता है, जो सूचनाओं को परस्पर जुड़े मार्गों के एक विशाल नेटवर्क के माध्यम से संसाधित करता है। वे यह जानना चाहते थे कि चेन-ऑफ-थॉट प्रक्रिया मॉडल की आंतरिक गतिविधि को वास्तव में कहाँ और कैसे बदलती है। केवल अंतिम आउटपुट को देखने के बजाय, उन्होंने "एक्टिवेशन पैचिंग" (activation patching) नामक तकनीक का उपयोग किया। मॉडल की आंतरिक स्थिति को एक इमारत के विभिन्न कमरों से बहते डेटा के प्रवाह के रूप में कल्पना करें। एक मानक रन (standard run) में, मॉडल बिना अपने चरण लिखे समस्या को हल करता है। एक "क्लीन" (clean) रन में, वह अपने चरणों को लिखते हुए उसी समस्या को हल करता है। शोधकर्ताओं ने "क्लीन" रन के दौरान कुछ विशिष्ट मार्गों से बहने वाले विशिष्ट डेटा को लिया और उसे "स्टैंडर्ड" रन में बदल दिया। ऐसा करके, वे देख सके कि क्या "सोचने" वाले डेटा को "बिना सोचे" वाले रन में इंजेक्ट करने से मॉडल अचानक समस्या को सही ढंग से हल करने लगे, जैसे कि उसे छूटे हुए चरण मिल गए हों।
टीम ने पाया कि मॉडल की तर्क करने की क्षमता किसी एक, अलग स्थान पर संग्रहीत नहीं है, बल्कि यह सक्रिय होने वाले एक विशिष्ट अनुक्रम में फैले हुए मार्गों के एक वितरित नेटवर्क में फैली हुई है। जब उन्होंने एक ऐसे मॉडल के आंतरिक संकेतों को बदला जो सोच नहीं रहा था, उन संकेतों से जो एक ऐसे मॉडल के थे जो सोच रहा था, तो गैर-सोचने वाला मॉडल एक सोचने वाले मॉडल की तरह व्यवहार करने लगा। वह सही उत्तर के करीब पहुँच गया और उसी तार्किक पथ का अनुसरण करने लगा। इससे पता चलता है कि चेन-ऑफ-थॉट प्रॉम्प्ट्स केवल स्क्रीन पर टेक्स्ट जोड़ने से कहीं अधिक करते हैं; वे मॉडल के आंतरिक संकलन (computation) को सक्रिय रूप से पुनर्गठित करते हैं, जिससे उसे तर्क करने के मोड की ओर निर्देशित किया जा सके। शोधकर्ताओं ने पाया कि यह प्रभाव तब सबसे मजबूत था जब उन्होंने एक ही विशिष्ट समस्या के संकेतों को बदला, लेकिन यह तब भी काम करता था, हालांकि कम मजबूती से, जब उन्होंने पूरी तरह से अलग समस्या के संकेतों को बदला। यह इंगित करता है कि मॉडल ने समस्या को हल करने के तरीके के सामान्य पैटर्न सीख लिए हैं, न कि केवल एक विशिष्ट समीकरण को हल करने के।
यह पुष्टि करने के लिए कि क्या ये मार्ग वास्तव में आवश्यक थे, शोधकर्ताओं ने दूसरा प्रयोग किया जहाँ उन्होंने पहचाने गए मार्गों को पूरी तरह से बंद कर दिया। जब उन्होंने ऐसा किया, तो मॉडल का प्रदर्शन ढह गया। वह केवल अंतिम संख्या गलत नहीं करता था; वह कहानी में अपनी जगह बनाए रखने की क्षमता भी खो देता था, अक्सर उदाहरण समस्या के विवरण को नए प्रश्न के साथ मिला देता था, या अपेक्षित प्रारूप में अंतिम उत्तर देने में भी विफल रहता था। मॉडल कभी-कभी एक ही वाक्यांश को बार-बार दोहराता या ऐसी संख्याएँ जेनरेट करता जिनका कोई अर्थ नहीं होता। इन विफलताओं ने दिखाया कि शोधकर्ताओं द्वारा पहचाने गए मार्ग केवल स्पष्टीकरण लिखने के लिए नहीं हैं; वे वे सर्किट हैं जो मॉडल के तर्क को ट्रैक पर रखते हैं, उसे उदाहरण को वास्तविक कार्य से अलग करने में मदद करते हैं, और यह सुनिश्चित करते हैं कि वह सही संख्याएँ जेनरेट करे।
अध्ययन ने इस विचार को भी खारिज कर दिया कि ये सुधार केवल यादृच्छिक शोर (random noise) या मॉडल के किसी भी हिस्से को बदलने का दुष्प्रभाव थे। जब शोधकर्ताओं ने विशिष्ट "सोचने" वाले संकेतों के बजाय यादृच्छिक, अर्थहीन डेटा को बदला, तो मॉडल में कोई सुधार नहीं हुआ। इसने पुष्टि की कि इन मार्गों द्वारा ले जाए जाने वाले विशिष्ट संकेत ही मायने रखते हैं। शोधकर्ताओं ने पाया कि ये महत्वपूर्ण मार्ग मॉडल के परतों के मध्य और बाद के खंडों में केंद्रित हैं, न कि बिल्कुल शुरुआत या अंत में। वे एक सहायता प्रणाली के रूप में कार्य करते हैं जो मॉडल को उसके विचार के प्रवाह को बनाए रखने, अंतिम उत्तर को सही संख्या से जोड़ने, और उदाहरण समस्या को नए प्रश्न को दूषित करने से रोकने में मदद करते हैं।
अंततः, यह कार्य सुझाव देता है कि चेन-ऑफ-थॉट प्रॉम्पटिंग इसलिए काम करती है क्योंकि यह एक विशिष्ट, वितरित सेट वाले आंतरिक सर्किटों को जुटाती है जो चरण-दर-चरण तर्क का समर्थन करने के लिए डिज़ाइन किए गए हैं। ये सर्किट कोई अलग "तर्क मॉड्यूल" नहीं हैं जो मॉडल के बाकी हिस्सों से अलग बैठा हो; बल्कि, वे ओवरलैपिंग घटक हैं जिनका उपयोग मॉडल गतिशील रूप से तब करता है जब उसे ज़ोर से सोचने के लिए कहा जाता है। जब मॉडल को सोचने के लिए प्रॉम्प्ट नहीं दिया जाता है, तो ये सर्किट पूरी तरह से सक्रिय नहीं होते हैं, और मॉडल जटिल कार्यों के साथ संघर्ष करता है। जब इसे प्रॉम्प्ट दिया जाता है, तो ये सर्किट सक्रिय हो जाते हैं, जो इसे समाधान तक पहुँचने के लिए आवश्यक चरणों के माध्यम से मार्गदर्शन करते हैं। ये निष्कर्ष इस बात की स्पष्ट तस्वीर प्रदान करते हैं कि ये शक्तिशाली उपकरण वास्तव में कैसे काम करते हैं, यह दिखाते हुए कि उनके तर्क को समझाने की क्षमता केवल एक भाषाई घटना नहीं है, बल्कि उनके सूचना प्रसंस्करण के तरीके में एक वास्तविक, आंतरिक बदलाव का प्रतिबिंब है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।