Mechanistic Tomography: Designed Measurement for Control-Oriented Interpretability
यह शोध पत्र "मैकेनिस्टिक टोमोग्राफी" (mechanistic tomography) का परिचय देता है, जो एक एकीकृत ढांचा है जो व्याख्यात्मकता तकनीकों (interpretability techniques) को आंतरिक मॉडल तंत्र और हस्तक्षेप प्रभावों को व्यवस्थित रूप से पुनर्प्राप्त करने के लिए डिज़ाइन किए गए मापों के रूप में मॉडल करता है, और विभिन्न प्रयोगों के माध्यम से यह प्रदर्शित करता है कि नियंत्रण-उन्मुख सत्यापन और अनुकूलित मापन परिवार बड़े भाषा मॉडलों (large language models) में कारण संरचनाओं और अंतःक्रियाओं को कुशलतापूर्वक पुनर्गठित कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कृत्रिम बुद्धिमत्ता प्रणालियाँ, जिन्हें अक्सर लार्ज लैंग्वेज मॉडल्स कहा जाता है, अरबों सूक्ष्म गणितीय स्विचों से बनी होती हैं जो परतों में व्यवस्थित होते हैं। ये प्रणालियाँ कहानियाँ लिख सकती हैं, समस्याओं को हल कर सकती हैं और प्रश्नों के उत्तर दे सकती हैं, लेकिन ये 'ब्लैक बॉक्स' की तरह कार्य करती हैं: हम इनपुट और आउटपुट को देख सकते हैं, लेकिन इन दोनों को जोड़ने वाले आंतरिक चरण छिपे रहते हैं। वर्षों से, शोधकर्ता इन बॉक्स के भीतर झाँकने की कोशिश कर रहे हैं, या तो सिस्टम के कुछ हिस्सों को चालू या बंद करके, या यह देखकर कि इनपुट में थोड़ा बदलाव होने पर आंतरिक संख्याएँ कैसे बदलती हैं। लक्ष्य यह समझना है कि मशीन का कौन सा विशिष्ट हिस्सा विशिष्ट विचारों या शब्दों के लिए जिम्मेदार है। हालाँकि, इन बॉक्स के भीतर देखने के ये विभिन्न तरीके अक्सर अलग-अलग कहानियाँ बताते प्रतीत होते हैं। एक विधि यह सुझाव दे सकती है कि एक घटक महत्वपूर्ण है, जबकि दूसरी यह सुझाव दे सकती है कि वह अप्रासंगिक है, जिससे वैज्ञानिक इस बात को लेकर अनिश्चित हो जाते हैं कि क्या वे एक ही चीज़ को माप रहे हैं या केवल एक ही वस्तु की अलग-अलग छायाओं को देख रहे हैं।
'मैकेनिस्टिक टोमोग्राफी' नामक एक नया दृष्टिकोण इन विरोधाभासी दृष्टिकोणों को एकीकृत करने का एक तरीका प्रदान करता है। मूल विचार यह है कि आंतरिक तंत्रों की खोज को सहज ज्ञान से सुलझाने वाले रहस्य के रूप में नहीं, बल्कि डिज़ाइन द्वारा हल किए जाने वाले एक माप (measurement) की समस्या के रूपв रूप में देखना है। जिस तरह एक डॉक्टर रोगी के स्वास्थ्य की स्पष्ट तस्वीर बनाने के लिए विभिन्न प्रकार के स्कैन का उपयोग करता है, उसी तरह शोधकर्ता विशिष्ट, नियंत्रित प्रयोगों को डिज़ाइन कर सकते हैं ताकि यह मापा जा सके कि एआई के आंतरिक भाग मिलकर कैसे काम करते हैं। यह शोधपत्र इन प्रयोगों के लिए एक संरचित वर्कफ़्लो प्रस्तावित करता है, जो सबसे सरल, सस्ते मापों से शुरू होता है और जटिलता को केवल तभी जोड़ता है जब सरल माप यह अनुमान लगाने में विफल रहते हैं कि मशीन वास्तव में क्या करेगी जब उसे प्रेरित किया जाए। शोधकर्ताओं ने पाया कि जबकि सरल माप अक्सर अच्छी तरह से काम करते हैं, वे कभी-कभी भागों के बीच महत्वपूर्ण अंतःक्रियाओं (interactions) को छोड़ देते हैं, और मापने का सही तरीका पूरी तरह से इस पर निर्भर करता है कि मशीन को क्या करने के लिए कहा जा रहा है।
यह यात्रा एक मौलिक अहसास के साथ शुरू होती है: जिस तरह से हम मशीन की आंतरिक स्थिति को मापते हैं, वह हमें प्राप्त होने वाला उत्तर बदल देता है। यदि आप सिस्टम के एक हिस्से को थोड़ा सा धकेलते हैं, तो आपको एक अलग परिणाम मिलता है बजाय इसके कि यदि आप उसे ज़ोर से धकेलें, या यदि आप एक साथ कई हिस्सों को धकेलें। लेखक ने महसूस किया कि शोधकर्ता द्वारा उपयोग किए जाने वाले सभी विभिन्न तरीके—चाहे वे एक समय में एक भाग को बदल रहे हों, प्रभावों का अनुमान लगाने के लिए ग्रेडिएंट्स का उपयोग कर रहे हों, या समूहों का एक साथ परीक्षण कर रहे हों—एक ही प्रकार की माप समस्या के रूप में वर्णित किए जा सकते हैं। उन्होंने इसे एक पहेली के रूप में प्रस्तुत किया जहाँ लक्ष्य आंशिक अवलोकनों की एक श्रृंखला से प्रभावों के एक छिपे हुए मानचित्र को पुनः प्राप्त करना है। प्रत्येक अवलोकन एक विशिष्ट हस्तक्षेप (intervention) है, जैसे प्रॉम्प्ट में कुछ शब्द बदलना या एक विशिष्ट आंतरिक संकेत को बदलना, और परिणाम एक डेटा बिंदु है जो मानचित्र को भरने में मदद करता है। चुनौती यह है कि मशीन पूरी तरह से रैखिक (linear) नहीं है; इसके भाग जटिल तरीकों से परस्पर क्रिया करते हैं, और माप में "शोर" (noise) इस बात पर निर्भर करता है कि धकेलने का बल कितना बड़ा है।
इस ढांचे का परीक्षण करने के लिए, शोधकर्ताओं ने एक नियंत्रित वातावरण से शुरुआत की जहाँ वे पहले से ही सटीक उत्तर जानते थे। उन्होंने एक सरल संभाव्यता प्रणाली (probabilistic system) का उपयोग करके एक सिमुलेशन बनाया, जैसे कि एक हिडन मार्कोव मॉडल, जो एक आदर्श संदर्भ बिंदु के रूप में कार्य करता है। इस सेटिंग में, वे एआई के लिए एक "विंड टनल" बना सकते थे, जहाँ वे जानते थे कि मशीन की आंतरिक विश्वास अवस्था (belief state) क्या होनी चाहिए। फिर उन्होंने यह परीक्षण किया कि विभिन्न माप विधियाँ मशीन के व्यवहार की भविष्यवाणी करने में कितनी सफल रहती हैं जब इसका उपयोग उसे नियंत्रित करने के लिए किया जाता है। उन्होंने पाया कि आंतरिक माप की सटीकता और नियंत्रण की सफलता के बीच एक सीधा संबंध है। यदि माप थोड़ा भी गलत था, तो नियंत्रण क्रिया विफल हो गई। इससे भी महत्वपूर्ण बात यह है कि उन्होंने पाया कि एक माप मुख्य लक्ष्य में सुधार करके सफल दिख सकता है, जबकि अनजाने में सिस्टम के एक अलग, असंबंधित हिस्से को बिगाड़ सकता है। इसने सिद्ध किया कि केवल मशीन को किसी कार्य में बेहतर होते देखना पर्याप्त नहीं है; आपको यह सत्यापित करना होगा कि आंतरिक स्पष्टीकरण वास्तव में ली गई कार्रवाई के साथ मेल खाता है या नहीं।
सिमुलेशन से वास्तविक, पूर्व-प्रशिक्षित मॉडलों की ओर बढ़ते हुए, शोधकर्ताओं ने यह देखने के लिए अपनी चरण-दर-चरण प्रक्रिया लागू की कि सरल माप कितनी दूर तक जा सकते हैं। वाक्यों में अप्रत्यक्ष कर्मों (indirect objects) की पहचान करने के लिए प्रशिक्षित एक मॉडल के साथ एक प्रयोग में, उन्होंने इस धारणा के साथ शुरुआत की कि मशीन का व्यवहार व्यक्तिगत भागों का एक सरल योग है। उन्होंने विशिष्ट आंतरिक घटकों को हटाने के प्रभाव को मापा। सरल मॉडल शुरू में अच्छा काम करता था, लेकिन जब उन्होंने नए, अनदेखे संयोजनों पर इसका परीक्षण किया, तो यह परिणाम का सटीक अनुमान लगाने में विफल रहा। त्रुटि यादृच्छिक (random) नहीं थी; यह संरचित थी। यह पता चला कि मशीन भागों के बीच की अंतःक्रियाओं पर निर्भर करती है। उदाहरण के लिए, एक समूह के घटक तभी महत्वपूर्ण होते हैं जब दूसरा समूह पहले से ही कमजोर हो। उन अंतःक्रियाओं को पकड़ने के लिए विशेष रूप से डिज़ाइन किए गए मापों को जोड़कर, शोधकर्ताओं ने भविष्यवाणी त्रुटियों को ठीक कर दिया। उन्होंने पाया कि घटकों का एक विशिष्ट जोड़ा सबसे बड़ी शेष त्रुटि के लिए जिम्मेदार था, और केवल उस एक इंटरैक्शन टर्म को जोड़ने से मॉडल की भविष्यवाणियाँ लगभग पूर्ण हो गईं।
एक दूसरे प्रयोग के साथ, जो निर्देशों का पालन करने के लिए डिज़ाइन किया गया एक बहुत बड़ा, आधुनिक मॉडल था, शोधकर्ताओं ने पूछा कि क्या उन्हें इन जटिल अंतःक्रियाओं को खोजने की आवश्यकता है। उन्होंने उसी सरल, योगात्मक (additive) दृष्टिकोण के साथ शुरुआत की और धकेलने के आकार (nudge) के प्रभाव को ध्यान में रखने के लिए कुछ अतिरिक्त मापों के साथ इसे कैलिब्रेट किया। इस बार, सरल मॉडल लगभग पूरी तरह से काम कर गया। इसने नए, अनदेखे प्रॉम्प्ट्स पर मॉडल के व्यवहार की अत्यधिक उच्च सटीकता के साथ भविष्यवाणी की। जब उन्होंने जटिल अंतःक्रिया मापों को जोड़ने का प्रयास किया, तो परिणाम में कोई सुधार नहीं हुआ। अतिरिक्त जटिलता अनावश्यक थी। यह परिणाम उतना ही महत्वपूर्ण था जितना कि पहला: इसने दिखाया कि आपको केवल इसलिए मशीन को जटिल नहीं मानना चाहिए क्योंकि वह बड़ी है। कभी-कभी, एक सरल स्पष्टीकरण पर्याप्त होता है, और माप की अधिक परतें जोड़ने से केवल लागत बढ़ती है, मूल्य नहीं।
शोधपत्र इन मशीनों को समझने की कोशिश करने वाले किसी भी व्यक्ति के लिए एक व्यावहारिक मार्गदर्शिका प्रदान करते हुए समाप्त होता है। सलाह यह है कि सबसे सरल, सबसे सस्ते माप से शुरू करें जो व्यवहार की व्याख्या कर सके। यदि यह काम करता है, तो रुक जाएँ। यदि यह विफल होता है, तो विफलता के पैटर्न को देखें। यदि त्रुटि केवल पैमाने (scale) का मामला है, तो एक सरल सुधार इसे ठीक कर सकता है। यदि त्रुटि यह संकेत देती है कि भाग इस तरह से काम कर रहे हैं जिसे सरल मॉडल नहीं देख सकता, तो उन अंतःक्रियाओं को पकड़ने के लिए नए माप डिज़ाइन करें। अंत में, स्पष्टीकरण का परीक्षण उस कार्य पर हमेशा करें जिस पर इसे कभी प्रशिक्षित नहीं किया गया था, या एक नियंत्रण लूप में जहाँ यह एक क्रिया का मार्गदर्शन करता है। लक्ष्य केवल मशीन की एक तस्वीर का पुनर्निर्माण करना नहीं है, बल्कि एक ऐसा पर्यवेक्षक बनाना है जो विश्वसनीय रूप से भविष्यवाणी कर सके कि वास्तविक दुनिया के दबाव में मशीन क्या करेगी। यह दृष्टिकोण मशीन के "सत्य" आंतरिक तंत्र को खोजने के बजाय, एक विशिष्ट उद्देश्य के लिए इसे मापने के सबसे उपयोगी और विश्वसनीय तरीके को खोजने पर ध्यान केंद्रित करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।