Automated Interpretability and Feature Discovery in Language Models with Agents
यह शोध पत्र एक स्वायत्त मल्टी-एजेंट फ्रेमवर्क प्रस्तुत करता है जो परिकल्पनाओं को पुनरावर्ती रूप से परिष्कृत करके और लार्ज लैंग्वेज मॉडल्स में आंतरिक विशेषताओं की खोज करके मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) को स्वचालित करता है, जो अधिक स्पष्ट, असत्य सिद्ध करने योग्य और ऑडिट योग्य स्पष्टीकरण उत्पन्न करने में वन-शॉट विधियों की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से जटिल मशीन (एक लार्ज लैंग्वेज मॉडल) है जो कहानियाँ लिखती है, सवालों के जवाब देती है और समस्याओं को हल करती है। इस मशीन के भीतर अरबों छोटे स्विच और गियर (न्यूरॉन्स और फीचर्स) एक साथ काम कर रहे हैं। समस्या यह है कि हमारे पास इसका कोई मैनुअल नहीं है। हम मशीन को काम करते हुए देख सकते हैं, लेकिन हमें यह ठीक से नहीं पता कि प्रत्येक व्यक्तिगत गियर क्या कर रहा है।
लंबे समय तक, शोधकर्ताओं ने यह समझने की कोशिश की कि मशीन के गियर्स वास्तव में क्या करते हैं, इसके लिए एक गियर को देखा, उसके काम का अनुमान लगाया, और उस पर "यह गणित के लिए है" जैसा लेबल लिखा। लेकिन अक्सर, उनका अनुमान गलत होता था, या बहुत अस्पष्ट होता था, या थोड़े अलग उदाहरण के आते ही टूट जाता था। यह कार के किसी पुर्जे के कार्य का केवल एक बार देखकर अनुमान लगाने जैसा था।
यह पेपर InterpAgent नामक एक नई प्रणाली पेश करता है। इसमें InterpAgent एक बार अनुमान लगाने के बजाय, रोबोटिक जासूसों की एक टीम की तरह है जो इस रहस्य को सुलझाने के लिए मिलकर काम करते हैं कि मशीन के गियर्स वास्तव में क्या करते हैं।
यहाँ वे इसे सरल उपमाओं का उपयोग करके समझाते हैं:
दो जासूसी टीमें
यह प्रणाली दो विशिष्ट रोबोट एजेंटों का उपयोग करती है जो एक-दूसरे से बात करते हैं:
- "फीचर फाइंडर" (द स्काउट - खोजकर्ता):
कल्पना कीजिए कि आप उन सभी गियर्स को खोजना चाहते हैं जो "स्पेनिश भाषा" के लिए जिम्मेदार हैं। स्काउट को नहीं पता कि वह गियर कौन सा है। इसलिए, वह मशीन के "एक्टिवेशन स्पेस" (कि कैसे गियर्स सक्रिय होते हैं उसका एक मानचित्र) में जाता है और पैटर्न की तलाश करता है। यह एक सांख्यिकीय मानचित्र (जैसे जीपीएस) का उपयोग करता है ताकि उन गियर्स के समूहों को खोजा जा सके जो स्पेनिश शब्दों के उपयोग के दौरान एक साथ सक्रिय होते हैं। यह केवल अनुमान नहीं लगाता; यह गणित का उपयोग करता है ताकि उन गियर्स को पाया जा सके जो स्पेनिश प्रॉम्प्ट्स को अंग्रेजी से विश्वसनीय रूप से अलग करते हैं।
- उपमा: यह एक भीड़ में उस व्यक्ति को खोजने जैसा है जिसने लाल टोपी पहनी है और जो केवल फ्रेंच पार्टियों में ही दिखाई देता है।
- "फीचर एक्सप्लेनर" (द इंटररोगेटर - पूछताछकर्ता):
एक बार जब स्काउट एक संभावित गियर ढूंढ लेता है, तो इंटररोगेटर कार्यभार संभाल लेता है। इसका काम केवल नाम देना नहीं है; बल्कि उस नाम का स्ट्रेस-टेस्ट (कठोर परीक्षण) करना है।
- पुराना तरीका: एक इंसान कह सकता है, "यह 'टेक्नोलॉजी' के लिए है।"
- InterpAgent का तरीका: इंटररोगेटर कहता है, "ठीक है, तुम्हें लगता है कि यह 'टेक्नोलॉजी' के लिए है? चलो इसे टेस्ट करते हैं।" यह 12 ऐसे उदाहरण बनाता है जिन्हें गियर को ट्रिगर करना चाहिए (जैसे "कंप्यूटर ठीक करना") और 12 ऐसे उदाहरण जो इसे ट्रिगर नहीं करने चाहिए (जैसे "पास्ता पकाना")। यह उन्हें मशीन के माध्यम से चलाता है।
- ट्विस्ट: यदि गियर "पास्ता पकाने" के लिए भी सक्रिय हो जाता है, तो इंटररोगेटर जान जाता है कि "टेक्नोलॉजी" वाला लेबल गलत है। फिर वह अपने परिकल्पना (हाइपोथीसिस) को फिर से लिखता है: "शायद यह 'चीजों को ठीक करने' के लिए है?" यह प्रक्रिया दोहराता है—नए परीक्षण उत्पन्न करना, परिणाम जाँचना और लेबल को परिष्कृत करना—जब तक कि उसे एक ऐसा विवरण न मिल जाए जो दबाव में टिक सके।
खोज का "लूप" (चक्र)
यह पेपर इस बात पर जोर देता है कि यह एक बार होने वाली घटना नहीं है। यह एक लूप है।
- चरण 1: स्काउट एक संभावित गियर ढूंढता है।
- चरण 2: इंटररोगेटर अनुमान लगाता है कि वह क्या करता है।
- चरण 3: इंटररोगेटर अपने ही अनुमान को तोड़ने की कोशिश करता है—ऐसे काउंटर-उदाहरण ढूंढकर (ऐसी चीजें जो गियर को ट्रिगर करनी चाहिए लेकिन नहीं करतीं, या ऐसी चीजें जो नहीं करनी चाहिए लेकिन करती हैं)।
- चरण 4: इंटररोगेटर विफलता के आधार पर अनुमान को अपडेट करता है।
- चरण 5: जब तक अनुमान ठोस न हो जाए, तब तक दोहराएं।
यह एक वैज्ञानिक द्वारा बार-बार प्रयोग चलाने जैसा है। यदि आपका सिद्धांत है कि "यह बटन लाइट जलाता है," लेकिन आप इसे दबाते हैं और रेडियो चालू हो जाता है, तो आप केवल "ओह" नहीं कहते। आप अपने सिद्धांत को बदलते हैं कि "यह बटन पावर को नियंत्रित करता है," और फिर से परीक्षण करते हैं।
उन्होंने क्या पाया
लेखकों ने इसका परीक्षण Gemma-2 परिवार के मॉडल्स (AI का एक प्रकार) पर किया। यहाँ क्या हुआ:
- बेहतर लेबल: रोबोट टीम पुराने "वन-शॉट" (एक बार में होने वाले) तरीके की तुलना में फीचर्स को लेबल करने में बहुत बेहतर थी। पुराना तरीका अक्सर "ज्ञान" जैसे अस्पष्ट उत्तर देता था। रोबोट टीम ने "तकनीकी समस्या निवारण के संदर्भ में अनौपचारिक फ्रेंच वाक्यांश" जैसे विशिष्ट और संकीर्ण उत्तर खोजे।
- अज्ञात को खोजना: सिस्टम ने केवल उन गियर्स को नहीं समझाया जिन्हें शोधकर्ता पहले से जानते थे। स्काउट ने ऐसे नए गियर्स भी खोजे जिन्हें मनुष्यों ने नोटिस नहीं किया था, जैसे कि विशिष्ट न्यूरॉन्स जो केवल "हानिकारक सामग्री" (जैसे विस्फोटक) या विशिष्ट कोडिंग पैटर्न के लिए सक्रिय होते हैं।
- सुरक्षा जांच: एक केस स्टडी में, उन्होंने खतरनाक अनुरोधों को अस्वीकार करने से संबंधित एक गियर पाया। वे उस गियर को "कम" करके मशीन को नियंत्रित करने में सक्षम थे, और मशीन ने अनुरोध को अस्वीकार करना बंद कर दिया। इससे सिद्ध हुआ कि वह गियर वास्तव में सुरक्षा व्यवहार का कारण था, न कि केवल उसे देख रहा था।
- पॉलीसेमैटिसिटी (बहुअर्थकता): कभी-कभी, रोबोटों ने पाया कि एक ही गियर एक साथ दो बहुत अलग काम कर रहा था (जैसे एक गियर जो "गणितीय समीकरणों" और "चिकित्सा शब्दों" दोनों को संभालता है)। सिस्टम इतना स्मार्ट है कि वह यह कहने के बजाय कि यह एक ही काम कर रहा है, यह कह सकता है: "यह गियर भ्रमित करने वाला है; यह दो काम कर रहा है।"
मुख्य निष्कर्ष
पेपर का दावा है कि AI व्याख्या को एक स्थिर लेबल (देखना, अनुमान लगाना, लिख देना) के बजाय एक पुनरावृत्ति प्रयोग (अनुमान लगाना, परीक्षण करना, विफल होना, सुधारना) के रूप में मानकर, हमें कहीं अधिक सटीक और विश्वसनीय स्पष्टीकरण मिलते हैं।
सिस्टम हर अनुमान, हर परीक्षण और हर विफलता का एक "पेपर ट्रेल" (लिखित प्रमाण) तैयार करता है, जिससे यह प्रक्रिया पारदर्शी बनती है। यह दिखाता है कि यदि आप एक AI एजेंट को एक कठोर वैज्ञानिक के रूप में कार्य करने देते हैं—जो लगातार अपने ही विचारों को गलत साबित करने की कोशिश करता है—तो आपको मशीन के मस्तिष्क के काम करने के तरीके की बहुत स्पष्ट तस्वीर मिलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।