Continuous-Depth Field Theory for Transformer Patching and Mechanistic Interpretability

तकनीकी सारांश: ट्रांसफार्मर पैचिंग और मेकेनिस्टिक इंटरप्रिटेबिलिटी के लिए निरंतर-गहराई क्षेत्र सिद्धांत (Continuous-Depth Field Theory)

समस्या विवरण
मेकेनिस्टिक इंटरप्रिटेबिलिटी (Mechanistic interpretability) का लक्ष्य सक्रियणों (activations) पर हस्तक्षेप करके (जैसे कि activation patching, causal tracing, path patching) ट्रांसफार्मर व्यवहार के लिए जिम्मेदार आंतरिक सर्किट की पहचान करना है। हालांकि ये विधियाँ व्यवहारिक रूप से सार्थक साइटों और दिशाओं को सफलतापूर्वक स्थानीयकृत करती हैं, वे अक्सर परतों (layers), टोकन और उप-स्थानों (subspaces) के व्यापक गणना (exhaustive enumeration) पर निर्भर करती हैं। यह शोध पत्र एक पूरक प्रश्न को संबोधित करता है: क्या ऐसे हस्तक्षेपों को गहराई (depth) और टोकन स्थिति (token position) पर एक एकीकृत क्षेत्र-सैद्धांतिक ढांचे (unified field-theoretic framework) का उपयोग करके व्यवस्थित, पूर्वानुमानित और पुनर्निर्मित किया जा सकता है? लेखक अवशेष स्ट्रीम (residual stream) को परतों के एक असतत अनुक्रम (discrete sequence) के बजाय एक निरंतर क्षेत्र (continuous field) के रूप में मानने का प्रस्ताव करते हैं, जिससे पैचिंग को एक रैखिक-प्रतिक्रिया औपचारिकता (linear-response formalism) के भीतर एक स्थानीयकृत स्रोत प्रविष्टि (localized source insertion) समस्या के रूप में तैयार किया जा सके।

कार्यप्रणाली
यह शोध पत्र एक निरंतर-गहराई क्षेत्र सिद्धांत विकसित करता है जहाँ ट्रांसफार्मर के अवशेष स्ट्रीम $R(t, x)$ को गहराई-टोकन जाली (depth-token lattice) पर एक क्षेत्र के रूप में मॉडल किया गया है। यहाँ, परत सूचकांक $\ell$ को गहराई समन्वय $t \in [0, T]$ के रूप में मैप किया गया है, और टोकन सूचकांक को एक स्थानिक समन्वय $x$ के रूप में मैप किया गया है।

1. क्षेत्र-सैद्धांतिक औपचारिकता (Field-Theoretic Formulation):

   • स्रोत प्रविष्टि के रूप में पैचिंग (Patching as Source Insertion): एक सक्रियण पैच को गहराई विकास समीकरण में एक स्थानीयकृत स्रोत पद $J(t, x)$ के रूप में मॉडल किया जाता है: $\partial_t R(t, x) = F_t[R](x) + J(t, x)$।
   • प्रतिक्रिया वस्तुएं (Response Objects): ढांचा दो प्राथमिक प्रतिक्रिया वस्तुओं को परिभाषित करता है:
     • संवेदनशीलता क्षेत्र (Sensitivity Field - $a(t, x)$): अवशेष क्षेत्र के सापेक्ष एक अवलोकन $y$ (जैसे, लॉजिट अंतर) का कार्यात्मक व्युत्पन्न (functional derivative), $a(t, x) = \delta y / \delta R(t, x)$। यह एक पैच के प्रभाव की भविष्यवाणी करता है।
     • ग्रीन फंक्शन (Green Function - $G(t, x; t', x')$): दो-बिंदु प्रतिक्रिया फलन $\delta R(t, x) / \delta R(t', x')$, जो यह वर्णन करता है कि $(t', x')$ पर एक विक्षोभ (perturbation) कैसे $(t, x)$ तक प्रसारित होता है।
   • रैखिक प्रतिक्रिया (Linear Response): एक स्थानीय रैखिक शासन (local linear regime) में, एक अवलोकन में परिवर्तन को $\delta y \approx \int dt dx \, a(t, x) J(t, x)$ द्वारा अनुमानित किया जाता है।
   • इनवर्स प्रॉब्लम (पैच अनुमान): ढांचा पैच-साइट अनुमान को एक प्रतिबन्धात्मक परिवर्तनशील समस्या (constrained variational problem) के रूप में पुनर्गठित करता है। एक वांछित व्यवहारिक बदलाव को देखते हुए, एक स्पार्स स्रोत $J$ खोजा जाता है जो अभिन्न समीकरण $\Delta R_{target} \approx \int G J$ को संतुष्ट करता है। इसे एक एडजॉइंट फील्ड (adjoint field/costate) $\lambda(t, x)$ के साथ एक एक्शन सिद्धांत (action principle) का उपयोग करके हल किया जाता है, जो संवेदनशीलता क्षेत्र के अनुरूप है।

2. अनुभवजन्य सत्यापन (Empirical Validation):
   इस सिद्धांत का परीक्षण GPT-2 शैली के ऑटोरेग्रेसिव ट्रांसफार्मरों पर असतत अवशेष-स्ट्रीम हस्तक्षेपों के माध्यम से किया गया है। प्रयोग निम्नलिखित को मापते हैं:

   • स्थानीय रैखिकता और सुपरपोजिशन (Local Linearity and Superposition): यह सत्यापित करना कि छोटे विक्षोभ रैखिक स्केलिंग प्रदर्शित करते हैं और संयुक्त हस्तक्षेपों के प्रभाव रैखिक रूप से जुड़ते हैं।
   • संवेदनशीलता भविष्यवाणी (Sensitivity Prediction): मापे गए पैच प्रभावों की तुलना प्रथम-क्रम संवेदनशीलता (autograd gradients) से प्राप्त भविष्यवाणियों से करना।
   • अवशेष प्रसार (Residual Propagation): एक स्थानीयकृत पैच द्वारा प्रेरित डाउनस्ट्रीम अवशेष क्षेत्र $\delta R$ को मापने के लिए, ताकि "ग्रीन प्रतिक्रिया" को लक्षित किया जा सके।
   • संरचना (Composition): यह परीक्षण करना कि क्या एक मध्यवर्ती परत के माध्यम से प्रसार ग्रीन ऑपरेटरों के गुणनफल $G(t_2; t_0) \approx G(t_2; t_1)G(t_1; t_0)$ का अनुमान लगाता है।
   • न्यूनीकरण प्रतिनिधित्व (Reduced Representations): "स्लाइस्ड" ग्रीन ऑपरेटरों (निश्चित साइटों के बीच घटक-स्तरीय प्रसार) और संवेदनशीलता साइट स्कोर का विश्लेषण करके आयामीता को कम करना।
   • प्रॉम्प्ट विस्थापन (Prompt Displacements): दो प्रॉम्प्ट के अंतर को एक स्थानीयकृत स्रोत के रूप में मानकर यह परीक्षण करना कि क्या यह एक रूपांतरण दिशा (transformation direction) के रूप में कार्य करता है।

प्रमुख योगदान

1. क्षेत्र-सैद्धांतिक ढांचा: यह शोध पत्र स्थापित करता है कि पैचिंग को स्थानीयकृत स्रोत प्रविष्टि के रूप में, एट्रिब्यूशन को संवेदनशीलता-क्षेत्र भविष्यवाणी के रूप में, और प्रसार को अनुभवजन्य ग्रीन-फंक्शन प्रतिक्रिया के रूप में देखा जा सकता है।
2. एडजॉइंट अनुमान औपचारिकता: यह पैच-साइट अनुमान को एक इनवर्स प्रॉब्लम के रूप में रूपायित करता जिसे एडजॉइंट परिवर्तनशील सिद्धांत के माध्यम से हल किया जा सकता है, जो सरल गणना से आगे बढ़कर एक प्रतिबन्धात्मक पुनर्निर्माण समस्या की ओर ले जाता है।
3. अनुभवजन्य रैखिक-प्रतिक्रिया शासन: लेखक GPT-2 मॉडलों में एक सीमित स्थानीय रैखिक शासन की पहचान करते हैं जहाँ प्रथम-क्रम संवेदनशीलताएँ पैच प्रभावों की सटीक भविष्यवाणी करती हैं और सुपरपोजिशन बना रहता है।
4. संरचित प्रसार: प्रयोग दर्शाते हैं कि अवशेष विक्षोभ गहराई और टोकन स्थिति में एक संरचित, एनिसोट्रोपिक (anisotropic) तरीके से प्रसारित होते हैं, जो रैखिकित सिद्धांत के अनुरूप अनुमानित संरचनात्मक गुण प्रदर्शित करते हैं।
5. न्यूनीकृत विवरण: शोध पत्र दिखाता है कि उच्च-संवेदनशीलता वाली साइटें और स्लाइस्ड ग्रीन ऑपरेटर, अन्यथा उच्च-आयामी अवशेष प्रतिक्रिया स्थान के लिए सुलभ, निम्न-आयामी विवरण प्रदान करते हैं।
6. स्केलिंग परिकल्पना: एक सैद्धांतिक प्रस्ताव दिया गया है कि प्रतिक्रिया ज्यामिति (ग्रीन-फंक्शन फिंगरप्रिंट्स) मॉडल स्केल के across साझा की जा सकती है। यह सुझाव देता है कि एक छोटे मॉडल से प्राप्त प्रतिक्रिया जानकारी एक बड़े मॉडल के लिए उम्मीदवार पैच-साइट मानचित्रों को परिभाषित कर सकती है, बशर्ते स्थानीय एंकरों का उपयोग किया जाए।

परिणाम

• रैखिकता: स्थानीय विक्षोभ एक सीमित रैखिक शासन प्रदर्शित करते हैं जहाँ मध्यम आयामों के लिए गैर-रैखिकता और सुपरपोजिशन त्रुटियां कम (परीक्षित श्रेणियों में 20% से नीचे) रहती हैं।
• भवि счет सटीकता: ऑटोग्रैड संवेदनशीलता ($a(t, x)$) विभिन्न अवशेष साइटों और दिशाओं में मापे गए अदिश (scalar) पैच प्रभावों की सफलतापूर्वक भविष्यवाणी करती है, जो प्रथम-क्रम सन्निकटन की पुष्टि करती है।
• प्रसार संरचना: स्थानीयकृत हस्तक्षेप एक संरचित डाउनस्ट्रीम प्रतिक्रिया क्षेत्र उत्पन्न करते हैं जो एनिसोट्रोपिक रूप से फैलता है। संरचना परीक्षण पुष्टि करता है कि मध्यवर्ती अवशेष क्षेत्र विक्षोभ शासन के भीतर डाउनस्ट्रीम प्रतिक्रियाओं को पुनरुत्पादित करने के लिए पर्याप्त जानकारी बनाए रखते हैं।
• साइट एकाग्रता: संवेदनशीलता स्कोर ($\|a(t, x)\|$) अत्यधिक गैर-समान होते हैं, जो एक छोटे सेट साइट-टोकन पर केंद्रित होते हैं, जिससे हस्तक्षेप खोज स्थान को कम करना संभव हो जाता है।
• प्रॉम्प्ट विस्थापन: प्रॉम्प्ट के बीच का अंतर स्थानीय रूपांतरण दिशा के रूप में कार्य करता है। उनके प्रभाव का अनुमान कारण संवेदनशीलता (causal sensitivities) द्वारा लगाया जाता है, वे बाद की परतों में सबसे प्रभावी होते हैं, और शब्दावली (vocabulary) में लक्ष्य उत्तर रैंक को सफलतापूर्वक बदल सकते हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह पैचिंग प्रयोगों को व्यवस्थित करने के लिए एक "व्यावहारिक भाषा" प्रदान करता है, जो हस्तक्षेपों की गणना करने के बजाय प्रतिक्रिया मात्राओं (संवेदनशीलता और कर्नेल) का अनुमान लगाने की ओर एक प्रतिमान बदलाव (paradigm shift) है। एक रैखिक-प्रतिक्रिया आधार को अनुभवजन्य रूप से स्थापित करके, यह कार्य मेकेनिस्टिक इंटरप्रिटेबिलिटी के आंतरिक तंत्रों के पुनर्निर्माण को गणितीय रूप से सुव्यवस्थित बनाता है: ग्रीन फंक्शन एक इनवर्स प्रॉब्लम के लिए फॉरवर्ड ऑपरेटर के रूप में कार्य करता है जो पैच साइटों और दिशाओं की पहचान करता है।

लेखक अपनी स्केलिंग परिकल्पना को एक सिद्ध परिणाम के बजाय भविष्य के कार्य के लिए एक प्रेरणा के रूप में विनम्रतापूर्वक प्रस्तुत करते हैं, यह नोट करते हुए कि यह एक "साझा-लेटेंट प्रतिक्रिया परिकल्पना" पर निर्भर करती है और इसके व्यवहार्य होने के लिए स्थानीय एंकरों (वजन, सक्रियण, या स्पार्स पैच) की आवश्यकता होती है। मुख्य योगदान मेकेनिस्टिक इंटरप्रिटेबिलिटी उपकरणों (पैचिंग, ट्रेसिंग, स्टीयरिंग) को एक एकल निरंतर-गहराई क्षेत्र सिद्धांत के तहत एकीकृत करना है, जो माप से अनुमान (measurement to inference) और संभावित रूप से मॉडल-स्केल ट्रांसफर की ओर एक व्यवस्थित मार्ग प्रदान करता है।