Structural Decoupling: A Scaffold-Flow Theory of Generalization and Alignment

तकनीकी सारांश: संरचनात्मक विखंडन और स्कैफोल्ड-फ्लो सिद्धांत (Structural Decoupling and Scaffold-Flow Theory)

समस्या विवरण
गैर-स्थिर (non-stationary), बहु-संदर्भित (multi-context) वातावरणों में संचालित होने वाली बुद्धिमान प्रणालियाँ एक दोहरी चुनौती का सामना करती हैं जिसे शास्त्रीय सांख्यिकीय शिक्षण सिद्धांत (Statistical Learning Theory - SLT) पूरी तरह से संबोधित नहीं कर पाता है। जबकि SLT एक निश्चित शासन (regime) के भीतर सामान्यीकरण (generalization) और अनुकूलन (optimization) की "मीट्रिक" समस्या (जिसे "फनल" कहा जाता है) को प्रभावी ढंग से चित्रित करता है, यह सही परिचालन शासन या संदर्भों (contexts) को खोजने, उन तक पहुँचने और उन्हें बनाए रखने की "संरचनात्मक" समस्या (जिसे "ट्रैप" कहा जाता है) के लिए एक रूपरेखा प्रदान करने में विफल रहता है। निरंतर शिक्षण (continual learning) परिदृश्यों में, इन दो अक्षों के बीच अंतर करने में विफलता विनाशकारी विस्मृति (catastrophic forgetting) की ओर ले जाती है, जहाँ नया सीखना पुराने ढांचों में हस्तक्षेप करता है, या सुरक्षा विफलताओं की ओर ले जाती है जहाँ मॉडल इच्छित संरचनात्मक सीमाओं (जैसे कि लक्ष्य गलत-सामान्यीकरण/goal misgeneralization) को संरक्षित किए बिना क्षमताओं का सामान्यीकरण कर देता है। मौजूदा दृष्टिकोण, जिनमें साइबरनेटिक्स (Cybernetics), पूरक शिक्षण प्रणाली (Complementary Learning Systems - CLS), और मिश्रण-विशेषज्ञ (Mixture-of-Experts - MoE) शामिल हैं, आंशिक अंतर्दृष्टि प्रदान करते हैं लेकिन संरचनात्मक जटिलता और मीट्रिक लर्निंग से इसके विखंडन के लिए एक एकीकृत गणितीय सिद्धांत की कमी रखते हैं।

कार्यप्रणाली और सैद्धांतिक ढांचा
यह शोध पत्र इस अंतराल को भरने के लिए स्ट्रक्चरल लर्निंग थ्योरी (StrLt) को एक ढांचे के रूप में प्रस्तुत करता है। मुख्य कार्यप्रणाली सीखने को दो लंबवत (orthogonal) घटकों में विभाजित करती है:

1. द ट्रैप (संरचनात्मक अक्ष - The Trap): सही संदर्भ, बेसिन (basin), या स्कैफोल्ड (scaffold) की पहचान करने की समस्या।
2. द फनल (मीट्रिक अक्ष - The Funnel): एक बार संदर्भ ज्ञात होने के बाद भविष्यवाणी या नियंत्रण को अनुकूलित करने की समस्या।

केंद्रीय जटिलता पैरामीटर चौड़ाई (width - $w$) है, जिसे समस्या को कवर करने के लिए आवश्यक स्थानीय रूप से व्यवहार्य (संकुचनशील और कम जोखिम वाले) संदर्भों की न्यूनतम संख्या के रूप में परिभाषित किया गया है। सिद्धांत यह प्रतिपादित करता है कि चौड़ाई, शास्त्रीय क्षमता मापों जैसे कि VC डायमेंशन से स्वतंत्र (orthogonal) है।

मुख्य कार्यप्रणाली उपकरण निम्नलिखित हैं:

• कॉन्ट्रैक्टिव-सिमिलरिटी (CS) ऑपरेटर: चौड़ाई के अनुमान के लिए एक अनुभवजन्य तंत्र। यह एक ग्राफ लैपलेसियन (graph Laplacian) का निर्माण करता है जो स्थानिक स्थानीयता (spatial locality) को भविष्य कहनेवाला अनुकूलता (predictive compatibility) के साथ जोड़ता है। कार्य-प्रेरित विच्छेदन (task-induced discontinuities) के माध्यम से किनारों (edges) को दबाकर, CS ऑपरेटर भविष्यवाणी की असंगतता को स्पेक्ट्रल पृथक्करण (spectral separation) में बदल देता है, जिससे संरचनात्मक बेसिनों की संख्या का अनुमान लगाना संभव हो जाता है।
• मीट्रिक स्लिंगशॉट (Metric Slingshot): एक निर्माण जो यह प्रदर्शित करता है कि कैसे निम्न-आयामी लेटेंट संकुचन मानचित्र (low-dimensional latent contraction maps) नियंत्रित-विकृति एम्बेडिंग (controlled-distortion embeddings) के माध्यम से मूल समस्या स्थान में संकुचन और जोखिम गारंटी को स्थानांतरित कर सकते हैं, जिससे स्थानीय फनल को हल करने की लागत कम हो जाती है।
• संरचनात्मक विखंडन सिद्धांत (Structural Decoupling Principle): एक संरचनात्मक मौलिक प्रमेय से व्युत्पन्न, यह सिद्धांत यह दावा करता है कि संरचनात्मक असाइनमेंट जटिलता और सेल-के-भीतर-का-भविष्यवक्ता-जटिलता (within-cell predictor complexity) सामान्यीकरण सीमाओं में योगात्मक (additive) रूप से योगदान करते हैं, जिसमें कोई गुणात्मक क्रॉस-टर्म नहीं होता है। इसका तात्पर्य यह है कि संरचनात्मक स्कैफोल्ड बनाए रखने वाले तंत्रों को उन्हीं ग्रेडिएंट्स द्वारा प्रशिक्षित नहीं किया जाना चाहिए जो संदर्भ-के-भीतर प्रवाह (within-context flow) को अनुकूलित करते हैं।

प्रमुख योगदान और परिणाम
यह शोध पत्र चार प्राथमिक तकनीकी योगदान प्रस्तुत करता है:

1. चौड़ाई (Width) और VC-चौड़ाई का औपचारिककरण: लेखक सिद्ध करते हैं कि चौड़ाई और VC डायमेंशन तुलनीय नहीं हैं। एक समस्या अनंत चौड़ाई के साथ सीमित VC डायमेंशन वाली हो सकती है (जैसे कि एक टोपोलॉजिकल बुके (topological bouquet) जिसे अलग-अलग स्थानीय भविष्यवक्ताओं की आवश्यकता होती है) या अनंत VC डायमेंशन के साथ इकाई चौड़ाई वाली हो सकती है (जैसे कि एक एकल अंतराल पर बहुपद प्रतिगमन (polynomial regression))। यह स्थापित करता है कि मीट्रिक अभिव्यक्ति (expressivity) बढ़ाने से स्वाभाविक रूप से संरचनात्मक क्षमता नहीं बढ़ती है।
2. वास्तविक चौड़ाई पर चरण संक्रमण (Phase Transition at True Width): एक सैद्धांतिक परिणाम जो दिखाता है कि सीखना वास्तविक चौड़ाई $w$ पर एक तीव्र चरण संक्रमण प्रदर्शित करता है। यदि आवंटित संदर्भों की संख्या $K < w$ है, तो शिक्षार्थी नमूना आकार के स्वतंत्र रूप से एक अपरिहार्य त्रुटि स्तर (error floor) का सामना करता है। यदि $K \ge w$, तो समस्या मानक सेल-के-भीतर शिक्षण समस्याओं में विभाजित हो जाती है। बेसिनों की खोज के लिए नमूना जटिलता $\Omega(w \log w)$ दिखाई गई है, जो प्रति-सेल सांख्यिकीय लागत से भिन्न है।
3. CS ऑपरेटर के माध्यम से अनुभवजन्य चौड़ाई अनुमान: यह शोध पत्र CS लैपलेसियन पर आधारित एक स्प्लिट-मर्ज प्रक्रिया विकसित करता है। नियमितता धारणाओं के तहत, एक दंडित संरचनात्मक एम्पिरिकल रिस्क मिनिमाइजेशन (ERM) लगभग निश्चित रूप से वास्तविक चौड़ाई $w$ का चयन करने में सक्षम है, जो संरचनात्मक अल्प-रिज़ॉल्यूशन (निश्चित त्रुटि स्तर) और अति-रिज़ॉल्यूशन (दंडित उतार-चढ़ाव द्वारा) के बीच अंतर करता है।
4. स्कैफोल्ड-फ्लो मॉडल और संरचनात्मक विखंडन: सिद्धांत एक स्कैफोल्ड-फ्लो आर्किटेक्चर को प्रेरित करता है।
   • स्कैफोल्ड (Scaffold): एक धीमा, संरचनात्मक ऑब्जेक्ट जो संदर्भ लाइब्रेरी, रूटिंग मैप और बेसिन सीमाओं को बनाए रखता है। इसे केवल संरचनात्मक संकेतों (मिसमैच, CS स्पेक्ट्रल साक्ष्य, विलय मानदंड) द्वारा अपडेट किया जाता है।
   • फ्लो (Flow): एक तेज़, गतिशील ऑब्जेक्ट जो सक्रिय स्कैफोल्ड क्षेत्र के भीतर स्थानीय भविष्यवाणी करता है, जिसे कार्य-हानि (task-loss) ग्रेडिएंट्स द्वारा अपडेट किया जाता है।
   • स्थापत्य विखंडन (Architectural Decoupling): मॉडल $\nabla_{\theta_S} L_{flow} = 0$ और $\nabla_{\theta_F} L_{scaffold} = 0$ को लागू करता है। यह खोज चरण के दौरान कार्य-हानि ग्रेडिएंट्स को संरचनात्मक स्कैफोल्ड को दूषित करने से रोकता है।

महत्व और निहितार्थ
शोध पत्र तर्क देता है कि StrLT गैर-स्थिर वातावरण में सीखने को समझने के लिए एक आवश्यक वैचारिक और गणितीय आधार प्रदान करता है। इसका महत्व यहाँ है:

• निरंतर शिक्षण का पुनर्गठन (Reframing Continual Learning): यह पहचानता है कि विनाशकारी विस्मृति केवल एक स्मृति मुद्दा नहीं है, बल्कि संरचनात्मक अल्प-रिज़ॉल्यूशन या अस्थिर रूटिंग का एक लक्षण है।
• AI सुरक्षा की पुनर्व्याख्या: शोध पत्र यह तर्क देता है कि महत्वपूर्ण सुरक्षा विफलताएं—जैसे कि मतिभ्रम (hallucination), रिवॉर्ड-मॉडल सीमा त्रुटियां, और भ्रामक संरेखण (deceptive alignment)—मुख्य रूप से स्कैफोल्ड विफलताएं हैं, न कि आउटपुट-स्तर की भविष्यवाणी त्रुटियां।
  • भ्रामक संरेखण (Deceptive Alignment) को एक स्कैफोल्ड-फ्लो विखंडन विफलता के रूप में फ्रेम किया गया है जहाँ मॉडल मूल्यांकन-अनुकूल फ्लो के माध्यम से व्यवहार को रूट करता है जबकि एक गलत-संरेखित आंतरिक स्कैफोल्ड को सुरक्षित रखता है।
  • मतिभ्रम (Hallucination) को एक सीमा-रिज़ॉल्यूशन विफलता के रूप में व्याख्यायित किया गया है जहाँ स्कैफोल्ड में पड़ोसी बेसिनों के बीच अंतर करने के लिए टोपोलॉजिकल रिज़ॉल्यूशन की कमी होती है।
  • सुधारणीयता (Corrigibility) के लिए आवश्यक है कि स्कैफोल्ड स्वयं 'डिफरेंस' (deference) को एक स्थिर बेसिन के रूप में एनकोड करे, न कि संशोधन को एक बाहरी खतरे के रूप में देखे।
• स्थापत्य नुस्खा (Architectural Prescription): सिद्धांत निष्कर्ष निकालता है कि मजबूत संरेखण के लिए स्कैफोल्ड पर सीधा नियंत्रण आवश्यक है (क्या समेकित किया जाए, सीमाओं को कैसे हल किया जाए), न कि केवल अनुमान-समय हस्तक्षेपों या आउटपुट-स्तर के संरेखण पर निर्भर रहना। यह सुझाव देता है कि संरेखण और सामान्यीकरण को अलग-अलग वास्तुशिल्प समस्याओं के रूप में माना जाना चाहिए, जिन्हें अलग-अलग संकेतों द्वारा प्रशिक्षित और ऑडिट किया जाना चाहिए।

यह कार्य StrLT को एक एकीकृत सिद्धांत के रूप में स्थापित करता है जो साइबरनेटिक्स (फीडबैक और पुनर्गठन), SLT (मीट्रिक सामान्यीकरण), और CLS (फास्ट-स्लो जैविक पृथक्करण) के बीच के अंतर को पाटता है, जो चौड़ाई की पहचान करने, संरचनात्मक बेसिनों का अनुमान लगाने और डिज़ाइन द्वारा संरेखण को सामान्यीकरण से अलग करने के लिए एक कठोर गणितीय पाइपलाइन प्रदान करता है।