Dual-Channel Tensor Neural Networks: Finite-Sample Theory and Conformal Structure Selection

तकनीकी सारांश: डुअल-चैनल टेंसर न्यूरल नेटवर्क (Dual-Channel Tensor Neural Networks)

समस्या विवरण
आधुनिक मशीन लर्निंग अनुप्रयोग तेजी से उच्च-आयामी संरचित डेटा पर निर्भर होते हैं, जैसे कि न्यूरोइमेजिंग, जीनोमिक्स और स्पैटियोटेम्पोरल नेटवर्क, जो स्वाभाविक रूप से टेंसर के रूप में मौजूद होते हैं। ऐसे डेटा से सीखने की एक केंद्रीय चुनौती उनकी विषम संरचना (heterogeneous structure) है: वास्तविक दुनिया के टेंसर अक्सर वैश्विक, निम्न-आयामी बहुरेखीय पैटर्न (multilinear patterns) और स्थानीयकृत, अनियमित या विरल (sparse) विविधताओं का संयोजन प्रदर्शित करते हैं, जो महत्वपूर्ण भविष्य कहनेवाला संकेतों (predictive signals) को वहन करते हैं। मौजूदा दृष्टिकोण एक मौलिक ट्रेड-ऑफ का सामना करते हैं:

• लो-रैंक मॉडल (जैसे CP, Tucker, Tensor-Train) प्रभावी रूप से वैश्विक निर्भरताओं का सारांश प्रस्तुत करते हैं लेकिन वे प्रतिनिधित्व पूर्वाग्रह (representation bias) से ग्रस्त होते हैं जब स्थानीयकृत संकेत अनुमानित सबस्पेस के साथ संरेखित नहीं होते हैं।
• विरल (Sparse) या उच्च-आयामी नॉनपैरामीट्रिक मॉडल स्थानीय प्रभावों को पकड़ते हैं लेकिन अंतर्निहित टेंसर ज्यामिति की अनदेखी करते हैं, जिससे प्रभावी आयाम (effective dimensions) बढ़ जाते हैं और सांख्यिकीय दक्षता कम हो जाती है।
  इसके अलावा, मानक अनिश्चितता मात्रा निर्धारण (uncertainty quantification) विधियाँ (जैसे बूटस्ट्रैप या मानक कॉन्फॉर्मल प्रेडिक्शन) अक्सर टेंसर इनपुट को असंरचित वेक्टर के रूप में मानती हैं, जिससे अत्यधिक रूढ़िवादी अनुमान प्राप्त होते हैं जो डेटा की अंतर्निहित ज्यामिति का लाभ उठाने में विफल रहते हैं। इसके अतिरिक्त, उम्मीदवार टेंसर अपघटन (जैसे CP बनाम Tucker) के बीच चयन करना आमतौर पर बिना परिमित-नमूना सांख्यिकीय वैधता के ह्यूरिस्टिक सत्यापन पर निर्भर करता है।

कार्यप्रणाली
लेखक डुअल-चैनल टेंसर न्यूरल नेटवर्क (DC-TNN) का प्रस्ताव करते हैं, जो विषम संरचना वाले टेंसर इनपुट पर भविष्य कहनेवाला फलनों (predictive functions) को सीखने के लिए डिज़ाइन किया गया एक ढांचा है।

1. संरचित विशेषता रूपांतरण (Structured Feature Transformation):
   इनपुट टेंसर $X$ को एक वैश्विक लो-रैंक कोर $C$ और एक विरल शोधन घटक (sparse refinement component) $V$ में विभाजित किया जाता है। रूपांतरण $X \mapsto (C, V_J)$ उच्च-आयामी टेंसर को एक निम्न-आयामी कोर टेंसर $C$ (जो प्रमुख बहुरेखीय अंतःक्रियाओं को पकड़ता है) और एक विरल वेक्टर $V_J$ (जो स्थानीय विचलन को पकड़ता है) में मैप करता है, जहाँ $J$ एक चयनित इंडेक्स सेट है। इसे एक सख्त जेनेरेटिव बाधा के बजाय एक संरचित इंडक्टिव बायस (inductive bias) के रूप में माना जाता है।

2. डुअल-चैनल आर्किटेक्चर:
   मॉडल $C$ और परिष्कृत स्थानीय विशेषताओं $U$ (जो $V_J$ से व्युत्पन्न हैं) को दो समानांतर, युग्मित न्यूरल चैनलों के माध्यम से संसाधित करता है:

• कोर चैनल ($H_c$): निम्न-आयामी कोर टेंसर पर कार्य करता है ताकि वैश्विक बहुरेखीय निर्भरताओं को सीखा जा सके।
• रिफाइनमेंट चैनल ($H_u$): चयनित स्थानीय विशेषताओं के सघन (dense) टेंसर प्रतिनिधित्व पर कार्य करता है।
• कपलिंग (Coupling): प्रत्येक परत पर क्रॉस-चैनल वेट टेंसरों ($W_{cu}, W_{uc}$) के माध्यम से चैनल आपस में क्रिया करते हैं, जिससे मॉडल को संरचित वैश्विक जानकारी को लचीले स्थानीय समायोजनों के साथ अनुकूल रूप से संयोजित करने की अनुमति मिलती है। यह आर्किटेक्चर विशिष्ट अपघटन प्रकार के प्रति उदासीन (agnostic) है, जो CP, Tucker और Tensor-Train कोर को समायोजित कर सकता है।

3. प्रशिक्षण प्रक्रिया:
   पेपर एक दो-चरणीय प्रशिक्षण प्रक्रिया का विवरण देता है:

• चरण 1: नेटवर्क के बाहर मानक अनुमानकों (जैसे Tucker के लिए HOSVD, CP के लिए ALS) का उपयोग करके कोर टेंसर $\hat{C}_i$ का अनुमान लगाना।
• चरण 2: एम्पिरिकल रिस्क और एक स्पर्सिटी पेनल्टी (जैसे clipped-$\ell_1$) को कम करने के लिए नेटवर्क वेट और एक विरल चयन टेंसर $W_u$ (जो $X$ से $V_J$ को निकालता है) को संयुक्त रूप से अनुकूलित करना। एक एंड-टू-एंड विकल्प भी पूरक सामग्री में चर्चा की गई है।

4. संरचना-जागरूक कॉन्फॉर्मल अनुमान (Structure-Aware Conformal Inference):
   अनिश्चितता को मात्रात्मक बनाने के लिए, लेखक एक कॉन्फॉर्मल अनुमान प्रक्रिया विकसित करते हैं जो एम्बिएंट टेंसर स्पेस के बजाय कोर-रिफाइनमेंट लेटेंट स्पेस के भीतर कार्य करती है।

• स्थानीय अंशांकन (Local Calibration): प्रत्येक टेस्ट पॉइंट के लिए, कोर और रिफाइनमेंट रिप्रजेंटेशन पर आधारित एक दूरी मीट्रिक का उपयोग करके एक स्थानीय अंशांकन सेट बनाया जाता है।
• ROC/AUC बैंड्स: यह प्रक्रिया ROC कर्व्स और AUC मानों के लिए डिस्ट्रीब्यूशन-फ्री कॉन्फिडेंस बैंड्स उत्पन्न करती है, जो असंरचित वेक्टर दृष्टिकोणों की तुलना में अधिक सटीक और सूचनात्मक होते हैं।

5. कॉन्फॉर्मल संरचना चयन (Conformal Structure Selection):
   पेपर प्रतिस्पर्धी संरचनाओं (जैसे Tucker बनाम CP) के बीच चयन करने के लिए एक सांख्यिकीय रूप से सुदृढ़ प्रक्रिया पेश करता है। दो उम्मीदवार मॉडलों के प्रदर्शन अंतर के लिए कॉन्फॉर्मल डिफरेंस-ROC बैंड्स का निर्माण करके, यह विधि यह निर्धारित करने के लिए एक परिमित-नमूना, डिस्ट्रीब्यूशन-फ्री टेस्ट प्रदान करती है कि क्या एक संरचना दूसरी से काफी बेहतर है या वे सांख्यिकीय रूप से अविभेद्य हैं।

प्रमुख योगदान

• संरचित मॉडलिंग फ्रेमवर्क: एक डुअल-चैनल न्यूरल आर्किटेक्चर जो लो-रैंक वैश्विक संरचनाओं और विरल स्थानीय शोधन को संयुक्त रूप से मॉडल करता है, जो शुद्ध लो-रैंक और उच्च-आयामी विरल मॉडलों का सामान्यीकरण करता है।
• एकीकृत परिप्रेक्ष्य: एक नया फंक्शन क्लास जो लो-रैंक टेंसर मॉडल और विरल मॉडल के बीच के अंतर को पाटता है, जो संरचनात्मक अनिश्चितता के तहत प्रतिनिधित्व सीखने के लिए एक सिद्धांतपूर्ण दृष्टिकोण प्रदान करता है।
• अनिश्चितता मात्रा निर्धारण: एक संरचना-जागरूक कॉन्फॉर्मल अनुमान विधि जो डिस्ट्रीब्यूशन-फ्री वैधता बनाए रखते हुए ROC और AUC मेट्रिक्स के लिए अधिक सटीक कॉन्फिडेंस रीजन बनाती है।
• मॉडल चयन: उम्मीदवार टेंसर अपघटन के बीच चयन करने के लिए परिमित-नमूना वैधता के साथ पहला ज्ञात डिस्ट्रीब्यूशन-फ्री प्रक्रिया।
• सैद्धांतिक गारंटी: गैर-एसिम्प्टोटिक (non-asymptotic) रिस्क बाउंड्स जो दिखाते हैं कि प्रभावी आयाम एम्बिएंट टेंसर आकार के बजाय कोर रैंक और रिफाइनमेंट स्पर्सिटी ($d_{eff} = \prod R_m + |J|$) पर निर्भर करता है, जिससे 'कर्स ऑफ डाइमेंशनलिटी' से बचाव होता है।

परिणाम
लेखक सिमुलेशन और DD प्रोटीन डेटासेट (TUDataset) के वास्तविक-डेटा विश्लेषण के माध्यम से ढांचे को मान्य करते हैं।

• भविष्य कहनेवाला सटीकता (Predictive Accuracy): Tucker और CP दोनों ग्राउंड ट्रुथ के साथ सिंथेटिक प्रयोगों में, DC-TNN ने टेस्ट एक्यूरेसी और मीन स्क्वेर्ड एरर (MSE) के मामले में बेसलाइन टेंसर न्यूरल नेटवर्क (Low-rank TRL, Stacked-weight TNN) को लगातार पछाड़ दिया।
• अनिश्चितता मात्रा निर्धारण: कॉन्फॉर्मल ROC बैंड्स ने नाममात्र कवरेज दर (जैसे 90% कॉन्फिडेंस इंटरवल) प्राप्त की, जो विश्वसनीय अनिश्चितता अनुमान को प्रदर्शित करता है।
• संरचना चयन: प्रस्तावित सेलेक्टर ने सिंथेटिक व्यवस्था में वास्तविक अंतर्निहित संरचना (Tucker या CP) की सही पहचान की। वास्तविक दुनिया के DD डेटासेट में, प्रक्रिया ने Tucker-आधारित वेरिएंट के ऊपर CP-आधारित DC-TNN को सांख्यिकीय रूप से चुना, जो कि डिफरेंस-ROC बैंड्स द्वारा डायगोनल के नीचे होने से समर्थित है (जहाँ नल हाइपोथेसिस है कि Tucker बेहतर है)।

महत्व और दावे
पेपर दावा करता है कि DC-TNN ढांचा संरचनात्मक पूर्वाग्रह और स्थानीय लचीलेपन के बीच संतुलन बनाकर मौजूदा विधियों की मौलिक सीमा को संबोधित करता है। कोर और रिफाइनमेंट में इनपुट को विभाजित करके, मॉडल अनुकूलतम अभिसरण दर (convergence rates) प्राप्त करता है और सीखने की समस्या के प्रभावी आयाम को कम करता है।

महत्वपूर्ण रूप से, लेखक इस बात पर जोर देते हैं कि उनका कार्य अनुमान और मॉडल चयन दोनों के लिए परिमित-नमूना, डिस्ट्रीबेशन-फ्री गारंटी प्रदान करता है। पूर्ववर्ती विधियों के विपरीत जो एसिम्प्टोटिक धारणाओं या ह्यूरिस्टिक सत्यापन पर निर्भर करती हैं, प्रस्तावित कॉन्फॉर्मल प्रक्रियाएं उच्च-आयामी सेटिंग्स में संरचना चुनने और अनिश्चितता को मापने के लिए कठोर सांख्यिकीय वैधता प्रदान करती हैं। लेखक इसे टेंसर-मूल्य वाले डेटा पर सांख्यिकीय लर्निंग के लिए एक सामान्य संगठित सिद्धांत की ओर एक कदम के रूप में देखते हैं, जहाँ कोर-अगमेंटेड इंफरेंस एकल संरचनात्मक धारणा के प्रति प्रतिबद्ध हुए बिना अनुकूल, संरचना-जागरूक मॉडलिंग की अनुमति देता है।