तकनीकी सारांश: संरचित बहु-अक्षीय संयोजन के लिए जर्नी ऑपरेटर्स (Journey Operators)

समस्या विवरण

वर्तमान मशीन लर्निंग आर्किटेक्चर बहु-अक्षीय संरचनाओं (जैसे, अनुक्रम, चित्र, वृक्ष, वॉल्यूमेट्रिक डेटा) वाले डेटा को मॉडल करने में संघर्ष करते हैं, जो वेक्टर-आधारित शिक्षण तंत्रों के साथ संरेखित हो सके। जबकि 1D कंपोजिशनल संरचनाओं को नॉन-कम्यूटेटिव सेमीग्रुप्स या फ्री ग्रुप्स का उपयोग करके मॉडल किया जा सकता है, 2D या बहु-आयामी संयोजन के लिए कोई व्यापक रूप से स्वीकृत बीजगणितीय ढांचा उपलब्ध नहीं है। मौजूदा बीजगणितीय प्रणालियाँ अक्सर ट्रांसफॉर्मर जैसे आधुनिक आर्किटेक्चर की विशिष्ट आवश्यकताओं को पूरा करने में विफल रहती हैं, विशेष रूप से इस संबंध में कि डेटा कैसे संयोजित होता है और स्वतंत्र अक्षों के बीच सापेक्ष स्थितियों का वर्णन कैसे किया जाता है।

एक महत्वपूर्ण तनाव मौजूद है: मानक अटेंशन तंत्र बिना नॉन-कम्यूटेटिव संयोजन के मानों (values) को एकत्रित करते हैं, जिससे विभिन्न अक्षों के साथ डेटा बिंदुओं के बीच के संरचनात्मक संदर्भ को प्रभावी रूप से त्याग दिया जाता है। इसके अलावा, जबकि रोटरी पोजीशन एम्बेडिंग (RoPE) 1D सापेक्ष स्थितियों को सफलतापूर्वक मॉडल करता है, बहु-आयामी डेटा तक इसका विस्तार करने के लिए एक सिद्धांत-आधारित बीजगणितीय ढांचे की आवश्यकता है जो पथ स्वतंत्रता (अर्थात, "दाएं फिर नीचे" का संयोजन "नीचे फिर दाएं" के समान परिणाम दे) सुनिश्चित कर सके और कंटेंट-एडेप्टिव इंडक्टिव बायस का समर्थन कर सके।

कार्यप्रणाली: बीजगणितीय ढांचा (The Algebraic Framework)

यह शोध एक ऐसा कंपोजिशनल फ्रेमवर्क पेश करता है जहाँ प्रत्येक डेटा आइटम अपने साथ कंटेंट ($v \in \mathbb{R}^d$) और अक्ष-चरण जनरेटरों ($R_1, \dots, R_D \in G \le O(d)$) का एक सेट रखता है, जहाँ $G$ एक नॉर्म-प्रिजर्विंग ऑर्थोगोनल ट्रांसफॉर्मेशन का समूह है।

मुख्य ऑपरेशन

1D में, दो डेटा बिंदुओं $(a, A)$ और $(b, B)$ का संयोजन इस प्रकार परिभाषित है:
$$(a, A) \circ (b, B) := (a + Ab, AB)$$
यहाँ, संयोजित सामग्री पहले बिंदु की सामग्री और दूसरे बिंदु की सामग्री का, पहले के फ्रेम में रोटेट किया गया योग है। संयोजित अक्ष-चरण जनरेटर उत्पाद $AB$ है। यह ऑपरेशन एसोसिएटिव (associative) है लेकिन नॉन-कम्यूटेटिव (non-commutative) है।

$D$-डायमेंशन में, प्रत्येक डेटा प्रत्येक अक्ष के लिए एक जनरेटर रखता है। एक विशिष्ट अक्ष $k$ के अनुदिश संयोजन, दूसरे बिंदु के कंटेंट को रोटेट करने के लिए उस अक्ष के जनरेटर को लागू करता है और उस अक्ष के लिए जनरेटर को संचित करता है, जबकि अन्य अक्षों को अपरिवर्तित छोड़ देता है।

जर्नी ऑपरेटर (The Journey Operator)

एक "जर्नी" (यात्रा) को दो स्थितियों को जोड़ने वाले पथ के रूप में परिभाषित किया गया है। जर्नी ऑपरेटर $P_{j \to k}$ स्थिति $j$ से $k$ तक के पथ के अक्ष-चरण जनरेटर्स का उत्पाद है।

• पथ स्वतंत्रता (Path Independence): शोध यह सिद्ध करता है कि अक्षों के बीच संयोजन और गति पथ-स्वतंत्र होती है (अर्थात, परिणाम विस्थापन पर निर्भर करता है, न कि अक्षों के क्रम पर) यदि और केवल यदि प्रति-अक्ष अक्ष-चरण जनरेटर्स कम्यूट करते हैं ($R_i R_j = R_j R_i$)।
• फ्लैट बनाम कर्वेड रिजीम (Flat vs. Curved Regimes): जब जनरेटर्स कम्यूट करते हैं, तो फ्रेमवर्क एक "फ्लैट" रिजीम में कार्य करता है जहाँ जर्नी ऑपरेटर शुद्ध विस्थापन का एक फलन है ($P_{j \to k} = R^{k-j}$)। जब वे कम्यूट नहीं करते हैं, तो यह "कर्वेड" (वक्रित) रिजीम होता है, और सापेक्ष रूपांतरण पूर्ण स्थिति पर निर्भर करते हैं।

सैद्धांतिक वर्गीकरण

विशिष्ट अभिधारणाओं (बाइलीनियैरिटी, टोरल फ्रेम इनवेरियंस, कोसाइकिल कंपोजिशनलिटी, और नॉर्म प्रिजर्वेशन) के तहत, यह शोध सभी संगत अटेंशन तंत्रों को वर्गीकृत करता है। यह सिद्ध करता है कि एकमात्र संगत तंत्र एक ब्लॉक-डायगोनल $SO(2)^{d/2}$ रोटेशन है। यह परिणाम स्पष्ट करता है कि क्यों RoPE और इसके वेरिएंट स्वाभाविक रूप से उत्पन्न होते हैं। इसके विपरीत, यदि पूर्ण ऑर्थोगोनल समूह $O(d)$ को माना जाता है, तो पोजीशनल स्ट्रक्चर पूरी तरह से ध्वस्त हो जाता है।

JoFormer आर्किटेक्चर

इन निष्कर्षों से प्रेरित होकर, लेखक JoFormer (जर्नी-आधारित ट्रांसफार्मर) प्रस्तावित करते हैं, जो अटेंशन मैकेनिज्म में जर्नी ऑपरेटर को एकीकृत करता है:

1. स्कोर साइड: अटेंशन स्कोर की गणना करने से पहले क्वेरीज और कीज़ को उनके संबंधित एब्सोल्यूट ऑपरेटर्स ($A_i q_i, A_j k_j$) द्वारा रोटेट किया जाता है।
2. वैल्यू साइड: एग्रीगेशन से पहले वैल्यूज पर जर्नी ऑपरेटर लागू किया जाता है: $c_k = \sum_j \alpha_{kj} P_{j \to k} v_j$। यह वैल्यू साइड में कंपोजिशनल स्ट्रक्चर लाता है, जिसकी मानक अटेंशन में कमी होती है।

शोध तीन वेरिएंट प्रस्तुत करता है:

• JoFormer-fixed: लीनियर-इन-पोजीशन एंगल्स (मानक RoPE फ्रीक्वेंसी) के साथ वैल्यू रोटेशन का उपयोग करता है।
• JoFormer-learned: प्रत्येक लेयर के लिए सीखे गए फ्रीक्वेंसी वेक्टर्स का उपयोग करता है।
• JoFormer-projected: रेसिडुअल स्ट्रीम कंटेंट से एंगल्स की गणना करने के लिए एक MLP का उपयोग करता है, जिससे एक डेटा-डिपेंडेंट जर्नी ऑपरेटर बनता है।

मुख्य योगदान

1. कंपोजिशनल फ्रेमवर्क: एक एकीकृत बीजगणितीय ढांचा जहाँ डेटा पॉइंट्स कंटेंट और अक्ष-चरण जनरेटर्स ले जाते हैं, जो संयोजन को एक एकल एसोसिएटिव ऑपरेशन के रूप में परिभाषित करता है जो स्वाभाविक रूप से 1D से $D$-डायमेंशन तक विस्तारित होता है।
2. सैद्धांतिक परिणाम:
   • यह प्रमाण कि पथ-स्वतंत्र संयोजन के लिए कम्यूटिंग अक्ष-चरण जनरेटर्स आवश्यक हैं।
   • वर्गीकरण जो दिखाता है कि प्राकृतिक अभिधारणाओं के तहत, एकमात्र संगत तंत्र ब्लॉक-डायगोनल $SO(2)^{d/2}$ रोटेशन है, जो RoPE को एक विशेष मामले के रूप में पुनर्प्राप्त करता है।
   • यह प्रमाण कि फ्लैट रिजीम में, जर्नी ऑपरेटर के माध्यम से वैल्यू ट्रांसपोर्ट ट्रांसलेशन इक्विवेरिएंट (translation equivariant) है।
   • यह प्रदर्शन कि डिस्क्रीट फूरियर ट्रांसफॉर्म (DFT) इस कंपोजिशनल एम्बेडिंग का एक विशेष मामला है।
3. JoFormer आर्किटेक्चर: एक नया मॉडल डिज़ाइन जो वैल्यूज पर जर्नी ऑपरेटर लागू करता है, जो स्टैंडर्ड अटेंशन, स्टेट-स्पेस मॉडल्स (SSMs) और JoFormer को एक "वैल्यू-पाथ फॉर्मूला" के तहत एकीकृत करता है।
4. वैल्यू-पाथ पदानुक्रम (Value-Path Hierarchy): एक सैद्धांतिक सेतु जो दिखाता है कि SSM रिकरेंस, अटेंशन के समान ही वैल्यू-पाथ फॉर्मूला में अनरोल होते हैं, जो इन परिवारों के बीच संरचनात्मक अंतरों को स्पष्ट करता है।

प्रयोगात्मक परिणाम

लेखकों ने विजन, लैंग्वेज और लेंथ जनरलाइजेशन कार्यों पर अपने फ्रेमवर्क की परिकल्पनाओं का परीक्षण करने के लिए विजन, लैंग्वेज और लेंथ जनरलाइजेशन कार्यों पर सिंगल-सीड सैनिटी चेक आयोजित किए:

• विज़न (CIFAR-100 और ImageNet):

  • CIFAR-100 पर, वैल्यू (V) रोटेशन लागू करने से विभिन्न मॉडल साइज और फ्रीक्वेंसी प्रकारों में सटीकता में लगातार सुधार हुआ। V रोटेशन और लर्नबल फ्रीक्वेंसी के बीच तालमेल से मानक 2D-RoPE की तुलना में +1.88% लाभ मिला।
  • ImageNet-1K (ViT-S) पर, V रोटेशन के साथ JoFormer ने RoPE2D पर +0.40% टॉप-1 सटीकता में सुधार किया।
  • प्रयोगों ने "फ्लैट रिजीम" परिकल्पना की पुष्टि की: डेंस (कर्वेड) रोटेशन (LieRE) अक्षीय (कम्यूटिंग) रोटेशन की तुलना में खराब प्रदर्शन करते हैं।

• लैंग्वेज मॉडलिंग (Wikipedia):

  • JoFormer-projected (कंटेंट-डिपेंडेंट एंगल्स) ने परीक्षण किए गए सभी कॉन्फ़िगरेशन में RoFormer और फिक्स्ड/लर्नड JoFormer वेरिएंट की तुलना में सबसे कम पर्प्लेक्सिटी प्राप्त की।

• लेंथ जनरलाइजेशन (लंबाई सामान्यीकरण):

  • JoFormer-projected ने उत्कृष्ट एक्सट्रपलेशन क्षमता प्रदर्शित की। जब इसे 512 की सीक्वेंस लेंथ पर प्रशिक्षित किया गया और 4096 पर परीक्षण किया गया, तो इसने 1.02x का पर्प्लेक्सिटी रेशियो प्राप्त किया, जो RoPE (6.29x) और JoFormer-fixed (4.41x) की तुलना में काफी बेहतर है। यह सुझाव देता है कि केवल V रोटेशन के बजाय डेटा-डिपेंडेंट एंगल्स लंबाई के सामान्यीकरण के लिए महत्वपूर्ण हैं।

महत्व और दावे

यह शोध दावा करता है कि यह एक मौलिक बीजगणितीय ढांचा प्रदान करता है जो मल्टी-एक्सिस कंपोजिशनल स्ट्रक्चर और वेक्टर-आधारित लर्निंग के बीच तनाव को हल करता है। इसका महत्व यहाँ है:

1. सैद्धांतिक एकीकरण: यह समझाता है कि क्यों RoPE-जैसे तरीके विशिष्ट सिमेट्री बाधाओं के स्वाभाविक परिणाम हैं और अटेंशन, SSMs और JoFormer के लिए एक सामान्य नोटेशन प्रदान करता है।
2. इंडक्टिव बायस: यह मानक अटेंशन में एक लापता संरचनात्मक बायस की पहचान करता है: वैल्यू साइड पर नॉन-कम्यूटेटिव संयोजन का अभाव। JoFormer इस कमी को पूरा करता है।
3. व्यावहारिक उपयोगिता: प्रारंभिक प्रयोग बताते हैं कि ये इंडक्टिव बायस (विशेष रूप से V रोटेशन और कंटेंट-डिपेंडेंट एंगल्स) विज़न कार्यों और लेंथ जनरलाइजेशन में दृश्यमान सुधार प्रदान करते हैं।

लेखक विनम्र रहते हुए नोट करते हैं कि उनके प्रयोग निर्णायक बेंचमार्क दावों के बजाय सिंगल-सीड सैनिटी चेक हैं, और फ्रेमवर्क का मूल्य मुख्य रूप से पोजीशनल मैकेनिज्म के लिए एक सिद्धांत-आधारित डिज़ाइन नियम प्रदान करने में है। वे स्पष्ट रूप से कहते हैं कि हालांकि सिद्धांत इस आर्किटेक्चर को प्रेरित करता है, लेकिन यह यह सिद्ध नहीं करता है कि विशिष्ट वेरिएंट (जैसे JoFormer-projected) हमेशा बेसलाइन्स से बेहतर प्रदर्शन करेंगे, बल्कि यह कि वे व्युत्पन्न वैल्यू-पाथ पदानुक्रम के साथ सुसंगत हैं।