🤖 machine learning

The E $\Delta$ -MHC-Geo Transformer: Adaptive Geodesic Operations with Guaranteed Orthogonality

यह शोध पत्र E $\Delta$ -MHC-Geo ट्रांसफॉर्मर को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो अनकंडीशनल इनपुट-एडेप्टिव ऑर्थोगोनैलिटी (unconditional input-adaptive orthogonality) और मौजूदा बेसलाइनों की तुलना में कम परतों के साथ बेहतर लॉन्ग-होरिज़न स्टेबिलिटी (long-horizon stability) प्राप्त करने के लिए मैनिफोल्ड-कंस्ट्रेंड हाइपर-कनेक्शन्स (Manifold-Constrained Hyper-Connections), डीप डेल्टा लर्निंग (Deep Delta Learning) और एक हाइब्रिड केली-हाउसहोल्डर मैकेनिज्म (Cayley-Householder mechanism) को एकीकृत करता है।

मूल लेखक: Arash Shahmansoori

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arash Shahmansoori

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप ब्लॉकों का एक बहुत ऊँचा टॉवर बना रहे हैं। आधुनिक AI में, ये "ब्लॉक" न्यूरल नेटवर्क की परतें (layers) हैं जो सूचना को प्रोसेस करती हैं। इस टॉवर को बिना गिरे बहुत ऊँचा बनाने के लिए, इंजीनियर "रेसिड्यूअल कनेक्शन" (residual connections) का उपयोग करते हैं—जो मूल रूप से एक शॉर्टकट है जो सूचना को एक ब्लॉक को छोड़कर सीधे अगले ब्लॉक तक जाने देता है। यह एक स्लाइड की तरह है जो आपको एक कठिन चरण को बायपास करने की अनुमति देता है।

हालाँकि, मानक स्लाइडों के साथ एक समस्या है: वे यह गारंटी नहीं देते कि सूचना अपना आकार या आकार बनाए रखेगी। कभी-कभी डेटा दब जाता है, खिंच जाता है या विकृत हो जाता है, जिससे समय के साथ टॉवर अस्थिर हो जाता है।

यह पेपर एक नया आर्किटेक्चर पेश करता है जिसे E∆-MHC-Geo Transformer कहा जाता है। इसे एक नए प्रकार के "स्मार्ट स्लाइड" के रूप में सोचें जो गारंटी देता है कि सूचना पूरी तरह से बरकरार रहेगी, चाहे टॉवर कितना भी ऊँचा क्यों न हो जाए। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. पुराने स्लाइडों के साथ समस्या

इसे ठीक करने के पिछले प्रयासों ने दो मुख्य विधियों का उपयोग किया:

"हाउसहोल्डर" (Householder) स्लाइड: यह एक ऐसी स्लाइड थी जो केवल तभी पूरी तरह से काम करती थी जब आप एक विशिष्ट डायल को ठीक "0" या "2" पर सेट करते। लेकिन ट्रेनिंग के दौरान, AI को सीखने के लिए उस डायल को अन्य नंबरों पर घुमाने की आवश्यकता होती है। जब डायल बीच में होता है, तो स्लाइड ठीक से काम करना बंद कर देती है और डेटा विकृत हो जाता है।
"सिंकहॉर्न" (Sinkhorn) स्लाइड: इसने स्लाइड को काम करने के लिए मजबूर करने की कोशिश की, लेकिन यह गणितीय रूप से लगातार इसे एडजस्ट करती रही। यह एक डगमगाती मेज को संतुलित करने जैसा था; यह केवल लगभग स्थिर थी, और एक लंबी यात्रा के दौरान, त्रुटियाँ जमा होती जाती थीं, जिससे डेटा भटक जाता था।

2. नया "केली" (Cayley) स्लाइड (घूर्णन/Rotation)

लेखकों ने एक नया स्लाइड बनाया जो केली ट्रांसफॉर्म (Cayley Transform) नामक एक गणितीय ट्रिक पर आधारित है।

उपमा: एक घूमते हुए लट्टू (spinning top) की कल्पना करें। चाहे आप उसे कितनी भी तेज़ी से घुमाएँ या कितना भी झुकाएँ, लट्टू एक पूर्ण वृत्त बना रहता है। वह फैलता या सिकुड़ता नहीं है।
नवाचार: इस "घूमते हुए लट्टू" वाले स्लाइड के पिछले संस्करणों में एक निश्चित अक्ष (axis) था। नया E∆-MHC-Geo स्लाइड विशेष है क्योंकि घूर्णन का अक्ष (axis of rotation) उस डेटा पर निर्भर करता है जो इसमें प्रवेश करता है। यह एक ऐसे लट्टू की तरह है जो अपने आप अपने घूमने की दिशा को एडजस्ट करता है, फिर भी यह हमेशा एक पूर्ण वृत्त बना रहता है।
गारंटी: पेपर गणितीय रूप से सिद्ध करता है कि यह स्लाइड अनकंडीशनली ऑर्थोगोनल (unconditionally orthogonal) है। सरल शब्दों में, इसका अर्थ है कि डेटा का आकार और रूप हर बार, बिना किसी अपवाद के, पूरी तरह से सुरक्षित रहता है।

3. गायब हिस्सा: "दर्पण" (Reflection)

इस घूमते हुए लट्टू वाले स्लाइड के साथ एक कमी थी: यह केवल चीजों को घुमा (rotate) सकता था। यह उन्हें उल्टा (flip) नहीं कर सकता था (गणितीय रूप से यह -1 का आइजनवैल्यू उत्पन्न नहीं कर सकता था)।

समस्या: कभी-कभी, AI को "ना" कहना या "उल्टा" (negation) करना पड़ता है। एक घूमता हुआ लट्टू ऐसा नहीं कर सकता; वह केवल घूम सकता है।
समाधान: लेखकों ने एक हाइब्रिड (Hybrid) सिस्टम बनाया। उन्होंने "घूमते हुए लट्टू" (Cayley) को "दर्पण" (Householder reflection) के साथ जोड़ा।
गेट (Gate): उन्होंने एक स्मार्ट "गेट" (स्विच) जोड़ा जो तय करता है: "क्या मुझे डेटा को घुमाना है, या मुझे इसे पलटना (flip) है?"
- यदि कार्य घूर्णन (rotation) का है, तो गेट घूमते हुए लट्टू को खोलता है।
- यदि कार्य निषेध (negation/fliation) का है, तो गेट दर्पण को खोलता है।
- पेपर एक विशेष "ट्रेनिंग नियम" (regularization) का उपयोग करता है जो गेट को एक तरफ मजबूती से टिकने के लिए मजबूर करता है, ताकि वह बीच में न फँसे जहाँ चीजें गड़बड़ हो सकती हैं।

4. परिणाम: एक मजबूत, छोटा टॉवर

लेखकों ने अन्य शीर्ष मॉडलों (एक समवर्ती मॉडल JPmHC सहित) के खिलाफ इस नए आर्किटेक्चर का परीक्षण किया, जहाँ सभी मॉडलों के पास समान संख्या में पैरामीटर (लगभग 1.79 मिलियन) थे।

स्थिरता: नया मॉडल लंबी अनुक्रमों (sequences) पर सबसे स्थिर था। इसने डेटा के आकार को पूरी तरह से सुसंगत रखा, और अगले सबसे अच्छे मॉडल से लगभग 2 गुना बेहतर प्रदर्शन किया।
निषेध (Negation): जब डेटा को पलटने (negation) के बारे में सीखने के लिए कहा गया, तो नए मॉडल ने सफलतापूर्वक "दर्पण" शाखा का उपयोग करना सीखा, जबकि अन्य मॉडल संघर्ष करते रहे क्योंकि उनमें यह विशिष्ट क्षमता नहीं थी।
दक्षता: क्योंकि नया मॉडल ज्यामितीय रूप से इतना सटीक है, इसलिए इसे समान कार्य करने के लिए दूसरों जितना ऊँचा होने की आवश्यकता नहीं थी। इसने 33% कम परतों के साथ बेहतर परिणाम प्राप्त किए।

सारांश

यह पेपर AI नेटवर्क बनाने का एक नया तरीका प्रस्तुत करता है जो पूरी तरह से स्थिर ज्यामितीय शॉर्टकट का उपयोग करता है। यह एक "घूर्णन" तंत्र को जोड़ता है जो डेटा को विकृत नहीं करता है, और एक "परावर्तन" (reflection) तंत्र के साथ जो डेटा को पलट सकता है, जिसे एक स्मार्ट स्विच द्वारा नियंत्रित किया जाता है। यह AI को जटिल ज्यामितीय कार्यों (जैसे घूर्णन और निषेध) को अन्य विधियों की तुलना में अधिक स्थिरता और दक्षता के साथ संभालने की अनुमति देता है, जबकि यह गणितीय गारंटी भी देता है कि डेटा पूरी तरह से सुरक्षित रहेगा।

लेखक नोट करते हैं कि ये परीक्षण इन विशिष्ट ज्यामितीय गुणों का परीक्षण करने के लिए डिज़ाइन किए गए सिंथेटिक, नियंत्रित बेंचमार्क पर किए गए थे। वे यह दावा नहीं करते हैं कि इनका परीक्षण अभी भाषा अनुवाद या छवि पहचान जैसे वास्तविक दुनिया के बड़े पैमाने के अनुप्रयोगों पर किया गया है, लेकिन उन्होंने इसके लिए सैद्धांतिक और प्रयोगात्मक आधार तैयार कर दिया है।

तकनीकी सारांश: E∆-MHC-Geo ट्रांसफार्मर

1. समस्या विवरण (Problem Statement)

आधुनिक डीप लर्निंग रेसिडुअल कनेक्शन ( $X_{l+1} = X_l + F(X_l)$ ) पर बहुत अधिक निर्भर है ताकि गहरे नेटवर्क में ग्रेडिएंट फ्लो को सुगम बनाया जा सके। हालांकि, मानक एडिटिव रेसिडुअल्स (additive residuals) में ज्यामितीय गारंटी (geometric guarantees) का अभाव होता है, जिससे नॉर्म ड्रिफ्ट (norm drift) और इंटर-लेयर मिक्सिंग में सीमित अभिव्यंजना (expressivity) होती है। इसे संबोधित करने के प्रयास निम्नलिखित हैं:

मैनिफोल्ड-कंस्ट्रेंड हाइपर-कनेक्शन्स (mHC): यह डबली स्टोकेस्टिक मिक्सिंग मैट्रिसेस बनाने के लिए सिंकहॉर्न-नोप प्रोजेक्शन (Sinkhorn-Knopp projections) का उपयोग करता है। हालांकि यह लगभग ऑर्थोगोनल (approximately orthogonal) है, लेकिन लंबी अनुक्रमों (sequences) में त्रुटियाँ संचित होती हैं, और प्रोजेक्शन गणनात्मक रूप से पुनरावृत्ति वाला (iterative) है।
डीप डेल्टा लर्निंग (DDL): यह आइडेंटिटी शॉर्टकट को एक इनपुट-डिपेंडेंट हाउसहोल्डर ऑपरेटर ( $H_\beta = I - \beta kk^\top$ ) से बदल देता है। हालांकि यह अनुकूलनीय (adaptive) है, यह केवल तभी सख्ती से ऑर्थोगोनल होता है जब मैग्नीट्यूड पैरामीटर $\beta \in \{0, 2\}$ हो। प्रशिक्षण के दौरान, $\beta$ निरंतर बदलता रहता है, जिससे आइसोमेट्री (isometry) टूट जाती है और ग्रेडिएंट अस्थिरता होती है।

इसके अलावा, मौजूदा ज्यामितीय दृष्टिकोण अक्सर पूर्ण ऑर्थोगोनल समूह $O(n)$ तक पहुँचने में विफल रहते हैं। विशेष रूप से, केली ट्रांसफॉर्म (Cayley transform), जो रोटेशन उत्पन्न करने के लिए एक सामान्य उपकरण है, बीजगणितीय रूप से $\lambda = -1$ (एक शुद्ध निषेध/प्रतिबिंब या pure negation/reflection) का आइजनवैल्यू (eigenvalue) उत्पन्न करने में असमर्थ है, जो तीव्र साइन-इनवर्जन या सुधार के लिए आवश्यक कार्यों की उपयोगिता को सीमित करता है।

2. कार्यप्रणाली (Methodology)

E∆-MHC-Geo ट्रांसफार्मर एक नवीन आर्किटेक्चर प्रस्तावित करता है जो इनपुट-अनुकूलनीय ज्यामिति (input-adaptive geometry) को बिना शर्त ऑर्थोगोनैलिटी (unconditional orthogonality) के साथ एकीकृत करता है।

2.1 डेटा-डिपेंडेंट केली रोटेशन (Data-Dependent Cayley Rotation)

मुख्य नवाचार डेटा-डिपेंडेंट केली ट्रांसफॉर्म है। पिछले तरीकों के विपरीत जहाँ रोटेशन प्लेन (rotation planes) इनिशियलाइजेशन के समय निश्चित होते हैं, यह दृष्टिकोण इनपुट $x$ के आधार पर रोटेशन जनरेटर को गतिशील रूप से कंप्यूट करता है।

जनरेटर निर्माण: दो न्यूरल नेटवर्क इनपुट $x$ से वेक्टर्स $u(x)$ और $v(x)$ की गणना करते हैं।
स्क्यू-सिमेट्रिक जनरेटर (Skew-Symmetric Generator): एक मैट्रिक्स $A(x) = u(x)v(x)^\top - v(x)u(x)^\top$ का निर्माण किया जाता है। महत्वपूर्ण रूप से, यह मैट्रिक्स बीजगणितीय निर्माण द्वारा स्क्यू-सिमेट्रिक ( $A^\top = -A$ ) है, चाहे $u$ और $v$ को कैसे भी प्राप्त किया गया हो।
ट्रांसफॉर्म: रेसिडुअल मिक्सिंग ऑपरेटर को इस प्रकार परिभाषित किया गया है:
$Q(x) = \left(I + \frac{\beta(x)}{2}A(x)\right)^{-1}\left(I - \frac{\beta(x)}{2}A(x)\right)$
जहाँ $\beta(x)$ एक लर्नेबल, इनपुट-डिपेंडेंट मैग्नीट्यूड है।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं (थ्योरम 4.1) कि क्योंकि $A(x)$ स्क्यू-सिमेट्रिक है, इसलिए $Q(x)$ अनकंडीशनल ऑर्थोगोनल ( $Q^\top Q = I$ ) है और किसी भी इनपुट और $\beta(x)$ के किसी भी मान के लिए नॉर्म-प्रिजर्विंग (norm-preserving) है। यह DDL के विपरीत है, जो $\beta \notin \{0, 2\}$ होने पर ऑर्थोगोनैलिटी खो देता है।

2.2 हाइब्रिड आर्किटेक्चर और नेगेशन (The Hybrid Architecture and Negation)

केली ट्रांसफॉर्म की एक ज्ञात सीमा यह है कि यह $\lambda = -1$ का आइजनवैल्यू उत्पन्न नहीं कर सकता (थ्योरम 4.6), क्योंकि यह स्पेशल ऑर्थोगोनल ग्रुप $SO(n)$ (डिटरमिनेंट +1) में मैप करता है। नेगेशन (जैसे, "वास्तव में, नहीं") के लिए आवश्यक कार्यों को संभालने के लिए, लेखक E∆-MHC-Geo हाइब्रिड पेश करते हैं:

ऑपरेटर चयन: मॉडल एक सीखा हुआ गेट $\gamma(X) \in (0, 1)$ के माध्यम से केली रोटेशन $Q(X)$ को एक फिक्स्ड हाउसहोल्डर रिफ्लेक्शन $H_2(k)$ (जहाँ $\beta=2$ ) के साथ जोड़ता है:
$G_\gamma(X) = \gamma(X) Q(X)X + (1 - \gamma(X)) H_2(k(X))X$
मिडपॉइंट कोलैप्स रेगुलराइजेशन (Midpoint Collapse Regularization): यह सुनिश्चित करने के लिए कि मॉडल $O(n)$ के ऑर्थोगोनल घटकों का उपयोग करे न कि गैर-ऑर्थोगोनल इंटीरियर (जहाँ $\gamma \in (0, 1)$ है) में बना रहे, एक रेगुलराइज़र $L_{gate} = 4\gamma(1-\gamma)$ लागू किया जाता है। यह $\gamma$ को सीमाओं ($0 $या$ 1$) की ओर कोलैप्स होने के लिए प्रोत्साहित करता है, जो प्रभावी रूप से रोटेशन और रिफ्लेक्शन घटकों के बीच "जंप" करता है।

2.3 आर्किटेक्चर इंटीग्रेशन (Architecture Integration)

ज्यामितीय ऑपरेटर एक ट्रांसफार्मर ब्लॉक में मानक आइडेंटिटी शॉर्टकट को प्रतिस्थापित करता है। आर्किटेक्चर में mHC के समान सीखे गए प्री/पोस्ट मैपिंग ( $H_{pre}, H_{post}$ ) शामिल हैं, लेकिन रेसिडुअल मिक्सिंग अब सटीक, इनपुट-अनुकूलनीय ऑर्थोगोनल ऑपरेटर $G_\gamma$ द्वारा की जाती है।

3. मुख्य योगदान (Key Contributions)

अनकंडीशनल ऑर्थोगोनैलिटी: पहला आर्किटेक्चर जो सभी इनपुट्स और सभी ट्रेनिंग स्टेप्स के लिए सटीक, नॉन-इटरेटिव ऑर्थोगोनैलिटी प्रदान करता है, जो सॉफ्ट पेनल्टी या प्रोजेक्शन पर निर्भर नहीं है।
हाइब्रिड एक्सेस टू $O(n)$ : एक नवीन गेटिंग मैकेनिज्म जो मॉडल को ऑर्थोगोनल समूह के दोनों कनेक्टेड कंपोनेंट्स ($SO(n) $रोटेशन के लिए और$ O(n) \setminus SO(n)$ रिफ्लेक्शन के लिए) तक पहुँचने की अनुमति देता है, जो शुद्ध केली मेथड्स की "नेगेशन समस्या" को हल करता है।
रेगुलराइजेशन का सैद्धांतिक विश्लेषण: एक "यूनिवर्सल जीरो-ग्रेडिएंट थ्योरम" (थ्योरम 7.3) जो मिडपॉइंट पर सिमेट्रिक रेगुलराइज़र्स के व्यवहार को समझाता है, जो मिडपॉइंट कोलैप्स रणनीति के लिए एक सिद्धांतिक औचित्य प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): चार बेसलाइन्स (JPmHC सहित) के विरुद्ध कठोर परीक्षण, जो समान पैरामीटर काउंट (~1.79M) के साथ, बेहतर स्थिरता और ज्यामितीय निष्ठा (geometric fidelity) प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

ज्यामितीय गुणों को अलग करने के लिए डिज़ाइन किए गए सिंथेटिक बेंचमार्क पर प्रयोग किए गए, परिणाम तीन रैंडम सीड्स पर औसत हैं।

लॉन्ग-होरिज़न स्टेबिलिटी (Long-Horizon Stability): एक स्टेबिलिटी बेंचमार्क (127 स्टेप्स के माध्यम से इको सीक्वेंस की भविष्यवाणी करना) पर, E∆-MHC-Geo ने सबसे कम लॉस प्राप्त किया, जिसने JPmHC को 1.9× और GPT को 3.8× से पीछे छोड़ दिया। इसने केवल 0.001 के मीन डेविएशन के साथ नॉर्म प्रिजर्वेशन बनाए रखा, जो इसके आइसोमेट्री को प्रमाणित करता है।
जाइरोस्कोप (रोटेशन) टास्क: निरंतर रोटेशन भविष्यवाणी के लिए आवश्यक कार्य पर, JPmHC ने सबसे कम एब्सोल्यूट लॉस प्राप्त किया (अपने व्यापक प्रतिनिधित्व, $n_{embd}=512$ के कारण)। हालांकि, E∆-MHC-Geo ने 33% कम लेयर्स और संकीर्ण प्रतिनिधित्व ( $n_{embd}=128$ ) के बावजूद गैर-ज्यामितीय बेसलाइन्स (GPT पर 3.7×) से काफी बेहतर प्रदर्शन किया।
नेगेशन और रिफ्लेक्शन: एक डायग्नोस्टिक टास्क में जिसमें मॉडल को $y = -x$ सीखना था, E∆-MHC-Geo गेट सफलतापूर्वक $\gamma \approx 0.05$ पर कोलैप्स हुआ, जिसने 0.96 कोसाइन अलाइनमेंट प्राप्त करने के लिए हाउसहोल्डर रिफ्लेक्शन ब्रांच को चुना। इसके विपरीत, JPmHC (जिसमें रिफ्लेक्शन ब्रांच की कमी थी) और DDL (जिसे $\beta$ को ठीक 2 तक कन्वर्ज करने में संघर्ष करना पड़ा) सटीक नेगेशन अलाइनमेंट प्राप्त करने में विफल रहे।
नियर- $\pi$ रोटेशन: मॉडल ने रोटेशन और रिफ्लेक्शन के बीच की सीमा के करीब जाने में मजबूती दिखाई, $\pi$ (जैसे, $179.9^\circ$ ) के करीब के कोणों के लिए भी कम लॉस के साथ कन्वर्ज हुआ, हालांकि सटीक $\pi$ के लिए रिफ्लेक्शन ब्रांच की आवश्यकता होती है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि E∆-MHC-Geo पिछले दृष्टिकोणों की शक्तियों को एकीकृत करके ज्योमेट्रिक डीप लर्निंग में एक महत्वपूर्ण कदम है:

यह DDL की इनपुट एडैप्टिविटी और mHC के मल्टी-स्ट्रीम फ्रेमवर्क को बनाए रखता है।
यह सटीक बीजगणितीय ऑर्थोगोनैलिटी प्रदान करता है जो अनकंडीशनल रूप से बनी रहती है, जो सिंकहॉर्न प्रोजेक्शन की अनुमानित ऑर्थोगोनैलिटी या DDL की कंडीशनल ऑर्थोगोनैलिटी के विपरीत है।
यह 'नेगेशन प्रॉब्लम' को हल करने के लिए केली रोटेशन को हाउसहोल्डर रिफ्लेक्शन के साथ हाइब्रिडाइज करके पूर्ण ऑर्थोगोनल समूह $O(n)$ तक पहुँचने की क्षमता रखता है।

लेखक इस बात पर जोर देते हैं कि जबकि JPmHC उच्च-आयामी प्रति-स्ट्रीम एक्सप्रेसिविटी (इसके व्यापक आर्किटेक्चर के कारण) के लिए उत्कृष्ट हो सकता है, E∆-MHC-Geo कम लेयर्स के साथ बेहतर स्थिरता, नॉर्म प्रिजर्वेशन, और ज्यामितीय सटीकता प्रदान करता है। यह कार्य इनपुट-अनुकूलनीय, अनकंडीशनल ऑर्थोगोनल ट्रांसफॉर्मेशन के उपयोग के लिए एक सैद्धांतिक और अनुभवजन्य आधार स्थापित करता है, जो यह सुझाव देता है कि इंटर-लेयर ट्रांसफॉर्मेशन की संरचना उनकी मात्रा जितनी ही महत्वपूर्ण है। लेखक नोट करते हैं कि वर्तमान परिणाम नियंत्रित सिंथेटिक बेंचमार्क पर आधारित हैं, और बड़े पैमाने के नेचुरल लैंग्वेज या विजन टास्क तक स्केलिंग भविष्य के कार्य के रूप में शेष है।