💬 NLP

Subgroups of $U(d)$ Induce Natural RNN and Transformer Architectures

यह शोध पत्र एक एकीकृत स्वयंसिद्ध ढांचे (axiomatic framework) का प्रस्ताव करता है जो U(d) के बंद उपसमूहों (closed subgroups) से पुनरावर्ती (recurrent) और ट्रांसफॉर्मर आर्किटेक्चर को व्युत्पन्न करता है, और भाषा मॉडलिंग कार्यों पर प्रयोगों के माध्यम से यह प्रदर्शित करता है कि रैखिक स्पर्श-स्थान मिश्रण (linear tangent-space mixing) वाले ऑर्थोगोनल अवस्था स्थानों (O(d)) का उपयोग करने वाले मॉडल पैरामीटर-मैच्ड सेटिंग्स के तहत प्रतिस्पर्धी प्रदर्शन प्राप्त करते हैं।

मूल लेखक: Joshua Nunley

प्रकाशित 2026-02-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joshua Nunley

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को शब्द दर शब्द कहानी लिखना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, रोबोट को एक "याददाश्त" (हिडन स्टेट) की आवश्यकता होगी जिसे वह हर बार नया शब्द देखते ही अपडेट करता है।

अधिकांश आधुनिक AI मॉडल इस याददाश्त को संख्याओं की एक मानक सूची (यूक्लिडियन स्पेस में एक वेक्टर) की तरह मानते हैं। वे इसे संख्याओं को जोड़कर या गुणा करके अपडेट करते हैं, जिससे कभी-कभी याददाश्त का आकार बहुत बड़ा हो सकता है या यह अस्थिर हो सकती है, जैसे कि एक गुब्बारा जिसे इतना फुलाया जाए कि वह फट जाए।

यह शोध पत्र इन मॉडलों को बनाने का एक अलग, अधिक सुरुचिपूर्ण तरीका प्रस्तावित करता है। याददाश्त को संख्याओं की सूची के बजाय, यह सुझाव देता है कि रोबोट की याददाश्त अक्षों (axes) के एक सेट का एक घूर्णन (rotation) या पुनर्व्यवस्था (rearrangement) होनी चाहिए। गणितीय शब्दों में, उन्होंने रोबोट की याददाश्त को U(d) नामक विशेष मैट्रिक्स के एक "बंद उपसमूह" (closed subgroup) के भीतर रखा है।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. मुख्य विचार: "स्पिनिंग टॉप" बनाम "स्लाइडिंग ब्लॉक"

मानक AI (स्लाइडिंग ब्लॉक): कल्पना कीजिए कि आपकी याददाश्त एक मेज पर फिसलने वाला ब्लॉक है। आप इसे बाएं, दाएं, ऊपर या नीचे धकेल सकते हैं। यदि आप इसे बहुत ज़ोर से धकेलते हैं, तो यह मेज से बाहर उड़ जाती है (अस्थिरता)।
इस शोध पत्र का दृष्टिकोण (स्पिनिंग टॉप): कल्पना कीजिए कि आपकी याददाश्त एक घूमता हुआ लट्टू (spinning top) या ग्लोब है। आप इसे कितना भी घुमा लें, इसका आकार और रूप बिल्कुल वैसा ही रहता है; बस इसकी दिशा बदल जाती है।
- लेखकों ने AI की याददाश्त को इन "ग्लोबों" (विशेष रूप से ऑर्थोगोनल मैट्रिसेस, जो केवल फैंसी रोटेशन हैं) पर रहने के लिए सीमित कर दिया है।
- क्योंकि याददाश्त इस "ग्लोब" की सतह पर रहने के लिए मजबूर है, यह कभी भी अनियंत्रित रूप से बढ़ या गायब नहीं हो सकती। यह गणितीय रूप से स्थिर रहने की गारंटी देती है।

2. "ड्रॉप-इन" रेसिपी

इस शोध पत्र का सबसे बड़ा नवाचार इन मॉडलों को बनाने के लिए एक सार्वभौमिक रेसिपी (टेम्पलेट) बनाना है।

इस रेसिपी को एक केक पैन की तरह समझें।
"उपसमूह" (जैसे O(d), जो शुद्ध रोटेशन का प्रतिनिधित्व करता है) वह फ्लेवर है जिसे आप बेक करने के लिए चुनते हैं।
आप फ्लेवर को बदल सकते हैं (उपसमूह को बदल सकते हैं) बिना पैन, ओवन या बेकिंग समय को बदले।
चाहे आप "रोटेशन" फ्लेवर (O(d)) चुनें या "कॉम्प्लेक्स रोटेशन" फ्लेवर (U(d)), यह मॉडल कैसे सीखता है और अपडेट होता है, इसका मूल तर्क समान रहता है। यह विभिन्न प्रकार की स्थिर यादों के साथ प्रयोग करना बहुत आसान बनाता है।

3. मॉडल कैसे "सोचता" है (अपडेट प्रक्रिया)

एक सामान्य AI में, मॉडल एक परिवर्तन की गणना करता है और उसे याददाश्त में जोड़ देता है।
इस शोध पत्र के मॉडल में, प्रक्रिया एक नृत्य की तरह है:

कदम (The Step): मॉडल एक छोटा "टैंजेंट" मूव निकालता है। इसे इस तरह सोचें कि ग्लोब को अभी किस दिशा में घुमाना है।
घूर्णन (The Spin): यह एक्सपोनेंशियल मैप (Exponential Map) नामक एक गणितीय उपकरण का उपयोग करके उस स्पिन को लागू करता है। यह सुनिश्चित करता है कि स्पिन के बाद भी, ग्लोब अभी भी एक आदर्श ग्लोब ही रहता है, बस थोड़ा घूम जाता है।
परिणाम: याददाश्त अपडेट होती है, लेकिन यह अपने "सुरक्षित क्षेत्र" को कभी नहीं छोड़ती।

4. "ट्रांसफॉर्मर" और "RNN" संबंध

यह शोध पत्र दिखाता है कि यही "स्पिनिंग टॉप" तर्क दो अलग-अलग प्रकार के AI आर्किटेक्चर के लिए काम करता है:

RNNs (रिकरेंट न्यूरल नेटवर्क): जैसे एक व्यक्ति एक समय में एक शब्द पढ़ते हुए किताब पढ़ रहा हो, और जैसे-जैसे वह आगे बढ़ता है, अपनी याददाश्त को अपडेट करता है।
Transformers: जैसे एक व्यक्ति एक पूरा पैराग्राफ एक साथ पढ़ रहा हो, वर्तमान शब्द को समझने के लिए पिछले शब्दों को देख रहा हो।
लेखकों ने एक एकल ढांचा बनाया जो दोनों को संभालता है, यह सिद्ध करते हुए कि "रोटेशन" का विचार अनुक्रम सीखने (sequence learning) के लिए एक मौलिक निर्माण खंड है, न कि केवल एक विशिष्ट तकनीक।

5. "सीक्रेट सॉस": लीनियर मिक्सिंग

लेखकों ने पाया कि जबकि याददाश्त को "ग्लोब" पर रखना स्थिरता के लिए बहुत अच्छा है, मॉडलों को जटिल पैटर्न सीखने के लिए कभी-कभी थोड़ी अतिरिक्त लचीलेपन की आवश्यकता होती है।

उन्होंने एक "लीनियर मिक्सिंग" चरण जोड़ा। इसे आटे में बेक करने से पहले शेफ द्वारा चुटकी भर नमक डालने के रूप में समझें।
यह मॉडल को लागू करने से पहले "स्पिन" की दिशाओं को थोड़ा समायोजित करने की अनुमति देता है।
परिणाम: अपने प्रयोगों में ("Tiny Shakespeare" और "Penn Treebank" पर परीक्षण करते हुए), इस "स्थिर रोटेशन" + "लचीली मिक्सिंग" के मिश्रण ने उनके मॉडल्स को मानक मॉडलों की तुलना में बेहतर प्रदर्शन करने की अनुमति दी, भले ही वे कम कंप्यूटर संसाधनों (पैरामीटर्स) का उपयोग कर रहे थे।

सारांश

यह शोध पत्र एक ऐसे वास्तुकार (architect) की तरह है जो कहता है: "अस्थिर मिट्टी की ईंटों (मानक वेक्टर्स) से घर बनाने के बजाय, आइए हम उन्हें पूर्ण, अटूट गोलों (ग्रुप एलिमेंट्स) से बनाएं। हमने एक सार्वभौमिक ब्लूप्रिंट बनाया है जहाँ आप विभिन्न प्रकार के गोलों को बदल सकते हैं, और घर हमेशा मजबूती से खड़ा रहेगा। हमने इन 'रोटेशन स्फेयर्स' का परीक्षण किया और पाया कि वे मिट्टी की ईंटों वाले घरों की तुलना में बेहतर कहानियाँ लिखते हैं।"

मुख्य निष्कर्ष: AI की याददाश्त को एक रोटेशन की तरह व्यवहार करने के लिए मजबूर करके, मॉडल अधिक स्थिर और कुशल हो जाता है, जिससे भाषा कार्यों में बेहतर प्रदर्शन मिलता है।

यहाँ Joshua Nunley के शोध पत्र "Subgroups of U(d) Induce Natural RNN and Transformer Architectures" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक अनुक्रम मॉडल (RNNs और Transformers) वास्तुशिल्प विकल्पों (architectural choices), जिसमें अपडेट पैरामीटराइजेशन, स्थिरीकरण परतें (stabilization layers), और मेमोरी तंत्र शामिल हैं, के एक जटिल परस्पर क्रिया पर निर्भर करते हैं। जबकि ऑर्थोगोनल और यूनिटरी RNN का उपयोग ऑपरेटरों को सीमित करके डायनेमिक्स को स्थिर करने के लिए किया गया है, हिडन स्टेट्स (hidden states) स्वयं आमतौर पर यूक्लिडियन वेक्टर्स ( $\mathbb{R}^n$ ) बने रहते हैं।

यह शोध पत्र निम्नलिखित प्रश्नों को संबोधित करता है:

क्या होगा यदि हम हिडन स्टेट्स और टोकन रिप्रेजेंटेशन को यूक्लिडियन स्पेस के बजाय यूनिटरी ग्रुप $U(d)$ के एक क्लोज्ड सबग्रुप (closed subgroup) के तत्वों के रूप में मानें?
क्या एक एकीकृत, न्यूनतम ढांचा (unified, minimal framework) प्राप्त किया जा सकता है जो स्वाभाविक रूप से दोनों RNN और Transformer आर्किटेक्चर को इस एकल धारणा से उत्पन्न करता है?
क्या ये "ग्रुप-वैल्यूड" मॉडल मानक बेसलाइनों की तुलना में प्रतिस्पर्धी प्रदर्शन और बेहतर स्थिरता प्रदान करते हैं?

2. कार्यप्रणाली (Methodology)

A. सैद्धांतिक ढांचा (Theoretical Framework)

लेखक एक न्यूनतम स्वयंसिद्ध ढांचे (axiomatic framework) का प्रस्ताव करते हैं जहाँ स्टेट स्पेस $H_t$ और टोकन रिप्रेजेंटेशन $M_{x_t}$ , यूनिटरी ग्रुप $U(d)$ के एक क्लोज्ड ली सबग्रुप (Lie subgroup) $G \leq U(d)$ और उसके ली अल्जेब्रा (Lie algebra) $\mathfrak{g}$ के सदस्य हैं।

मुख्य स्वयंसिद्ध (Core Axioms):

कार्य-कारण संबंध (Causality): $H_{t+1}$ केवल $(H_t, x_t)$ पर निर्भर करता है।
ग्रुप क्लोजर (Group Closure): यदि $H_t \in G$ , तो $H_{t+1} \in G$ ।
स्थानीय अपडेट (Local Update): अपडेट्स को $\mathfrak{g}$ में स्पर्शरेखीय तत्वों (tangent elements) द्वारा उत्पन्न किया जाता है।

अपडेट तंत्र (The Update Mechanism):
योगात्मक अपडेट ( $H_{t+1} = H_t + \Delta$ ) के बजाय, मॉडल एक्सपोनेंशियल मैप (exponential map) के माध्यम से एक गुणात्मक अपडेट (multiplicative update) का उपयोग करता है:
$H_{t+1} = H_t \exp(\Phi_\theta(H_t, M_{x_t}))$
जहाँ $\Phi_\theta$ वर्तमान स्टेट और टोकन को ली अल्जेब्रा $\mathfrak{g}$ में मैप करता है। यह सुनिश्चित करता है कि स्टेट निर्माण के माध्यम से ही मैनिफोल्ड $G$ पर बनी रहे।

रीडआउट (Readout):
भविpredictions (predictions) प्रोटोटाइप मैट्रिसेस $P_v \in G$ और स्टेट के बीच ट्रेस इनर प्रोडक्ट (trace inner product) के वास्तविक भाग (real part) पर आधारित एक "सबग्रूप-नेटिव" रीडआउट का उपयोग करके उत्पन्न किए जाते हैं:
$\ell_v(H_t) = \tau \Re \text{tr}(H_t^* P_v) + b_v$

B. एकीकृत वास्तुशिल्प टेम्पलेट्स (Unified Architectural Templates)

यह पेपर दोनों RNN और Transformer के लिए एक साझा कंकाल (skeleton) को परिभाषित करता है जहाँ सबग्रुप $G$ का चयन एक "ड्रॉप-इन" घटक के रूप में कार्य करता है।

RNN टेम्पलेट: टोकन और वर्तमान स्टेट के स्पर्शरेखीय प्रोजेक्शन (tangent projection) का उपयोग करके स्टेट को क्रमिक रूप से अपडेट करता है।
Transformer टेम्पलेट:
- अटेंशन (Attention): सबग्रुप समानता स्कोर $s_{ij} = \tau \Re \text{tr}((H_i)^* H_j)$ का उपयोग करके अटेंशन वेट्स की गणना करता है। यह ग्लोबल बेसिस परिवर्तन के तहत कोऑर्डिनेट-इनवेरिएंट (coordinate-invariant) है।
- अपडेट स्टेप्स (Update Steps): स्टेट अपडेट को दो उप-चरणों में विभाजित किया गया है:
  1. अटेंशन स्टेप: स्टेट को पिछले स्टेट्स के अटेंशन-वेटेड एग्रीगेट की ओर अपडेट करता है।
  2. ग्राउंडिंग स्टेप (Grounding Step): स्टेट को वर्तमान टोकन एम्बेडिंग की ओर समायोजित करता है।
- दोनों चरण स्पर्शरेखीय प्रोजेक्शन (tangent space projections) और वैकल्पिक लीनियर मिक्सिंग का उपयोग करते हैं।

C. टेंगेंट मिक्सिंग (Tangent Mixing)

एक प्रमुख नवाचार लीनियर टेंगेंट मिक्सिंग (Linear Tangent Mixing) घटक ( $\Gamma: \mathfrak{g} \to \mathfrak{g}$ ) है।

बेस केस: $\Gamma = \text{Id}$ (Identity)।
लर्नड वेरिएंट (Learned Variant): टेंगेंट कोऑर्डिनेट्स में एक सीखा हुआ लीनियर मैप।
कार्य: यह एक्सपोनेंटिएशन से पहले टेंगेंट स्पेस के भीतर "प्रेडिक्टिव" (रीडआउट-दृश्य) और "मेमोरी" (रीडआउट-शून्य) दिशाओं के बीच अपडेट को रीवेट और रूट करता है। यह मॉडल को समूह संरचना को बदले बिना क्षमता को पुनर्वितरित करने की अनुमति देता है।

D. सबग्रुप इंस्टेंशिएशन्स (Subgroup Instantiations)

ढांचा जेनेरिक है लेकिन पेपर विशिष्ट सबग्रूपों पर ध्यान केंद्रित करता है:

$U(d)$ / $SU(d)$: पूर्ण यूनिटरी या फेज-फ्री अपडेट्स।
$O(d)$ / $SO(d)$: वास्तविक ऑर्थोगोनल अपडेट्स (प्राथमिक प्रायोगिक फोकस)।
$T^k$ : एबेलियन चैनल डायनेमिक्स।

3. मुख्य योगदान (Key Contributions)

एकीकृत ग्रुप-वैल्यूड फ्रेमवर्क: एक न्यूनतम स्वयंसिद्ध सेटअप जो सीधे इस धारणा से दोनों RNN और Transformer आर्किटेक्चर को प्राप्त करता है कि स्टेट्स $U(d)$ के एक ली सबग्रुप पर रहते हैं।
ड्रॉप-इन सबग्रुप डिज़ाइन: यह प्रदर्शित करता है कि सबग्रुप (जैसे $U(d)$ से $O(d)$ में बदलना) को बदलना स्टेट स्पेस, टेंगेंट प्रोजेक्शन और अपडेट मैप के लिए एक मॉड्यूल रिप्लेसमेंट के रूप में कार्य करता है, बिना बाहरी मॉडल इंटरफेस को बदले।
ऑर्थोगोनल-स्टेट मॉडल्स (OSM): $O(d)$ के लिए विशिष्ट इंस्टेंशिएशन्स पेश करता है, जिसे OSM-RNN और OSMFormer कहा जाता है, जो पूरे नेटवर्क में ऑर्थोगोनल स्टेट्स बनाए रखते हैं।
लीनियर टेंगेंट मिक्सिंग: एक सामान्य विस्तार प्रस्तावित करता है जो टेंगेंट दिशाओं को मिक्स करने के तरीके को सीखकर सीमित-बजट प्रदर्शन में काफी सुधार करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कैरेक्टर-लेवल लैंग्वेज मॉडलिंग कार्यों: Tiny Shakespeare और Penn Treebank (PTB) पर $O(d)$ मॉडल्स (OSM) का मूल्यांकन किया। उन्हें पैरामीटर-मैच्ड सेटिंग्स के साथ मानक बेसलाइनों (Vaswani et al. Transformers, LSTMs) के विरुद्ध प्रशिक्षित किया गया था।

मुख्य निष्कर्ष:

प्रदर्शन (Performance):
- Tiny Shakespeare (100K params): OSMFormer ने 2.464 Test BPC प्राप्त किया, जो बेसलाइन Transformer (2.583 BPC) से बेहतर है।
- Penn Treebank (100K params): OSMFormer ने 1.614 Test BPC प्राप्त किया, जो बेसलाइन Transformer (1.664 BPC) से बेहतर है।
- RNN तुलना: OSM-RNN (55K params) ने Tiny Shakespeare पर मानक LSTM (52K params) (2.539 बनाम 2.594 Test BPC) को पछाड़ा।
स्केलिंग (Scaling): OSMFormer ने दोनों डेटासेट्स पर 100K से 500K तक के पैरामीटर बजट में बेसलाइन Transformer को लगातार पछाड़ा।
मिक्सिंग पर एब्लेशन (Ablation on Mixing): लीनियर टेंगेंट मिक्सिंग वाला वेरिएंट सबसे अच्छा प्रदर्शन करने वाला कॉन्फ़िगरेशन था। दिलचस्प बात यह है कि इसने गैर-मिक्सिंग संस्करण (103K) की तुलना में कम पैरामीटर्स (91K) के साथ बेहतर परिणाम प्राप्त किए, क्योंकि यह कुशल हिडन डायमेंशन एलोकेशन करता है।
मजबूती (Robustness): विभिन्न लर्निंग रेट्स और ऑप्टिमाइज़र सेटिंग्स के साथ 500K पैरामीटर स्वीप में, OSMFormer ने बेहतर वैलिडेशन प्रदर्शन की एक संकीर्ण रेंज प्रदर्शित की और उन सेटिंग्स में भी ट्रेनेबल रहा जहाँ बेसलाइन अधिक संवेदनशील थी।

5. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

महत्व:

सैद्धांतिक भव्यता (Theoretical Elegance): यह कार्य अनुक्रम मॉडलिंग के लिए एक गणितीय रूप से कठोर, न्यूनतम पथ प्रदान करता है जहाँ स्थिरता (सीमित डायनेमिक्स) और ज्यामिति (ली अल्जेब्रा अपडेट्स) आर्किटेक्चर में अंतर्निहित हैं, न कि केवल रेगुलराइजेशन के माध्यम से जोड़ी गई हैं।
व्यावहारिक प्रतिस्पर्धात्मकता: यह सिद्ध करता है कि स्टेट्स को एक मैनिफोल्ड (विशेष रूप से $O(d)$ ) तक सीमित करना केवल एक सैद्धांतिक जिज्ञासा नहीं है, बल्कि एक व्यावहारिक रणनीति है जो कम पैरामीटर्स के साथ स्टेट-ऑफ-द-आर्ट या प्रतिस्पर्धी परिणाम देती है।
मॉड्यूलरिटी (Modularity): सबग्रुप के चुनाव की "ड्रॉप-इन" प्रकृति भविष्य के मॉडलों के लिए एक नया डिज़ाइन अक्ष (design axis) सुझाती है, जिससे शोधकर्ताओं को विशिष्ट मेमोरी या स्थिरता आवश्यकताओं के अनुकूल होने के लिए बीजगणितीय संरचनाओं (जैसे ऑर्थोगोनल से सिम्प्लेक्टिक तक) को बदलने की अनुमति मिलती है।

भविष्य का कार्य (लेखक द्वारा रेखांकित):

व्याख्यात्मकता (Interpretability): बेहतर मॉडल डायग्नोस्टिक्स के लिए अपडेट मैग्नीट्यूड और अटेंशन योगदान को ट्रैक करने के लिए टेंगेंट स्पेस संरचना का लाभ उठाना।
स्थिरता विश्लेषण (Stability Analysis): परिमित-चरण संवेदनशीलता सीमाओं (finite-step sensitivity bounds) को औपचारिक रूप देना और मल्टी-सीड मजबूती (multi-seed robustness) स्वीप करना।
मेमोरी डायनेमिक्स (Memory Dynamics): यह जांचना कि विभिन्न सबग्रुप परिवार (एबेलियन बनाम नॉन-एबेलियन) लॉन्ग-रेंज डिपेंडेंसी रिटेंशन और ट्रांसफर को कैसे प्रभावित करते हैं।

निष्कर्षतः, यह पेपर ली सबग्रुप्स पर अनुक्रम मॉडल बनाने के लिए एक सीधा पाइपलाइन स्थापित करता है, यह दिखाते हुए कि लीनियर टेंगेंट मिक्सिंग के साथ ऑर्थोगोनल-स्टेट मॉडल्स (OSM) मानक यूक्लिडियन अनुक्रम आर्किटेक्चर के मुकाबले एक अत्यधिक प्रभावी, स्थिर और पैरामीटर-कुशल विकल्प हैं।