🤖 machine learning

Composing Linear Layers from Irreducibles

यह शोध पत्र क्लिफोर्ड बीजगणित (Clifford algebra) का उपयोग करते हुए एक अवकलनीय (differentiable) एल्गोरिदम का प्रस्ताव करता है जो रैखिक परतों (linear layers) को बाइवेक्टर्स (bivectors) और रोटर्स (rotors) के संयोजन में विघटित करता है, जिससे एक पैरामीटर-कुशल $O(\log^2 d)$ प्रतिनिधित्व प्राप्त होता है जो LLM अटेंशन मैकेनिज्म में डेंस मैट्रिसेस (dense matrices) और अन्य सन्निकटन (approximations) के प्रदर्शन के बराबर है।

मूल लेखक: Travis Pence, Daisuke Yamada, Vikas Singh

प्रकाशित 2026-06-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Travis Pence, Daisuke Yamada, Vikas Singh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, जटिल मशीन है (जैसे कि एक आधुनिक AI) जो लाखों छोटे, व्यक्तिगत गियरों से बनी है। आमतौर पर, इस मशीन को चलाने के लिए इंजीनियरों को हर एक कनेक्शन के लिए एक अनूठा, कस्टम गियर डिजाइन करना पड़ता है। यह मशीन को बहुत बड़ा, भारी और चलाने के लिए महंगा बना देता है क्योंकि इसे अपने साथ उन लाखों गियर्स को ढोना पड़ता है।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या हमें वास्तव में लाखों अनूठे गियरों की आवश्यकता है? या क्या हम पूरी मशीन को कुछ बुनियादी, पुन: प्रयोज्य आकृतियों का उपयोग करके बना सकते हैं?

यहाँ उनकी खोज का विवरण दिया गया, रोजमर्रा के उपमाओं का उपयोग करते हुए:

1. समस्या: "भारी सूटकेस"

वर्तमान AI मॉडल उन लोगों की तरह हैं जो लाखों अलग-अलग, कस्टम-मेड उपकरणों से भरे सूटकेस को ले जाने की कोशिश कर रहे हैं। भले ही उन्हें केवल एक साधारण कार्य करने की आवश्यकता हो, उन्हें वे सभी उपकरण अपने साथ खींचने पड़ते हैं। यह AI को धीमा बनाता है और इसे उन "वेट्स" (वे संख्याएँ जो यह तय करती हैं कि गियर कैसे घूमते हैं) को रखने के लिए बहुत अधिक मेमोरी (स्टोर करने की जगह) की आवश्यकता होती है।

2. समाधान: रोटर्स का "लेगो सेट" (Lego Set)

लेखकों ने खोजा कि लाखों कस्टम टूल्स के बजाय, आप ज्यामितीय प्रिमिटिव्स (geometric primitives) के एक छोटे समूह का उपयोग करके समान जटिल कार्यों का निर्माण कर सकते हैं जिन्हें रोटर्स कहा जाता है।

उपमा: एक मानक AI लेयर को मिट्टी के एक विशाल, ठोस ब्लॉक के रूप में सोचें जिसे आपको हर बार शून्य से आकार देना पड़ता है। लेखकों की विधि एक छोटे लेगो ब्रिक्स (विशेष रूप से, "बाइवेक्टर्स", जो समतल, ओरिएंटेड प्लेन की तरह होते हैं) के बॉक्स की तरह है।
यह कैसे काम करता है: एक नया आकार गढ़ने के बजाय, आप बस इन सरल "घूमने वाले" टुकड़ों को एक विशिष्ट क्रम में एक साथ जोड़ देते हैं। इन सरल घूमने वाले हिस्सों को मिलाकर, आप ठीक वही जटिल गति फिर से बना सकते हैं जो वह विशाल मिट्टी का ब्लॉक पहले करता था।

3. जादुई ट्रिक: "सैंडविचिंग" (Sandwiching)

यह शोध पत्र क्लिफोर्ड अलजेब्रा (Clifford Algebra) नामक एक गणितीय उपकरण का उपयोग करता है (जो स्कूल में सीखी जाने वाली ज्यामिति का एक सुपर-चार्ज्ड संस्करण है)।

रूपक: कल्पना कीजिए कि आपके पास कागज का एक टुकड़ा (आपका डेटा) है। इसके आकार को बदलने के लिए, आपको इसे फिर से बनाने की आवश्यकता नहीं है। इसके बजाय, आप दो विशेष "घूमने वाले फ्रेम" (रोटर्स) लेते हैं और कागज को उनके बीच रखते हैं। आप कागज को बाईं ओर से घुमाते हैं, फिर दाईं ओर से।
परिणाम: यह "सैंडविच" क्रिया डेटा को पूरी तरह से घुमाती और रूपांतरित करती है। अद्भुत बात यह है कि आपको यह काम करने के लिए मुट्ठी भर फ्रेमों की ही आवश्यकता है, जबकि पहले लाखों मानक संख्याओं की आवश्यकता होती थी।

4. परिणाम: समान प्रदर्शन, छोटा पदचिह्न (Tiny Footprint)

शोधकर्ताओं ने कुछ लोकप्रिय AI मॉडलों (विशेष रूप से उन हिस्सों को बदलकर जो AI को भाषा समझने में मदद करते हैं) के दिमाग में इस विचार का परीक्षण किया।

तुलना: उन्होंने मानक, भारी लेयर्स को अपने नए "लेगो रोटर" लेयर्स से बदल दिया।
परिणाम: AI मॉडल पहले की तरह ही अच्छा प्रदर्शन करते रहे। वे अभी भी उतनी ही सटीकता के साथ प्रश्नों के उत्तर दे सकते थे और वाक्य में अगले शब्द की भविष्यवाणी कर सकते थे।
जीत: हालाँकि, नए मॉडल काफी छोटे थे।
- एक मानक लेयर को काम करने के लिए 4 मिलियन पैरामीटर्स (संख्याओं) की आवश्यकता हो सकती है।
- नए रोटर लेयर को केवल लगभग 1,000 पैरामीटर्स की आवश्यकता थी।
- यह लगभग 4,700 गुना की कमी है।

5. यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

यह शोध पत्र यह दावा नहीं करता है कि यह तुरंत बीमारियों का इलाज करेगा या विश्व भूख मिटा देगा। इसके बजाय, यह मशीन की दक्षता (efficiency) पर ध्यान केंद्रित करता है:

कम मेमोरी: क्योंकि मॉडल बहुत छोटा है, इसलिए आपको इसे चलाने के लिए एक विशाल कंप्यूटर की आवश्यकता नहीं है। यह एक सेमी-ट्रक से कॉम्पैक्ट कार में स्विच करने जैसा है।
गति की क्षमता: हालांकि वर्तमान सॉफ्टवेयर संस्करण अभी भी अनुकूलित (optimize) किया जा रहा है, लेखक सुझाव देते हैं कि चूंकि डेटा बहुत छोटा है, इसलिए यह अंततः मानक हार्डवेयर पर बहुत तेजी से चल सकता है, विशेष रूप से क्योंकि यह मेमोरी से भारी मात्रा में डेटा को लगातार लोड करने की आवश्यकता को कम करता है।
समझ: यह साबित करता है कि जटिल AI व्यवहार के लिए आवश्यक रूप से जटिल, अव्यवस्थित गणित की आवश्यकता नहीं होती है। इसे एक स्वच्छ, संरचित ज्यामितीय बिल्डिंग ब्लॉक्स से बनाया जा सकता है।

सारांश

शोध पत्र दिखाता है कि हम लाखों कस्टम संख्याओं के बजाय ज्यामितीय बिल्डिंग ब्लॉक्स (रोटर्स) के एक छोटे, कुशल सेट का उपयोग करके एक AI के "मस्तिष्क" को फिर से बना सकते हैं। यह इस बात की समझ है कि आप एक ऊँची इमारत बनाने के लिए हर खिड़की और दरवाजे के लिए एक अद्वितीय, कस्टम पत्थर की आवश्यकता के बजाय, सही तरीके से रखे गए कुछ मानक ईंटों के प्रकारों का उपयोग कर सकते हैं। इमारत उतनी ही ऊँची और मजबूत खड़ी रहती है, लेकिन यह बहुत हल्की और ले जाने में आसान है।

तकनीकी सारांश: इरिड्यूसिबल्स (Irreducibles) से लीनियर लेयर्स का संयोजन

समस्या विवरण
समकालीन लार्ज लैंग्वेज मॉडल्स (LLMs) ऐसे व्यवहार प्रदर्शित करते हैं जो संकेत देते हैं कि वे निम्न-स्तरीय प्रिमिटिव्स (low-level primitives) पर निर्भर करते हैं जो समृद्ध कार्यक्षमता वाले मॉड्यूल्स में संयोजित होते हैं। हालाँकि, इन लीनियर ट्रांसफॉर्मेशन के मौलिक निर्माण खंडों (fundamental building blocks) को अभी भी बेहतर ढंग से समझा जाना बाकी है। जबकि पिछले कार्यों ने पैरामीटर-कुशल सन्निकटन (जैसे, लो-रैंक एडेप्टेशन, ब्लॉक-हैडामार्ड) और मॉड्यूलर कंपोजिशन (जैसे, मिक्स्चर-ऑफ-एक्सपर्ट्स) की खोज की है, उन निम्न-स्तरीय प्रिमिटिव्स के 'मैकेनिस्टिक कंपोजिशन' के संबंध में समझ की कमी है जो जटिल लीनियर व्यवहार उत्पन्न करते हैं। लेखक एक ठोस समस्या प्रस्तुत करते हैं: क्या एक लीनियर लेयर की कार्यक्षमता, जिसमें आमतौर पर लाखों पैरामीटर्स ( $O(d^2)$ ) होते हैं, न्यूनतम सेट इरिड्यूसिबल ज्योमेट्रिक ऑब्जेक्ट्स से संश्लेषित की जा सकती है?

कार्यप्रणाली
लेखक लीनियर ट्रांसफॉर्मेशन को विघटित (decompose) और पुनर्गठित करने के लिए क्लिफर्ड अलजेब्रा (Clifford algebra) का उपयोग करते हुए एक बीजगणितीय ढांचा प्रस्तावित करते हैं।

बीजगणितीय सूत्रीकरण (Algebraic Formulation):
- पारंपरिक लीनियर मैप्स को आमतौर पर घने (dense) मैट्रिसेस के रूप में दर्शाया जाता है। लेखक लीनियर ट्रांसफॉर्मेशन को क्लिफर्ड अलजेब्रा $Cl(n)$ के भीतर बाइवेक्टर्स (oriented planes को एनकोड करने वाले ज्यामितीय ऑब्जेक्ट्स) के संयोजन के रूप में व्यक्त करते हैं।
- वे स्पिन ग्रुप $Spin(n) $का उपयोग करते हैं, जो स्पेशल ऑर्थोगोनल ग्रुप$ SO(n) $का एक डबल कवर है। इस समूह के तत्वों, जिन्हें **रोटर्स** ($ r $) कहा जाता है, मल्टीवेक्टर्स पर "सैंडविच प्रोडक्ट"$ x \mapsto rxr^\dagger$ के माध्यम से कार्य करते हैं।
- जबकि मनमाने मल्टीवेक्टर्स के लिए $2^n$ पैरामीटर्स की आवश्यकता होती है, लेखक निर्माण को बाइवेक्टर्स द्वारा उत्पन्न रोटर्स तक सीमित रखते हैं। एक रोटर $r$ एक बाइवेक्टर $b$ का एक्सपोनेंशियल है: $r = \exp(b)$ ।
पैरामीटर दक्षता (Parameter Efficiency):
- एक डेंस $d \times d$ मैट्रिक्स के लिए $O(d^2)$ पैरामीटर्स की आवश्यकता होती है।
- सबस्पेसों पर कार्य करने वाले रोटर्स के संयोजन के रूप में ट्रांसफॉर्मेशन को प्रस्तुत करके, आवश्यक स्केलर पैरामीटर्स की संख्या $O(\log_2 d)$ के रूप में स्केल होती है। विशेष रूप से, चौड़ाई $w$ के लिए, पैरामीटर काउंट लगभग $w \binom{\log_2 d}{2}$ होता है। $d=2048$ के लिए, यह लाखों पैरामीटर्स को कुछ सौ में कम कर देता है।
डिफरेंशिएबल डीकंपोजिशन एल्गोरिदम (Differentiable Decomposition Algorithm):
- सामान्य बाइवेक्टर्स के लिए एक्सपोनेंशियल मैप में एक अनंत श्रृंखला शामिल होती है, जो कम्प्यूटेशनल रूप से समस्यात्मक है। हालाँकि, सिंपल बाइवेक्टर्स (जो रोटेशन के एक एकल प्लेन का प्रतिनिधित्व करते हैं) के लिए, एक्सपोनेंशियल मैप का एक क्लोज्ड-फॉर्म समाधान होता है: $\exp(b) = \cos(\|b\|) + \sin(\|b\|)\frac{b}{\|b\|}$ ।
- सामान्य बाइवेक्टर्स को संभालने के लिए, लेखक एक इनवेरिएंट डीकंपोजिशन (Roelfs और Keninck [2021] पर आधारित) का उपयोग करते हैं, जो किसी भी बाइवेक्टर को अधिकतम $k = \lfloor n/2 \rfloor$ परस्पर संचारित (commuting), ऑर्थोगोनल सिंपल बाइवेक्टर्स के योग के रूप में व्यक्त करता है।
- वे एक डिफरेंशिएबल इनवेरिएंट डीकंपोजिशन एल्गोरिदम (एल्गोरिदम 1 और 2) पेश करते हैं जो क्लिफर्ड अलजेब्रा के लिए अनुकूलित क्रायलोव सबस्पेस-प्रेरित पावर इटरेशन विधि का उपयोग करके इन सिंपल बाइवेक्टर्स को पुनरावृत्ति (iteratively) से निकालता है। यह स्पष्ट आइजनडीकंपोजिशन (eigendecomposition) से बचता है, जिससे ग्रेडिएंट-आधारित ऑप्टिमाइजेशन के लिए संख्यात्मक स्थिरता और डिफरेंशिएबिलिटी सुनिश्चित होती है।
जनरलाइज्ड रोटर गैजेट (Generalized Rotor Gadget):
- उन विभिन्न इनपुट/आउटपुट आयामों ( $d_{in}, d_{out}$ ) को संभालने के लिए जो 2 की घात (powers of 2) नहीं हैं, लेखक एक पूलिंग ऑपरेटर के बाद विभिन्न सबस्पेसों पर संचालित कई रोटर-सैंडविच मॉड्यूल को एकत्रित करके एक जनरलाइज्ड ट्रांसफॉर्मेशन $\psi$ का निर्माण करते हैं।

प्रमुख योगदान

बीजगणितीय प्रतिनिधित्व: लेखक रोटर सैंडविच प्रोडक्ट्स का उपयोग करके ज्योमेट्रिक प्रिमिटिव्स (बाइवेक्टर्स) के संयोजन के रूप में लीनियर ट्रांसफॉर्मेशन को व्यक्त करते हैं, जिससे पैरामीटर कॉम्प्लेक्सिटी $O(d^2)$ से घटकर $O(\log_2 d)$ हो जाती है।
डिफरेंशिएबल डीकंपोजिशन: वे मनमाने बाइवेक्टर्स को उनके संबंधित रोटर्स में मैप करने के लिए एक क्लोज्ड-फॉर्म, डिफरेंशिएबल एल्गोरिदम प्रस्तावित करते हैं, जो ऑटोग्रैड फ्रेमवर्क्स के साथ एकीकरण को सक्षम बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): इस पद्धति को LLM अटेंशन लेयर्स के की (Key), क्वेरी (Query) और वैल्यू (Value) प्रोजेक्शंस पर लागू किया गया है। रोटर-आधारित लेयर्स को डेंस लेयर्स (लेयर-वाइज) की नकल करने के लिए प्रशिक्षित किया गया है और FMNIST पर एंड-टू-एंड प्रशिक्षित किया गया है।

परिणाम

पैरामीटर दक्षता: LLaMa-3.2 1B और Qwen-2.5 1.5B में प्रयोगों में, रोटर लेयर्स ने भारी पैरामीटर कटौती हासिल की। उदाहरण के लिए, LLaMa-3.2 1B में क्वेरी प्रोजेक्शन ~4.19M पैरामीटर्स (डेंस) से घटकर $\le 896$ पैरामीटर्स (रोटर) हो गया, जो ~4700x की कमी है।
प्रदर्शन: इस अत्यधिक संपीड़न के बावजूद, रोटर-आधारित लेयर्स ने लो-रैंक (LR1, LR4) और ब्लॉक-हैडामार्ड (BH1) सन्निकटन सहित मजबूत बेसलाइन्स की बराबरी की या उनसे बेहतर प्रदर्शन किया।
- Wikitext2 (LLaMa-3.2 1B) पर, एक सिंगल अटेंशन लेयर को बदलने से रोटर्स के लिए 2.629 का log-PPL प्राप्त हुआ, जबकि सबसे अच्छे बेसलाइन (BH1) का 2.636 था।
- Arc Challenge पर, रोटर्स ने 55.31% सटीकता प्राप्त की (LLaMa-3.2 1B), जो BH1 (54.83%) और LR4 (53.84%) से बेहतर है।
मजबूती (Robustness): प्रदर्शन विभिन्न लेयर संयोजनों (1, 2, या 3 लेयर्स को बदलना) और विभिन्न डेटासेट्स (Wikitext2, C4, PTB, Arc, HellaSwag) के लिए सुसंगत रहा।
एंड-टू-एंड ट्रेनिंग: FMNIST पर स्क्रैच से प्रशिक्षित किए जाने पर, रोटर-आधारित MLP ने डेंस बेसलाइन (89.67%) के तुलनीय अंतिम सटीकता (88.36%) के साथ अभिसरण (converge) किया, हालांकि अभिसरण थोड़ा धीमा था।

महत्व और दावे
यह पेपर यह प्रदर्शित करने की व्यवहार्यता का दावा करता है कि लीनियर लेयर्स को एक कॉम्पैक्ट सेट ज्योमेट्रिक बिल्डिंग ब्लॉक्स से संश्लेषित किया जा सकता है। लेखक इस बात पर जोर देते हैं कि उनका लक्ष्य केवल डेंस लेयर्स के लिए एक ड्रॉप-इन रिप्लेसमेंट प्रदान करना नहीं है (जो वर्तमान में हार्डवेयर-ऑप्टिमाइज्ड कर्नेल की कमी के कारण उच्च वॉल-क्लॉक इन्फरेंस टाइम से ग्रस्त है), बल्कि एक बीजगणितीय परिप्रेक्ष्य प्रदान करना है कि कैसे निम्न-स्तरीय प्रिमिटिव्स उच्च-स्तरीय कार्यों में संयोजित होते हैं।

निष्कर्ष बताते हैं कि डीप मॉडल्स में लीनियर लेयर्स की जटिल कार्यक्षमता लाखों स्वतंत्र वेट्स के बजाय कुछ सौ ज्योमेट्रिक ऑब्जेक्ट्स (रोटर्स) के एक संरचित संयोजन के माध्यम से साकार की जा सकती है। यह निम्नलिखित के लिए एक नया मार्ग प्रदान करता है:

व्याख्यात्मकता (Interpretability): लीनियर लेयर्स को ओरिएंटेड प्लेन के संयोजन के रूप में समझना।
पैरामीटर दक्षता: प्रदर्शन बनाए रखते हुए पैरामीटर काउंट को नाटकीय रूप से कम करना।
भविष्य का हार्डवेयर: ज्योमेट्रिक पैरामीटर्स से ऑन-चिप वेट्स को संश्लेषित करके कंप्यूट को मेमोरी बैंडविड्थ के बदले ट्रेड करने की क्षमता, जो बड़े मॉडल इन्फरेंस में मेमोरी बैंडविड्थ बाधाओं को संबोधित करती है।

लेखक विनम्र रहते हुए कहते हैं कि व्यावहारिक लाभ के लिए इस कार्य के दायरे से परे अतिरिक्त सिस्टम-लेवल इंटीग्रेशन और हार्डवेयर-अवेयर इम्प्लीमेंटेशन की आवश्यकता होगी।