💬 NLP

Structured Multidimensional Representation Learning for Large Language Models

यह शोध पत्र L-Transformer को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो एम्बेडिंग स्पेस को स्वतंत्र स्पेक्ट्रल सब-ट्रांसफॉर्मर्स में विघटित करने के लिए L-प्रोडक्ट के माध्यम से संरचित स्पेक्ट्रल गुणनखंड (structured spectral factorization) का उपयोग करता है, जिससे प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए महत्वपूर्ण पैरामीटर कमी (75% तक) प्राप्त होती है और लाभकारी आवृत्ति-आधारित इंडक्टिव बायस (frequency-based inductive biases) पेश किए जाते हैं।

मूल लेखक: Alaa El Ichi, Khalide Jbilou, Mohamed El Guide, Franck Dufrenois

प्रकाशित 2026-03-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alaa El Ichi, Khalide Jbilou, Mohamed El Guide, Franck Dufrenois

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अति-बुद्धिमान रोबोट मस्तिष्क (एक लार्ज लैंग्वेज मॉडल) है जो किताबें पढ़ता है, कहानियाँ लिखता है और सवालों के जवाब देता है। यह मस्तिष्क अविश्वसनीय रूप से शक्तिशाली है, लेकिन इसमें एक समस्या है: यह सूजा हुआ (bloated) है। यह एक ऐसी लाइब्रेरी की तरह है जहाँ हर एक किताब एक साथ 10 अलग-अलग भाषाओं में लिखी गई है, भले ही पाठक को केवल एक भाषा समझने की आवश्यकता हो। यह लाइब्रेरी को बहुत बड़ा, महंगा और खोजने में धीमा बना देता है।

यह शोध पत्र उस लाइब्रेरी को व्यवस्थित करने का एक चतुर नया तरीका पेश करता है, जिसे टेन्सर ट्रांसफॉर्मर (Tensor Transformer) कहा जाता है। यहाँ इसका सरल विवरण दिया गया है कि यह कैसे काम करता है, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए।

1. समस्या: "ओवर-इंजीनियर्ड" मस्तिष्क

वर्तमान एआई मॉडल (जैसे चैटबॉट्स के पीछे वाले) एक संरचना पर बने होते हैं जिसे ट्रांसफॉर्मर (Transformer) कहा जाता है। ट्रांसफॉर्मर को एक विशाल रसोई में काम करने वाले 100 शेफ (जिन्हें "हेड्स" कहा जाता है) की एक टीम के रूप में सोचें।

समस्या: एक आदर्श सूप (एक वाक्य) बनाने के लिए, सभी 100 शेफ एक साथ सामग्री के पूरे बड़े बर्तन पर काम कर रहे हैं। वे सभी एक ही भारी काम कर रहे हैं। इससे बहुत अधिक अनावश्यक दोहराव (redundancy) पैदा होता है। यह ऐसा है जैसे 100 लोग एक ही चम्मच को हिलाने की कोशिश कर रहे हों।
लागत: क्योंकि हर कोई इतना अधिक काम कर रहा है, इसलिए रसोई को बहुत अधिक स्थान (मेमोरी) और सामग्रियों (पैरामीटर्स) की आवश्यकता होती है। यदि आप मॉडल को और स्मार्ट बनाना चाहते हैं, तो आप बस और अधिक शेफ और बड़े बर्तन जोड़ देते हैं, जिससे यह और भी भारी और धीमा हो जाता है।

2. समाधान: "स्पेक्ट्रल स्प्लिट" (Spectral Split)

लेखक उस रसोई को चलाने का एक नया तरीका प्रस्तावित करते हैं। 100 शेफों को एक विशाल बर्तन को घूरते रहने देने के बजाय, वे एक विशेष जादुई प्रिज्म (जिसे L-product और डिस्क्रीट कोसाइन ट्रांसफॉर्म कहा जाता है) का उपयोग करते हैं।

यहाँ उपमा दी गई है:

जादुई प्रिज्म: कल्पना करें कि आपके पास सफेद रोशनी की एक किरण (डेटा) है। आप इसे एक प्रिज्म के माध्यम से गुजारते हैं, और यह 4 अलग-अलग रंगों (स्लाइस) के इंद्रधनुष में विभाजित हो जाती है।
विभाजित रसोई: एक विशाल रसोई के बजाय, अब आपके पास 4 छोटी, स्वतंत्र रसोई हैं।
- शेफ टीम A केवल "लाल" सामग्री पर काम करती है।
- शेफ टीम B केवल "नीली" सामग्री पर काम करती है।
- इत्यादि।
जादू: क्योंकि प्रकाश को एक गणितीय नियम द्वारा विभाजित किया गया था, प्रत्येक टीम अपने छोटे, सरल कार्य को 4 गुना तेजी से और 4 गुना कम स्थान के साथ कर सकती है। उन्हें खाना पकाने के दौरान एक-दूसरे से बात करने की आवश्यकता नहीं है।

3. गुप्त नुस्खा: "री-मिक्सिंग" (Re-Mixing)

आप पूछ सकते हैं, "यदि वे अलग-अलग काम करते हैं, तो वे एक सुसंगत वाक्य कैसे बनाएंगे?"

यही सबसे शानदार हिस्सा है। 4 टीमों द्वारा अपने छोटे कार्यों को पूरा करने के बाद, वे अपने परिणामों को उल्टे क्रम में जादुई प्रिज्म के माध्यम से वापस भेजते हैं।

प्रिज्म 4 अलग-अलग रंगों को लेता है और उन्हें वापस एक एकल, पूर्ण सफेद रोशनी की किरण में मिला देता है।
क्योंकि प्रिज्म एक गणितीय नियम है, इसलिए "लाल" टीम और "नीली" टीम की जानकारी आपस में पूरी तरह से मिल जाती है।
परिणाम: अंतिम आउटपुट मूल विशाल रसोई जितना ही स्मार्ट होता है, लेकिन काम 4 छोटी, कुशल टीमों द्वारा किया गया था।

4. यह क्यों मायने रखता है ("फ्रीक्वेंसी" बोनस)

शोध पत्र में स्पेक्ट्रल वेटिंग (Spectral Weighting) नामक चीज़ का भी उल्लेख किया गया है।

डेटा को एक गाने की तरह समझें। कुछ हिस्से गहरी बास (bass) नोट्स (लो फ्रीक्वेंसी) हैं, और कुछ उच्च-पिच वाली चीखें (हाई फ्रीक्वेंसी) हैं।
पुराने मॉडल में, बास और चीखें एक बड़े बर्तन में सब मिलकर जंबल थे।
इस नए मॉडल में, "लाल टीम" बास नोट्स पर ध्यान केंद्रित कर सकती है, और "नीली टीम" चीखों पर।
मॉडल यह सीखने में सक्षम हो सकता है कि, "हे, इस विशिष्ट कार्य (जैसे मूवी रिव्यू पढ़ना) के लिए, हमें बास नोट्स पर अधिक ध्यान देने की आवश्यकता है।" यह एआई को टेक्स्ट की बारीकियों (nuance) को बेहतर ढंग से समझने में मदद करता है, जिससे कभी-कभी यह मूल विशाल मॉडल से भी अधिक स्मार्ट हो जाता है।

5. परिणाम: छोटा, तेज़, और उतना ही स्मार्ट

शोधकर्ताओं ने दो कार्यों पर इसका परीक्षण किया:

IMDB मूवी रिव्यूज: उन्होंने मॉडल को इसके मूल आकार के 25% तक सिकोड़ दिया (4 स्लाइस का उपयोग करके), और यह वास्तव में यह अनुमान लगाने में बेहतर हुआ कि समीक्षा सकारात्मक थी या नकारात्मक।
AG News (समाचार सुर्खियां): उन्होंने मॉडल को इसके आकार के 25% तक सिकोड़ दिया। यह शुरू में थोड़ा कम सटीक था, लेकिन जब उन्होंने मॉडल को बड़ा किया (BERT जैसे प्रसिद्ध मॉडलों के आकार के करीब), तो यह विशाल मॉडल के जितना सटीक हो गया, लेकिन इसने 4 गुना कम मेमोरी का उपयोग किया।

निचोड़ (The Bottom Line)

यह शोध पत्र एक गगनचुंबी इमारत बनाने के प्रीफैब्रिकेटेड, मॉड्यूलर कमरों का उपयोग करने जैसा है, न कि एक विशाल, ठोस कंक्रीट ब्लॉक डालने जैसा।

पुराना तरीका: एक विशाल, भारी, महंगा ब्लॉक बनाएं।
नया तरीका: 4 छोटे, हल्के ब्लॉक बनाएं जो आपस में पूरी तरह फिट बैठते हैं।
लाभ: आप भारी मात्रा में पैसा (कंप्यूटिंग पावर) और स्थान (मेमोरी) बचाते हैं, और आप बिना किसी संरचनात्मक मजबूती (बुद्धिमत्ता) को खोए, इमारत को तेज़ी से बना सकते हैं।

यह एआई को "मूर्ख" बनाए बिना उसे छरहरा (leaner) और हरित (greener) बनाने का एक तरीका है।

यहाँ शोध पत्र "Structured Multidimensional Representation Learning for Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ट्रांसफॉर्मर आर्किटेक्चर ने NLP और पैटर्न रिकग्निशन में अत्याधुनिक प्रदर्शन हासिल किया है, लेकिन उनकी स्केलेबिलिटी (scalability) विशाल पैरामीटर वृद्धि, विशेष रूप से एम्बेडिंग आयाम (embedding dimension) और फीड-फॉरवर्ड परतों के कारण बाधित होती है। इससे निम्नलिखित स्थितियाँ उत्पन्न होती हैं:

अतिरेकता (Redundancy): जैसे-जैसे मॉडल की चौड़ाई बढ़ती है, महत्वपूर्ण ओवरपैरामीट्राइजेशन (overparameterization) होता है।
अक्षमता (Inefficiency): प्रशिक्षण और अनुमान (inference) के दौरान उच्च मेमोरी खपत और गणनात्मक लागत।
मौजूदा समाधानों की सीमाएँ: वर्तमान संपीड़न विधियाँ (प्रूनिंग, लो-रैंक एडेप्टेशन जैसे LoRA, या पोस्ट-हॉक फैक्टराइजेशन) आमतौर पर प्री-ट्रेंड वेट्स का अनुमान लगाती हैं या प्रशिक्षण के बाद उन्हें संशोधित करती हैं। वे प्रशिक्षण से पूर्व एम्बेडिंग स्पेस की ज्यामिति (geometry) को मौलिक रूप से नहीं बदलती हैं या बीजगणितीय संरचना (algebraic structure) लागू नहीं करती हैं।

2. कार्यप्रणाली: द टेंसर ट्रांसफॉर्मर ( $L$ -Transformer)

लेखक एक नया आर्किटेक्चर प्रस्तावित करते हैं जो तीसरे क्रम के टेंसरों के लिए $L$ -प्रोडक्ट पर आधारित संरचित स्पेक्ट्रल फैक्टराइजेशन (structured spectral factorization) का उपयोग करके एम्बेडिंग आयाम को पुनर्रिभाषित (reparameterize) करता है।

मुख्य अवधारणाएँ

एम्बेडिंग्स का टेंसराइजेशन (Tensorization of Embeddings): टोकन एम्बेडिंग्स को मैट्रिक्स $X \in \mathbb{R}^{T \times d}$ के रूप में मानने के बजाय, इनपुट को तीसरे क्रम के टेंसर $X \in \mathbb{R}^{T \times d_s \times p}$ में पुनर्गठित किया जाता है, जहाँ $d = p \times d_s$ है। यहाँ, $p$ अपघटन कारक (decomposition factor - स्लाइस की संख्या) है, और $d_s$ स्लाइस की चौड़ाई है।
$L$ -प्रोडक्ट: यह एक टेंसर गुणन है जिसे तीसरे मोड (ट्यूब डायमेंशन) के साथ एक व्युत्क्रमणीय रैखिक रूपांतरण (invertible linear transform) $Z$ $Z$ (जैसे, डिस्क्रीट कोसाइन ट्रांसफॉर्म - DCT) के माध्यम से परिभाषित किया जाता है।
- ट्रांसफॉर्म डोमेन (Transform Domain): टेंसर को $\hat{X} = X \times_3 Z$ के माध्यम से रूपांतरित किया जाता है। इस डोमेन में, टेंसर में $p$ फ्रंटल स्लाइस $\hat{X}^{(k)}$ होते हैं।
- स्लाइस-वार गुणन (Facewise Multiplication): ट्रांसफॉर्म डोमेन में ऑपरेशन्स को प्रत्येक के $p$ स्लाइस के लिए स्वतंत्र रूप से मानक मैट्रिक्स गुणन का उपयोग करके किया जाता है।
- इनवर्स ट्रांसफॉर्म (Inverse Transform): परिणामों को $L^{-1}$ के माध्यम से मूल डोमेन में वापस मैप किया जाता है, जो स्लाइस को वैश्विक स्तर पर जोड़ता है।

आर्किटेक्चर घटक

$L$ -मल्टी-हेड अटेंशन: अटेंशन मैकेनिज्म (Q, K, V प्रोजेक्शन, डॉट-प्रोडक्ट, और आउटपुट प्रोजेक्शन) को इस तरह से पुनर्गठित किया गया है कि वे ट्रांसफॉर्म डोमेन में टेंसर स्लाइस पर कार्य कर सकें।
$L$ -फीड-फॉरवर्ड नेटवर्क (FFN): FFN परतों को भी इसी तरह विघटित किया गया है, जो प्रत्येक स्पेक्ट्रल स्लाइस पर स्वतंत्र रूप से मानक FFN ऑपरेशन्स लागू करते हैं।
पोजीशनल एनकोडिंग (Positional Encoding): एक स्लाइस-अवेयर साइनुसोइडल एनकोडिंग पेश की गई है, जो प्रत्येक स्लाइस के लिए फ्रीक्वेंसी स्केलिंग ( $\alpha_k$ ) की अनुमति देती है ताकि एक इंडक्टिव बायस (inductive bias) लाया जा सके।
नॉर्मलाइजेशन (Normalization): लेयरनॉर्म (LayerNorm) को टेंसर डोमेन के भीतर स्लाइस-वार लागू किया जाता है।

सैद्धांतिक तुल्यता (Theoretical Equivalence)

यह शोध पत्र सिद्ध करता है कि प्रस्तावित $L$ -Transformer, $d_s = d/p$ चौड़ाई वाले कम-आयामी एम्बेडिंग्स पर संचालित $p$ स्वतंत्र, समानांतर मानक ट्रांसफॉर्मर्स के स्पेक्ट्रली समकक्ष (spectrally equivalent) है।

पैरामीटर में कमी: यह तुल्यता एनकोडर पैरामीटर्स में लगभग $1/p$ की कमी प्रदान करती है (बायस और नॉर्मलाइजेशन पदों को छोड़कर), जबकि प्रत्येक स्लाइस के भीतर मानक सेल्फ-अटेंशन की अभिव्यंजक क्षमता (expressive capacity) को बनाए रखती है।
ग्लोबल कपलिंग (Global Coupling): एक साधारण फीचर पार्टीशन के विपरीत, इनवर्स ट्रांसफॉर्म ( $L^{-1}$ ) प्रत्येक ब्लॉक के बाद स्पेक्ट्रल चैनलों को मिश्रित करता है, जिससे नेटवर्क की गहराई के माध्यम से सूचना स्लाइस के बीच प्रसारित हो पाती है।

3. प्रमुख योगदान

संरचित प्रतिनिधित्व शिक्षण (Structured Representation Learning): एक ऐसा ढांचा पेश करता है जो वेट्स का पोस्ट-हॉक अनुमान लगाने के बजाय, प्रशिक्षण से पहले एम्बेडिंग स्पेस पर बीजगणितीय संरचना लागू करता है।
सैद्धांतिक गारंटी: यह सिद्ध करता है कि टेंसरयुक्त एनकोडर $p$ समानांतर कॉम्पैक्ट ट्रांसफॉर्मर्स के स्पेक्ट्रली समकक्ष है, जो $\approx 1/p$ पैरामीटर स्केलिंग के लिए एक कठोर आधार प्रदान करता है।
इंडक्टिव बायस (Inductive Bias): स्पेक्ट्रल अपघटन फ्रीक्वेंसी-डोमेन का इंडक्टिव बायस पेश करता है। स्लाइस-निर्भर स्केलिंग कारकों (जैसे, लीनियर, हार्मोनिक, एक्सपोनेंशियल) को ट्यून करके, मॉडल विशिष्ट फ्रीक्वेंसी घटकों पर जोर दे सकता है, जिससे संभावित रूप से सामान्यीकरण (generalization) में सुधार होता है।
अनुकूलता (Compatibility): जब इसे डिस्क्रीट कोसाइन ट्रांसफॉर्म (DCT) के साथ उपयोग किया जाता है, तो यह विधि पूरी तरह से रियल-वैल्यूड (real-valued), डिफरेंशिएबल रहती है, और मानक ऑप्टिमाइजेशन पाइपलाइन्स (जैसे, AdamW) और मौजूदा ट्रेनिंग इंफ्रास्ट्रक्चर के साथ संगत है।

4. प्रयोगात्मक परिणाम

लेखकों ने विभिन्न एम्बेडिंग चौड़ाई ( $d=128, 256, 768$ ) पर IMDB (सेंटिमेंट एनालिसिस) और AG News (टॉपिक क्लासिफिकेशन) पर मॉडल का मूल्यांकन किया।

पैरामीटर दक्षता (Parameter Efficiency):
- $p=4$ पर, मॉडल एनकोडर पैरामीटर्स में 4 $\times$ की कमी प्राप्त करता है।
- IMDB ( $d=128$ ): टेंसर मॉडल (T4-linear) ने 82.02% सटीकता प्राप्त की, जो मानक बेसलाइन (80.77%) से बेहतर थी, जबकि इसने केवल 25.6% एनकोडर पैरामीटर्स का उपयोग किया।
- AG News ( $d=256$ ): मॉडल ने 90.76% सटीकता (बनाम 91.40% बेसलाइन) प्राप्त की, जिसमें 4 $\times$ पैरामीटर की कमी देखी गई।
- AG News ( $d=768$ , BERT-base चौड़ाई): टेंसर मॉडल ने बेसलाइन (91.47%) के साथ सांख्यिकीय समानता (statistical parity) (91.52%) प्राप्त की, जबकि इसने एनकोडर को 28.4M से 7.1M पैरामीटर्स तक कंप्रेस किया।
स्केलिंग व्यवहार (Scaling Behavior):
- यह विधि दिखाती है कि जैसे-जैसे मॉडल की चौड़ाई ( $d$ ) बढ़ती है, टेंसरयुक्त दृष्टिकोण अधिक प्रभावी होता जाता है। $d=768$ पर, एनकोडर पैरामीटर बजट पर हावी होता है, जिससे 4 $\times$ कंप्रेशन एक 41% कुल मॉडल कमी और 15% पीक GPU मेमोरी में कमी में बदल जाता है।
स्पेक्ट्रल वेटिंग (Spectral Weighting):
- अलग-अलग फ्रीक्वेंसी स्केलिंग रणनीतियों (Linear, Harmonic, Exponential, Learnable) का परीक्षण किया गया। परिणामों ने दिखाया कि हालांकि टेंसरइजेशन स्वयं प्रदर्शन का प्राथमिक चालक है, इष्टतम वेटिंग रणनीति डेटासेट-निर्भर होती है (उदाहरण के लिए, IMDB पर Identity वेटिंग सबसे अच्छा काम करती है, AG News पर Linear)।
दक्षता (Efficiency):
- FLOPs: प्रोजेक्शन और FFN परतों के लिए सैद्धांतिक FLOPs $\approx 1/p$ तक गिर जाते हैं।
- वॉल-क्लॉक टाइम (Wall-Clock Time): मध्यम चौड़ाई पर, अनुक्रमिक स्लाइस निष्पादन (sequential slice execution) से ओवरहेड उत्पन्न हुआ। हालांकि, बड़ी चौड़ाई ( $d=768$ ) पर, कंप्यूट रिडक्शन हावी रहा, जिसके परिणामस्वरूप तेज़ ट्रेनिंग एपोच (241s बनाम 260s) और कम मेमोरी उपयोग प्राप्त हुआ।

5. महत्व और निष्कर्ष

यह कार्य अटेंशन-आधारित मॉडलों में फ्लैट एम्बेडिंग रिप्रेजेंटेशन के लिए एक सिद्धांतिक विकल्प प्रदान करता है।

संपीड़न से परे: यह प्रदर्शित करता है कि स्ट्रक्चर्ड स्पेक्ट्रल फैक्टराइजेशन केवल एक संपीड़न तकनीक नहीं है, बल्कि एक वैध आर्किटेक्चरल प्रतिमान (paradigm) है जो काफी कम पैरामीटर्स के साथ मानक ट्रांसफॉर्मर प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन कर सकता है।
स्केलेबिलिटी: यह विधि विशेष रूप से बड़े पैमाने के मॉडलों (BERT-base चौड़ाई और उससे आगे) के लिए प्रभावी है, जहाँ एनकोडर पैरामीटर्स मॉडल के आकार का अधिकांश हिस्सा होते हैं।
भविष्य की दिशाएं: लेखक $O(T^2)$ अटेंशन बॉटलनेक को संबोधित करने के लिए इस दृष्टिकोण को कुशल अटेंशन एप्रोक्सिमेशन के साथ जोड़ने और वॉल-क्लॉक स्पीडअप को अधिकतम करने के लिए पूरी तरह से बैच किए गए स्लाइस निष्पादन (fully batched slice execution) का पता लगाने का सुझाव देते हैं।

संक्षेप में, $L$ -Transformer सफलतापूर्वक बड़े भाषा मॉडलों के लिए एम्बेडिंग स्पेस को विघटित करने हेतु टेंसर बीजगणित का लाभ उठाता है, जो एक गणितीय रूप से सुदृढ़, पैरामीटर-कुशल और उच्च-प्रदर्शन वाला आर्किटेक्चर प्रदान करता है।