🤖 machine learning

LAPLEX: The FFT of Learnable Laplace Kernels

LAPLEX सटीक, प्रशिक्षित लाप्लास-कर्नेल ऑपरेटरों की एक श्रेणी पेश करता है जो डेटा-अनुकूली वैश्विक इंटरैक्शन और उच्च-आयामी सहप्रसरण मॉडलिंग को सक्षम करने के लिए FFT-समान स्केलिंग प्राप्त करते हैं, जो घने मैट्रिक्स (dense matrices) की भंडारण लागत के बिना, प्रभावी रूप से अभिव्यंजना (expressivity) को मेमोरी आवश्यकताओं से अलग करता है।

मूल लेखक: Łukasz Struski, Hanna Blazhko, Piotr Kubaty, Jacek Tabor

प्रकाशित 2026-05-26

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Łukasz Struski, Hanna Blazhko, Piotr Kubaty, Jacek Tabor

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अरबों किताबों वाली एक विशाल लाइब्रेरी को व्यवस्थित करने की कोशिश कर रहे हैं। आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, "किताबें" केवल नंबर (डेटा पॉइंट्स) हैं, और "व्यवस्थित करना" का अर्थ है पैटर्न खोजने के लिए जटिल गणित करना।

आमतौर पर, जब AI इतने बड़े पैमाने पर ऐसा करने की कोशिश करता है, तो उसे एक निराशाजनक विकल्प का सामना करना पड़ता है:

कठोर लाइब्रेरियन (फिक्स्ड ज्योमेट्री): एक मानक लाइब्रेरी कैटलॉग की तरह, यह तेज़ और सटीक है, लेकिन अलमारियाँ निश्चित हैं। आप जो देख रहे हैं उसके आधार पर किसी किताब को बेहतर जगह पर नहीं रख सकते। (यह FFT या फूरियर ट्रांसफॉर्म की तरह है)।
लचीला लेकिन भारी लाइब्रेरियन (डेंस पैरामीटर्स): यह लाइब्रेरियन किताबों को पूरी तरह से फिट करने के लिए अलमारियों को कैसे भी पुनर्व्यवस्थित कर सकता है, लेकिन ऐसा करने के लिए, उन्हें हर एक किताब के निर्देशों को स्टोर करने के लिए एक विशाल गोदाम की आवश्यकता होती है। यदि लाइब्रेरी बहुत बड़ी हो जाती है, तो गोदाम में जगह खत्म हो जाती है और सिस्टम क्रैश हो जाता है। (यह एक मानक डेंस मैट्रिक्स है)।
अनुमान लगाने वाला लाइब्रेरियन (लो-रैंक/स्केचिंग): यह लाइब्रेरियन किताबों के केवल "सामान्य भाव" (general vibe) को याद रखकर या एक रैंडम अनुमान लगाने वाले खेल का उपयोग करके जगह बचाने की कोशिश करता है। यह तेज़ है और गोदाम में फिट हो जाता है, लेकिन यह सटीक विवरण खो देता है और सर्वोत्तम व्यवस्था नहीं सीख पाता है।

LAPLEX एक नए प्रकार का लाइब्रेरियन है जो इस समझौते को तोड़ता है। यह दावा करता है कि यह "गोल्डिलॉक्स" (Goldilocks) समाधान है: यह सटीक है, यह ट्रेन करने योग्य (trainable) है (यह सर्वोत्तम व्यवस्था सीख सकता है), और यह हल्का (lightweight) है (इसे एक विशाल गोदाम की आवश्यकता नहीं है)।

यह कैसे काम करता है, यहाँ सरल उपमाओं का उपयोग किया गया है:

1. रहस्य: "मैप" के बजाय "कोऑर्डिनेट्स" सीखना

कल्पना कीजिए कि आपके पास लाखों सड़कों वाला एक विशाल शहर का नक्शा है।

पुराना तरीका: हर जोड़ी सड़कों के बीच की दूरी जानने के लिए, आपको हर एक जोड़ी के लिए एक नंबर लिखना होगा। 1 मिलियन सड़कों वाले शहर के लिए, यह एक ट्रिलियन नंबर होंगे। आप इसे स्टोर नहीं कर सकते।
LAPLEX का तरीका: हर दूरी को लिखने के बजाय, LAPLEX केवल कुछ "एंकर पॉइंट्स" (जैसे प्रमुख लैंडमार्क्स) की एक सूची लिखता है। फिर यह इन लैंडमार्क्स के कितने करीब हैं, इसके आधार पर किसी भी दो बिंदुओं के बीच की दूरी की गणना करने के लिए एक चतुर गणितीय नियम (Laplace Kernel) का उपयोग करता है।

क्योंकि नियम इतना सरल है, LAPLEX को उन ट्रिलियन नंबरों को स्टोर करने की आवश्यकता नहीं है। इसे केवल लैंडमार्क्स की सूची स्टोर करने की आवश्यकता है। लेकिन असली जादू यहाँ है: यह उन लैंडमार्क्स को कहाँ रखना है, यह सीख सकता है। यदि डेटा सुझाव देता है कि "स्ट्रीट A" और "स्ट्रीट B" अक्सर एक दूसरे से संबंधित हैं, तो LAPLEX अपने लैंडमार्क्स को इस तरह से हिलाने के लिए सीखता है कि आंतरिक तर्क में A और B एक साथ आ सकें।

2. "स्कैन" ट्रिक: भारी काम के बिना गणित करना

पेपर का दावा है कि भले ही LAPLEX एक विशाल, डेंस मैप की तरह कार्य करता है, यह अविश्वसनीय रूप से तेज़ी से गणित कर सकता है।

इसे एक कारखाने में कन्वेयर बेल्ट की तरह समझें।

डेंस तरीका: एक आइटम के लिए परिणाम की गणना करने के लिए, आपको रुकना होगा, गोदाम में मौजूद हर अन्य आइटम को देखना होगा और गणना करनी होगी। जैसे-जैसे गोदाम बढ़ता है, यह धीमा होता जाता है।
LAPLEX का तरीका: यह पहले वस्तुओं को कन्वेयर बेल्ट पर क्रमबद्ध (sort) करता है। फिर, यह एक "स्कैन" तकनीक का उपयोग करता है। कल्पना कीजिए कि एक कर्मचारी लाइन पर चल रहा है जिसे केवल यह याद रखने की आवश्यकता है कि उसने अब तक क्या देखा है उसका रनिंग टोटल (running total) क्या है। क्योंकि लाप्लास कर्नेल का गणित घातांकीय (exponential) है (जैसे-जैसे आप दूर जाते हैं चीजें छोटी होती जाती हैं), कर्मचारी पूरे लाइन के लिए अंतिम परिणाम की गणना केवल "प्रिफिक्स" (जो पहले आया था) और "सफिक्स" (जो बाद में आया) को देखकर कर सकता है।

यह LAPLEX को आधुनिक कंप्यूटरों पर 1 बिलियन ( $10^9$ ) तक के आयामों (dimensions) को संभालने की अनुमति देता है, एक ऐसा आकार जहाँ "डेंस" विधि तुरंत मेमोरी खत्म कर देगी।

3. यह वास्तव में क्या करता है (प्रयोग)

पेपर इस "लाइब्रेरियन" का परीक्षण तीन विशिष्ट परिदृश्यों में करता है ताकि यह सिद्ध किया जा सके कि यह काम करता है:

"फ्लैटनड इमेज" टेस्ट: उन्होंने उच्च-रिज़ॉल्यूशन वाली तस्वीरों (लाखों पिक्सेल) को लिया, उन्हें संख्याओं की एक लंबी रेखा में बदल दिया (2D ग्रिड को अनदेखा करते हुए), और डेटा को मॉडल करने की कोशिश की।
- परिणाम: एक मानक "लो-रैंक" मॉडल (अनुमान लगाने वाला लाइब्रेरियन) यह देखने में विफल रहा कि मूल फोटो में बगल वाले पिक्सेल एक-दूसरे से संबंधित होने चाहिए; उसने इसे केवल शोर (noise) के रूप में देखा। हालाँकि, LAPLEX ने अपने "लैंडमार्क्स" को इस तरह से रखने के लिए सीखा कि छवियों के आकार (जैसे समुद्र तट या ताड़ का पेड़) सुरक्षित रहें, भले ही उसने कभी भी इमेज को ग्रिड के रूप में नहीं देखा। इसने ग्रिड क्या है, यह बताए बिना डेटा की ज्यामिति (geometry) को सीखा।
"क्लासिफिकेशन हेड" टेस्ट: उन्होंने एक न्यूरल नेटवर्क के अंतिम लेयर (वह हिस्सा जो तय करता है कि "यह बिल्ली है या कुत्ता?") को LAPLEX से बदलने की कोशिश की।
- परिणाम: सामान्य आकार के केवल एक छोटे से अंश (जैसे 1-5%) का उपयोग करके, LAPLEX ने विशाल, पूर्ण-आकार के नेटवर्क के लगभग बराबर प्रदर्शन किया। इसने मानक "लो-रैंक" शॉर्टकट की तुलना में जानकारी को बहुत बेहतर तरीके से रूट करना सीखा।
"स्पीड" टेस्ट: उन्होंने सुपरकंप्यूटर (GPU) पर इसकी गति की तुलना की।
- परिणाम: बड़े डेटासेट पर फॉरवर्ड पास के लिए LAPLEX मानक विधि की तुलना में लगभग 65 गुना तेज़ है और ट्रेनिंग (फॉरवर्ड + बैकवर्ड) के लिए 430 गुना तेज़ है। यह 100 गुना कम मेमोरी का भी उपयोग करता है।

4. यह क्यों महत्वपूर्ण है (सरल शब्दों में)

पेपर का तर्क है कि लंबे समय से हम सोचते थे कि हमें गति/आकार और सटीकता/लचीलेपन के बीच किसी एक को चुनना होगा।

यदि आप गति चाहते थे, तो आपको निश्चित नियमों (जैसे FFT) या रैंडम अनुमानों का उपयोग करना पड़ता था।
यदि आप सर्वोत्तम नियम सीखना चाहते थे, तो आपको इतनी मेमोरी की आवश्यकता होती थी कि आप बड़े डेटा के साथ इसे चला ही नहीं पाते थे।

LAPLEX कहता है: "आपको चुनाव करने की ज़रूरत नहीं है।" डेटा के कोऑर्डिनेट्स को फिक्स्ड स्लॉट्स के बजाय सीखने योग्य वेरिएबल्स के रूप में मानकर, यह एक ऐसा सिस्टम बनाता है जो:

सटीक है: यह अनुमान नहीं लगाता; यह वास्तविक गणित की गणना करता है।
ट्रेन करने योग्य है: यह देखे गए विशिष्ट डेटा के अनुसार खुद को ढाल लेता है।
कुशल है: यह उस हार्डवेयर पर भी फिट बैठता है जो अन्यथा क्रैश हो जाता।

सारांश उपमा

कल्पना कीजिए कि आप एक विशाल पार्टी आयोजित करने की कोशिश कर रहे हैं जहाँ लाखों मेहमानों को अपनी सीटें ढूंढनी हैं।

डेंस मैट्रिक्स: आप हर मेहमान के नाम के साथ हर दूसरे मेहमान का नाम लिखकर एक विशाल सीटिंग चार्ट प्रिंट करते हैं। यह एकदम सही है, लेकिन कागज का ढेर ले जाने के लिए बहुत भारी है।
लो-रैंक/स्केच: आप बस मेहमानों को रैंडम तरीके से "ज़ोन A" या "ज़ोन B" में बैठने के लिए कह देते हैं। यह हल्का है, लेकिन बैठने की व्यवस्था अव्यवस्थित और अक्षम है।
LAPLEX: आप मेहमानों को कुछ "मैग्नेटिक एंकर्स" (जैसे वीआईपी टेबल) देते हैं। आप मेहमानों को इन एंकर्स के करीब बैठने के आधार पर सिखाते हैं। पार्टी के दौरान एंकर अपनी सबसे अच्छी जगह खोजने के लिए इधर-उधर घूमते हैं। आपको एक विशाल चार्ट की आवश्यकता नहीं है; आपको केवल एंकर्स की सूची की आवश्यकता है। मेहमान अपनी सीटें तुरंत ढूंढ लेते हैं, व्यवस्था एकदम सही है, और आप पूरी योजना अपनी जेब में लेकर चल सकते हैं।

पेपर निष्कर्ष निकालता है कि यह दृष्टिकोण AI को उन पैमानों पर "डेंस" इंटरैक्शन (जहाँ सब कुछ एक-दूसरे से बात करता है) को संभालने की अनुमति देता जो पहले असंभव थे, बिना डेटा से सीखने की क्षमता से समझौता किए।

तकनीकी सारांश: LAPLEX – सीखनीय लाप्लास कर्नेल का FFT

1. समस्या विवरण (Problem Statement)

आधुनिक मशीन लर्निंग सिस्टम तेजी से उन क्षेत्रों में काम कर रहे हैं जहाँ परिवेश आयाम (ambient dimensions) लाखों या अरबों तक पहुँच जाते हैं। इन उच्च-आयामी सेटिंग्स में, बाधा अक्सर लीनियर ऑपरेशन्स (linear operations) की वॉल-क्लॉक लागत और मेमोरी फुटप्रिंट होती है, जैसे कि डेंस मैट्रिसेस (dense matrices) को लागू करना, ग्रैम ऑपरेटर्स (Gram operators) की गणना करना और फीचर्स को मिक्स करना।

मौजूदा दृष्टिकोण जो लीनियर अलजेब्रा को स्केल करने के लिए उपयोग किए जाते हैं, वे आमतौर पर तीन वांछनीय गुणों में से एक का त्याग करते हैं: सटीकता (exactness), सीखने की क्षमता (learnability), या निकट-रैखिक स्केलिंग (near-linear scaling)।

लो-रैंक विधियाँ (Low-rank methods) (जैसे LoRA) घने, आधार-निर्भर (basis-dependent) इंटरैक्शन को बनाए रखती हैं, लेकिन उन्हें $O(nk)$ मेमोरी फुटप्रिंट का सामना करना पड़ता है क्योंकि उन्हें इनपुट बेसिस के लिए गुणांक (coefficients) संग्रहीत करने होते हैं, भले ही आउटपुट रैंक संकुचित हो।
रैंडमाइज्ड स्केच और रैंडम फीचर्स (Randomized sketches and random features) (जैसे CountSketch, Random Fourier Features) स्केलेबिलिटी तो प्रदान करते हैं लेकिन वे एक निश्चित इंडेक्सिंग पर कार्य करते हैं या कर्नेल का अनुमान लगाते हैं, जिससे दक्षता के लिए सटीकता का समझौता होता है। वे यह नहीं सीख सकते कि कोऑर्डिनेट को कैसे मैच किया जाए।
स्पार्स विधियाँ (Sparse methods) हार्डवेयर रेगुलैरिटी को तोड़ सकती हैं और उन्हें एंड-टू-एंड ट्रेन करना कठिन होता है।
क्लासिकल फास्ट ट्रांसफॉर्म्स (Classical fast transforms) (जैसे FFT) सटीक और सस्ते ( $O(n \log n)$ ) हैं, लेकिन वे एक विशिष्ट ग्रिड ज्योमेट्री तक सीमित हैं और कोऑर्डिनेट सिस्टम को नहीं सीख सकते।

पहचाना गया मुख्य सीमित कारक आधार-निर्भरता (basis-dependence) है: मानक ऑपरेटर्स मैट्रिक्स मानों को सीधे पैरामीटराइज करते हैं, जिसके लिए इनपुट आयाम के समान स्टोरेज की आवश्यकता होती है। पेपर का तर्क है कि इंडेक्स-लेवल ऑपरेटर्स (index-level operators) की ओर एक बदलाव की आवश्यकता है जो बिना किसी डेंस मैट्रिक्स को स्टोर किए स्वयं इनपुट ज्योमेट्री को सीख सकें।

2. कार्यप्रणाली: LAPLEX (Methodology: LAPLEX)

लेखक LAPLEX पेश करते हैं, जो लाप्लास कर्नेल (Laplace kernel) पर आधारित एक सटीक, सीखने योग्य क्लास है। एक LAPLEX लेयर को स्पष्ट मैट्रिक्स वेट्स के बजाय सीखने योग्य कोऑर्डिनेट एंकर्स (coordinate anchors) द्वारा अप्रत्यक्ष रूप से परिभाषित किया जाता है।

2.1 ऑपरेटर (The Operator)

मुख्य प्रिमिटिव दो सीखने योग्य एंकर्स, $a \in \mathbb{R}^n$ और $b \in \mathbb{R}^k$ द्वारा परिभाषित लाप्लास-कर्नेल मैट्रिक्स है:
$\text{LAPLEX}(a, b)_{ij} = \exp(-|a_i - b_j|)$
एक प्राकृतिक सीमित शासन (temperature $t \to 0$ ) में, यह ऑपरेटर कोऑर्डिनेट सेट के सभी परम्यूटेशन (permutations) को एनकोड करता है। फेज पैरामीटर्स $\phi, \psi$ जोड़कर, ऑपरेटर को इस प्रकार विस्तारित किया जा सकता है:
$\text{LAPLEX}(a, \phi; b, \psi)_{jk} = \exp(-|a_j - b_k|) \cdot \cos(\phi_j - \psi_k)$
यह ऑपरेटर को एक डेंस, सीखने योग्य मैट्रिक्स के रूप में कार्य करने की अनुमति देता है जबकि केवल $O(n)$ पैरामीटर्स (एंकर्स) का उपयोग करता है।

2.2 सटीक स्कैन अलजेब्रा (Exact Scan Algebra)

मुख्य एल्गोरिद्मिक योगदान एक सटीक, पूर्णतः समानांतर $O(n \log n)$ एल्गोरिदम है जो मैट्रिक्स-वेक्टर और ग्रैम उत्पादों (Gram products) के लिए है, जो कभी भी डेंस मैट्रिक्स को भौतिक रूप (materialize) नहीं बनाता है।

सिमेट्रिक केस ( $a=b$ ): एंकर्स को सॉर्ट करने के बाद, कर्नेल मैट्रिक्स लोअर और अपर ट्राइएंगुलर भागों में विभाजित हो जाती है। प्रत्येक भाग को प्रीफिक्स-स्कैन (prefix-scan) और सफिक्स-स्कैन (suffix-scan) रिकरेंस के माध्यम से कंप्यूट किया जा सकता है। उदाहरण के लिए, लोअर ट्राइएंगुलर उत्पाद $y_i = \sum_{j \le i} \exp(a_j - a_i)x_j$ एक रिकरेंस $y_{i+1} = x_{i+1} + \exp(a_i - a_{i+1})y_i$ को संतुष्ट करता है, जिसे $O(n)$ वर्क और $O(\log n)$ पैरेलल डेप्थ में मूल्यांकित किया जाता है।
सामान्य केस ( $a \neq b$ ): एल्गोरिदम $b$ -एंकर्स के योगदान को सॉर्ट किए गए $a$ -एंकर्स द्वारा परिभाषित अंतराल (intervals) में एकत्रित करता है। स्थानीय योगदान को वेक्टर्स $u$ और $v$ में संक्षेपित किया जाता है, जिन्हें फिर सिमेट्रिक स्कैन प्रिमिटिव का उपयोग करके वैश्विक स्तर पर प्रसारित किया जाता है।
ग्रैम ऑपरेटर्स (Gram Operators): समान ऑर्डरिंग स्ट्रक्चर $O(n^2 k)$ लागत से बचते हुए, सटीक रूप से भारित ग्रैम मैट्रिसेस $M = A \text{diag}(D) A^\top$ की गणना के लिए $O(n^2 + k \log n)$ समय में सक्षम बनाता है। यह सेकंड-ऑर्डर ऑप्टिमाइजेशन और कर्नेल मेथड्स के लिए महत्वपूर्ण है।

2.3 अभिव्यक्तता और सीमाएँ (Expressivity and Limits)

पेपर यह स्थापित करता है कि LAPLEX विभिन्न ऑपरेटर क्लासेस के बीच इंटरपोलेट करने वाला एक निरंतर परिवार है:

जीरो-टेम्परेचर लिमिट (Zero-Temperature Limit): जैसे-जैसे तापमान पैरामीटर शून्य की ओर बढ़ता है, स्मूथ कर्नेल एक डिस्क्रीट इक्वैलिटी-राउटिंग मैट्रिक्स में परिवर्तित हो जाता है, जो CountSketch और मनमाने परम्यूटेशन को रिकवर करता है।
यूनिवर्सैलिटी (Universality): डायगोनल स्केलिंग और स्पार्स रेप्लिकेशन के साथ, यह परिवार मनमाने रेक्टेंगुलर डेंस मैट्रिसेस के लिए यूनिवर्सल है।
FFT से संबंध: यदि एंकर्स को एक यूनिफॉर्म ग्रिड पर फ्रीज कर दिया जाए, तो LAPLEX एक टोप्लिट्ज़ (Toeplitz) मैट्रिक्स बन जाता है, और एल्गोरिदम Toeplitz-FFT में बदल जाता है। यदि कर्नेल को एक परिमित स्पेक्ट्रल एक्सपेंशन से बदला जाता है, तो यह Random Fourier Features (RFF) बन जाता है। LAPLEX, RFF के विपरीत—जो लाप्लास कर्नेल के हेवी-टेल्ड कॉची स्पेक्ट्रल डेंसिटी के कारण अनबाउंडेड ग्रेडिएंट वेरिएंस से ग्रस्त है—एंकर्स के संबंध में सटीकता और डिफरेंशिएबिलिटी बनाए रखता है।

3. मुख्य योगदान (Key Contributions)

आधार-निर्भरता की पहचान: पेपर लो-रैंक विधियों के एक मौलिक विकल्प के रूप में इंडेक्स-लेवल, परम्यूटेशन-अवेयर ऑपरेटर्स को प्रेरित करता है, जो $O(nk)$ मेमोरी फुटप्रिंट से बच नहीं सकते क्योंकि वे इनपुट बेसिस को कंप्रेस नहीं करते हैं।
सीखने योग्य ज्योमेट्री: यह प्रदर्शित करता है कि लाप्लास-कर्नेल मैट्रिक्स केवल $O(n)$ पैरामीटर्स का उपयोग करते हुए एक प्राकृतिक सीमित शासन में सभी कोऑर्डिनेट परम्यूटेशन को एनकोड करता है।
सटीक, स्केलेबल एल्गोरिदम: लेखक मैट्रिक्स-वेक्टर और ग्रैम उत्पादों के लिए एक सटीक, पूर्णतः समानांतर $O(n \log n)$ एल्गोरिदम प्रदान करते हैं जो $O(n)$ मेमोरी का उपयोग करता है। यह मैट्रिक्स को भौतिक रूप दिए बिना आधुनिक GPU पर $10^9$ तक के आयामों को सक्षम बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): पेपर दिखाता है कि LAPLEX FFT-क्लास स्केलिंग से मेल खाता है और एक ड्रॉप-इन स्ट्रक्चर्ड लेयर के रूप में कुशलता से कार्य करता है। यह मेमोरी और गति में डेंस बेसलाइन्स से बेहतर प्रदर्शन करता है, और सटीकता एवं ग्रेडिएंट स्थिरता में लो-रैंक और रैंडम फीचर बेसलाइन्स से आगे निकल जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

4.1 स्केलिंग और प्रदर्शन

GPU स्केलिंग: NVIDIA H100 और RTX 2080 पर, LAPLEX $n = 2^{20}$ (लगभग 1 मिलियन तत्व) तक सुचारू रूप से स्केल करता है, जबकि डेंस बेसलाइन $n = 2^{14}$ पर आउट ऑफ मेमोरी (OOM) हो जाती है।
गति: सबसे बड़े आकार पर जहाँ दोनों विधियाँ चलती हैं ( $n=2^{14}$ ), LAPLEX फॉरवर्ड पास में डेंस मैटमुल (matmul) की तुलना में $\sim 65\times$ तेज़ है और फॉरवर्ड+बैकवर्ड में $\sim 430\times$ तेज़ है।
मेमोरी: LAPLEX डेंस बेसलाइन की तुलना में $\sim 100\times$ कम पीक मेमोरी का उपयोग करता है।
संख्यात्मक सटीकता (Numerical Accuracy): फ्लोट32 में चलने के बावजूद, LAPLEX डेंस फ्लोट32 मैटमुल और Toeplitz-FFT दोनों की तुलना में फ्लोट64 रेफरेंस के विरुद्ध कम रिलेटिव एरर प्रदर्शित करता है। यह स्कैन एल्गोरिदम की क्षमता के कारण है जो एक्सपोनेंशियल स्केल फैक्टर्स को मैंटिसा से अलग रखता है, जिससे डेंस समेशन की $O(n \epsilon)$ एरर एक्यूमुलेशन से बचा जा सके।

4.2 उच्च-आयामी घनत्व मॉडलिंग (High-Dimensional Density Modeling)

लेखकों ने एक सटीक ग्रैम ऑपरेटर का उपयोग करके फ्लैटन किए गए DIV2K इमेजेस (डायमेंशन $3 \cdot 10^6$ ) पर एक गॉसियन डेंसिटी मॉडल को प्रशिक्षित किया।

सेटअप: एक LAPLEX फैक्टर (रैंक 1000, $\sim 14$ M पैरामीटर्स) की तुलना एक डेंस लो-रैंक बेसलाइन (रैंक 4, $\sim 15$ M पैरामीटर्स) से की गई।
परिणाम: अपर्याप्त रैंक के कारण डेंस बेसलाइन यूनिफॉर्म नॉइज़ में ढह गई। LAPLEX मॉडल ने बिना किसी कनवोल्यूशनल बायस के, फ्लैटन किए गए वेक्टर्स पर काम करते हुए भी सुसंगत स्थानिक रंग संरचनाओं (contiguous regions, silhouettes) को सीखा। इसका टेस्ट लॉग-लाइक्लीहुड (test log-likelihood) डेंस बेसलाइन से $4.5\times$ अधिक था।

4.3 स्ट्रक्चर्ड प्रोजेक्शंस और वर्गीकरण (Structured Projections and Classification)

ImageNet10 प्रोजेक्शंस: एक फ्रोजन प्रोजेक्शन सेटिंग में (फ्लैटन किए गए $150,528$-dim इमेजेस को $m \in \{25, \dots, 1000\}$ में), LAPLEX, CountSketch और रैंडम प्रोजेक्शन की तुलना में अधिक स्थिर था, और बड़े $m$ पर सर्वश्रेष्ठ प्रदर्शन करने वाला बना।
ट्रेन करने योग्य हेड्स (Trainable Heads): Swin-T और MaxViT-T के लिए क्लासिफिकेशन हेड के रूप में उपयोग किए जाने पर, LAPLEX ने समान आउटपुट डायमेंशन पर अनकन्स्ट्रेंड डेंस प्रोजेक्शन की सटीकता के बराबर या उससे अधिक प्रदर्शन किया, जो $\Theta(md)$ के बजाय $\Theta(m+d)$ पैरामीटर्स का उपयोग करता है। कम रैंक पर, LAPLEX ने लो-रैंक फैक्टराइजेशन (LoRA-शैली) की तुलना में काफी बेहतर प्रदर्शन किया।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LAPLEX अभिव्यक्तता (expressivity) को स्टोरेज लागत से अलग करता है। यह एक डेंस ट्रेन करने योग्य मैट्रिक्स की तरह व्यवहार करता है लेकिन इसे छोटे संरचित पैरामीटर्स (एंकर्स) के माध्यम से दर्शाया और लागू किया जाता है।

अभिव्यक्तता और स्टोरेज का पृथक्करण: डेंस ज्योमेट्री को बिना डेंस मैट्रिक्स स्टोर किए सीखा जा सकता है। यह उन परिदृश्यों में डेटा-अनुकूल वैश्विक इंटरैक्शन को सक्षम बनाता है जहाँ साधारण डेंस लेयर्स अव्यावहारिक हैं।
सटीकता बनाम सन्निकटन (Exactness vs. Approximation): Random Fourier Features या Nyström मेथड्स के विपरीत, LAPLEX सटीक कर्नेल एप्लीकेशन और ग्रैम कंप्यूटेशन प्रदान करता है। यह रैंडम फीचर्स के मूल्य/ग्रेडिएंट ट्रेड-ऑफ से बचता है, विशेष रूप से कॉची स्पेक्ट्रल डेंसिटी के कारण एंकर ग्रेडिएंट्स में अनबाउंडेड वेरिएंस से।
सीखने योग्य फास्ट ट्रांसफॉर्म्स: यह कार्य सिद्ध करता है कि फास्ट ट्रांसफॉर्म्स को निश्चित कोऑर्डिनेट सिस्टम पर ही रहना आवश्यक नहीं है। डेंस ऑपरेटर को सीखने योग्य लाप्लास एंकर्स के माध्यम से पैरामीटराइज करके, स्वयं ज्योमेट्री एक डिफरेंशिएबल पैरामीटर बन जाती है।

6. सीमाएँ (Limitations)

लेखक निम्नलिखित सीमाओं को स्वीकार करते हैं:

आयाम (Dimensionality): वर्तमान निर्माण एक-आयामी (one-dimensional) लाप्लास एंकर्स और सॉर्टिंग-आधारित एल्गोरिदम का उपयोग करता है। इस सटीकता को उच्च-आयामी एंकर ज्योमेट्री और समृद्ध कर्नेल तक विस्तारित करना एक खुला गणितीय दिशा है।
सिस्टम परिपक्वता (Systems Maturity): कार्यान्वयन एल्गोरिद्मिक शासन (algorithmic regime) को प्रदर्शित करता है, लेकिन बड़े पैमाने के अटेंशन ब्लॉक्स, ऑप्टिमाइज़र और जेनेरेटिव मॉडल के लिए विशेष कर्नल्स और सावधानीपूर्वक आर्किटेक्चर डिज़ाइन की आवश्यकता होगी।
स्कोप (Scope): विधि वर्तमान में लाप्लास कर्नेल और उसके विशिष्ट स्कैन-आधारित अपघटन (decomposition) तक सीमित है।

संक्षेप में, LAPLEX एक सिद्धांतवादी विकल्प प्रदान करता है, जो मैट्रिक्स को पैरामीटराइज करने के बजाय इंडेक्स इंटरैक्शन को पैरामीटराइज करके उच्च-आयामी व्यवस्थाओं में सटीक, सीखने योग्य और स्केलेबल लीनियर अलजेब्रा को सक्षम बनाता है।