🤖 AI

FRACTAL: SSM with Fractional Recurrent Architecture for Computational Temporal Analysis of Long Sequences

यह शोध पत्र FRACTAL को प्रस्तुत करता है, जो एक नवीन स्टेट स्पेस मॉडल है जो असीमित इतिहास को बनाए रखने और अल्पकालिक परिवर्तनों का पता लगाने के बीच के संतुलन को हल करने के लिए रिकर्सिव मेमोरी अपडेट में फ्रैक्शनल मेजर थ्योरी को एकीकृत करता है, जिससे यह S5 जैसे मौजूदा मॉडलों की तुलना में लॉन्ग सीक्वेंस बेंचमार्क पर बेहतर प्रदर्शन प्राप्त करता है।

मूल लेखक: Mengqi Li, Wensheng Lin, Jinshuai Yang, Lixin Li

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mengqi Li, Wensheng Lin, Jinshuai Yang, Lixin Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लंबी कहानी याद करने की कोशिश कर रहे हैं। आपके सामने एक पेचीदा समस्या है: यदि आप हर एक विवरण को समान रूप से याद रखने की कोशिश करते हैं, तो हाल के शब्द पहले आए हजारों शब्दों के नीचे दब जाते हैं। लेकिन यदि आप केवल पिछले कुछ वाक्यों पर ध्यान केंद्रित करते हैं ताकि तुरंत आए किसी मोड़ (plot twist) को पकड़ सकें, तो आप कहानी की शुरुआत पूरी तरह से भूल जाते हैं।

लंबे समय तक, लंबे अनुक्रमों (जैसे टेक्स्ट, स्टॉक की कीमतें, या दिल की धड़कन) को सीखने की कोशिश करने वाले कंप्यूटर मॉडल इन दो बुरे विकल्पों में से किसी एक को चुनने के लिए मजबूर थे। यह पेपर FRACTAL नामक एक नया मॉडल पेश करता है जो "फ्रैक्शनल कैलकुलस" (fractional calculus) नामक एक गणितीय तकनीक का उपयोग करके इस समस्या को हल करता है।

यहाँ बताया गया है कि यह कैसे काम करता है, रोजमर्रा के उदाहरणों का उपयोग करते हुए:

1. समस्या: "मेमोरी ट्राइलेमा" (The Memory Trilemma)

याददाश्त को पानी की एक बाल्टी की तरह समझें।

पुराना मॉडल A (यूनिफॉर्म): यह एक स्थिर दर से पानी डालता है। बाल्टी भर जाती है, लेकिन ऊपर का पानी (सबसे नया हिस्सा) नीचे के पानी (पुराने हिस्से) द्वारा पतला हो जाता है। आप सब कुछ याद रखते हैं, लेकिन नए विवरण धुंधले हो जाते हैं।
पुराना मॉडल B (एक्सपोनेंशियल): यह पानी डालता है, लेकिन बाल्टी के नीचे एक छेद है। पुराना पानी जल्दी निकल जाता है, जिससे नया पानी ताज़ा और स्पष्ट रहता है। लेकिन यदि कहानी बहुत लंबी है, तो बाल्टी का निचला हिस्सा खाली हो जाता है, और आप शुरुआत का संदर्भ (context) खो देते हैं।
पुराना मॉडल C (विंडो): यह केवल पिछले कुछ कप पानी को रखता है। आपके पास तत्काल अतीत की पूर्ण स्पष्टता है, लेकिन उससे पहले जो कुछ भी हुआ था, उसकी आपकी शून्य स्मृति है।

यह पेपर तर्क देता है कि वास्तविक दुनिया के डेटा (जैसे वित्तीय बाजार या जैविक संकेत) को इन तीनों की आवश्यकता होती है: आपको पूरा इतिहास चाहिए, आपको नवीनतम विवरण स्पष्ट रूप से सुनने की आवश्यकता है, और आपको अलग-अलग गति से होने वाली घटनाओं को संभालने की आवश्यकता है।

2. समाधान: "फ्रैक्शनल" जादू

FRACTAL एक "ट्यूनेबल सिंगुलैरिटी" (tunable singularity) का उपयोग करके बाल्टी भरने का एक नया तरीका पेश करता है।

कल्पना कीजिए कि बाल्टी का एक विशेष आकार है जो आपके द्वारा घुमाए जाने वाले एक डायल (जिसे सिंगुलैरिटी इंडेक्स या $\alpha$ कहा जाता है) के आधार पर बदलता है।

आकार: एक सीधे सिलेंडर या शंकु के बजाय, बाल्टी की एक "हेवी टेल" (heavy tail) होती है। यह पुराने पानी (इतिहास) को बहुत अच्छी तरह से थामे रखती है, लेकिन बाल्टी का सबसे ऊपरी हिस्सा एक फनल (कीप) की तरह होता है जो सबसे नए पानी को सतह पर केंद्रित करता है।
डायल:
- यदि आप डायल को एक तरफ घुमाते हैं, तो बाल्टी एक मानक स्मृति (सब कुछ समान रूप से याद रखना) की तरह कार्य करती है।
- यदि आप इसे दूसरी ओर घुमाते हैं, तो यह एक "हालिया स्मृति" (वर्तमान पर ध्यान केंद्रित करना) की तरह कार्य करती है।
- जादू: FRACTAL इनके बीच कहीं भी स्थित हो सकता है। यह एक "पावर-लॉ" (power-law) स्मृति बनाता है, जिसका अर्थ है कि यह संदर्भ बनाए रखने के लिए दूर के अतीत को पर्याप्त रूप से याद रखता है, लेकिन यह बहुत ही हालिया अतीत को एक बड़ा बढ़ावा देता है ताकि आप अचानक आए बदलावों को मिस न करें।

3. आर्किटेक्चर: "स्पेक्ट्रल फिल्टर बैंक" (The Spectral Filter Bank)

यह पेपर केवल एक बाल्टी का उपयोग नहीं करता है; यह पूरी बकेटों की एक ऑर्केस्ट्रा (जिसे मल्टी-स्केल फिल्टर बैंक कहा जाता है) का उपयोग करता है।

कल्पना कीजिए कि एक कोरस (choir) है जहाँ प्रत्येक गायक की आवाज़ थोड़ी अलग है।
कुछ गायक धीमी, लंबी अवधि के रुझानों (जैसे किसी गीत के समग्र मूड) को याद रखने के लिए ट्यून किए गए हैं।
अन्य गायक तेज, अचानक नोट्स (जैसे ड्रमबीट या अचानक चिल्लाहट) को पकड़ने के लिए ट्यून किए गए हैं।
FRACTAL अपने मस्तिष्क के विभिन्न हिस्सों को अलग-अलग "डायल" असाइन करता है। कुछ हिस्से लंबे इतिहास पर ध्यान केंद्रित करते हैं, जबकि अन्य तुरंत वर्तमान पर ज़ूम करते हैं।
मॉडल फिर पूरी तस्वीर को समझने के लिए इन आवाजों को आपस में मिलाता है।

4. यह बेहतर क्यों है (परिणाम)

लेखकों ने FRACTAL का परीक्षण लॉन्ग रेंज एरिना (Long Range Arena) नामक कठिन पहेलियों के एक मानक सेट पर किया। इन पहेलियों के लिए एक अनुक्रम में बहुत दूर स्थित चीजों के बीच संबंध खोजने की आवश्यकता होती है।

स्कोर: FRACTAL ने 87.11% स्कोर किया, जिसने पिछले सर्वश्रेष्ठ मॉडल (S5) को पछाड़ दिया, जिसका स्कोर 87.04% था।
बड़ी जीत: ListOps नामक एक विशिष्ट कार्य पर (जिसमें नेस्टेड गणितीय समस्याओं को हल करना शामिल है), FRACTAL ने 61.85% स्कोर किया, जिसने पिछले सर्वश्रेष्ठ 61.10% को पीछे छोड़ दिया। यह कार्य कठिन है क्योंकि आपको वाक्य के अंत में संख्याओं को प्रोसेस करते समय बिल्कुल शुरुआत में आए ब्रैकेट को याद रखने की आवश्यकता होती है। "लंगे इतिहास" और "हालिया फोकस" को संतुलित करने की FRACTAL की क्षमता ने इसे बेहतर बनाया।

सारांश

FRACTAL एक नए प्रकार का कंप्यूटर ब्रेन है जो "सब कुछ याद रखने" और "अभी के बारे में याद रखने" के बीच चुनाव करने के लिए मजबूर करना बंद कर देता है। फ्रैक्शनल कैलकुलस नामक एक गणितीय उपकरण का उपयोग करके, यह एक ऐसी स्मृति बनाता है जो स्वाभाविक रूप से दूर के अतीत को थामे रखती है और वर्तमान क्षण के प्रति अत्यधिक जागरूक रहती है। यह एक ऐसे पुस्तकालय की तरह है जहाँ किताबें इस तरह व्यवस्थित हैं कि आप क्लासिक्स का ट्रैक खोए बिना तुरंत नवीनतम बेस्टसेलर उठा सकते हैं।

तकनीकी सारांश: FRACTAL – फ्रैक्शनल रिकरेंट आर्किटेक्चर के साथ स्टेट स्पेस मॉडल

1. समस्या विवरण

निरंतर समय (continuous time) में अनुक्रम मॉडलिंग (sequence modeling) एक मौलिक तनाव का सामना करती है: एक ओर असीमित ऐतिहासिक संदर्भ को बनाए रखने की आवश्यकता है, और दूसरी ओर उच्च-रिज़ॉल्यूशन वाले, अचानक होने वाले अल्पकालिक परिवर्तनों का पता लगाने की आवश्यकता है। मौजूदा स्टेट स्पेस मॉडल्स (SSMs), विशेष रूप से HiPPO फ्रेमवर्क पर आधारित, मेमोरी मापों के एक "त्रिशंकु" (trilemma) द्वारा बाधित हैं:

स्केल्ड लेजेंड्रे (LegS): इतिहास को समान भार देता है, जिससे टाइमस्केल इनवेरिएंस सुनिश्चित होता है, लेकिन यह हाल के इनपुट्स के प्रभाव को धीरे-धीरे कम (dilute) कर देता है।
ट्रांसलेटेड लैगुएर (LagT): हालिया घटनाओं को प्राथमिकता देने के लिए एक्सपोनेंशियल डिके (exponential decay) का उपयोग करता है, लेकिन एक निश्चित विशेषता टाइमस्केल लागू करता है, जिससे टाइम-वॉरप्ड सिग्नल्स और वैश्विक संदर्भ के प्रति मजबूती का त्याग होता है।
ट्रांसलेटेड लेजेंड्रे (LegT): एक स्लाइडिंग विंडो के माध्यम से उच्च स्थानीय रिज़ॉल्यूशन प्रदान करता है, लेकिन उस निश्चित क्षितिज (horizon) से परे संदर्भ को पूरी तरह से त्याग देता है।

कोई भी मौजूदा माप पूर्ण-इतिहास प्रतिधारण (full-history retention), हालिया संवेदनशीलता (recency sensitivity), और स्केल इनवेरिएंस को एक साथ संतुष्ट नहीं करता है। यह सीमा SSMs के उन अनुप्रयोगों में बाधा डालती है जो मल्टी-स्केल डायनेमिक्स (जैसे वित्तीय अस्थिरता, शारीरिक $1/f$ शोर, और नेटवर्क ट्रैफ़िक) द्वारा अभिलक्षित हैं, जो एक्सपोनेंशियल या यूनिफॉर्म वितरण के बजाय पावर-लॉ डिके कर्नेल प्रदर्शित करते हैं।

2. कार्यप्रणाली: फ्रैक्शनल HiPPO फ्रेमवर्क

यह शोध पत्र FRACTAL (फ्रैक्शनल रिकरेंट आर्किटेक्चर फॉर कंप्यूटेशनल टेम्पोरल एनालिसिस ऑफ लॉन्ग सीक्वेंसेस) का प्रस्ताव करता है, जो मेमोरी त्रिशंकु को हल करने के लिए HiPPO फ्रेमवर्क में फ्रैक्शनल कैलकुलस को एकीकृत करता है।

2.1 फ्रैक्शनल-ऑर्डर मेजर

मुख्य सैद्धांतिक नवाचार एक ट्यूनेबल सिंगुलैरिटी इंडेक्स $\alpha \in [0, 1)$ द्वारा परिभाषित फ्रैक्शनल-ऑर्डर मेजर $\mu(t)(x)$ का परिचय है:
$\mu(t)(x) = \frac{1-\alpha}{t^{1-\alpha}} (t-x)^{-\alpha} \mathbb{I}_{[0,t]}(x)$
यह मेजर यूनिफॉर्म डिस्ट्रीब्यूशन (LegS, जहाँ $\alpha=0$ ) और वर्तमान में केंद्रित मास (mass) के बीच मध्यस्थता करता है। यह एक पावर-लॉ वेटिंग $(t-\tau)^{-\alpha}$ प्रेरित करता है, जो दीर्घकालिक प्रतिधारण के लिए एक 'हेवी टेल' (heavy tail) बनाता है और स्थानीय संवेदनशीलता को बढ़ाने के लिए वर्तमान टाइमस्टेप पर एक सिंगुलैरिटी लागू करता है। महत्वपूर्ण रूप से, यह पावर-लॉ संरचना टेम्पोरल डिलेशन के तहत स्केल इनवेरिएंस को संरक्षित करती है, जो एक्सपोनेंशियल मेजर के विपरीत है।

2.2 सैद्धांतिक व्युत्पत्ति

ऑर्थोगोनल बेसिस: इस मेजर के लिए इष्टतम प्रोजेक्शन जैकोबी पॉलिनोमिअल्स $P_n^{(-\alpha, 0)}$ का उपयोग करके प्राप्त किया जाता है, जो मानक HiPPO-LegS में उपयोग किए जाने वाले लेजेंड्रे पॉलिनोमिअल्स का सामान्यीकरण है।
स्टेट स्पेस डायनेमिक्स: प्रोजेक्शन कोएफिशिएंट्स पर डाइमेंशनलेस ट्रांसफॉर्मेशन और इंटीग्रेशन बाय पार्ट्स लागू करके, लेखक एक लीनियर टाइम-वेरिंग (LTV) सिस्टम व्युत्पन्न करते हैं:
$\frac{d}{dt}x(t) = -\frac{1}{t} A(\alpha) x(t) + \frac{1}{t} B(\alpha) u(t)$
यहाँ $1/t$ कारक स्केल इनवेरिएंस का गणितीय हस्ताक्षर है।
सिस्टम मैट्रिसेस:
- इनपुट प्रोजेक्शन ( $B$ ): एक क्लोज्ड-फॉर्म समाधान व्युत्पन्न किया गया है जहाँ बाइनोमियल कोएफिशिएंट LegS की तुलना में धीमी गति से घटता है, जो प्रभावी रूप से हाई-फ्रीक्वेंसी इनपुट घटकों को बढ़ाता है।
- स्टेट ट्रांजिशन ( $A$ ): मैट्रिक्स $A(\alpha)$ लोअर ट्रायंगुलर है। एक प्रमुख सैद्धांतिक परिणाम यह है कि इसके डायगोनल एलिमेंट्स $\alpha$ के प्रति इनवेरिएंट हैं ( $A_{nn} = n+1$ ), जो यह सुनिश्चित करता है कि आइगेनवैल्यूज $\{1, 2, \dots, N\}$ पर स्थिर रहें। यह मेमोरी कंसंट्रेशन प्रोफाइल के बावजूद स्पेक्ट्रल स्टेबिलिटी की गारंटी देता है।

2.3 FRACTAL आर्किटेक्चर

कुशल समानांतर प्रशिक्षण (parallel training) को सक्षम करने के लिए, $1/t$ कारक को एक सीखने योग्य टाइमस्केल पैरामीटर $\Delta$ द्वारा बदलकर LTV सिस्टम को लीनियर टाइम-इनवेरिएंट (LTI) सिस्टम में ढाल दिया गया है।

स्पेक्ट्रल इनिशियलाइजेशन: मैट्रिक्स संरचनाओं का अनुमान लगाने के बजाय, FRACTAL डायगोनल स्पेक्ट्रम $\Lambda$ प्राप्त करने के लिए $A(\alpha)$ के प्रत्यक्ष संख्यात्मक आइजनडीकंपोजिशन (eigendecomposition) का उपयोग करता है।
फिजिकली-इन्फॉर्म्ड इनिशियलाइजेशन: इनपुट प्रोजेक्शन वेक्टर $\tilde{B}$ को फ्रैक्शनल मेजर से प्राप्त एनालिटिक क्लोज्ड-फॉर्म समाधान का उपयोग करके इनिशियलाइज किया जाता है, जो डायनेमिक्स को पावर-लॉ मेमोरी स्ट्रक्चर के साथ संरेखित करने के लिए एक प्रीकंडीशनर के रूप में कार्य करता है।
मल्टी-स्केल फ़िल्टर बैंक: स्टेट स्पेस को चैनलों में विभाजित किया गया है, जिनमें से प्रत्येक को एक विशिष्ट सिंगुलैरिटी इंडेक्स $\alpha_k$ $α_{k}$ सौंपा गया है। यह एक "फ्रैक्शनल फ़िल्टर बैंक" बनाता है जहाँ:
- कम $\alpha$ वाले चैनल लो-पास फ़िल्टर के रूप में कार्य करते हैं (वैश्विक संदर्भ बनाए रखते हैं)।
- उच्च $\alpha$ वाले चैनल हाई-पास फ़िल्टर के रूप में कार्य करते हैं (स्थानीय ट्रांजिएंट्स को बढ़ाते हैं)।
कंप्यूटेशन: डायगोनलाइज्ड सिस्टम को एसोसिएटिव स्कैन एल्गोरिदम के माध्यम से हल किया जाता है, जिससे $O(N \log L)$ जटिलता बनी रहती है।

3. मुख्य योगदान

सैद्धांतिक: HiPPO फ्रेमवर्क में फ्रैक्शनल-ऑर्डर पावर-लॉ मेजर का परिचय। यह पूर्ण-इतिहास प्रतिधारण, हालिया संवेदनशीलता और स्केल इनवेरिएंस की "असंभव त्रिमूर्ति" को सैद्धांतिक रूप से संतुष्ट करने वाला पहला मेजर है। लेखक कठोर व्युत्पत्ति प्रदान करते हैं कि जैकोबी पॉलिनोमिअल्स प्राकृतिक आधार (natural basis) हैं और स्टेट ट्रांजिशन मैट्रिक्स के आइगेनवैल्यूज सिंगुलैरिटी इंडेक्स के प्रति इनवेरिएंट रहते हैं।
आर्किटेक्चरल: इस सिद्धांत को FRACTAL आर्किटेक्चर में स्थापित करना, जिसमें हेटेरोजेनियस मेमोरी पैरामीटर्स (एक स्पेक्ट्रल फ़िल्टर बैंक) के साथ मल्टी-चैनल कॉन्फ़िगरेशन और एक एनालिटिक इनिशियलाइजेशन स्ट्रैटेजी शामिल है जो इनपुट प्रोजेक्शन के क्लोज्ड-फॉर्म समाधान का लाभ उठाती है।
अनुभवजन्य (Empirical): लॉन्ग रेंज एरिना (LRA) बेंचमार्क पर व्यापक सत्यापन, जो दर्शाता है कि फ्रैक्शनल मेजर मल्टी-स्केल रीजनिंग कार्यों में अनुभवजन्य लाभ (empirical gains) प्रदान करता है।

4. प्रयोगात्मक परिणाम

Long Range Arena (LRA) बेंचमार्क पर मूल्यांकन करते हुए, FRACTAL ने 87.11% का औसत स्कोर प्राप्त किया, जो समान सिंगल-GPU स्थितियों के तहत S5 (87.04%) और S4 (86.09%) से बेहतर प्रदर्शन करता है।

ListOps: FRACTAL ने 61.85% प्राप्त किया, जो S5 (61.10%) और S4 (59.60%) से आगे निकल गया। यह कार्य नेस्टेड गणितीय अभिव्यक्तियों को पार्स करने की आवश्यकता रखता है, जो वैश्विक ब्रैकेट स्ट्रक्चर (लो $\alpha$ ) और स्थानीय ऑपरेंड वैल्यूज (हाई $\alpha$ ) को एक साथ ट्रैक करने की मॉडल की क्षमता को प्रमाणित करता है।
Path-X: 16K की लंबाई वाली अनुक्रमों पर, FRACTAL 98.39% प्राप्त करता है, जो S5 (98.62%) के लगभग बराबर है, जो पुष्टि करता है कि फ्रैक्शनल सिंगुलैरिटी अत्यधिक क्षितिज (extreme horizons) पर ग्रेडिएंट प्रोपेगेशन से समझौता नहीं करती है।
संख्यात्मक सत्यापन (Numerical Verification): प्रयोग पुष्टि करते हैं कि जैसे-जैसे $\alpha$ बढ़ता है, मेमोरी डेंसिटी यूनिफॉर्म से हेवी-टेल्ड में बदल जाती है, और स्टेट ट्रांजिशन मैट्रिक्स के डायगोनल एलिमेंट्स इनवेरिएंट रहते हैं, जैसा कि सिद्धांत द्वारा भविष्यवाणी की गई थी।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि FRACTAL, HiPPO के इष्टतम प्रोजेक्शन सिद्धांत और फ्रैक्शनल कैलकुलस के मेमोरी गुणों के बीच के अंतर को पाटता है। फ्रैक्शनल कैलकुलस के माध्यम से अपने मेजर-थ्योरेटिकल फाउंडेशन को सामान्यीकृत करके, यह कार्य स्केल इनवेरिएंस से समझौता किए बिना शुद्ध इतिहास और शुद्ध हालियापन के बीच मेमोरी कर्नेल को ट्यून करने के लिए एक कठोर तंत्र प्रदान करता है।

लेखक FRACTAL को लीनियर टाइम-इनवेरिएंट (LTI) SSM प्रतिमान के भीतर एक मौलिक नवाचार के रूप में प्रस्तुत करते हैं। वे स्पष्ट रूप से मम्बा (Mamba) जैसे "सिलेक्टिव" (टाइम-वेरिंग) SSMs से अपने कार्य को अलग करते हैं, यह तर्क देते हुए कि एक मौलिक, स्क्रैच-फ्रॉम-द-ग्राउंड लर्निंग LTI नवाचार की तुलना अत्यधिक अनुकूलित, प्री-ट्रेंड सिलेक्टिव आर्किटेक्चर के विरुद्ध करना अलग-अलग अनुसंधान प्रतिमानों को मिला देना होगा। फलस्वरूप, पेपर यह दावा करता है कि फ्रैक्शनल मेजर विशेष रूप से पावर-लॉ रिजीम में एक संरचनात्मक लाभ प्रदान करता है, जो इसे वित्तीय समय श्रृंखला और शारीरिक सिग्नल विश्लेषण जैसे मल्टी-स्केल डायनेमिक्स और हेवी-टेल्ड टेम्पोरल डिपेंडेंसी वाले डोमेन के लिए विशेष रूप से उपयुक्त बनाता है।