🤖 machine learning

Caracal: Causal Architecture via Spectral Mixing

Caracal एक नवीन, पोर्टेबल और स्केलेबल आर्किटेक्चर है जो हार्डवेयर-विशिष्ट कार्यान्वयनों पर निर्भर किए बिना $\mathcal{O}(L \log L)$ लॉन्ग-सीक्वेंस मॉडलिंग प्राप्त करने के लिए अटेंशन (attention) को एक पैरामीटर-कुशल मल्टी-हेड फूरियर मॉड्यूल और एक फ्रीक्वेंसी-डोमेन कॉज़ल मास्किंग तकनीक से बदल देता है।

मूल लेखक: Bingzheng Gan, Tianyi Zhang, Yusu Li, Jing Huang, Wei Shi, Yangkai Ding, Tao Yu

प्रकाशित 2026-05-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bingzheng Gan, Tianyi Zhang, Yusu Li, Jing Huang, Wei Shi, Yangkai Ding, Tao Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ Caracal पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों (analogies) में तोड़ा गया है।

बड़ी समस्या: "लाइब्रेरी" की बाधा (The "Library" Bottleneck)

कल्पना कीजिए कि एक पुस्तकालय (एक Large Language Model) एक बहुत लंबी किताब पढ़ने की कोशिश कर रहा है।

पुराना तरीका (Transformers): लाइब्रेरियन को कहानी समझने के लिए हर एक पन्ने को पढ़ना होगा और उसे हर दूसरे पन्ने से तुलना करनी होगी। यदि किताब में 100 पन्ने हैं, तो वे 10,000 तुलनाएँ करेंगे। यदि किताब में 1,000 पन्ने हैं, तो वे 1,000,000 तुलनाएँ करेंगे। जैसे-जैसे किताब लंबी होती जाती है, यह घातीय रूप से (exponentially) धीमा होता जाता है। यह एक डिक्शनरी में हर शब्द को दूसरे हर शब्द के साथ तुलना करके एक विशिष्ट शब्द खोजने जैसा है।
"Mamba" वाला तरीका: कुछ नए मॉडल (जैसे Mamba) तेज़ हैं क्योंकि वे एक "स्लाइडिंग विंडो" या किसी विशेष मेमोरी ट्रिक का उपयोग करते हैं। हालाँकि, वे एक कस्टम-निर्मित मशीन की तरह हैं जो केवल एक विशिष्ट फैक्ट्री में काम करती है। यदि आप उस मशीन को किसी अन्य फैक्ट्री (अलग कंप्यूटर हार्डवेयर) में ले जाना चाहते हैं, तो वह टूट जाती है या उसे चलाने के लिए महंगे, कस्टम टूल्स की आवश्यकता होती है।

समाधान: Caracal

लेखकों ने Caracal बनाया है, जो कंप्यूटरों के लिए टेक्स्ट के लंबे अनुक्रमों (sequences) को पढ़ने और समझने का एक नया तरीका है। हर शब्द की हर दूसरे शब्द से तुलना करने के बजाय, Caracal फूरियर ट्रांसफॉर्म (Fourier Transform) नामक एक गणितीय ट्रिक का उपयोग करता है (इसे एक जटिल गाने को आवृत्तियों (frequencies) वाली एक सरल शीट संगीत में बदलने के रूप में सोचें)।

Caracal कैसे काम करता है, यहाँ तीन मुख्य विचारों का उपयोग किया गया है:

1. "रेडियो ट्यूनर" (स्पेक्ट्रल मिक्सिंग - Spectral Mixing)

शब्द-दर-शब्द पढ़ने के बजाय, Caracal पूरे वाक्य को एक रेडियो सिग्नल की तरह मानता है।

उदाहरण (Analogy): कल्पना कीजिए कि आपके पास लोगों की बातचीत से भरा एक शोर वाला कमरा है। पुराना तरीका (Attention) यह है कि हर व्यक्ति से दूसरे व्यक्ति को सुनने के लिए कहें ताकि पता चल सके कि कौन क्या बोल रहा है।
Caracal का तरीका: Caracal एक विशेष चश्मा पहनता है (फूरियर ट्रांसफॉर्म) जो तुरंत कमरे को अलग-अलग "आवृत्तियों" (frequencies) में विभाजित कर देता है। यह बिना हर जोड़ी को चेक किए, बातचीत के पैटर्न को तुरंत देख सकता है।
परिणाम: यह प्रक्रिया को बहुत तेज़ बनाता है। हर पन्ना जोड़ने पर समय दोगुना होने के बजाय, यह केवल थोड़ा सा बढ़ता है (जैसे $L \log L$ )। यह समुद्र तट पर रेत के हर कण को गिनने के बजाय समुद्र तट के आयतन (volume) को मापने जैसा है।

2. "एकतरफा रास्ता" (कॉज़ल मास्किंग - Causal Masking)

कहानियाँ लिखने (generative tasks) के लिए इस "रेडियो ट्यूनर" विधि का उपयोग करने के साथ एक बड़ी समस्या थी।

समस्या: जब आप एक कहानी लिखते हैं, तो आप केवल उन्हीं शब्दों का उपयोग कर सकते हैं जो आपने पहले ही लिख दिए हैं। आप भविष्य में झाँक नहीं सकते। पुराने "रेडियो ट्यूनर" तरीकों ने पूरे गाने को एक साथ देखा, जिसमें भविष्य के नोट्स भी शामिल थे, जिससे कहानी कहने के नियम टूट गए।
Caracal का समाधान: लेखकों ने एक विशेष "एकतरफा रास्ता" नियम बनाया। वे असममित पैडिंग और ट्रंकेशन (asymmetric padding and truncation) नामक तकनीक का उपयोग करते हैं।
उदाहरण (Analogy): कल्पना कीजिए कि आप एक रेडियो प्रसारण सुन रहे हैं। Caracal एक नियम सेट करता है जहाँ रेडियो केवल गाने के उस हिस्से को बजाता है जो पहले ही हो चुका है। यह गणितीय रूप से "भविष्य" के सिग्नल को ब्लॉक कर देता है ताकि मॉडल भविष्य में झाँककर नकल न कर सके। यह Caracal को इंसान की तरह शब्द-दर-शब्द कहानियाँ लिखने की अनुमति देता है, लेकिन तेज़ "फ्रीक्वेंसी" पद्धति का उपयोग करता है।

3. "नाम टैग" की आवश्यकता नहीं (नो पोजीशनल एनकोडिंग - No Positional Encodings)

पुराने मॉडलों को हर शब्द पर "नाम टैग" (Positional Encodings) चिपकाने की आवश्यकता होती थी ताकि कंप्यूटर को पता चल सके कि कौन सा शब्द पहले, दूसरा या तीसरा आया।

उदाहरण (Analogy): यह एक शिक्षक की तरह है जो हर छात्र को एक नंबर वाला बैज देता है ताकि उन्हें पता चल सके कि वे कहाँ बैठे हैं।
Caracal का समाधान: Caracal को बैज की आवश्यकता नहीं है। क्योंकि यह "रेडियो ट्यूनर" (फूरियर ट्रांसफॉर्म) का उपयोग करता है, गणित स्वयं स्वाभाविक रूप से क्रम को जानता है। गणित की लहरों (waves) में एक प्राकृतिक लय होती है जो मॉडल को बताती है, "यह पहला शब्द है, यह दूसरा है।" यह मॉडल को सरल बनाता है और इसे उन किताबों को संभालने में बेहतर बनाता है जो इसके प्रशिक्षण (training) के दौरान इस्तेमाल की गई किताबों से लंबी हैं।

दोनों दुनियाओं का सर्वश्रेष्ठ संगम (The Best of Both Worlds)

Caracal 100% "रेडियो ट्यूनर" नहीं है। लेखकों ने महसूस किया कि कभी-कभी आपको निकटतम पड़ोसियों को करीब से देखने की आवश्यकता होती है (जैसे पिछले कुछ शब्दों के व्याकरण की जाँच करना)।

हाइब्रिड दृष्टिकोण: Caracal मुख्य रूप से पूरी कहानी के लिए तेज़ "रेडियो ट्यूनर" का उपयोग करता है, लेकिन यह तत्काल शब्दों के लिए कुछ छोटे "स्लाइडिंग विंडोज़" (एक आवर्धक लेंस की तरह) को बनाए रखता है।
परिणाम: यह नए गणित की गति प्राप्त करता है लेकिन स्थानीय विवरणों के लिए पुराने तरीकों की सटीकता को भी बनाए रखता है।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

गति (Speed): यह मानक "लाइब्रेरी" विधि (Transformers) की तुलना में लंबे टेक्स्ट को बहुत तेज़ी से संभालता है और यह सबसे तेज़ नई विधियों (SSMs) के लगभग बराबर तेज़ है।
पोर्टेबिलिटी (Portability): "Mamba" मॉडल्स के विपरीत जिन्हें तेज़ चलने के लिए विशेष, कस्टम कंप्यूटर चिप्स की आवश्यकता होती है, Caracal मानक, उपलब्ध कंप्यूटर भागों का उपयोग करता है। आप इसे किसी भी कंप्यूटर पर चला सकते हैं बिना किसी विशेष फैक्ट्री की आवश्यकता के।
प्रदर्शन (Performance): परीक्षणों में, Caracal ने भाषा को समझने, तर्क करने और लंबे संदर्भों को याद रखने में शीर्ष मॉडलों के समान प्रदर्शन किया, लेकिन इसने यह सब एक सरल, अधिक लचीले डिज़ाइन के साथ किया।

संक्षेप में: Caracal AI के लिए एक नया इंजन है जो धीमे, भारी "सबकी तुलना करने वाले" तरीके को एक तेज़ "फ्रीक्वेंसी-आधारित" तरीके से बदल देता है, "भविष्य में झाँकने" की समस्या को हल करता है, और बिना किसी कस्टम टूल्स के मानक हार्डवेयर पर चलता है।

यहाँ शोध पत्र "Caracal: Causal Architecture via Spectral Mixing" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लंबे अनुक्रमों (sequences) के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) की स्केलेबिलिटी वर्तमान में मानक ट्रांसफॉर्मर आर्किटेक्चर में दो प्राथमिक संरचनात्मक बाधाओं के कारण बाधित है:

द्विघाती कम्प्यूटेशनल जटिलता (Quadratic Computational Complexity): सेल्फ-अटेंशन मैकेनिज्म अनुक्रम लंबाई $L$ के सापेक्ष $O(L^2)$ के रूप में स्केल करता है, जिससे लंबे संदर्भों (contexts) पर प्रशिक्षण और अनुमान (inference) अत्यधिक महंगा हो जाता है।
पोज़िशनल एनकोडिंग की सीमाएँ (Positional Encoding Limitations): अटेंशन परम्यूटेशन-इक्विवेरिएंट (permutation-equivariant) होता है, जिसके लिए बाहरी पोज़िशनल एनकोडिंग (जैसे RoPE, ALiBi) की आवश्यकता होती है। ये एनकोडिंग अक्सर प्रदर्शन को प्रशिक्षण संदर्भ लंबाई तक सीमित कर देते हैं, जिससे लंबाई एक्सट्रपलेशन (length extrapolation) के दौरान अस्थिरता आती है।

यद्यपि विकल्प मौजूद हैं, लेकिन उनके महत्वपूर्ण दोष हैं:

स्टेट स्पेस मॉडल्स (SSMs जैसे Mamba): ये रैखिक $O(L)$ जटिलता प्राप्त करते हैं लेकिन हार्डवेयर-विशिष्ट कस्टम CUDA कर्नेल्स (जैसे selective scans) पर बहुत अधिक निर्भर करते हैं, जो पोर्टेबिलिटी, संशोधन और व्यापक उपयोग में बाधा डालते हैं।
फूरियर-आधारित मॉडल (Fourier-based Models): ये $O(L \log L)$ जटिलता प्रदान करते हैं, लेकिन ऐतिहासिक रूप से जेनरेटिव (autoregressive) कार्यों में विफल रहे हैं क्योंकि फ्रीक्वेंसी डोमेन में कौज़ैलिटी (causality) को लागू करना (यह सुनिश्चित करना कि टोकन $t$ केवल $0 \dots t$ को ही देखे) कठिन है बिना पैरेललिज्म या दक्षता को तोड़े।

2. कार्यप्रणाली: Caracal आर्किटेक्चर (Methodology: The Caracal Architecture)

Caracal एक नवीन डिकोडर-ओनली आर्किटेक्चर है जो ग्लोबल अटेंशन मैकेनिज्म को एक मल्टी-हेड फूरियर (MHF) मॉड्यूल से बदल देता है, जबकि स्थानीय सटीकता के लिए अटेंशन परतों के एक छोटे अंश को बनाए रखता है।

मुख्य घटक (Core Components)

मल्टी-हेड फूरियर (MHF) मॉड्यूल:
- मैकेनिज्म: अटेंशन के बजाय, MHF फास्ट फूरियर ट्रांसफॉर्म (FFT) का उपयोग करके फ्रीक्वेंसी डोमेन में टोकन जानकारी को मिक्स करता है।
- डेटा-डिपेंडेंट मिक्सिंग: स्टैटिक फूरियर ट्रांसफॉर्म (जैसे FNet) के विपरीत, Caracal डायनेमिक फिल्टर्स उत्पन्न करता है। यह इनपुट को एक कंटेंट स्ट्रीम ( $x_v$ ) और एक गेट स्ट्रीम ( $x_g$ ) में विभाजित करता है।
- फ्रीक्वेंसी डोमेन ऑपरेशन: दोनों स्ट्रीम्स को FFT के माध्यम से रूपांतरित किया जाता है। गेट स्ट्रीम एडैप्टिवली कंटेंट स्ट्रीम को एलिमेंट-वाइज मल्टीप्लिकेशन ( $V_{fft} \odot G_{fft}$ ) के माध्यम से मॉड्युलेट करती है। यह गणितीय रूप से टाइम डोमेन में एक 'कॉज़ल कन्वेल्शन' (causal convolution) के समान है।
- जटिलता: यह ऑपरेशन $O(L \log L)$ में चलता है।
फ्रीक्वेंसी-डोमेन कॉज़ल मास्किंग (Frequency-Domain Causal Masking):
- चुनौती: मानक FFT ग्लोबल सम (global sums) की गणना करता है, जो कौज़ैलिटी का उल्लंघन करता है।
- समाधान: Caracal एक "pad-FFT-multiply-iFFT-truncate" पाइपलाइन का उपयोग करता है।
  - FFT से पहले इनपुट अनुक्रमों को दोगुनी लंबाई ( $2L$ ) तक पैड किया जाता है।
  - इनवर्स FFT (iFFT) के बाद, परिणाम को वापस लंबाई $L$ तक ट्रंकेट (truncate) कर दिया जाता है।
  - यह गणितीय रूप से सुनिश्चित करता है कि समय $t$ पर आउटपुट केवल $0 \dots t$ के इनपुट्स पर निर्भर करता है, जो बिना किसी अनुक्रमिक स्कैनिंग या इंटरमीडिएट वेट्स को मास्क किए, प्रभावी रूप से कौज़ैलिटी को लागू करता है।
हाइब्रिड डिज़ाइन (MHF + Sliding Window Attention):
- उन सूक्ष्म स्थानीय निर्भरताओं (n-grams) को पकड़ने के लिए जिन्हें ग्लोबल स्पेक्ट्रल मिक्सिंग मिस कर सकती है, Caracal स्लाइडिंग विंडो अटेंशन (SWA) परतों (जैसे, MHF और SWA का 2:1 अनुपात) की एक छोटी संख्या को बनाए रखता है।
- महत्वपूर्ण रूप से, क्योंकि MHF साइनुसोइडल बेसिस फंक्शन्स के माध्यम से स्वाभाविक रूप से ग्लोबल पोज़िशनल इंफॉर्मेशन कैप्चर करता है, इस आर्किटेक्चर से स्पष्ट पोज़िशनल एनकोडिंग को पूरी तरह से हटा दिया गया है।
हार्डवेयर एग्नोस्टिसिज्म (Hardware Agnosticism):
- Mamba के विपरीत, Caracal केवल मानक लाइब्रेरी ऑपरेटर्स (FFT, स्टैंडर्ड कन्वेल्शन्स, लीनियर प्रोजेक्शन्स) पर निर्भर करता है। यह सुनिश्चित करता है कि बिना कस्टम कर्नेल्स के विभिन्न हार्डवेयर वातावरणों में इसकी उच्च पोर्टेबिलिटी बनी रहे।

3. मुख्य योगदान (Key Contributions)

नवीन ऑटोरिग्रेसिव फूरियर मॉड्यूल: MHF मॉड्यूल का परिचय, जो अटेंशन को गेटेड, डेटा-डिपेंडेंट स्पेक्ट्रल मिक्सिंग के साथ बदल देता है, जिससे $O(L \log L)$ जटिलता प्राप्त होती है।
फ्रीक्वेंसी-डोमेन कॉज़ल मास्किंग: असिमेट्रिक पैडिंग और ट्रंकेशन का उपयोग करने वाली एक तकनीक जो फ्रीक्वेंसी डोमेन में सख्त कौज़ैलिटी को लागू करती है, जिससे वह प्राथमिक बाधा दूर हो जाती है जिसने पहले फूरियर मॉडल्स को केवल एनकोडर-ओनली कार्यों तक सीमित कर दिया था।
पोज़िशन-एनकोडिंग-फ्री आर्किटेक्चर: मॉडल ने स्पष्ट पोज़िशनल एनकोडिंग (RoPE, आदि) की आवश्यकता को समाप्त कर दिया है क्योंकि फूरियर ट्रांसफॉर्म के बेसिस फंक्शन्स स्वाभाविक रूप से रिलेटिव पोज़िशन को एनकोड करते हैं। यह सैद्धांतिक रूप से लंबाई एक्सट्रपलेशन (length extrapolation) में सुधार करता है।
पोर्टेबिलिटी और सरलता: कस्टम CUDA कर्नेल्स के बजाय मानक ऑपरेटर्स का उपयोग करके, Caracal लंबी-संदर्भ (long-context) मॉडल्स के प्रयोग और परिनियोजन (deployment) के लिए प्रवेश बाधाओं को कम करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न स्केल्स (Tiny से Large तक) और बेंचमार्क में मानक ट्रांसफॉर्मर (Llama), शुद्ध SSMs (Mamba, Mamba-2), और हाइब्रिड मॉडल्स (Jamba) के विरुद्ध Caracal का मूल्यांकन किया।

प्रदर्शन (Performance): Caracal अत्याधुनिक बेसलाइन्स के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।
- कॉमन सेंस रीजनिंग और लैंग्वेज मॉडलिंग बेंचमार्क (जैसे Hellaswag, ARC, LAMBADA) पर, Caracal Mamba और Jamba के बराबर या उनसे बेहतर प्रदर्शन करता है, और Llama के साथ प्रतिस्पर्धी बना रहता है।
- लॉन्ग-कॉन्टेक्स्ट रिट्रीवल कार्यों (SWDE, FDA) में, Caracal अन्य सब-क्वाड्रेटिक मॉडल्स के समान प्रदर्शन करता है, हालांकि यह फाइन-ग्रेंड रिट्रीवल रेजोल्यूशन में डेंस अटेंशन मॉडल्स (Llama) से थोड़ा पीछे रहता है।
स्केलिंग और दक्षता (Scaling & Efficiency):
- थ्रूपुट (Throughput): Caracal लगभग रैखिक स्केलिंग ( $O(L \log L)$ ) प्रदर्शित करता है। 8192 की कॉन्टेक्स्ट लेंथ पर, यह Llama की तुलना में ट्रेनिंग समय में लगभग 3 गुना तेज़ है।
- SSMs के साथ तुलना: Caracal का थ्रूपुट Mamba/Mamba-2 के तुलनीय है, लेकिन बिना हार्डवेयर-विशिष्ट अनुकूलन बाधाओं के।
एब्लेशन स्टडीज (Ablation Studies):
- स्पष्ट पोज़िशनल एनकोडिंग को हटाने से कोई नकारात्मक प्रभाव नहीं पड़ा, जो MHF की अंतर्निहित पोज़िशनल अवेयरनेस की पुष्टि करता है।
- MHF और SWA परतों का 2:1 अनुपात "स्वीट स्पॉट" पाया गया, जो ग्लोबल मिक्सिंग दक्षता और लोकल फीचर प्रिसिजन के बीच संतुलन बनाता है।

5. महत्व (Significance)

Caracal, ट्रांसफॉर्मर और SSMs दोनों के लिए एक व्यावहारिक, स्केलेबल और हार्डवेयर-एग्नोस्टिक विकल्प प्रदान करके कुशल सीक्वेंस मॉडलिंग में एक महत्वपूर्ण कदम का प्रतिनिधित्व करता है।

दूरी को पाटना (Bridging the Gap): यह स्पेक्ट्रल मेथड्स की सैद्धांतिक दक्षता और ऑटोरिग्रेसिव जनरेशन की व्यावहारिक आवश्यकताओं के बीच सफलतापूर्वक सेतु बनाता है।
लोकतांत्रीकरण (Democratization): कस्टम कर्नेल्स के बजाय मानक ऑपरेटर्स पर निर्भर करके, यह विविध हार्डवेयर पर लॉन्ग-कॉन्टेक्स्ट मॉडल्स के प्रयोग और परिनियोजन के लिए प्रवेश बाधाओं को कम करता है।
भविष्य की क्षमता: यह आर्किटेक्चर ट्रिलियन-पैरामीटर मॉडल्स के लिए एक मजबूत आधार प्रदान करता है, जो संभावित रूप से बड़े लैंग्वेज मॉडल्स को प्रशिक्षित करने से जुड़ी ऊर्जा खपत और कार्बन फुटप्रिंट को कम कर सकता है।

संक्षेप में, Caracal यह प्रदर्शित करता है कि स्पेक्ट्रल मिक्सिंग को जब एक नवीन कॉज़ल मास्किंग तकनीक और हाइब्रिड लोकल-ग्लोबल डिज़ाइन के साथ जोड़ा जाता है, तो यह अटेंशन-आधारित और SSM-आधारित मॉडल्स की बराबरी कर सकता है और साथ ही बेहतर पोर्टेबिलिटी और स्केलेबिलिटी भी प्रदान कर सकता है।