💬 NLP

Harmonic: Hierarchical State Space Models for Efficient Long-Context Language Modeling

यह शोध पत्र Harmonic को प्रस्तुत करता है, जो एक पदानुक्रमित (hierarchical) स्टेट स्पेस मॉडल है जो ट्रांसफॉर्मर्स और मंबा की तुलना में लॉन्ग-कॉन्टेक्स्ट लैंग्वेज मॉडलिंग में बेहतर दक्षता और प्रदर्शन प्राप्त करने के लिए तीन आवर्ती टाइमस्केल्स (recurrent timescales) पर प्रेडिक्शन एरर्स को प्रोसेस करता है, जबकि 1B-पैरामीटर वाले मॉडल्स में लीनियर कम्प्यूटेशनल कॉम्प्लेक्सिटी के साथ 64K टोकन्स तक सफलतापूर्वक स्केल करता है और पोजीशनल एनकोडिंग की सीमाओं को समाप्त करता है।

मूल लेखक: Petr Nyoma

प्रकाशित 2026-06-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Petr Nyoma

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: भाषा के संगीत को सुनना

कल्पना कीजिए कि आप संगीत सुन रहे हैं। इसे समझने के लिए, आपको एक साथ तीन चीजें सुनने की आवश्यकता है:

नोट (The Note): अभी क्या हो रहा है? (तत्काल ध्वनि)।
फ्रेज़ (The Phrase): यह नोट पिछले कुछ सेकंडों में कैसे फिट बैठता है? (धून/मेलोडी)।
गाना (The Song): पूरे ट्रैक का समग्र मूड या संरचना क्या है? (बड़ी तस्वीर)।

वर्तमान AI मॉडल (जैसे ट्रांसफॉर्मर) एक ऐसे श्रोता की तरह हैं जो हर एक नोट को बिल्कुल समान वॉल्यूम के साथ सुनते हैं, चाहे वह एक सेकंड पहले हुआ हो या एक घंटे पहले। जब गाना बहुत लंबा हो जाता है, तो वे घबरा जाते हैं।

यह पेपर Harmonic पेश करता है, जो एक नया प्रकार का AI आर्किटेक्चर है जिसे एक मानव संगीतकार की तरह सुनने के लिए डिज़ाइन किया गया है। यह केवल "सब कुछ" नहीं सुनता; यह जानकारी को समझने के लिए सूचना को तीन अलग-अलग गति (टाइमस्केल्स) में व्यवस्थित करता है ताकि वह नोट, फ्रेज़ और गाने को एक साथ समझ सके।

यह कैसे काम करता है: तीन-स्तरीय ऑर्केस्ट्रा

Harmonic एक तीन-मंजिला इमारत की तरह बना है, जहाँ प्रत्येक मंजिल सूचना की अलग गति को संभालती है:

फ्लोर 1 (तेज़): यह स्तर तत्काल संदर्भ (जैसे वर्तमान शब्द) को प्रोसेस करता है। यह चीजों को जल्दी भूल जाता है, केवल इस पर ध्यान केंद्रित करता है कि अभी क्या हो रहा है।
फ्लोर 2 (मध्यम): यह स्तर मध्य स्तर (जैसे एक वाक्य या पैराग्राफ) को प्रोसेस करता है। यह जानकारी को लंबे समय तक थामे रखता है।
फ्लोर 3 (धीमा): यह स्तर दीर्घकालिक संदर्भ (जैसे पूरी कहानी) को प्रोसेस करता है। यह बहुत धीरे बदलता है, जिससे "बड़ी तस्वीर" जीवित रहती है।

सीक्रेट सॉस: "एरर" (त्रुटि) संदेशवाहक
आमतौर पर, इन मॉडल्स में, एक फ्लोर बस अपना कच्चा डेटा (raw data) अगले फ्लोर को पास कर देता है। Harmonic कुछ अलग करता है। यह श्रृंखला में ऊपर की ओर केवल गलतियों (प्रेडिक्शन एरर) को पास करता है।

उपमा: कल्पना कीजिए कि एक मैनेजर (फ्लोर 3) एक वर्कर (फ्लोर 1) से पूछता है, "तुमने कहाँ गलती की?" वर्कर पूरी रिपोर्ट नहीं भेजता; वे केवल त्रुटियों की एक सूची भेजते हैं। मैनेजर बड़ी तस्वीर की समझ को ठीक करने के लिए उन विशिष्ट त्रुटियों का उपयोग करता है। यह सिस्टम को कुशल और केंद्रित रखता है कि वास्तव में क्या सीखा जाना चाहिए।

परिणाम: यह लंबी दौड़ में क्यों जीतता है

शोधकर्ताओं ने Harmonic का परीक्षण दो अन्य लोकप्रिय मॉडल्स के विरुद्ध किया: एक मानक Transformer और Mamba (एक नया, तेज़ मॉडल)। उन्होंने एक सख्त नियम का उपयोग किया: "समान टोकन बजट।" इसका मतलब है कि प्रत्येक मॉडल को प्रशिक्षण के दौरान ठीक उतनी ही मात्रा में टेक्स्ट पढ़ने को मिला।

1. छोटी दौड़ (1,000 शब्द)

परिणाम: यदि टेक्स्ट छोटा है, तो पुराना स्कूल वाला ट्रांसफॉर्मर वास्तव में थोड़ा बेहतर है।
क्यों: छोटी कहानियों के लिए, ट्रांसफॉर्मर का "सब कुछ सुनने वाला" दृष्टिकोण ठीक काम करता है। यह एक अखरोट तोड़ने के लिए हथौड़े का उपयोग करने जैसा है—यह बहुत अधिक है, लेकिन काम चला देता है।

2. लंबी दौड़ (8,000 से 32,000 शब्द)

परिणाम: जैसे-जैसे टेक्स्ट लंबा होता है, Harmonic काफी आगे निकल जाता है।
- 8,000 शब्दों पर, Harmonic ट्रांसफॉर्मर से 6.7% बेहतर है।
- 32,000 शब्दों पर, यह 11.4% बेहतर है।
उपमा: कल्पना कीजिए कि आप मैराथन दौड़ रहे हैं। ट्रांसफॉर्मर एक स्प्रिंटर (धावक) है जो दौड़ के दौरान थक जाता है और धीमा हो जाता है। Harmonic एक मैराथन धावक है जिसका पेसिंग (गति नियंत्रण) एकदम सही है। दौड़ जितनी लंबी होगी, अंतर उतना ही बड़ा होता जाएगा।

3. "मेमोरी वॉल" (64,000 शब्द)

परिणाम: जब टेक्स्ट 64,000 शब्दों तक पहुँचा, तो अन्य दोनों मॉडल्स (Transformer और Mamba) क्रैश हो गए। वे कंप्यूटर मेमोरी (RAM) की कमी के कारण रुक गए और काम करना बंद कर दिया।
Harmonic की उपलब्धि: Harmonic चलता रहा। इसने इस विशाल लंबाई पर सफलतापूर्वक प्रशिक्षण लिया, और 6.169 का स्कोर प्राप्त किया।
क्यों: अन्य मॉडल्स हर शब्द के बीच के हर संबंध को याद रखने की कोशिश करते हैं, जिसके लिए भारी मात्रा में मेमोरी की आवश्यकता होती है जो तेजी से बढ़ती है (जैसे पहाड़ से लुढ़कता हुआ हिमखंड)। Harmonic एक लीनियर (रैखिक) दृष्टिकोण का उपयोग करता है (एक स्थिर धारा की तरह), इसलिए यह कभी भी मेमोरी की कमी का सामना नहीं करता, चाहे कहानी कितनी भी लंबी क्यों न हो।

"Hallamonic" प्रयोग: बड़े मॉडल्स के लिए एक त्वरित समाधान

शोधकर्ताओं ने यह भी पूछा: "क्या हम एक विशाल, प्री-ट्रेन किए गए AI (TinyLlama) को ले सकते हैं और उसे पूरी तरह से फिर से ट्रेन किए बिना लंबी कहानियों के लिए बेहतर बनाने के लिए उसका दिमाग बदल सकते हैं?"

सेटअप: उन्होंने TinyLlama (एक 1-बिलियन पैरामीटर वाला मॉडल) लिया और उसके सभी "अटेंशन" लेयर्स को Harmonic के "SSM" लेयर्स से बदल दिया। उन्होंने इस नए मॉडल को Hallamonic नाम दिया।
TinyLlama के साथ समस्या: TinyLlama की एक सख्त सीमा है। यह केवल लगभग 2,000 शब्द समझ सकता है। यदि आप इसे 4,000 शब्दों की कहानी देते हैं, तो यह भ्रमित हो जाता है और इसका प्रदर्शन गिर जाता है (जैसे कार दीवार से टकरा जाती है)।
Hallamonic का परिणाम: लेयर्स को बदलकर, नए मॉडल ने स्पीड लिमिट हटा दी।
- 8,000 शब्दों पर, मूल TinyLlama बहुत खराब था (इसकी एरर रेट 10 अंक बढ़ गई)।
- Hallamonic शांत और सुसंगत रहा, और 8,000 शब्दों पर भी उतना ही अच्छा प्रदर्शन किया जितना कि 1,000 शब्दों पर।
लागत: उन्होंने यह पूरा प्रयोग लगभग $15 की कंप्यूटिंग लागत में पूरा किया।

सारांश

समस्या: वर्तमान AI मॉडल्स बहुत लंबे टेक्स्ट पढ़ते समय भ्रमित हो जाते हैं और उनकी मेमोरी खत्म हो जाती है।
समाधान: Harmonic एक "हाइरार्किकल" (श्रेणीबद्ध) प्रणाली का उपयोग करता है (तेज़, मध्यम, धीमा) जो स्तरों के बीच केवल "त्रुटियों" को पास करता है, जो मनुष्यों द्वारा संगीत और कहानियों को प्रोसेस करने के तरीके की नकल करता है।
लाभ: यह बहुत छोटे कार्यों के लिए थोड़ा कमज़ोर है लेकिन लंबे कार्यों के लिए बहुत बेहतर है। यह उस टेक्स्ट की लंबाई को संभाल सकता है जो अन्य मॉडल्स को क्रैश कर देती है, और वह भी कम कंप्यूटर पावर का उपयोग करके।
निष्कर्ष: यदि आपको एक ऐसे AI की आवश्यकता है जो बिना शुरुआत को भूले पूरी किताब या लंबा दस्तावेज़ पढ़ सके, तो Harmonic वह आर्किटेक्चर है जो इसे कुशलतापूर्वक संभव बनाता है।

तकनीकी सारांश: हार्मोनिक (Harmonic) – कुशल दीर्घ-संदर्भ भाषा मॉडलिंग के लिए पदानुक्रमित अवस्था स्थान मॉडल (Hierarchical State Space Models)

1. समस्या विवरण

यह शोध पत्र दीर्घ-संदर्भ भाषा मॉडलिंग (long-context language modeling) की दो प्राथमिक चुनौतियों को संबोधित करता है:

गणना संबंधी जटिलता (Computational Complexity): मानक ट्रांसफॉर्मर (Transformers) सेल्फ-अटेंशन पर निर्भर करते हैं, जिसके लिए प्रत्येक परत में $O(L^2)$ गणना और मेमोरी की आवश्यकता होती है, जहाँ $L$ अनुक्रम की लंबाई है। यह लंबे अनुक्रमों (जैसे, $L=32,768$ पर, अटेंशन लागत $L=1,024$ की तुलना में प्रति टोकन $1,024\times$ अधिक है) के लिए एक निषेधात्मक लागत पैदा करता है।
दीर्घ-संदर्भ प्रदर्शन (Long-Context Performance): हालांकि मम्बा (Mamba) जैसे स्टेट स्पेस मॉडल्स (SSMs) $O(L)$ जटिलता प्रदान करते हैं, पिछले कार्यों ने सख्त, समान-टोकन-बजट तुलनाओं के तहत दीर्घ संदर्भों में गुणवत्ता संबंधी लाभों को लगातार प्रदर्शित नहीं किया है। इसके अतिरिक्त, मौजूदा मॉडलों में अक्सर कई समयावधि (temporal scales) को एक साथ संभालने के लिए एक स्पष्ट तंत्र का अभाव होता है।

मुख्य शोध प्रश्न यह है कि क्या एक पदानुक्रमित SSM आर्किटेक्चर के भीतर कई 'टाइमस्केल्स' (timescales) को स्पष्ट रूप से मॉडल करना, ट्रांसफॉर्मर और फ्लैट-स्टेट SSM दोनों की तुलना में भाषा मॉडलिंग प्रदर्शन और दक्षता में सुधार करता है।

2. कार्यप्रणाली: हार्मोनिक आर्किटेक्चर (The Harmonic Architecture)

हार्मोनिक एक पदानुक्रमित SSM है जिसमें तीन स्टैक्ड रिकरेंट स्तर (recurrent levels) शामिल हैं जो प्रगतिशील रूप से धीमी समयावधियों ( $\tau_1 \ll \tau_2 \ll \tau_3$ ) पर कार्य करते हैं।

मुख्य घटक

टाइमस्केल पदानुक्रम (Timescale Hierarchy): प्रत्येक स्तर $\ell \in \{1, 2, 3\}$ एक छिपी हुई अवस्था (hidden state) $h_\ell$ बनाए रखता है जिसे एक सीखे गए, डेटा-निर्भर पुनरावृत्ति (recurrence) द्वारा अपडेट किया जाता है:
$h_\ell(t) = A_\ell(t) \odot h_\ell(t-1) + b_\ell(t)$
यहाँ, $A_\ell(t)$ इनपुट टोकन से गणना किया गया एक 'डिके गेट' (decay gate) है, जो मॉडल को अप्रासंगिक संदर्भ को चुनिंदा रूप से गेट करने की अनुमति देता है। प्रारंभिक सेटअप (initialization) प्रत्येक स्तर को एक विशिष्ट टाइमस्केल रेंज तक सीमित करता है: स्तर 1 तेज़ (स्थानीय) संदर्भ को संभालता है, जबकि स्तर 3 धीमे (दीर्घ-दूरी) संदर्भ को संभालता है।
भविष्यवाणी-त्रुटि अंतर-स्तरीय संकेत (Prediction-Error Inter-Level Signals): कच्चे छिपे हुए अवस्थाओं को ऊपर भेजने के बजाय, प्रत्येक स्तर $\ell$ एक रैखिक मानचित्र $P_\ell$ के माध्यम से निचले स्तर ( $\ell-1$ ) की अवस्था की भविष्यवाणी करता है। भविवाणी त्रुटि $e_\ell = h_{\ell-1} - P_\ell(h_\ell)$ को सामान्यीकृत किया जाता है और स्तर $\ell+1$ में इनपुट के रूप में भेजा जाता है। यह डिज़ाइन प्रेडिक्टिव कोडिंग (predictive coding) से प्रेरित है, जहाँ उच्च स्तरों को अवशेष संकेत (residual signals) प्राप्त होते हैं (वह जो निचले स्तरों द्वारा विफल रहा)।
आउटपुट एकत्रीकरण (Output Aggregation): तीनों स्तरों के आउटपुट को जोड़ा जाता है ( $h_1 + h_2 + h_3$ ) और एक एकल रैखिक भाषा मॉडलिंग हेड के माध्यम से पारित किया जाता है।
जटिलता (Complexity): आर्किटेक्चर पूरी तरह से रिकरेंट है जिसमें कोई अटेंशन तंत्र नहीं है, जिसके परिणामस्वरूप प्रति परत $O(L)$ गणना और मेमोरी होती है। यह कुशल GPU प्रशिक्षण के लिए समानांतर स्कैन एल्गोरिदम का उपयोग करता है।

प्रशिक्षण प्रोटोकॉल

लेखक एक सख्त समान-बजट प्रोटोकॉल (equal-budget protocol) का उपयोग करते हैं: सभी मॉडलों (Harmonic, Transformer, Mamba) को समान डेटासेट (enwiki8, WikiText-103, WikiText-2) पर समान टोकनाइज़र, ऑप्टिमाइज़र, लर्निंग रेट शेड्यूल्स, ग्रेडिएंट क्लिपिंग और कुल प्रशिक्षण टोकन के साथ प्रशिक्षित किया गया है। यह सुनिश्चित करता है कि प्रदर्शन के अंतर ट्यूनिंग या डेटा वॉल्यूम के बजाय आर्किटेक्चर के कारण हैं।

3. मुख्य परिणाम

लघु-स्तरीय क्रॉसओवर अध्ययन (28M पैरामीटर्स)

enwiki8 डेटासेट पर, हार्मोनिक परीक्षण किए गए प्रत्येक अनुक्रम लंबाई (1K से 32K टोकन) पर तुलनीय ट्रांसफॉर्मर और मम्बा दोनों से बेहतर प्रदर्शन करता है।

प्रदर्शन अंतराल (Performance Gap): ट्रांसफॉर्मर पर बढ़त (H–TF गैप) संदर्भ लंबाई के साथ बढ़ती है, जो 1K टोकन पर +1.4% से बढ़कर 32K टोकन पर +11.4% हो जाती है।
मम्बा के साथ तुलना: हार्मोनिक सभी लंबाई में मम्बा से लगातार 0.7–1.8% बेहतर प्रदर्शन करता है, जो बताता है कि पदानुक्रमित टाइमस्केल्स फ्लैट-स्टेट SSMs की तुलना में अतिरिक्त लाभ प्रदान करते हैं।
मेमोरी दक्षता: 64K टोकन पर, ट्रांसफॉर्मर और मम्बा दोनों 80GB H100 GPU पर CUDA Out-of-Memory (OOM) त्रुटियों के कारण विफल हो जाते हैं। हार्मोनिक सफलतापूर्वक प्रशिक्षित होता है, जो 6.169 bpt (बिट्स प्रति टोकन) तक पहुँचता है, जो इसकी $O(L)$ मेमोरी बढ़त को प्रदर्शित करता है।
स्केलिंग (Scaling): दीर्घ-संदर्भ लाभ मॉडल के आकार (7M से 112M पैरामीटर्स) में बना रहता है। हालाँकि, छोटे संदर्भों (1K टोकन) और बड़े पैमाने (~100M+ पैरामीटर्स) पर, ट्रांसफॉर्मर कभी-कभी जीत जाता है (जैसे, 100M पैरामीटर्स पर +3.2%), जिसका कारण सघन, छोटे अनुक्रमों में एसोसिएटिव रिकॉल (associative recall) की उपयोगिता है।

क्रॉस-डेटासेट सत्यापन

परिणाम WikiText-103 पर भी दोहराए गए हैं, जो S4 और Mamba के लिए मानक बेंचमार्क है। H–TF गैप 1K पर +1.7% से बढ़कर 32K टोकन पर +7.2% हो जाता है, जो पुष्टि करता है कि निष्कर्ष बाइट-लेवल एनकोडिंग के आर्टिफैक्ट नहीं हैं।

एब्लेशन अध्ययन (Ablation Studies)

टाइमस्केल पदानिध (Timescale Hierarchy): पदानुक्रम को हटाने (तीनों स्तरों के लिए समान टाइमस्केल का उपयोग करने) से महत्वपूर्ण प्रदर्शन गिरावट (0.501 bpt) होती है, जो टाइमस्केल पदानुक्रम को लाभ के प्राथमिक स्रोत के रूप में पहचानती है।
भविवाणी त्रुटि (Prediction Error): त्रुटि संकेतों को कच्चे छिपे हुए अवस्थाओं से बदलने पर नगण्य अंतर ( $\le 0.022$ bpt) देखा गया, जो यह दर्शाता है कि त्रुटि संकेत एक आर्किटेक्चरल विकल्प है न कि प्रदर्शन चालक।

बड़े पैमाने पर अनुप्रयोग: हैलमोनिक (Hallamonic) (1B पैरामीटर्स)

लेखकों ने एक प्री-ट्रेंड TinyLlama 1.1B मॉडल के सभी 22 अटेंशन लेयर्स को HarmonicBlock मॉड्यूल से बदल दिया, जिसमें FFN और एम्बेडिंग्स को फ्रीज़ रखा गया।

पोजीशनल सीमाओं को हटाना: TinyLlama, जो रोटरी पोजीशनल एम्बेडिंग (RoPE) के कारण 2K टोकन तक सीमित है, अपनी सीमा के बाद विनाशकारी गिरावट (+9.4 से +10.5 bpt) का सामना करता है। परिणामी Hallamonic मॉडल स्वतंत्र बेंचमार्क (Lambada, fineweb-edu held-out) पर 1K, 4K और 8K टोकन पर स्थिर लॉस बनाए रखता है।
दक्षता: इस एकीकरण के लिए केवल ~$15 की कंप्यूटिंग की आवश्यकता थी (दो-चरण फाइन-ट्यूनिंग) और इसके लिए शून्य से प्रशिक्षण की आवश्यकता नहीं थी।

4. महत्व और दावे

शोध पत्र दावा करता है कि हार्मोनिक यह प्रदर्शित करता है कि स्पष्ट मल्टी-टाइमस्केल रिकरेंस दीर्घ-संदर्भ मॉडलिंग के लिए सेल्फ-अटेंशन का एक व्यवहार्य और बेहतर विकल्प है।

आर्किटेक्चरल लाभ: हार्मोनिक और ट्रांसफॉर्मर के बीच प्रदर्शन का अंतर संदर्भ लंबाई बढ़ने के साथ बढ़ता है, जो सीधे $O(L^2)$ से $O(L)$ जटिलता की ओर बदलाव से संबंधित है।
व्यावहारिक व्यवहार्यता: एक 1B पैरामीटर वाले मॉडल (Hallamonic) में HarmonicBlock का सफल प्रत्यारोपण यह सिद्ध करता है कि SSM मॉड्यूल पूर्ण पुन: प्रशिक्षण के बिना मौजूदा प्री-ट्रेंड LLMs में अटेंशन को बदल सकते हैं।
मेमोरी वॉल समाधान: हार्मोनिक परीक्षण किया गया एकमात्र मॉडल है जो उपभोक्ता-ग्रेड हाई-एंड हार्डवेयर (80GB H100) पर 64K अनुक्रमों पर प्रशिक्षण करने में सक्षम है, जो उस मेमोरी वॉल को पार करता है जो ट्रांसफॉर्मर और मम्बा प्रशिक्षण को इस पैमाने पर रोक देती है।

लेखक विनम्र रहते हुए नोट करते हैं कि ट्रांसफॉर्मर बड़े पैरामीटर काउंट के साथ छोटे संदर्भों में लाभ बनाए रखता है और दीर्घ-संदर्भ लाभ को 112M से परे पैरामीटर स्केल (1B फाइन-ट्यून्ड प्रयोग को छोड़कर) पर अभी तक सत्यापित नहीं किया गया है। यह कार्य सार्वभौमिक श्रेष्ठता का दावा नहीं करता है बल्कि विशेष रूप से दीर्घ-संदर्भ भाषा मॉडलिंग की दक्षता और गुणवत्ता को लक्षित करता है।