💬 NLP

Kathleen: Oscillator-Based Byte-Level Text Classification Without Tokenization or Attention

कैथलीन एक अत्यधिक कुशल, पैरामीटर-न्यूनतम टेक्स्ट वर्गीकरण आर्किटेक्चर है जो RecurrentOscillatorBanks और PhaseHarmonics जैसे नवीन घटकों का उपयोग करके सीधे फ्रीक्वेंसी डोमेन में रॉ UTF-8 बाइट्स को प्रोसेस करके मानक बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है, जिससे टोकनाइज़ेशन, अटेंशन मैकेनिज्म और बड़े एम्बेडिंग टेबल्स की आवश्यकता समाप्त हो जाती है।

मूल लेखक: George Fountzoulas

प्रकाशित 2026-04-10✓ Author reviewed ⓘ

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: George Fountzoulas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक किताब को समझने की कोशिश कर रहे हैं। अधिकांश आधुनिक AI मॉडल (जैसे प्रसिद्ध "Transformers") एक ऐसे लाइब्रेरियन की तरह काम करते हैं जिसे पहले किताब को व्यक्तिगत शब्दों में तोड़ना पड़ता है, फिर हर शब्द का अर्थ समझने के लिए एक विशाल शब्दकोश में उसे खोजना पड़ता है, और फिर यह समझने की कोशिश करनी पड़ती है कि वे शब्द एक-दूसरे से कैसे संबंधित हैं। यह प्रक्रिया शक्तिशाली तो है, लेकिन यह धीमी है, इसके लिए बहुत अधिक मेमोरी की आवश्यकता होती है, और यदि किताब बहुत लंबी हो जाए तो यह विफल हो जाती है।

Kathleen एक नए प्रकार का AI है जो पूरे शब्दकोश को छोड़ देता है। शब्दों को पढ़ने के बजाय, यह टेक्स्ट की कच्ची "ध्वनि" (raw sound) को सुनता है।

यहाँ बताया गया है कि Kathleen कैसे काम करता है, सरल उपमाओं के माध्यम से समझाया गया है:

1. समस्या: "शब्द-प्रथम" (Word-First) बाधा

एक मानक AI मॉडल को एक ऐसे अनुवादक के रूप में सोचें जो केवल "शब्द भाषा" बोलता है। एक वाक्य को समझने से पहले, उसे हर अक्षर को एक शब्द में अनुवाद करना होगा।

समस्या: यदि आप इसे एक बहुत लंबा दस्तावेज़ (जैसे कि एक पूरा उपन्यास) देते हैं, तो अनुवादक घबरा जाता है। उन शब्दों के बीच संबंधों को बनाए रखने के लिए आवश्यक मेमोरी इतनी तेज़ी से बढ़ती है (जैसे पहाड़ से लुढ़कता हुआ हिमखंड) कि कंप्यूटर क्रैश हो जाता है।
समाधान: Kathleen अनुवाद नहीं करता। यह टेक्स्ट को एक संगीत संकेत (music signal) की तरह मानता है। यह शब्दों के अर्थ की चिंता किए बिना कच्चे बाइट्स (डिजिटल "नोट्स") के प्रवाह को देखता है।

2. मूल विचार: "अनुनादी ट्यूनिंग फोर्क्स" (Resonant Tuning Forks)

Kathleen का मस्तिष्क अनुनाद (Resonance) की अवधारणा पर बना है।

उपमा: एक कमरे में अलग-अलग ट्यूनिंग फोर्क्स (tuning forks) की कल्पना करें। यदि आप एक विशिष्ट स्वर (note) गुनगुनाते हैं, तो केवल वही फोर्क जो उस स्वर के लिए ट्यून किया गया है, ज़ोर से कंपन करेगा। अन्य शांत रहेंगे।
Kathleen इसका उपयोग कैसे करता है: Kathleen के पास हजारों छोटे "डिजिटल ट्यूनिंग फोर्क्स" (जिन्हें Oscillator Banks कहा जाता है) हैं। जब टेक्स्ट इसके माध्यम से बहता है, तो ये फोर्क्स तब कंपन करते हैं जब वे विशिष्ट पैटर्न (जैसे वाक्य की लय या कुछ अक्षरों की आवृत्ति) का पता लगाते हैं।
लाभ: यह अविश्वसनीय रूप से तेज़ है। जबकि अन्य मॉडल हर शब्द की तुलना हर दूसरे शब्द से करने की कोशिश करते हैं (जो धीमा है), Kathleen बस टेक्स्ट के गुजरने के दौरान "कंपन" को सुनता है। यह एक गाने को एक बार सुनने जैसा है, बजाय इसके कि हर नोट को लिखने की कोशिश की जाए और बाद में उनकी तुलना की जाए।

3. गुप्त नुस्खा: "मैजिक 6-पैरामीटर नॉब" (Magic 6-Parameter Knob)

पेपर में एक आश्चर्यजनक खोज हुई। उन्होंने एक विशाल, जटिल मशीन बनाई जिसमें लाखों हिस्से थे, केवल यह महसूस करने के लिए कि इसमें से अधिकांश अनावश्यक था।

उपमा: एक उच्च श्रेणी के स्टीरियो सिस्टम की कल्पना करें जिसमें 50 नॉब हैं। आप उन सभी को घुमाते हैं, और संगीत ठीक लगता है। फिर, आपको एहसास होता है कि यदि आप वॉल्यूम डायल पर केवल एक छोटा सा पेंच (screw) ट्यून कर दें, तो ध्वनि एकदम सटीक हो जाती है।
वास्तविकता: Kathleen का सबसे महत्वपूर्ण हिस्सा एक घटक है जिसे PhaseHarmonics कहा जाता है। इसमें केवल 6 सीखने योग्य संख्याएँ (parameters) हैं।
- एक विशाल, जटिल "जैविक-प्रेरित" (bio-inspired) मस्तिष्क अनुभाग (560,000 हिस्से) को हटाने से प्रदर्शन में केवल मामूली गिरावट आई।
- उन 6 छोटी संख्याओं को हटाने से प्रदर्शन बहुत अधिक गिर गया।
- पाठ: कभी-कभी, जटिल, मानव-समान "सोचने" वाली संरचनाओं के बजाय सरल गणितीय ट्रिक्स बेहतर काम करते हैं।

4. "FFT-Rotate" एनकोडर: सार्वभौमिक अनुवादक

आमतौर पर, कंप्यूटरों को एक विशाल तालिका (जैसे फोन बुक) की आवश्यकता होती है ताकि वे याद रख सकें कि प्रत्येक अक्षर या बाइट का क्या अर्थ है। इसमें बहुत जगह लगती है।

Kathleen की ट्रिक: फोन बुक के बजाय, Kathleen एक गणितीय जादू (FFT-Rotate) का उपयोग करता है। यह संख्याओं के एक एकल, छोटे वेक्टर को लेता है और उसे एक अनूठा "हस्ताक्षर" बनाने के लिए घुमाता है (spin करता है), जो प्रत्येक बाइट (0–255) के लिए विशिष्ट होता है।
परिणाम: यह एक विशाल शब्दकोश (65,000 नंबरों) को एक छोटे की (key) (256 नंबरों) से बदल देता है जो उतना ही अच्छा, या उससे भी बेहतर काम करता है।

5. क्यों यह महत्वपूर्ण है: "लंबे-दस्तावेज़" की महाशक्ति

क्योंकि Kathleen शब्दों के बीच संबंध बनाने के बजाय टेक्स्ट की "ध्वनि" को सुनता है, यह थकता नहीं है।

उपमा: एक मानक AI एक ऐसे व्यक्ति की तरह है जो एक स्टेडियम में हर किसी का हाथ पकड़ने की कोशिश कर रहा है; यदि स्टेडियम बहुत बड़ा हो जाता है, तो श्रृंखला टूट जाती है। Kathleen एक रेडियो तरंग (radio wave) की तरह है; यह बिना टूटे पूरे स्टेडियम में यात्रा कर सकता है।
परिणाम: Kathleen एक मानक कंप्यूटर चिप पर 100,000-बाइट का दस्तावेज़ (एक पूरी किताब का अध्याय) पढ़ सकता है। एक मानक AI कुछ पृष्ठों के बाद ही अपनी मेमोरी समाप्त कर देगा।

सारांश: "Kathleen" प्रभाव

कोई शब्दकोश नहीं: यह कच्चे बाइट्स पढ़ता है, शब्द नहीं।
कोई "अटेंशन" (Attention) नहीं: यह यह देखने के लिए हर शब्द को नहीं घूरता कि वे एक-दूसरे से कैसे संबंधित हैं; यह पैटर्न सुनने के लिए सुनता है।
छोटा आकार: यह समान मॉडलों की तुलना में 16 गुना छोटा है लेकिन अक्सर टेक्स्ट को समझने में अधिक स्मार्ट है।
जादू: यह साबित करता है कि भाषा को समझने के लिए आपको एक विशाल, जटिल मस्तिष्क की आवश्यकता नहीं है। कभी-कभी, आपको बस कुछ अच्छी तरह से ट्यून किए गए "ट्यूनिंग फोर्क्स" और डेटा की लय के लिए एक अच्छे कान की आवश्यकता होती है।

संक्षेप में, Kathleen वह AI है जिसने महसूस किया: "हमें गाने को समझने के लिए हर शब्द जानने की ज़रूरत नहीं है; हमें बस धुन सुनने की ज़रूरत है।"

यहाँ शोध पत्र "Kathleen: Oscillator-Based Byte-Level Text Classification Without Tokenization or Attention" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक नेचुरल लैंग्वेज प्रोसेसिंग (NLP) ट्रांसफॉर्मर-आधारित मॉडलों के वर्चस्व में है, जो तीन महत्वपूर्ण सीमाओं का सामना करते हैं:

क्वाड्रेटिक कॉम्प्लेक्सिटी (Quadratic Complexity): $O(L^2)$ अटेंशन मैकेनिज्म स्केलेबिलिटी को सीमित करता है, जिससे लंबे अनुक्रमों (जैसे कि पूर्ण दस्तावेज़) पर GPU मेमोरी समाप्त हो जाती है।
टोकेनाइज़र निर्भरता (Tokenizer Dependency): टोकेनाइज़र पर निर्भरता भाषा-विशिष्ट प्रीप्रोसेसिंग, सूचनात्मक हानि (lossy compression), और इंजीनियरिंग जटिलता (जैसे कि out-of-vocabulary मुद्दे) को जन्म देती है।
पैरामीटर अक्षमता (Parameter Efficiency): प्रतिस्पर्धी प्रदर्शन के लिए आमतौर पर लाखों से अरबों पैरामीटर्स की आवश्यकता होती है।

ये समस्याएँ बाइट-लेवल प्रोसेसिंग में और भी बढ़ जाती हैं, जहाँ इनपुट अनुक्रम (sequences) टोकेनाइज्ड समकक्षों की तुलना में 3–5× लंबे होते हैं। मौजूदा बाइट-लेवल मॉडल (जैसे ByT5, CANINE) अभी भी ट्रांसफॉर्मर और अटेंशन पर निर्भर हैं, जिससे वे $O(L^2)$ की बाधा को विरासत में प्राप्त करते हैं। लेखक पूछते हैं: क्या अटेंशन के बिना, और कई गुना कम पैरामीटर्स का उपयोग करके, रॉ बाइट्स (raw bytes) पर फ्रीक्वेंसी-डोमेन प्रोसेसिंग, टोकेनाइज्ड मॉडलों के बराबर या उनसे बेहतर प्रदर्शन कर सकती है?

2. कार्यप्रणाली: कैथलीन आर्किटेक्चर (Methodology: The Kathleen Architecture)

कैथलीन एक टेक्स्ट क्लासिफिकेशन आर्किटेक्चर है जो फ्रीक्वेंसी-डोमेन प्रोसेसिंग का उपयोग करके सीधे रॉ UTF-8 बाइट्स पर कार्य करता है। यह अटेंशन मैकेनिज्म और टोकेनाइज़र को सिग्नल-प्रोसेसिंग से प्रेरित घटकों की एक पाइपलाइन से बदल देता है। अंतिम मॉडल, Kathleen-Clean, में केवल 733K पैरामीटर्स हैं।

मुख्य घटक (Core Components)

आर्किटेक्चर बाइट्स को निम्नलिखित पाइपलाइन के माध्यम से प्रोसेस करता है:

FFT-Rotate Wavetable Encoder:
- समाधान किया गया मुद्दा: एक विशाल एम्बेडिंग टेबल ( $256 \times d$ पैरामीटर्स) को एक एकल लर्नेबल वेक्टर ( $d$ पैरामीटर्स) से बदलना।
- तंत्र (Mechanism): यह एक सिंगल लर्नेबल वेक्टर $w$ और एक FFT-आधारित फेज रोटेशन का उपयोग करके सभी 256 बाइट मानों को मैप करता है: $Enc(b) = \mathcal{F}^{-1}[\mathcal{F}[w] \odot e^{i \cdot b \cdot 2\pi/255}]$ ।
- दक्षता: इसने एनकोडर पैरामीटर्स को ~65K से घटाकर 256 फ्लोट्स कर दिया, जबकि सटीकता में सुधार किया।
RecurrentOscillatorBank:
- तंत्र: यह डैम्प्ड साइनोइड्स (damped sinusoids) ( $k_i(t) = \gamma_i^t \cos(\omega_i t)$ ) के रूप में इनिशियलाइज़ किए गए कॉज़ल कन्वल्यूशन कर्नेल का उपयोग करता है।
- कार्य: यह रेज़ोनेटरों के एक बैंक के रूप में कार्य करता है जो बाइट स्ट्रीम में विशिष्ट फ्रीक्वेंसी पैटर्न को चुनिंदा रूप से प्रवर्धित (amplify) करता है और शोर (noise) को कम करता है।
- मेमोरी: इसे अनुक्रमों में साक्ष्य (evidence) को संचित करने के लिए एक रिकरेंट मेमोरी स्टेट ( $M_t$ ) के साथ बढ़ाया गया है, जो $O(L)$ प्रोसेसिंग को सक्षम बनाता है।
PhaseHarmonics (The MVP):
- तंत्र: यह एक साइनोसॉइडल नॉन-लिनियरिटी है जो इनपुट को घातीय रूप से (exponentially) दूरी पर स्थित आवृत्तियों पर प्रोजेक्शन के साथ जोड़ती है: $PH(x) = [x, \sin(x \cdot 2^0 + \phi_0), \dots, \sin(x \cdot 2^5 + \phi_5)]$ ।
- पैरामीटर्स: इसमें केवल 6 लर्नेबल फेज ऑफसेट्स ( $\phi_0 \dots \phi_5$ ) हैं।
- प्रभाव: अपने अत्यंत छोटे आकार के बावजूद, यह डेटा के मल्टी-रेज़ोल्यूशन स्पेक्ट्रल व्यू बनाता है।
PowerLawGate (PLG):
- तंत्र: यह एक पावर-लॉ नॉन-लिनियरिटी $sign(x) \cdot |x|^\gamma$ (जहाँ $\gamma \approx 0.5$ ) लागू करता है, जो साइकोफिजिक्स में वेबर-फेचनर नियम (Weber–Fechner law) की नकल करता है।
- कार्य: यह डायनेमिक रेंज को संकुचित करता है ताकि उच्च-आयाम वाले पैटर्न हावी न हो सकें।
- संदर्भ: यह सिद्ध हुआ है कि यह केवल फ्रीक्वेंसी-डोमेन संदर्भों में प्रभावी है (टोकेनाइज्ड वर्ड एम्बेडिंग्स में नहीं)।
DualPooling:
अनुक्रमों को वेक्टर्स में कम करने के लिए अटेंशन-वेटेड पूलिंग और मैक्स पूलिंग को जोड़ता है, जो छोटे टेक्स्ट में स्पार्स इंफॉर्मेटिव सिग्नल्स को संरक्षित करने के लिए महत्वपूर्ण है।

3. प्रमुख योगदान और एब्लेशन अंतर्दृष्टि (Key Contributions & Ablation Insights)

यह शोध पत्र एक एब्लेशन-संचालित डिज़ाइन प्रक्रिया पर जोर देता है, जो 1.8M पैरामीटर वाले पूर्ववर्ती मॉडल से शुरू होकर व्यवस्थित रूप से घटकों को हटाकर इष्टतम आर्किटेक्चर तक पहुँचती है।

PhaseHarmonics सबसे प्रभावशाली घटक है: इस 6-पैरामीटर मॉड्यूल को हटाने से सटीकता में 2.6% की गिरावट आई। इसके विपरीत, एक विशाल 560K पैरामीटर वाले "बायो-इंस्पायर्ड" कॉग्निटिव फ्रेमवर्क (Phantasy) को हटाने से केवल 0.2% की गिरावट हुई।
फ्रीक्वेंसी बनाम कॉग्निटिव: अध्ययन दर्शाता है कि सरल फ्रीक्वेंसी-डोमेन घटक इस कार्य के लिए जटिल, बायो-इंस्पायर्ड कॉग्निटिव आर्किटेक्चर की तुलना में व्यवस्थित रूप से बेहतर प्रदर्शन करते हैं।
संदर्भ-निर्भर उपयोगिता: PowerLawGate टोकेनाइज्ड संदर्भों में बेकार था (0.0% लाभ) लेकिन बाइट-लेवल फ्रीक्वेंसी संदर्भों में +0.9% का योगदान दिया, जो सिद्ध करता है कि आर्किटेक्चरल उपयोगिता इनपुट रिप्रेजेंटेशन पर निर्भर करती है।
कैरियर कैंसिलेशन डिस्कवरी (Carrier Cancellation Discovery): शुरुआती प्रयोगों में साइनोसॉइडल कैरियर्स का उपयोग विफल रहा क्योंकि मीन पूलिंग ने सिग्नल को नष्ट कर दिया ( $E[\sin(\omega t)] \approx 0$ )। समाधान के रूप में, स्पष्ट कैरियर्स के बजाय आइडेंटिटी-प्रिजर्विंग फ्रीक्वेंसी फीचर्स (फूरियर एनकोडिंग) का उपयोग किया गया।

4. प्रयोगात्मक परिणाम (Experimental Results)

Kathleen-Clean का मूल्यांकन तीन मानक बेंचमार्क (IMDB, AG News, SST-2) पर टोकेनाइज्ड मॉडलों और अन्य बाइट-लेवल ट्रांसफॉर्मर के विरुद्ध किया गया।

मेट्रिक	Kathleen-Clean (Ours)	Tokenized Kathleen (11.8M params)	CANINE-S (132M params)
IMDB Accuracy	88.6% (+1.6% vs Tok)	87.0%	N/A
AG News Accuracy	92.3% (+2.1% vs Tok)	90.2%	N/A
SST-2 Accuracy	83.3%	N/A	85.8%
Parameters	733K	11.8M	132M
Complexity	$O(L)$	$O(L)$	$O(L^2)$

पैरामीटर दक्षता: Kathleen-Clean अपने टोकेनाइज्ड समकक्ष की तुलना में 16× छोटा है और CANINE-S की तुलना में 180× छोटा है, फिर भी यह IMDB और AG News पर उनसे बेहतर प्रदर्शन करता है।
लॉन्ग-कॉन्टेक्स्ट स्केलेबिलिटी: $O(L)$ कॉम्प्लेक्सिटी के कारण, Kathleen 100K+ बाइट्स तक के अनुक्रमों को प्रोसेस कर सकता है। इसके विपरीत, मानक ट्रांसफॉर्मर 1,024 बाइट्स के बाद GPU मेमोरी खत्म होने (OOM) की समस्या का सामना करते हैं।
प्री-ट्रेंड मॉडल्स के साथ अंतर: BERT (SST-2 पर 93%) की तुलना में अभी भी ~8% का सटीकता अंतराल बना हुआ है, जिसका कारण BERT का बाहरी कॉर्पोरा पर विशाल प्री-ट्रेनिंग और बड़े पैरामीटर काउंट है।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

नया पारेटो फ्रंटियर (New Pareto Frontier): Kathleen NLP आर्किटेक्चर के लिए एक नया दक्षता फ्रंटियर स्थापित करता है, यह सिद्ध करते हुए कि फ्रीक्वेंसी-आधारित सिग्नल प्रोसेसिंग, टेक्स्ट समझने के लिए अटेंशन का एक व्यवहार्य विकल्प है।
एज डिप्लॉयमेंट (Edge Deployment): केवल 733K पैरामीटर्स के साथ, यह मॉडल माइक्रोकंट्रोलर्स (जैसे ESP32) और मोबाइल उपकरणों पर चलने के लिए पर्याप्त छोटा है।
स्ट्रीमिंग और लॉन्ग-कॉन्टेक्स्ट: $O(L)$ कॉम्प्लेक्सिटी वास्तविक समय स्ट्रीमिंग क्लासिफिकेशन और मेमोरी बाधाओं के बिना पूरे दस्तावेज़ों को प्रोसेस करने में सक्षम बनाती है।
भाषा तटस्थता (Language Agnosticism): रॉ बाइट्स पर कार्य करके, इसके लिए किसी टोकेनाइज़र ट्रेनिंग की आवश्यकता नहीं है और यह स्वाभाविक रूप से किसी भी भाषा को संभाल सकता है।

निष्कर्ष: कैथलीन यह प्रदर्शित करता है कि NLP आर्किटेक्चर में "कम ही अधिक है" (less is more)। फ्रीक्वेंसी प्रोसेसिंग और ऑसिलेटर्स की गणितीय संरचना का लाभ उठाकर, यह अटेंशन और टोकेनाइज़र की आवश्यकता को समाप्त करते हुए, बहुत बड़े टोकेनाइज्ड मॉडलों से बेहतर दक्षता और प्रदर्शन प्राप्त करता है।