💬 NLP

FourierQK: Spectral Preprocessing of Query-Key Projections Improves Transformer Attention

यह शोध पत्र FourierQK प्रस्तुत करता है, जो एक ऐसी विधि है जो ट्रांसफॉर्मर में क्वेरी-की प्रोजेक्शन (query-key projections) पर FFT-आधारित स्पेक्ट्रल प्रीप्रोसेसिंग लागू करती है, जिससे मानक अटेंशन मैकेनिज्म को प्रतिस्थापित किए बिना मल्टी-स्केल डिपेंडेंसीज को कैप्चर करने के लिए ग्लोबल फ्रीक्वेंसी-डोमेन मिक्सिंग का लाभ उठाते हुए, कैरेक्टर-लेवल लैंग्वेज मॉडलिंग में महत्वपूर्ण प्रदर्शन लाभ प्राप्त किया जाता है।

मूल लेखक: Athanasios Zeris

प्रकाशित 2026-07-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Athanasios Zeris

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विदेशी भाषा में लिखी गई एक लंबी, जटिल कहानी को समझने की कोशिश कर रहे हैं। आपके पास एक सुपर-स्मार्ट सहायक (ट्रांसफॉर्मर मॉडल) है जो अलग-अलग हिस्सों के बीच संबंध समझने के लिए कहानी को शब्द-दर-शब्द पढ़ता है। आमतौर पर, यह सहायक दो शब्दों की तुलना करने के लिए उन्हें अगल-बगल रखकर देखता है, जैसे कि दो कार्डों को रोशनी के सामने रखकर यह देखना कि क्या वे मेल खाते हैं।

यह शोध पत्र, जिसका शीर्षक FourierQK है, उन कार्डों को देखने का एक नया तरीका सुझाता है। सीधे तुलना करने के बजाय, सहायक पहले उन्हें एक विशेष "फ्रीक्वेंसी फ़िल्टर" (एक गणितीय उपकरण जिसे फूरियर ट्रांसफॉर्म कहा जाता है) के माध्यम से गुज़ारता है।

यहाँ उनके निष्कर्षों का विवरण दिया गया, सरल उपमाओं का उपयोग करते हुए:

1. "फ्रीक्वेंसी फ़िल्टर" का जादू

कहानी को केवल शब्दों के एक क्रम के रूप में नहीं, बल्कि संगीत के एक टुकड़े के रूप में सोचें। हर कहानी की एक लय होती है: छोटे विस्फोट (शब्द), मध्यम प्रवाह (वाक्यांश), और लंबी संरचनाएं (पैराग्राफ)।

स्टैंडर्ड अटेंशन (Standard Attention): सहायक दो शब्दों को देखता है और पूछता है, "क्या ये अभी एक जैसे दिखते हैं?"
FourierQK: सहायक पहले पूरे पैराग्राफ के "संगीत" को सुनता है। वह पूछता है, "क्या ये दो शब्द बड़ी कहानी के भीतर एक ही लय या ताल साझा करते हैं?"

शोधकर्ताओं ने पाया कि जब सहायक अपने आंतरिक नोट्स (Query और Key प्रोजेक्शन) पर इस "लय की जाँच" (स्पेक्ट्रल प्रीप्रोसेसिंग) का उपयोग करता है, तो वह कहानी को बहुत बेहतर तरीके से समझता है।

2. आश्चर्यजनक परिणाम: एक "टूटा हुआ" रेडियो भी मदद करता है

शोधकर्ताओं ने इस विचार का परीक्षण विभिन्न प्रकार के फिल्टरों के साथ किया:

रैंडम नॉइज़ (Random Noise): उन्होंने एक ऐसा फिल्टर आज़माया जो केवल रैंडम स्टेटिक (जो सीखा हुआ या ट्यून किया हुआ नहीं था) था। आश्चर्यजनक रूप से, इसने सहायक को पहले से अधिक स्मार्ट बना दिया। यह एक कैमरे पर थोड़े टेढ़े लेंस को लगाने जैसा है; भले ही लेंस एकदम सही न हो, फिर भी यह दृश्य को इस तरह बदल देता है जिससे मस्तिष्क उन पैटर्न को देख पाता है जो पहले छूट गए थे।
ट्यून्ड फिल्टर्स (Tuned Filters): जब उन्होंने सहायक को सही लय खोजने के लिए प्रशिक्षित किया (विशेष रूप से एक पैराग्राफ की लय, लगभग 60 वर्णों की), तो परिणाम अद्भुत थे। मानक पद्धति की तुलना में सहायक की गलतियाँ लगभग 80% तक कम हो गईं।
मल्टी-स्केल डिस्कवरी (The Multi-Scale Discovery): जब उन्होंने सहायक को एक साथ अलग-अलग लय सुनने के लिए चार अलग-अलग "ट्यूनिंग नॉब्स" दिए (शब्द, वाक्यांश, पैराग्राफ और दृश्य), तो वह एक मास्टर स्टोरीटेलर बन गया। सहायक ने स्वाभाविक रूप से समझ लिया कि कहानियों में एक पदानुक्रम (hierarchy) होता है: छोटी इकाइयाँ मिलकर बड़ी इकाइयाँ बनाती हैं, ठीक वैसे ही जैसे ईंटें एक दीवार बनाती हैं, और दीवारें एक घर बनाती हैं।

3. "टाइम ट्रैवल" का जाल (क्यों 'कॉज़ैलिटी' मायने रखती है)

एक बड़ा पेंच था। जिस "फ्रीक्वेंसी फ़िल्टर" का उन्होंने उपयोग किया, वह पूरी कहानी को एक साथ देखता है, जिसमें वे हिस्से भी शामिल हैं जो वास्तविक दुनिया में अभी तक हुए ही नहीं हैं।

समस्या: कल्पना कीजिए कि आप आखिरी पन्ना चुपके से देखकर कहानी लिखने की कोशिश कर रहे हैं। सहायक को प्रदर्शन में भारी उछाल मिला क्योंकि वह भविष्य के शब्दों को देखकर "चीटिंग" कर रहा था।
समाधान: शोधकर्ताओं ने एक ऐसा फिल्टर बनाने की कोशिश की जो केवल अतीत को देखता है (एक "कॉज़ल" फिल्टर), जैसे कि एक व्यक्ति जो केवल वही पढ़ सकता है जो पहले लिखा जा चुका है। दुर्भाग्य से, व्यक्तिगत अक्षरों (character-level) के स्तर पर, यह "ईमानदार" फिल्टर अच्छी तरह काम नहीं कर पाया। यह एक शोर भरे कमरे में फुसफुसाहट सुनने की कोशिश करने जैसा था; सिग्नल खो गया।
निष्कर्ष: जादू पूरी तस्वीर को वैश्विक (globally) रूप से देखने की क्षमता में है, न कि केवल स्थानीय (locally) रूप से। शोध पत्र स्वीकार करता है कि इस विशिष्ट पद्धति के लिए वास्तविक दुनिया के "ईमानदार" AI के लिए—जो भविष्य में झाँके बिना एक-एक शब्द पढ़ सकता है—काम करने के लिए, हमें व्यक्तिगत अक्षरों के बजाय पूरे शब्दों की ओर मुड़ने की आवश्यकता होगी।

4. यह क्या नहीं है

लेखक बहुत सावधान रहे कि यह क्या नहीं है:

यह शब्दों को बेतरतीब ढंग से पुनर्व्यवस्थित करना नहीं है। उन्होंने साबित किया कि डेटा को केवल शफल करना या संख्याओं को घुमाना (rotate करना) मदद नहीं करता है। लाभ विशेष रूप से लय (फ्रीक्वेंसी) का विश्लेषण करने से आता है।
यह पूरे अटेंशन सिस्टम को बदलना नहीं है (जैसे कि FNet नामक एक पिछला तरीका)। इसके बजाय, उन्होंने केवल तुलना होने से पहले इस लय-जाँच चरण को जोड़ा है, बाकी सिस्टम को समान रखते हुए।

निचोड़ (The Bottom Line)

इस शोध पत्र ने खोजा कि यदि आप AI को शब्दों को मिलाने की कोशिश करने से पहले कहानी की "लय" सुनने के लिए सिखाते हैं, तो वह टेक्स्ट को बहुत बेहतर समझता है। एक रैंडम लय जाँच भी मदद करती है, लेकिन एक ट्यून्ड (tuned) जाँच गेम-चेंजर है। हालाँकि, यह ट्रिक वर्तमान में इस बात पर निर्भर करती है कि AI पूरी कहानी को एक साथ देख सके। वास्तविक समय के, "ईमानदार" AI के लिए—जो भविष्य में झाँके बिना एक-एक शब्द पढ़ता है—इस विचार को लागू करने के लिए, शोधकर्ता सुझाव देते हैं कि हमें इसे छोटे टुकड़ों (अक्षरों) के बजाय टेक्स्ट के बड़े हिस्सों (शब्दों) पर लागू करने की आवश्यकता है।

तकनीकी सारांश: FourierQK

समस्या विवरण (Problem Statement)

मानक ट्रांसफॉर्मर अटेंशन मैकेनिज्म क्वेरी ( $Q$ ) और की ( $K$ ) प्रोजेक्शन के डॉट प्रोडक्ट के माध्यम से युग्मवार समानता स्कोर (pairwise similarity scores) की गणना करते हैं ( $e_{ij} = q_i \cdot k_j$ )। यह पूरी तरह से सीखे गए एम्बेडिंग स्पेस के भीतर कार्य करता है, जो एकल-टोकन निरूपणों (single-token representations) की तुलना करता है। यह शोध इस बात की जांच करता है कि क्या $Q$ और $K$ को एक अलग निरूपण स्थान में बदलने—विशेष रूप से, समानता स्कोर की गणना करने से पहले फ्रीक्वेंसी-डोमेन स्पेक्ट्रल प्रीप्रोसेसिंग लागू करके—भाषा मॉडलिंग प्रदर्शन में सुधार किया जा सकता है।

इस डोमेन में एक महत्वपूर्ण चुनौती वास्तविक अनुक्रम शिक्षण (sequence learning) और "पोजीशनल लीकेज" (positional leakage) के बीच अंतर करना है। कई स्पेक्ट्रल विधियाँ (विशेष रूप से जो इनवर्स FFT का उपयोग करती हैं) सर्कुलर बाउंड्री आर्टिफैक्ट्स (circular boundary artifacts) का जोखिम उठाती हैं जहाँ डिस्क्रीट फूरियर ट्रांसफॉर्म (DFT) की आवधिक प्रकृति के कारण भविष्य के टोकन की जानकारी पिछले पदों (past positions) में लीक हो जाती है। यह शोध यह निर्धारित करने का लक्ष्य रखता है कि क्या स्पेक्ट्रल प्रीप्रोसेसिंग मानक अटेंशन की तुलना में वास्तविक लाभ प्रदान करती है और यह कड़ाई से सत्यापित करना कि सुधार सूचना लीकेज के आर्टिफैक्ट्स नहीं हैं।

कार्यप्रणाली (Methodology)

स्पेक्ट्रल अटेंशन आर्किटेक्चर (Spectral Attention Architecture)

प्रस्तावित FourierQK दृष्टिकोण अटेंशन स्कोर गणना से पहले $Q$ और $K$ प्रोजेक्शन पर एक फ्रीक्वेंसी-डोमेन फ़िल्टर $\phi(\omega)$ लागू करता है।

रूपांतरण (Transformation): सीखे गए प्रोजेक्शन $q, k \in \mathbb{R}^{T \times d}$ को DFT के माध्यम से रूपांतरित किया जाता है: $\hat{q}(\omega) = \mathcal{F}[q](\omega)$ ।
फिल्टरिंग (Filtering): फ्रीक्वेंसी डोमेन में एक फ़िल्टर लागू किया जाता है: $\hat{\tilde{q}}(\omega) = \hat{q}(\omega) \cdot \phi(\omega)$ ।
पुनर्निर्माण (Reconstruction): फ़िल्टर्ड निरूपणों को इनवर्स DFT (IDFT) के माध्यम से टाइम डोमेन में वापस लाया जाता है: $\tilde{q} = \mathcal{F}^{-1}[\hat{\tilde{q}}]$ ।
स्कोरिंग (Scoring): फ़िल्टर्ड निरूपणों का उपयोग करके अटेंशन स्कोर की गणना की जाती है: $e_{ij} = \tilde{q}_i \cdot \tilde{k}_j / \sqrt{d}$ ।

पेपर कई फ़िल्टर वेरिएंट्स का परीक्षण करता है:

Random-QK: स्थिर, अनलर्न्ड रैंडम स्पेक्ट्रल फ़िल्टर (Morlet-जैसे) यह परीक्षण करने के लिए कि क्या कोई भी स्पेक्ट्रल मिक्सिंग मदद करती है।
Fourier-QK: एक सॉफ्ट गॉसियन सेलेक्टर जिसके पास प्रति हेड एक सिंगल लर्न करने योग्य डोमिनेंट फ्रीक्वेंसी $f^*$ है।
MultiFourier-QK: प्रति हेड कई लर्न करने योग्य फ्रीक्वेंसीज ताकि मल्टी-स्केल स्ट्रक्चर को कैप्चर किया जा सके।
Causal Filters: टाइम-डोमेन कॉज़ल कन्वर्जेंस (Gaussian, Mexican Hat, Causal Morlet) यह परीक्षण करने के लिए कि क्या स्थानीय, गैर-लीकिंग फ़िल्टरिंग समान लाभ प्रदान करती है।

सत्यापन डायग्नोस्टिक्स (Verification Diagnostics)

यह सुनिश्चित करने के लिए कि परिणाम पोजीशनल लीकेज (जहाँ मॉडल भविष्य के टोकन देखकर "चीटिंग" करता है) के कारण नहीं हैं, लेखक एक शफलड वैलिडेशन डायग्नोस्टिक (shuffled validation diagnostic) का उपयोग करते हैं। मॉडल का मूल्यांकन एक वैलिडेशन सेट पर किया जाता है जहाँ टोकन का क्रम शफल (shuffle) कर दिया जाता है।

वास्तविक शिक्षण (Genuine Learning): क्रमबद्ध (ordered) वैलिडेशन लॉस और शफल किए गए वैलिडेशन लॉस के बीच एक बड़ा अंतर यह दर्शाता है कि मॉडल टेम्पोरल ऑर्डर पर निर्भर है।
लीकेज (Leakage): क्रमबद्ध और शफल किए गए डेटा पर समान लॉस (छोटा अंतर) यह दर्शाता है कि मॉडल भविष्य की लीक हुई जानकारी का फायदा उठा रहा है।

इसके अतिरिक्त, यह पेपर अपने दृष्टिकोण को FNet (Lee-Thorp et al., 2021) से अलग करता है। जबकि FNet पूरे अटेंशन मैकेनिज्म को टोकन एम्बेडिंग्स के ग्लोबल फूरियर मिक्सिंग से बदल देता है (Q/K प्रोजेक्शन और स्कोर मैट्रिक्स को हटा देता है), FourierQK मानक अटेंशन संरचना (सीखे गए Q/K, स्कोर मैट्रिक्स, कॉज़ल मास्किंग) को सुरक्षित रखता है और केवल प्रोजेक्शन पर स्पेक्ट्रल फ़िल्टरिंग लागू करता है।

मुख्य परिणाम (Key Results)

1. स्पेक्ट्रल प्रीप्रोसेसिंग प्रदर्शन में सुधार करती है

कैरेक्टर-लेवल TinyShakespeare डेटासेट ( $T=256$ ) पर, स्पेक्ट्रल प्रीप्रोसेसिंग मानक डॉट-प्रोडक्ट अटेंशन (BASE-DOT, val $\approx$ 1.474) की तुलना में पर्याप्त लाभ देती है:

Random Spectral Filter: एक स्थिर, अनलर्न्ड रैंडम फ़िल्टर val = 1.031 ( $\Delta = +0.443$ ) प्राप्त करता है।
Single Learned Frequency: एक मॉडल जिसमें एक लर्न करने योग्य फ्रीक्वेंसी है जो पैराग्राफ स्केल पर इनिशियलाइज की गई है, वह val = 0.608 ( $\Delta = +0.867$ ) प्राप्त करता है।
Multi-Frequency Attention: चार लर्न करने योग्य फ्रीक्वेंसीज जो पैराग्राफ से लेकर वर्ड स्केल तक फैली हुई हैं, वे val = 0.309 ( $\Delta = +1.166$ ) प्राप्त करती हैं, जो वैलिडेशन लॉस में 79% की कमी है।

ये परिणाम कई रैंडम सीड्स पर पुष्ट किए गए हैं (औसत val = 0.236, std = 0.019), जो पुनरुत्पादकता (reproducibility) स्थापित करते हैं।

2. तंत्र: फेज कोहेरेंस और ग्लोबल मिक्सिंग (The Mechanism: Phase Coherence and Global Mixing)

फेज आवश्यक है (Phase is Essential): एब्लेशन स्टडीज दिखाती हैं कि एम्प्लीट्यूड स्पेक्ट्रम को सुरक्षित रखते हुए फेज को रैंडमाइज करने से प्रदर्शन मानक अटेंशन से भी खराब हो जाता है। लाभ फेज-कोहेरेंट टेम्पोरल स्ट्रक्चर से आता है, न कि केवल ऊर्जा वितरण से।
ग्लोबल बनाम लोकल (Global vs. Local): लाभ विशेष रूप से बाइलेटरल FFT (ग्लोबल सीक्वेंस मिक्सिंग) के लिए विशिष्ट हैं। कॉज़ल टाइम-डोमेन फिल्टर्स (Gaussian, Mexican Hat, Causal Morlet) स्टैंडर्ड अटेंशन से बेहतर प्रदर्शन करने में विफल रहते हैं।
- कारण: सीमित रिसेप्टिव फील्ड ( $K \le T/2$ ) वाले कॉज़ल फिल्टर्स पैराग्राफ-स्केल पैटर्न के लिए आवश्यक ग्लोबल फेज कोहेरेंस को कैप्चर नहीं कर सकते। बाइलेटरल FFT स्ट्रक्चरल रूप से नॉन-कॉज़ल है लेकिन आवश्यक ग्लोबल कॉन्टेक्स्ट प्रदान करता है।
मेट्रिक डिस्टॉर्शन नहीं (Not Metric Distortion): रैंडम ऑर्थोगोनल रोटेशन और नॉन-ऑर्थोगोनल प्रोजेक्शन (बिना स्पेक्ट्रल फ़िल्टरिंग के) कोई लाभ नहीं देते हैं, जो पुष्टि करता है कि लाभ फ्रीक्वेंसी-डोमेन मिक्सिंग से आता है, न कि सरल रिप्रेजेंटेशन रीमैपिंग से।

3. मल्टी-स्केल ऑर्डरिंग (Multi-Scale Ordering)

MultiFourier मॉडल में सीखी गई फ्रीक्वेंसीज एक लगभग ज्योमेट्रिक पदानुक्रम (geometric hierarchy) की ओर अभिसरित होती हैं:

फ्रीक्वेंसीज: ~49, 27, 10, और 6 टोकन प्रति साइकिल।
व्याख्या: ये नाटकीय टेक्स्ट में पैराग्राफ, सब-पैराग्राफ, फ्रेज और वर्ड स्केल्स के अनुरूप हैं।
सत्यापन: ट्रेनिंग के बाद लागू किया गया एम्पिरिकल मोड डीकंपोजिशन (EMD) स्वतंत्र रूप से इन्हीं स्केल्स को रिकवर करता है, जो पुष्टि करता है कि मॉडल $Q/K$ स्पेस में वास्तविक मल्टी-रेज़ोल्यूशन स्ट्रक्चर को खोजता है।

4. लीकेज और कार्यान्वयन बाधाएं (Leakage and Implementation Constraints)

Irfft लीकेज: पेपर irfft का उपयोग करने वाले Morlet वेवलेट क्रॉस-कोरिलेशन के संबंध में एक "नेगेटिव रिजल्ट" रिपोर्ट करता है। कर्नेल ( $\kappa(-\tau) = \kappa(\tau)$ ) की बाइलेटरल प्रकृति स्वाभाविक रूप से हर पोजीशन को भविष्य के टोकन के साथ जोड़ देती है, जिससे विनाशकारी लीकेज (val $\approx$ 0.018) होता है जो केवल शफल किए गए गैप डायग्नोस्टिक लागू करने पर ही गायब होता है।
FourierQK समाधान: सफल FourierQK कार्यान्वयन एक पोजीशन-इंडेक्स्ड सीक्वेंस के irfft पुनर्निर्माण से बचता है। इसके बजाय, यह फ्रीक्वेंसी डायमेंशन को प्रति पोजीशन एक वेटेड स्केलर में कोलैप्स कर देता है, जिससे पूर्ण सिग्नल पुनर्निर्माण में निहित लीकेज से बचा जा जा सकता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि Query और Key प्रोजेक्शन का स्पेक्ट्रल प्रीप्रोसेसिंग एक विशिष्ट और प्रभावी आर्किटेक्चरल संशोधन है जो ट्रांसफॉर्मर अटेंशन को बेहतर बनाता है क्योंकि यह मॉडल को कई भाषाई स्तरों पर फेज-कोहेरेंट टेम्पोरल स्ट्रक्चर का पता लगाने में सक्षम बनाता है।

मुख्य दावे शामिल हैं:

स्पेक्ट्रल विशिष्टता (Spectral Specificity): सुधार विशेष रूप से फ्रीक्वेंसी-डोमेन ग्लोबल मिक्सिंग के कारण है, न कि रैंडम लीनियर ट्रांसफॉर्मेशन या मेट्रिक डिस्टॉर्शन के कारण।
आर्किटेक्चरल बाउंड्री (Architectural Boundary): ग्लोबली-मिक्सिंग स्पेक्ट्रल अटेंशन (जो काम करता है लेकिन बाइलेटरल FFT के कारण नॉन-कॉज़ल है) और जेनुइनली कॉज़ल स्पेक्ट्रल अटेंशन (जो एलियासिंग और सीमित रिसेप्टिव फील्ड के कारण कैरेक्टर स्केल पर विफल रहता है लेकिन वर्ड स्केल पर काम कर सकता है) के बीच एक स्पष्ट सीमा है।
FNet से अंतर: FNet के विपरीत, जो अटेंशन को बदल देता है, यह विधि मौजूदा अटेंशन मैकेनिज्म को बढ़ाती है, जिससे फ्रीक्वेंसी पदानुक्रम (frequency hierarchy) को अटेंशन स्कोर से स्वयं उभरने की अनुमति मिलती है।
फेज डोमिनेंस (Phase Dominance): यह तंत्र केवल एम्प्लीट्यूड (ऊर्जा) के बजाय फेज कोहेरेंस (फ्रीक्वेंसी कंपोनेंट्स का टेम्पोरल अलाइनमेंट) पर निर्भर करता है।

यह कार्य एक सटीक सीमा की पहचान करता है: जबकि बाइलेटरल FFT प्रीप्रोसेसिंग अत्यधिक प्रभावी है, इसकी नॉन-कॉज़ल प्रकृति इसे बिना लीकेज के कॉज़ल लैंग्वेज मॉडल्स में सीधे लागू करने से रोकती है। लेखक सुझाव देते हैं कि भविष्य के कॉज़ल स्पेक्ट्रल अटेंशन कार्य को टाइम-डोमेन कॉज़ल फिल्टर्स द्वारा देखे गए एलियासिंग और रिसेप्टिव फील्ड सीमाओं को संबोधित करना चाहिए, संभवतः वर्ड-स्केल टोकनाइजेशन की ओर बढ़कर जहाँ नायक्विस्ट (Nyquist) बाधाएं कम गंभीर होती हैं।