🔬 physics

Multiscale POD of Transformer Attention Fields: Scale-Selective Analysis via Morlet Scalogram

यह शोध पत्र एक नवीन, आर्किटेक्चर-अज्ञेय (architecture-agnostic) ढांचे को प्रस्तुत करता है जो ट्रांसफार्मर अटेंशन फील्ड्स का विश्लेषण करने के लिए प्रॉपर ऑर्थोगोनल डिकंपोजिशन (POD) और मोरलट वेवलेट ट्रांसफॉर्म्स को अनुकूलित करता है, जो परत-निर्भर स्केल संगठन को प्रकट करता है और भाषाई एनोटेशन की आवश्यकता के बिना अटेंशन जटिलता के लिए एक डेटा-संचालित मीट्रिक प्रदान करता है।

मूल लेखक: Athanasios Zeris

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Athanasios Zeris

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक ट्रांसफॉर्मर के "शोर" को सुनना

कल्पना कीजिए कि एक ट्रांसफॉर्मर मॉडल (चैटबॉट्स के पीछे का AI) एक विशाल, अराजक ऑर्केस्ट्रा है जो संगीत का एक टुकड़ा बजा रहा है। हर बार जब यह एक वाक्य पढ़ता है, तो संगीतकार ("अटेंशन हेड्स") एक साथ बज रहे होते हैं। एक इंसान के कान के लिए, यह शोर की एक दीवार जैसा सुनाई देता है।

यह पेपर उस ऑर्केस्ट्रा को सुनने का एक नया तरीका पेश करता है। हर एक नोट को समझने की कोशिश करने के बजाय, लेखक POD (प्रॉपर ऑर्थोगोनल डिकम्पोजिशन) नामक एक गणितीय उपकरण का उपयोग करते हैं ताकि उन मुख्य धुनों को खोजा जा सके जो बार-बार दोहराई जाती हैं।

वे ट्रांसफॉर्मर के अटेंशन (कि कैसे मॉडल शब्दों को एक-दूसरे से जोड़ता है) को एक अशांत नदी की तरह मानते हैं। जिस तरह एक नदी में बड़े घूमते हुए करंट और छोटी लहरें होती हैं, उसी तरह ट्रांसफॉर्मर में अटेंशन के बड़े, व्यापक पैटर्न और छोटे, विशिष्ट पैटर्न होते हैं। लक्ष्य "बड़े भंवरों" को "छोटी लहरों" से अलग करना है ताकि यह देखा जा सके कि मॉडल वास्तव में क्या कर रहा है।

दो-चरणीय प्रक्रिया: "लहर" और "छलनी"

लेखक शोर को साफ करने के लिए एक चतुर दो-चरणीय विधि का उपयोग करते हैं:

वेव डिटेक्टर (मोर्लेट स्केलोग्राम - Morlet Scalogram):
कल्पना कीजिए कि आप एक हेलीकॉप्टर से नदी को देख रहे हैं। आप जानना चाहते हैं: "बड़ी लहरें कहाँ हैं, और छोटी लहरें कहाँ हैं?"
लेखक मोर्लेट स्केलोग्राम नामक टूल का उपयोग एक रडार की तरह करते हैं। यह ट्रांसफॉर्मर के अटेंशन को स्कैन करता है और उन्हें ठीक-ठीक बताता है कि वाक्य में कहाँ और किस आकार (स्केल) पर महत्वपूर्ण पैटर्न हो रहे हैं।

छोटे स्केल (Small scales): छोटे पैटर्न, जैसे किसी शब्द को उसके ठीक बगल वाले अक्षर से जोड़ना (व्याकरण)।
बड़े स्केल (Large scales): लंबे पैटर्न, जैसे पैराग्राफ की शुरुआत को अंत से जोड़ना (कहानी की संरचना)।

छलनी (स्केल-सिलेक्टिव POD - Scale-Selective POD):
एक बार जब उन्हें पता चल जाता है कि लहरें कहाँ हैं, तो वे पानी को फिल्टर करने के लिए एक "छलनी" (गौसियन विंडो) का उपयोग करते हैं। वे नदी को बाल्टियों में अलग करते हैं: एक बाल्टी छोटी लहरों के लिए, एक मध्यम लहरों के लिए, और एक बड़े ज्वार के लिए।
फिर, वे प्रत्येक बाल्टी पर अलग से POD लागू करते हैं। POD एक "बेस्ट-ऑफ" फिल्टर की तरह है। यह "छोटी लहरों" वाली बाल्टी के सभी पैटर्न को देखता है और कहता है, "ठीक है, इन सभी सूक्ष्म गतिविधियों में से, ये तीन विशिष्ट गतिविधियाँ सबसे अधिक बार होती हैं और इनमें सबसे अधिक ऊर्जा होती है।" यह बड़े ज्वार वाली बाल्टी के लिए भी यही करता है।

उन्होंने क्या पाया: परतों (Layers) के अलग-अलग काम हैं

पैटर्न को आकार के आधार पर अलग करके, लेखकों ने एक स्पष्ट नियम खोजा कि ट्रांसफॉर्मर की परतें (AI द्वारा वाक्य को प्रोसेस करने के चरण) कैसे काम करती हैं:

शुरुआती परतें (द "माइक्रोस्कोप"): पहली कुछ परतें बारीक विवरणों के प्रति जुनूनी होती हैं। वे छोटे स्केल (जैसे 3-7 अक्षर) पर ध्यान केंद्रित करती हैं। वे "लहरों" को देख रही होती हैं—स्पेलिंग, विराम चिह्न और तत्काल व्याकरण।
बाद की परतें (द "टेलीस्कोप"): जैसे-जैसे जानकारी मॉडल में गहराई तक जाती है, ध्यान बदल जाता है। बाद की परतें छोटी लहरों को अनदेखा कर देती हैं और मोटे स्केल (20-50+ अक्षर) पर ध्यान केंद्रित करती हैं। वे "ज्वार" को देख रही होती हैं—पूरे वाक्यांशों, क्लॉज और समग्र कहानी का अर्थ।

उपमा (Analogy): एक किताब पढ़ने के बारे में सोचें।

लेयर 1 आपके अक्षरों को स्कैन करने जैसा है ताकि यह सुनिश्चित किया जा सके कि उनकी स्पेलिंग सही है।
लेयर 6 आपके मस्तिष्क द्वारा अध्याय के कथानक (plot) को समझने जैसा है।
पेपर यह सिद्ध करता है कि मॉडल स्वाभाविक रूप से इसी तरह खुद को व्यवस्थित करता है: यह छोटी चीजों से शुरू होता है और बड़ी तस्वीर बनाने की ओर बढ़ता है।

अटेंशन की "ऊर्जा" (Energy)

लेखकों ने इन पैटर्न की "ऊर्जा" को भी मापा। भौतिकी में, ऊर्जा बताती है कि एक लहर कितनी मजबूत है। ट्रांसफॉर्मर में, "ऊर्जा" बताती है कि एक पैटर्न कितना महत्वपूर्ण है।

निष्कर्ष: शुरुआती परतों में, ऊर्जा हर जगह फैली हुई होती है (जैसे स्टैटिक शोर)। यह अनुमान लगाना कठिन है कि मॉडल आगे क्या करेगा क्योंकि वह बहुत से सूक्ष्म विवरणों को देख रहा है।
निष्कर्ष: बाद की परतों में, ऊर्जा केवल कुछ मजबूत पैटर्न में केंद्रित हो जाती है। मॉडल बहुत ही अनुमानित (predictable) और मुख्य विचारों पर केंद्रित हो जाता है।

उन्होंने इसे मापने के लिए एक "जटिलता स्कोर" (स्पेक्ट्रल कंसंट्रेशन इंडेक्स) बनाया।

उच्च स्कोर: मॉडल भ्रमित है या बहुत अधिक विशिष्ट विवरणों को देख रहा है (शुरुआती परतें)।
कम स्कोर: मॉडल ने मुख्य विषय को पा लिया है और वह उसी पर ध्यान केंद्रित कर रहा है (बाद की परतें)।

यह क्यों मायने रखता है (पेपर के अनुसार)

पेपर का दावा है कि यह विधि शक्तिशाली है क्योंकि इसे AI को बदलने या उससे सवाल पूछने की आवश्यकता नहीं है। यह बस AI को काम करते हुए देखती है और "प्रमुख पैटर्न" खोजने के लिए गणित का उपयोग करती है।

यह इष्टतम (Optimal) है: गणित गारंटी देता है कि उनके द्वारा खोजे गए पैटर्न AI के व्यवहार को कम से कम लाइनों के साथ सारांशित करने का सबसे अच्छा संभव तरीका है। आप सटीकता खोए बिना इस जानकारी को और अधिक कंप्रेस नहीं कर सकते।
यह "हेड्स" (Heads) को समझाता है: ट्रांसफॉर्मर में आमतौर पर प्रति परत 8 "हेड्स" (विशेषज्ञ प्रोसेसर) होते हैं। पेपर सुझाव देता है कि शायद हमें हर लेयर के लिए 8 हेड्स की आवश्यकता नहीं है।
- शुरुआती परतों को अराजक शोर को संभालने के लिए अधिक हेड्स की आवश्यकता हो सकती है।
- बाद की परतों को कम हेड्स की आवश्यकता हो सकती है क्योंकि पैटर्न इतने स्पष्ट और सरल हैं।
यह एक संरचनात्मक उपमा है, भौतिकी नहीं: लेखक सावधान हैं कि वे यह नहीं कह रहे हैं कि AI वास्तव में एक तरल पदार्थ या नदी है। वे केवल नदियों का अध्ययन करने के लिए उपयोग किए जाने वाले गणित को उधार ले रहे हैं। इसमें कोई पानी या हवा शामिल नहीं है; यह केवल डेटा को व्यवस्थित करने का एक तरीका है।

एक वाक्य में सारांश

यह पेपर एक गणितीय "वेव डिटेक्टर" का उपयोग करके एक ट्रांसफॉर्मर के अटेंशन को छोटे और बड़े पैटर्न में अलग करता है, जिससे यह पता चलता है कि मॉडल सूक्ष्म विवरणों पर ध्यान केंद्रित करने से शुरू होता है और धीरे-धीरे बड़े विषयों को समझने की ओर बढ़ता है, और साथ ही यह भी सिद्ध करता है कि इन पैटर्न को हमारी सोच से कहीं अधिक सरलता से सारांशित किया जा सकता है।

तकनीकी सारांश: ट्रांसफॉर्मर अटेंशन फील्ड्स का मल्टीस्केल POD

समस्या विवरण

ट्रांसफॉर्मर अटेंशन मैट्रिसेस (attention matrices), जिन्हें दस्तावेजों के एक समूह (ensemble) के रूप में देखा जाता है, टोकन स्थितियों पर द्वि-आयामी युग्मवार इंटरेक्शन फील्ड्स (pairwise interaction fields) के रूप में कार्य करते हैं। जबकि पिछले कार्यों ने ह्यूरिस्टिक्स या विशिष्ट सर्किट हस्तक्षेपों के माध्यम से अटेंशन का विश्लेषण किया है, इन फील्ड्स से बिना किसी पर्यवेक्षण (supervision) के सुसंगत संरचनाओं (dominant recurring patterns) को निकालने के लिए एक कठोर, डेटा-संचालित ढांचे का अभाव है। पूर्ण $L \times L$ अटेंशन फील्ड पर लागू मानक प्रोपर ऑर्थोगोनल डिकंपोजिशन (POD) विभिन्न टेम्पोरल स्केल्स (जैसे, कैरेक्टर-लेवल बनाम डिस्कोर्स-लेवल) पर संरचनाओं को अलग करने में विफल रहता है, जिसके परिणामस्वरूप ऐसे मोड्स प्राप्त होते हैं जो भाषाई रूप से व्याख्या योग्य नहीं होते। इसके अलावा, प्रत्येक लेयर में अटेंशन फील्ड्स के प्रभावी प्रतिनिधित्व रैंक (effective representational rank) के लिए कोई सिद्धांतगत, डेटा-व्युत्पन्न मीट्रिक नहीं है, न ही स्पेक्ट्रल डिके (spectral decay) के आधार पर अटेंशन जटिलता को मापने की कोई विधि है।

कार्यप्रणाली (Methodology)

यह शोध पत्र स्केल-सिलेक्टिव प्रोपर ऑर्थोगोनल डिकंपोजिशन (POD) पेश करता है, जो टर्बुलेंस विश्लेषण से प्रेरित एक ढांचा है, जिसे स्ट्रक्चरल रूप से ट्रांसफॉर्मर अटेंशन पर लागू किया गया है। यह कार्यप्रणाली चार चरणों में आगे बढ़ती है:

स्टोकेस्टिक फील्ड फॉर्मूलेशन (Stochastic Field Formulation):
अटेंशन फील्ड को एक स्टोकेस्टिक इंटरेक्शन फील्ड के रूप में माना जाता है। एक लेयर $l$ के लिए, हेड-एवरेज्ड अटेंशन फील्ड $A^{(l)}_s(i, j)$ को एक मीन फील्ड $\bar{A}^{(l)}$ और एक फ्लक्चुएशन फील्ड $u^{(l)}_s(i, j) = A^{(l)}_s(i, j) - \bar{A}^{(l)}(i, j)$ में विघटित किया जाता है। यह फ्लक्चुएशन फील्ड फ्लूइड डायनेमिक्स में रेनॉल्ड्स डिकंपोजिशन (Reynolds decomposition) के समान है।
मोर्लेट स्केलोग्राम द्वारा स्केल पहचान (Scale Identification via Morlet Scalogram):
टेम्पोरल स्केल्स को हल करने के लिए, यह शोध पत्र अटेंशन लैग डायगोनल $\tau = j - i$ के साथ मोर्लेट कंटीन्यूअस वेवलेट ट्रांसफॉर्म (CWT) लागू करता है। परिणामी स्केलोग्राम $|W_\psi[A^{(l)}](a, b)|^2$ उन प्रभावी स्केल्स $a^*$ (लैग साइज) की पहचान करता है जहाँ अटेंशन एनर्जी केंद्रित होती है। यह यह निर्धारित करने के लिए एक डायग्नोस्टिक टूल के रूप में कार्य करता है कि कौन से भाषाई स्केल्स (कैरेक्टर, वर्ड, क्लॉज) सक्रिय हैं।
स्केल-सिलेक्टिव फिल्टरिंग और POD:
कच्चे (raw) फील्ड पर POD लागू करने के बजाय, यह विधि स्केलोग्राम द्वारा पहचाने गए प्रत्येक प्रभावी स्केल $a^*_m$ पर एक गौसियन लैग-विंडो फिल्टर लागू करती है। यह विशिष्ट लैग रेंज पर अटेंशन संरचनाओं को अलग करता है। इसके बाद इन स्केल-फिल्टर्ड स्नैपशॉट्स के एनसेम्बल पर अलग से POD लागू किया जाता है।
- इष्टतमता (Optimality): क्लासिकल POD इष्टतमता प्रमेय (थ्योरम 1) के अनुसार, परिणामी मोड्स $\{\phi_k\}$ दिए गए रैंक $K$ के लिए एनसेम्बल पर औसत $L_2$ रिकंस्ट्रक्शन एरर को न्यूनतम करते हैं।
- सुसंगतता (Coherency): पेपर डॉक्यूमेंट एनसेम्बल में टोकन स्थितियों $i$ और $j$ के बीच अटेंशन पैटर्न की फेज कंसिस्टेंसी को मापने के लिए क्रॉस-कोहेरेंसी $\gamma_{ij}(a)$ को परिभाषित करता है। उच्च कोहेरेंसी एक प्रभावी, आवर्ती भाषाई पैटर्न का संकेत देती है।
जटिलता और रैंक मीट्रिक्स:
- स्पेक्ट्रल कंसन्ट्रेशन इंडेक्स ( $T^{(l)}_{spec}$ ): POD आइजनवैल्यूज़ के पावर-लॉ डिके रेट ( $\lambda_k \sim k^{-\beta}$ ) से व्युत्पन्न। $T^{(l)}_{spec} = 1/\beta$ अटेंशन जटिलता के प्रॉक्सी के रूप में कार्य करता है।
- प्रभावी प्रतिनिधित्व रैंक ( $H^*_l(\epsilon)$ ): इसे सापेक्ष त्रुटि $\epsilon$ के साथ अटेंशन फील्ड को पुनर्गठित करने के लिए आवश्यक न्यूनतम POD मोड्स की संख्या के रूप में परिभाषित किया गया है। यह एक विशिष्ट लेयर पर आवश्यक अटेंशन हेड्स की संख्या के लिए एक सैद्धांतिक निचली सीमा प्रदान करता है।

मुख्य परिणाम

चार प्रशिक्षित GPT-स्टाइल मॉडल्स (स्टैंडर्ड और एनर्जी-गेटेड वेरिएंट सहित) पर प्रयोग किए गए (TinyShakespeare, $N=150$ स्नैपशॉट्स, $L=6$ लेयर्स)।

लेयर-डिपेंडेंट स्केल ऑर्गनाइजेशन:
- प्रारंभिक लेयर्स (1–2): अटेंशन एनर्जी फाइन स्केल्स ( $a \le 7$ टोकन्स) पर केंद्रित है, जो कैरेक्टर-लेवल और शॉर्ट-रेंज मॉर्फोलॉजिकल पैटर्न के अनुरूप है। स्पेक्ट्रल कंसन्ट्रेशन इंडेक्स कम है ( $T_{spec} \approx 1.0$ ), जो एक धीमे आइजनवैल्यू डिके और एक डिस्ट्रिब्यूटेड स्पेक्ट्रम को दर्शाता है जहाँ कई मोड्स ऊर्जा साझा करते हैं।
- बाद की लेयर्स (5–6): ऊर्जा कोर्सर स्केल्स ( $a \ge 20$ टोकन्स) की ओर स्थानांतरित हो जाती है, जो फ्रेज और डिस्कोर्स स्तरों के अनुरूप है। स्पेक्ट्रम अधिक केंद्रित हो जाता है (कुछ संदर्भों में उच्च $T_{spec}$ ), और डोमिनेंट मोड्स वेरिएंस के एक बड़े हिस्से को कैप्चर करते हैं।
व्याख्या योग्य सुसंगत संरचनाएं (Interpretable Coherent Structures):
स्केल-सिलेक्टिव POD ने भाषाई रूप से सार्थक मोड्स सफलतापूर्वक निकाले:
- लेयर 2: शॉर्ट लैग्स (2–10 टोकन्स) पर ऑसिलेटरी पैटर्न, जो कैरेक्टर n-grams के अनुरूप हैं।
- लेयर 4: 10–35 टोकन्स पर पीकिंग वाले स्ट्रक्चर्ड मोड्स, जो वर्ड और फ्रेज बाउंड्रीज के अनुरूप हैं।
- लेयर 6: 10–40 टोकन्स तक फैले जटिल मल्टी-पीक मोड्स, जो क्लॉज-लेवल रिकरिंग पैटर्न को कैप्चर करते हैं।
प्रभावी रैंक और हेड एलोकेशन:
विश्लेषण ने प्रतिनिधित्व आवश्यकताओं में एक तीव्र अंतर प्रकट किया:
- लेयर्स 1–2: $\epsilon=0.10$ पर 90% ऊर्जा कैप्चर करने के लिए $>150$ मोड्स की आवश्यकता होती है, जो अत्यधिक डॉक्यूमेंट-विशिष्ट, डिस्ट्रिब्यूटेड अटेंशन का सुझाव देता है जिसमें कोई डोमिनेंट लो-रैंक स्ट्रक्चर नहीं है।
- लेयर्स 3–6: समान टॉलरेंस के लिए केवल $\approx 91$ मोड्स की आवश्यकता होती है, जो इंगित करता है कि इंटरमीडिएट और डीप लेयर्स सुसंगत, लो-रैंक अटेंशन पैटर्न की ओर अभिसरित (converge) होते हैं।
- इसका तात्पर्य है कि स्टैंडर्ड यूनिफॉर्म हेड एलोकेशन ( $H=8$ ) संभवतः डीप लेयर्स के लिए ओवर-स्पेसिफाइड है और प्रारंभिक लेयर्स के लिए अंडर-स्पेसिफाइड हो सकता है।
एनर्जी गेटिंग (EGA) प्रभाव:
एनर्जी गेटिंग (EGA) वाले मॉडल्स ने सभी लेयर्स में व्यवस्थित रूप से उच्च स्केलोग्राम एनर्जी दिखाई, जो पुष्टि करता है कि एनर्जी गेटिंग सुसंगत संरचनाओं को बढ़ाता है। EGA-1 ने बेसलाइन की तुलना में मध्य लेयर्स (3–4) में थोड़ी उच्च स्पेक्ट्रल जटिलता और अंतिम लेयर्स (5–6) में कम जटिलता प्रदर्शित की, जो विविध पैटर्न के चयनात्मक प्रवर्धन (amplification) के बाद उनके समेकन (consolidation) का सुझाव देती है।

महत्व और दावे

शोध पत्र का दावा है कि यह ट्रांसफॉर्मर अटेंशन और टर्बुलेंट फ्लो के बीच एक स्ट्रक्चरल एनालॉजी स्थापित करता है, जो भौतिक समानता का दावा किए बिना (कोई नेवियर-स्टोक्स डायनेमिक्स नहीं) गणितीय मशीनरी (एनसेम्बल कोवेरिएंस, POD, वेवलेट विश्लेषण) को उधार लेता है।

इष्टतम व्याख्यात्मकता (Optimal Interpretability): ह्यूरिस्टिक व्याख्यात्मकता विधियों (जैसे प्रोबिंग, पैचिंग) के विपरीत, यह दृष्टिकोण एक कठोर रिकंस्ट्रक्शन-ऑप्टिमलिटी गारंटी प्रदान करता है। निकाले गए मोड्स अद्वितीय लीनियर बेसिस हैं जो एनसेम्बल के मीन स्क्वेर्ड एरर को न्यूनतम करते हैं।
डेटा-संचालित जटिलता: यह अटेंशन फील्ड सांख्यिकी से सीधे प्राप्त अटेंशन जटिलता ( $T_{spec}$ ) और प्रभावी रैंक ( $H^*_l$ ) का पहला डेटा-संचालित, मात्रात्मक माप पेश करता है, जो आर्किटेक्चरल हाइपरपैरामीटर्स से स्वतंत्र है।
स्केल सेपरेशन: यह प्रदर्शित करता है कि अटेंशन विश्लेषण में स्केल्स का "मिक्सिंग" भाषाई अर्थ को धुंधला कर देता है। वर्ड-बाउंड्री अटेंशन और डिस्कोर्स स्ट्रक्चर को अलग करने के लिए स्केल-सिलेक्टिव POD आवश्यक है।
सैद्धांतिक सीमाएं: यह कार्य अटेंशन हेड प्रूनिंग और लेयर-वाइज रैंक एलोकेशन के लिए एक सिद्धांतगत, एरर-बाउंडेड मानदंड प्रदान करता है, जो सुझाव देता है कि हेड्स की संख्या को अटेंशन फील्ड की स्पेक्ट्रल जटिलता से मेल खाने के लिए लेयर के अनुसार बदलना चाहिए।

लेखक स्पष्ट रूप से कहते हैं कि टर्बुलेंस एनालॉजी स्ट्रक्चरल है, भौतिक नहीं: "हम एनसेम्बल कोवेरिएंस और मोडल एनालिसिस को उधार लेते हैं, न कि फ्लूइड डायनेमिक्स को।" यह ढांचा अटेंशन फील्ड को एक मल्टीस्केल स्टोकेस्टिक इंटरेक्शन फील्ड के रूप में मानता है, जहाँ डोमिनेंट मोड्स डॉक्यूमेंट एनसेम्बल में सूचना हस्तांतरण के सबसे आवर्ती पैटर्न का प्रतिनिधित्व करते हैं।