🔬 condensed matter

Single-Head Attention in High Dimensions: A Theory of Generalization, Weights Spectra, and Scaling Laws

यह शोधपत्र रैंडम मैट्रिक्स और स्पिन-ग्लास सिद्धांतों का उपयोग करके सिंगल-हेड टाइड-अटेंशन ट्रेनिंग का एक सटीक उच्च-आयामी लक्षण वर्णन प्रदान करता है, जो लो-रैंक कोलैप्स जैसे प्रेक्षित स्पेक्ट्रल स्ट्रक्चर के उद्भव की सफलतापूर्वक भविष्यवाणी करता है और अनुक्रमिक स्पेक्ट्रल रिकवरी के माध्यम से पावर-लॉ स्केलिंग व्यवहार को व्युत्पन्न करता है।

मूल लेखक: Fabrizio Boncoraglio, Vittorio Erba, Emanuele Troiani, Yizhou Xu, Florent Krzakala, Lenka Zdeborová

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fabrizio Boncoraglio, Vittorio Erba, Emanuele Troiani, Yizhou Xu, Florent Krzakala, Lenka Zdeborová

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कहानी समझना सिखाने की कोशिश कर रहे हैं। रोबोट एक विशेष उपकरण का उपयोग करता है जिसे अटेंशन मैकेनिज्म (Attention Mechanism) कहा जाता है। इस उपकरण को एक चश्मे की तरह समझें जो रोबोट को यह तय करने में मदद करता है कि वाक्य के कौन से शब्द महत्वपूर्ण हैं और किन्हें अनदेखा करना है।

लंबे समय तक, वैज्ञानिकों ने देखा कि जब रोबोट ने बहुत कुछ सीख लिया, तो इन "चश्मों" में कुछ अजीब सा हुआ। जब उन्होंने आंतरिक सेटिंग्स (यानी "वेट्स" या weights) को देखा, तो वे रैंडम नहीं थे। इसके बजाय, वे एक बहुत ही विशिष्ट, व्यवस्थित पैटर्न की तरह दिखे: कुछ सेटिंग्स बहुत बड़ी और शक्तिशाली थीं, जबकि अधिकांश बहुत छोटी या शून्य थीं। ऐसा लग रहा था जैसे रोबोट ने कुछ मुख्य विचारों पर तीव्रता से ध्यान केंद्रित करना और बाकी को अनदेखा करना सीख लिया हो।

लेकिन कोई नहीं जानता था कि ऐसा क्यों हुआ, या क्या यह पैटर्न वास्तव में रोबोट को स्मार्ट बनाने में मदद कर रहा था।

यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ लेखक इस रहस्य को सुलझाने के लिए उन्नत गणित का उपयोग करते हैं। उन्होंने रोबोट के मस्तिष्क का एक सरल, आदर्श संस्करण बनाया ताकि यह देख सकें कि वह वास्तव में कैसे सीखता है। यहाँ उन्होंने जो पाया, उसे सरल भाषा में समझाया गया है:

1. "लो-रैंक" का रहस्य (मुख्य खिलाड़ी)

लेखकों ने पाया कि जब रोबोट सीखता है, तो वह स्वाभाविक रूप से अपनी सेटिंग्स को सिकोड़ देता है। यह एक मूर्तिकार द्वारा संगमरमर के ब्लॉक को तराशने जैसा है। रोबोट को यह एहसास होता है कि उसे कहानी समझने के लिए लाखों अलग-अलग नॉब्स (knobs) की आवश्यकता नहीं है; उसे केवल कुछ "हेवी हिटर्स" (मजबूत सेटिंग्स) की आवश्यकता है।

उपमा: कल्पना कीजिए कि आप यात्रा के लिए पैकिंग कर रहे हैं। आप एक सूटकेस ढेर सारी रैंडम चीजों से भर सकते हैं, लेकिन एक समझदार यात्री केवल आवश्यक चीजें ही पैक करता है। रोबोट की सीखने की प्रक्रिया स्वाभाविक रूप से केवल सबसे महत्वपूर्ण विशेषताओं को "पैक" करती है, और बाकी को पीछे छोड़ देती है। इसे लो-रैंक कोलैप्स (low-rank collapse) कहा जाता है।

2. "स्पेक्ट्रल आउटलेयर्स" (ऊँची आवाजें)

यह शोध पत्र बताता है कि रोबोट की सेटिंग्स केवल छोटी नहीं होतीं; वे एक विशिष्ट आकार बनाती हैं। अधिकांश सेटिंग्स पृष्ठभूमि का शोर (the "bulk") होती हैं, लेकिन कुछ बहुत स्पष्ट और ऊँची आवाजों (the "outliers") के रूप में उभरती हैं।

उपमा: एक भीड़ भरी पार्टी के बारे में सोचें। अधिकांश लोग बैकग्राउंड में धीरे-धीरे बातें कर रहे हैं (the bulk)। लेकिन कभी-कभी, कोई बहुत महत्वपूर्ण खबर चिल्लाकर देता है (the outlier)। रोबोट उन चिल्लाहटों को सुनने के लिए सीखता है क्योंकि उनमें सबसे अधिक अर्थ होता है। गणित यह भविष्यवाणी करता है कि ये चिल्लाहटें कितनी तेज होंगी और कितने लोगों की होंगी।

3. चरण-दर-चरण सीखना ("इमर्जेंस")

सबसे रोमांचक खोज यह है कि रोबोट सब कुछ एक साथ नहीं सीखता है। वह चरणों में सीखता है।

उपमा: कल्पना कीजिए कि आप पियानो का एक टुकड़ा सीखना सीख रहे हैं। पहले, आप मुख्य धुन (सबसे मजबूत संकेत) सीखते हैं। एक बार जब आप इसे सीख लेते हैं, तो आप हार्मनी (harmony) सीखना शुरू करते हैं। फिर लय (rhythm)। आप एक सेकंड में पूरा गाना नहीं सीखते।
परिणाम: शोध पत्र दिखाता है कि जैसे-जैसे आप रोबोट को अधिक उदाहरण (डेटा) देते हैं, वह एक-एक करके इन ऊँची आवाजों को "चालू" करता जाता है, जो सबसे मजबूत वाली से शुरू होता है। यही कारण है कि AI कभी-कभी प्रशिक्षण के एक निश्चित स्तर के बाद अचानक "समझने" लगता है—यह बस उस क्षण का संकेत है जब एक नया महत्वपूर्ण फीचर चालू हो जाता है।

4. सीखने की गति के लिए "जादुई फॉर्मूला"

लेखकों ने एक गणितीय नियम (एक "स्केलिंग लॉ") खोजा जो भविष्यवाणी करता है कि जैसे-जैसे आप इसे अधिक डेटा देंगे, रोबोट कितनी तेजी से बेहतर होगा।

उपमा: यदि आप मौसम का अनुमान लगाने की कोशिश कर रहे हैं, तो एक बादल को देखने से ज्यादा मदद नहीं मिलती। दस बादलों को देखने से थोड़ी मदद मिलती है। लेकिन एक हजार बादलों को देखने से आपको एक बहुत स्पष्ट तस्वीर मिलती है। शोध पत्र दिखाता है कि इन अटेंशन मॉडल्स के लिए, सुधार एक अनुमानित वक्र (curve) का पालन करता है। यदि कार्य की "महत्वपूर्ण विशेषताएं" एक विशिष्ट तरीके से व्यवस्थित हैं (जैसे पावर लॉ, जहाँ कुछ चीजें बहुत महत्वपूर्ण हैं और कई चीजें थोड़ी कम महत्वपूर्ण हैं), तो रोबol एक विशिष्ट, अनुमानित दर पर बेहतर होता है।

5. "फैक्टराइज्ड" ट्रेनिंग क्यों बेहतर है

पत्र ने रोबोट को सिखाने के दो तरीकों की तुलना भी की:

डायरेक्ट (Direct): रोबोट को ठीक वही बताना कि अंतिम सेटिंग्स क्या होनी चाहिए।
फैक्टराइज्ड (Factorized): रोबोट को दो सरल भागों को मिलाकर सेटिंग्स बनाने के लिए कहना (जैसे दो छोटे मैट्रिसेस को गुणा करना)।

आश्चर्य: "फैक्टराइज्ड" तरीका (हिस्सों से बनाना) वास्तव में बेहतर काम कर गया, भले ही यह अधिक जटिल लग रहा था।
कारण: यह एक छात्र को बिल्डिंग ब्लॉक्स (फैक्टराइज्ड) देने बनाम एक बना-बनाया स्टैच्यू (डायरेक्ट) देने जैसा है। ब्लॉक्स से बनाने वाला छात्र वस्तु की संरचना को बेहतर ढंग से सीखता है और जब वस्तु जटिल हो जाती है, तो वह कम गलतियाँ करता है। गणित यह सिद्ध करता है कि यह तरीका रोबोट को बिना बताए भी स्वाभाविक रूप से "लो-रैंक" समाधान (अनिवार्य चीजों) को खोजने के लिए मजबूर करता है।

सारांश

संक्षेप में, यह शोध पत्र उच्च-स्तरीय गणित का उपयोग करके यह सिद्ध करता है कि:

अटेंशन मैकेनिज्म स्वाभाविक रूप से सबसे महत्वपूर्ण चीजों पर ध्यान केंद्रित करना और शोर को अनदेखा करना सीख जाते हैं।
वे यह कुछ मजबूत "आवाजों" (outliers) और शांत बैकग्राउंड शोर के समुद्र को बनाकर करते हैं।
वे अधिक डेटा देखते हुए एक-एक करके इन आवाजों को सीखते हैं, जो यह समझाता है कि AI की क्षमताएं अचानक क्यों "इमर्ज" (उभरती) होती हैं।
हम उन्हें जिस तरह से प्रशिक्षित करते हैं (फैक्टराइज्ड), वह गुप्त रूप से उन्हें सबसे कुशल समाधान खोजने में मदद करता है।

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने एक गणितीय मॉडल बनाया जो कंप्यूटर सिमुलेशन से पूरी तरह मेल खाता है, जिससे यह साबित होता है कि ये अजीब पैटर्न दुर्घटना नहीं हैं, बल्कि इन मॉडल्स के सीखने के तरीके का अनिवार्य परिणाम हैं।

तकनीकी सारांश: उच्च आयामों में सिंगल-हेड अटेंशन (Single-Head Attention)

समस्या विवरण (Problem Statement)

आधुनिक ट्रांसफॉर्मर में प्रशिक्षित अटेंशन लेयर्स उनके वेट मैट्रिसेस (weight matrices) में पुनरुत्पादित स्पेक्ट्रल संरचनाएं प्रदर्शित करते हैं, जिनमें लो-रैंक कोलैप्स (low-rank collapse), बल्क विरूपण (bulk deformation), और आइसोलेटेड स्पेक्ट्रल आउटलायर्स (isolated spectral outliers) शामिल हैं। हालांकि, इन घटनाओं के सैद्धांतिक मूल और सामान्यीकरण (generalization) पर उनके विशिष्ट निहितार्थ अभी भी अस्पष्ट रूप से समझे जाने बाकी हैं। इसके अलावा, जबकि एम्पिरिकल स्केलिंग लॉज़ (empirical scaling laws) अटेंशन-आधारित मॉडलों में प्रदर्शन और कम्प्यूटेशनल संसाधनों के बीच पावर-लॉ संबंधों को प्रकट करते हैं, सैद्धांतिक समझ मुख्य रूप से रैखिक या "लेज़ी" (lazy) व्यवस्थाओं तक सीमित है जो वास्तविक प्रतिनिधित्व शिक्षण (representation learning) को कैप्चर नहीं कर सकती है। इसके अतिरिक्त, प्रशिक्षण गतिकी (training dynamics) अक्सर गैर-सुचारू व्यवहार प्रदर्शित करती है, जैसे कि प्लेटो (plateaus) और अचानक संक्रमण (emergence), जिनका एक समाधान योग्य मॉडल के भीतर कोई कठोर स्पष्टीकरण नहीं है।

यह शोध पत्र एक सरलीकृत सिंगल-हेड टायड अटेंशन (single-head tied attention) मॉडल का प्रस्ताव करके और उच्च-आयामी सीमा में एम्पिरिकल रिस्क मिनिमाइजेशन (ERM) के माध्यम से इसे विश्लेषणात्मक रूप से हल करके इन कमियों को दूर करता है। इसका लक्ष्य स्पेक्ट्रल गुणों, सामान्यीकरण प्रदर्शन और स्केलिंग लॉज़ के बीच एक कठोर संबंध स्थापित करना है।

कार्यप्रणाली (Methodology)

लेखक एक उच्च-आयामी एसिम्प्टोटिक फ्रेमवर्क का उपयोग करते हैं जहाँ टोकन एम्बेडिंग डायमेंशन $d$ , नमूनों की संख्या $n$ , और मॉडल विड्थ $p$ , स्थिर अनुपातों के साथ अनंत की ओर बढ़ते हैं:
$\alpha := n/d^2, \quad \kappa := p/d, \quad \kappa_0 := p_0/d$
जहाँ $p_0$ टार्गेट फंक्शन का रैंक है।

प्रमुख सैद्धांतिक उपकरण:

रैंडम मैट्रिक्स थ्योरी और स्पिन-ग्लास थ्योरी: रैंडम मैट्रिसेस के स्पेक्ट्रम और लॉस लैंडस्केप के व्यवहार को चरित्रित करने के लिए उपयोग किया गया।
एप्रोक्सिमेट मैसेज पासिंग (AMP): लेखक अटेंशन में ERM समस्या को एक समतुल्य मैट्रिक्स सेंसिंग समस्या में मैप करते हैं। वे एल्गोरिदम के ग्लोबल मिनिमा की ओर अभिसरण (convergence) को ट्रैक करने के लिए स्टेट इवोल्यूशन समीकरणों को प्राप्त करने के लिए AMP का उपयोग करते हैं।
टास्क मॉडल: अध्ययन एक "अटेंशन-इंडेक्स्ड मॉडल" से उत्पन्न सिंथेटिक सीक्वेंस-टू-सीक्वेंस (seq2seq) और सीक्वेंस-टू-लेबल (seq2lab) कार्यों पर विचार करता है। टार्गेट फंक्शन को एक टार्गेट वेट मैट्रिक्स $S_0$ और इनपुट टोकन के द्विरेखीय रूप (bilinear form) के सॉफ्टमैक्स प्लस गाऊसी शोर (Gaussian noise) के रूप में परिभाषित किया गया है।
आर्किटेक्चर: एक सिंगल-हेड टायड अटेंशन लेयर जहाँ क्वेरी और की (query and key) मैट्रिसेस आपस में जुड़े हुए हैं ( $W$ ), और वैल्यू मैट्रिक्स आइडेंटिटी है। मॉडल को स्क्वायर लॉस और $\ell_2$ रेगुलराइजेशन (वेट डिके) के साथ प्रशिक्षित किया जाता है।

प्रमुख योगदान (Key Contributions)

1. ERM और ग्रेडिएंट डिसेंट का एसिम्प्टोटिक्स

यह शोध पत्र एम्पिरिकल लॉस के ग्लोबल मिनिमा का एक सटीक उच्च-आयामी लक्षण वर्णन प्रदान करता है।

सटीक सूत्र: यह ट्रेनिंग एरर और टेस्ट एरर, साथ ही इंटरपोलेशन और परफेक्ट रिकवरी थ्रेशोल्ड के लिए सटीक एसिम्प्टोटिक सूत्र प्राप्त करता है।
ग्रेडिएंट डिसेंट कन्वर्जेंस: ऑब्जेक्टिव की नॉन-कॉन्वेक्सिटी के बावजूद, संख्यात्मक सिमुलेशन पुष्टि करते हैं कि ग्रेडिएंट-आधारित एल्गोरिदम (विशेष रूप से Adam) सिद्धांत द्वारा अनुमानित समाधानों की ओर अभिसरित होते हैं।
फैक्टराइजेशन का इंडक्टिव बायस: लेखक स्पष्ट करते हैं कि मानक फैक्टराइज्ड ट्रेनिंग (जहाँ $W$ को सीखा जाता है जहाँ $S \approx WW^T$ ) सीधे उत्पाद मैट्रिक्स $S$ के एलिमेंट-वाइज ट्रेनिंग की तुलना में बेहतर प्रदर्शन करती है। ऐसा इसलिए है क्योंकि $W$ पर वेट डिके $S$ पर एक प्रभावी न्यूक्लियर-नॉर्म रेगुलराइजेशन प्रेरित करता है, जो टार्गेट की संरचना के साथ संरेखित होने वाले लो-रंक समाधानों को बढ़ावा देता है।

2. स्पेक्ट्रम–जनरलाइजेशन लिंक

यह शोध पत्र सिंगल-हेड अटेंशन द्वारा सीखे गए स्पेक्ट्रम का एक विश्लेषणात्मक लक्षण वर्णन प्राप्त करता है और इसे मात्रात्मक रूप से सामान्यीकरण से जोड़ता है।

स्पेक्ट्रल प्रेडिक्शन: सिद्धांत प्रशिक्षित क्वेरी-की मैप के पूर्ण सिंगुलर-वैल्यू डिस्ट्रीब्यूशन की भविष्यवाणी करता है। इसमें एक स्ट्रक्चर्ड बल्क, लो-रंक कोलैप्स, और आइसोलेटेड स्पेक्ट्रल आउटलायर्स शामिल हैं, जो वास्तविक ट्रांसफॉर्मर में देखे गए अवलोकनों के गुणात्मक रूप से मेल खाते हैं।
एरर डिकंपोजिशन: टेस्ट एरर को सीखे गए स्पेक्ट्रम के आधार पर चार व्याख्या योग्य घटकों में विभाजित किया गया है:
- ओवरफिटिंग ( $E_{over}$ ): स्प्यूरियस दिशाओं (नॉइज़ बल्क) को फिट करने से उत्पन्न होता है।
- अंडरफिटिंग ( $E_{under}$ ): टार्गेट दिशाओं के अनुरूप जो शोर या रेगुलराइजेशन के कारण रिकवर नहीं हो पाईं।
- एप्रोक्सिमेशन ( $E_{approx}$ ): रिकवर किए गए स्पेक्ट्रल आउटलायर्स के साथ अवशिष्ट (residual) त्रुटि।
- मिसमैच ( $E_{mismatch}$ ): तब उत्पन्न होता है जब सैचुरेशन वैल्यू, जनरलाइजेशन एरर के लोकल मिनिमा के अनुरूप नहीं होती है।
व्याख्या: स्पेक्ट्रल आउटलायर्स वास्तव में सीखे गए टार्गेट फीचर्स के अनुरूप होते हैं, जबकि बल्क शोर का प्रतिनिधित्व करता है। रिकवर किए गए आउटलायर्स की संख्या बढ़ाने से सामान्यीकरण व्यवस्थित रूप से सुधरता है।

3. इमर्जेंस और स्केलिंग लॉज़

यह अध्ययन पावर-लॉ स्पेक्ट्रा (आइजनवैल्यूज $i^{-\gamma}$ के रूप में घटते हैं) वाले टार्गेट्स की जांच करता है।

अनुक्रमिक स्पेक्ट्रल रिकवरी (Sequential Spectral Recovery): लर्निंग उन चरणों के माध्यम से आगे बढ़ती है जहाँ स्पेक्ट्रल मोड्स को उनकी शक्ति के अनुसार क्रमिक रूप से रिकवर किया जाता है। जैसे-जैसे सैंपल कॉम्प्लेक्सिटी बढ़ती है, प्रभावी रेगुलराइजेशन थ्रेशोल्ड शिफ्ट होता है, जिससे कमजोर मोड्स को शामिल करने की अनुमति मिलती है।
इमर्जेंस (Emergence): यह अनुक्रमिक रिकवरी प्रदर्शन में "इमर्जेंस" (प्रदर्शन में अचानक परिवर्तन) की घटनाओं को समझाती है, जो फीचर-लर्निंग मॉडल्स में स्पेक्ट्रल मोड्स के क्रमिक समावेश का परिणाम है।
स्केलिंग लॉज़: यह तंत्र नमूनों की संख्या के साथ टेस्ट एरर के पावर-लॉ स्केलिंग की ओर ले जाता है। एक्स्ट्रा रिस्क $etest - e_0 \asymp n^{-f(\gamma)}$ का पालन करता है, जहाँ घातांक $f(\gamma)$ टार्गेट के स्पेक्ट्रल टेल और रेगुलराइजेशन रिजीम पर निर्भर करता है। ये दरें LASSO और मैट्रिक्स कॉम्प्रेस्ड सेंसिंग में पाई जाने वाली दरों से मेल खाती हैं, जो सार्वभौमिकता (universality) का सुझाव देती हैं।

परिणाम (Results)

वैलिडेशन: टेस्ट एरर और ट्रेनिंग लॉस के लिए सैद्धांतिक भविष्यवाणियां विभिन्न सैंपल रेश्यो ( $\alpha$ ) और रेगुलराइजेशन स्ट्रेंथ ( $\lambda$ ) के लिए Adam के संख्यात्मक सिमुलेशन के साथ उत्कृष्ट सहमति दिखाती हैं।
स्पेक्ट्रल सहमति: भविष्यवाणी की गई सिंगुलर-वैल्यू डिस्ट्रीब्यूशन, जिसमें आउटलायर्स का उदय और उच्च सैंपल काउंट पर बल्क का विभाजन शामिल है, सिमुलेशन परिणामों के साथ संरेखित होती है।
थ्रेशोल्ड्स: पेपर इंटरपोलेशन थ्रेशोल्ड (जहाँ ट्रेनिंग लॉस शून्य हो जाता है) और परफेक्ट रिकवरी थ्रेशोल्ड (जहाँ नॉइज़लेस केस में टेस्ट एरर शून्य हो जाता है) के लिए विश्लेषणात्मक अभिव्यक्तियों को प्रदान करता है।
फैक्टराइजेशन एडवांटेज: सिमुलेशन पुष्टि करते हैं कि फैक्टराइज्ड पैरामीट्राइजेशन, नॉन-फैक्टराइज्ड फ्रोबेनियस-रेगुलराइज्ड ट्रेनिंग की तुलना में लगातार कम टेस्ट एरर प्राप्त करता है, विशेष रूप से लो-रंक रिजीम में।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह पहला उच्च-आयामी एसिम्प्टोटिक सिद्धांत प्रदान करता है जो अटेंशन वेट्स के स्पेक्ट्रल गुणों को सीधे सामान्यीकरण प्रदर्शन से जोड़ता है। अनुभवजन्य अवलोकनों (लो-रंक कोलैप्स, हेवी टेल्स, स्केलिंग लॉज़) और सैद्धांतिक समझ के बीच की खाई को पाटकर, यह कार्य निम्नलिखित के लिए एक सिद्धांत आधारित आधार प्रदान करता है:

इंडक्टिव बायस को समझाना: यह प्रदर्शित करना कि फैक्टराइज्ड अटेंशन में वेट डिके स्पष्ट रूप से न्यूक्लियर-नॉर्म रेगुलराइजेशन को लागू करता है, जो लो-रंक समाधानों को प्राथमिकता देता है।
इमर्जेंस को समझना: फीचर-लर्निंग मॉडल्स में क्षमताओं के स्टेपवाइज इमर्जेंस के लिए प्रथम-सिद्धांतों (first-principles) से स्पष्टीकरण प्रदान करना।
स्केलिंग लॉज़ को एकीकृत करना: यह दिखाना कि अटेंशन मॉडल्स में पावर-लॉ स्केलिंग, टार्गेट के स्पेक्ट्रल स्ट्रक्चर और आर्किटेक्चर के इम्प्लिसिट रैंक-स्पैरसिटी बायस के बीच परस्पर क्रिया से स्वाभाविक रूप से उत्पन्न होती है।

लेखक अपनी सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि उनका विश्लेषण कुछ सरलीकृत मान्यताओं जैसे कि आइसोट्रोपिक गाऊसी डेटा, टायड सिंगल-हेड अटेंशन और उच्च-आयामी सीमा पर निर्भर करता है। हालांकि, उनका तर्क है कि सिद्धांत प्रशिक्षित अटेंशन मॉडल्स में देखे गए अनुभवजन्य घटनाओं को सफलतापूर्वक पुनरुत्पादित करता है, जो यह सुझाव देता है कि अंतर्निहित तंत्र (स्पेक्ट्रल रिकवरी और इंडक्टिव बायस) मजबूत हैं और अधिक यथार्थवादी सेटिंग्स में भी लागू हो सकते हैं।