💬 NLP

On the Existence and Behavior of Secondary Attention Sinks

यह शोध पत्र "सेकेंडरी अटेंशन सिंक्स" (secondary attention sinks) को विशिष्ट, क्षणिक घटनाओं के रूप में पहचानता और अभिलक्षणित करता है जो विशिष्ट MLP-प्रेरित वेक्टर संरेखणों के कारण ट्रांसफॉर्मर मॉडलों की मध्य परतों में उभरते हैं, जो मॉडल स्केल्स के across उनके नियत पैटर्न और कमजोर होते प्राथमिक सिंक्स के साथ उनकी गतिशील परस्पर क्रिया को प्रकट करते हैं।

मूल लेखक: Jeffrey T. H. Wong, Cheng Zhang, Louis Mahon, Wayne Luk, Anton Isopoussu, Yiren Zhao

प्रकाशित 2026-03-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jeffrey T. H. Wong, Cheng Zhang, Louis Mahon, Wayne Luk, Anton Isopoussu, Yiren Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़े लैंग्वेज मॉडल (जैसे इस चैट के पीछे का AI) की कल्पना एक विशाल, बहु-मंजिला पुस्तकालय के रूप में करें जहाँ जानकारी ज़मीन से लेकर ऊपरी मंजिल तक यात्रा करती है। जैसे ही कोई कहानी या गणित की समस्या इस पुस्तकालय से गुज़रती है, वह कई "कमरों" (परतों/layers) से होकर निकलती है, और प्रत्येक कमरे में, पुस्तकालयाध्यक्षों (अटेंशन मैकेनिज्म) की एक टीम यह तय करती है कि कहानी के कौन से हिस्से को याद रखना सबसे महत्वपूर्ण है।

कुछ समय के लिए, शोधकर्ताओं को एक विशिष्ट पुस्तकालयाध्यक्ष के बारे में पता था जिसे हमेशा बहुत ध्यान मिलता था: BOS टोकन (शुरुआत का टोकन)। इसे "फ्रंट डेस्क पर मौजूद पुस्तकालयाध्यक्ष" के रूप में सोचें। आप चाहे कोई भी कहानी सुनाएं, फ्रंट डेस्क लाइब्रेरियन को हमेशा एक बड़ी चमक (स्पॉटलाइट) मिलती है, भले ही कहानी फ्रंट डेस्क से पूरी तरह से असंबंधित क्यों न हो। इसे "अटेंशन सिंक" (Attention Sink) कहा जाता है। यह एक ब्लैक होल की तरह है जो ध्यान को अपनी ओर खींच लेता है, और यह पुस्तकालय को सुचारू रूप से चलाने में मदद करता है।

लेकिन इस नए शोध पत्र ने, जिसे एक शीर्ष AI सम्मेलन में स्वीकार किया गया है, कुछ आश्चर्यजनक खोजा है: ऐसे अन्य पुस्तकालयाध्यक्ष भी हैं जिन्हें स्पॉटलाइट में खींचा जाता है, लेकिन वे बहुत अलग हैं।

यहाँ उनके आविष्कार का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "सेकेंडरी सिंक्स": पॉप-अप स्टार्स

लेखकों ने एक नए प्रकार का अटेंशन सिंक खोजा है जिसे वे सेकेंडरी सिंक्स कहते हैं।

पुराना तरीका (प्राइमरी सिंक्स): फ्रंट डेस्क लाइब्रेरियन (BOS) पहले कमरे से लेकर आखिरी कमरे तक हमेशा वहीं रहता है। वह एक स्थायी सितारा है।
नया तरीका (सेकेंडरी सिंक्स): कल्पना करें कि इमारत के बीच के हिस्से में, मध्य मंजिलों पर, एक अचानक से दिखने वाला, साधारण सा दिखने वाला किताब (एक टोकन जिसका कोई वास्तविक अर्थ नहीं है, जैसे एक कॉमा या स्पेस) अचानक एक बड़ी स्पॉटलाइट पा लेता है। वह शुरुआत में महत्वपूर्ण नहीं था, लेकिन अचानक, कहानी के बीच में, पुस्तकालध्यक्ष उस पर तीव्रता से घूरने लगते हैं।
अंतर: ये "सेकेंडरी सिंक्स" हमेशा के लिए नहीं रहते। वे बीच में प्रकट होते हैं, कुछ मंजिलों के लिए चमकते हैं, और फिर ओझल हो जाते हैं। वे "पॉप-अप स्टार्स" की तरह हैं जो केवल कहानी के विशिष्ट हिस्सों के दौरान दिखाई देते हैं।

2. वे कैसे बनते हैं: "ट्रांसफॉर्मर" मशीन

एक साधारण टोकन अचानक एक सितारा कैसे बन जाता है? शोध पत्र ने पाया है कि यह कौन सी "फैक्ट्री" है जो उन्हें बनाती है।

फैक्ट्री: यह इमारत के बीच में स्थित एक विशिष्ट मशीन में होता है जिसे MLP (एक प्रकार की प्रोसेसिंग यूनिट) कहा जाता है।
प्रक्रिया: कल्पना करें कि एक कन्वेयर बेल्ट कई अलग-अलग वस्तुओं (टोकन्स) को ले जा रही है। अधिकांश वस्तुएं सामान्य रहती हैं। लेकिन बीच में एक विशिष्ट मशीन है जो कुछ रैंडम वस्तुओं को पकड़ती है और उन्हें एक विशेष "चमक" (glow) से पेंट कर देती है जो उन्हें बिल्कुल फ्रंट डेस्क लाइब्रेरियन जैसा दिखाती है।
परिणाम: एक बार जब ये वस्तुएं इस मशीन से गुजर जाती हैं, तो वे फ्रंट डेस्क लाइब्रेरियन की दिशा के साथ पूरी तरह से संरेखित (align) हो जाती हैं। वे कुछ समय के लिए "नकली फ्रंट डेस्क" बन जाते हैं।

3. "सिंक लेवल्स": प्रसिद्धि का पदानुक्रम (Hierarchy of Fame)

शोधकर्ताओं ने देखा कि ये पॉप-अप स्टार्स रैंडम नहीं हैं; वे एक पैटर्न का पालन करते हैं।

लेवल 1: स्थायी फ्रंट डेस्क लाइब्रेरियन (BOS)।
लेवल 2, 3, आदि: "पॉप-अप स्टार्स" के विभिन्न समूह जो इमारत की विभिन्न ऊंचाइयों पर दिखाई देते हैं।
नियम: बड़े, स्मार्ट मॉडल्स (जैसे कि उल्लेखित 32B या 14B पैरामीटर वाले मॉडल्स) में, ये स्तर बहुत व्यवस्थित हैं। यह एक अच्छी तरह से रिहर्सल किए गए नाटक की तरह है जहाँ विशिष्ट कलाकार जानते हैं कि उन्हें कब स्पॉटलाइट में आना है और कब बाहर जाना है। छोटे मॉडल्स में, ऐसा कम होता है।

4. "कंपनसेशन" प्रभाव: वे क्यों मौजूद हैं?

पुस्तकालय इन अस्थायी सितारों को क्यों बनाएगा?

सिद्धांत: स्थायी फ्रंट डेस्क लाइब्रेरियन थक जाता है। जैसे-जैसे कहानी लंबी और जटिल होती जाती है, फ्रंट डेस्क लाइब्रेरियन का ध्यान (attention) इमारत के बीच में धुंधला या "डाइल्यूट" होने लगता है।
समाधान: सेकेंडरी सिंक्स ठीक उसी समय प्रकट होते हैं जब फ्रंट डेस्क लाइब्रेरियन कमजोर पड़ने लगता है। वे विकल्प (substitutes) के रूप में कार्य करते हैं। वे ध्यान को स्थिर रखने का काम संभाल लेते हैं ताकि कहानी बिखर न जाए। यह एक बैकअप सिंगर के आने जैसा है जब मुख्य गायक की आवाज़ थोड़ी लड़खड़ाने लगती है, जिससे यह सुनिश्चित होता है कि गाना सुचारू रूप से चलता रहे।

5. सितारे की "शक्ति"

शोध पत्र ने यह भी पाया कि इन पॉप-अप स्टार्स की "चमक" इस बात पर निर्भर करती है कि फैक्ट्री मशीन कितनी कड़ी मेहनत करती है।

यदि मशीन टोकन को बहुत ज़ोर से धकेलती है (उच्च गणितीय "नॉर्म"), तो सितारा अधिक चमकता है और अधिक मंजिलों तक स्पॉटलाइट में रहता है।
यदि मशीन कोमल है, तो सितारा मंद होता है और जल्दी गायब हो जाता है।

यह क्यों मायने रखता है?

इन "सेकेंडरी सिंक्स" को समझना घर की छिपी हुई वायरिंग को खोजने जैसा है।

बेहतर AI: यदि हम जानते हैं कि ये अस्थायी सितारे कैसे काम करते हैं, तो हम बेहतर AI बना सकते हैं जो लंबी कहानियों या जटिल गणित की समस्याओं में भ्रमित नहीं होता है।
दक्षता (Efficiency): हम कंप्यूटर मेमोरी बचा सकते हैं (यह जानकर कि हम किन "सितारों" को अनदेखा कर सकते हैं) या AI को तेज़ बना सकते हैं।
तर्क (Reasoning): शोध पत्र ने गौर किया कि गणित और तर्क (जैसे कि परीक्षण किए गए Qwen और DeepSeek मॉडल्स) के लिए विशेष रूप से प्रशिक्षित मॉडल्स में ये सेकेंडरी सिंक्स बहुत अधिक बार होते हैं। यह सुझाव देता है कि ये "पॉप-अप स्टार्स" एक गुप्त हथियार हो सकते हैं जिसका उपयोग AI कठिन समस्याओं को हल करने के लिए करता है।

संक्षेप में: AI केवल वाक्य की शुरुआत को ही नहीं देख रहा है। एक जटिल विचार के बीच में, यह अपना संतुलन बनाए रखने में मदद करने के लिए अस्थायी "फोकस पॉइंट्स" बनाता है, जो प्रतिस्थापन पुस्तकालयाध्यक्षों (substitute librarians) की एक टीम की तरह काम करते हैं ताकि कहानी पटरी से न उतरे।

यहाँ शोध पत्र "On the Existence and Behavior of Secondary Attention Sinks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

अटेंशन सिंक्स (Attention Sinks) वे टोकन होते हैं (आमतौर पर 'बeginning-of-sequence' या BOS टोकन) जो सीमित अर्थ संबंधी प्रासंगिकता (semantic relevance) के बावजूद अत्यधिक उच्च अटेंशन वेट प्राप्त करते हैं। जबकि पूर्व शोध ने स्थापित किया कि BOS टोकन "प्राइमरी सिंक" (primary sinks) के रूप में कार्य करते हैं जो नेटवर्क में शुरुआत में उभरते हैं और पूरे समय बने रहते हैं, हालिया अध्ययनों ने सुझाव दिया कि अन्य टोकन भी सिंक बन सकते हैं।

हालाँकि, पिछले कार्यों ने इन गैर-BOS सिंक्स को BOS सिंक के समान माना था (जो एक ही लेयर में उभरते हैं और अनिश्चित काल तक बने रहते हैं)। यह शोध पत्र एक समझ की कमी की पहचान करता है: सेकेंडरी अटेंशन सिंक्स (Secondary Attention Sinks)। ये सिंक्स का एक अलग वर्ग हैं जो:

नेटवर्क की पहली लेयर के बजाय मुख्य रूप से मध्यवर्ती परतों (middle layers) में उभरते हैं।
पूरे डेप्थ के बजाय परतों की परिवर्तनशील संख्या (variable number of layers) (कम जीवनकाल) के लिए बने रहते हैं।
प्राइमरी सिंक्स की तुलना में कम, लेकिन महत्वपूर्ण मात्रा में अटेंशन मास प्राप्त करते हैं।
अक्सर जेनरेशन सीक्वेंस में मनमाने स्थानों पर अर्थहीन टोकन (जैसे स्पेस, विराम चिह्न, संख्याएँ) पर दिखाई देते हैं।

लेखक इन सेकेंडरी सिंक्स की विशेषता बताने, उनके कारणत्मक निर्माण (causal formation) को समझने और अटेंशन मैकेनिज्म पर उनके प्रभाव का विश्लेषण करने का लक्ष्य रखते हैं।

2. कार्यप्रणाली (Methodology)

लेखकों ने विभिन्न स्केल और ट्रेनिंग ऑब्जेक्टिव्स (base, instruct, math, reasoning) वाले 11 मॉडल परिवारों (जिसमें Qwen2/2.5/3, QwQ, DeepSeek, LLaMA-3.1, Phi-4 आदि शामिल हैं) में व्यापक अनुभवजन्य प्रयोग किए।

मुख्य कार्यप्रणाली चरण:

डिटेक्शन प्रोटोकल (Detection Protocol):
- AIME24 और Math जैसे डेटासेट पर DeepSeek-14B का उपयोग करके रीजनिंग ट्रेसेस जनरेट किए।
- इन ट्रेसेस को 11 अलग-अलग मॉडल परिवारों में फीड किया।
- प्रत्येक लेयर में हिडन स्टेट्स ( $h_t$ ) और BOS टोकन ( $h_0$ ) के बीच पेयरवाइज कोसाइन सिमिलरिटी (pairwise cosine similarity) की गणना करके सिंक्स की पहचान की। जिन टोकन्स की सिमिलरिटी $> 0.95$ थी, उन्हें सिंक के रूप में वर्गीकृत किया गया।
- हिडन स्टेट्स, कीज़ (keys) और वैल्यूज (values) के $\ell_2$ -नॉर्म विश्लेषण का उपयोग करके निष्कर्षों को सत्यापित किया।
कारणत्मक निर्माण विश्लेषण (Causal Formation Analysis):
- लेयर-वाइज ट्रैकिंग: विशिष्ट परतों (जैसे DeepSeek-14B में लेयर 22) के माध्यम से उन टोकन्स को ट्रैक किया जो अंततः सेकेंडरी सिंक बन गए ("फ्यूचर सिंक्स"), ताकि सटीक ट्रांसफॉर्मेशन पॉइंट का पता लगाया जा सके।
- कंपोनेंट आइसोलेशन: औसत अर्थहीन टोकन्स के साथ आउटपुट्स (हिडन स्टेट्स, अटेंशन आउटपुट्स, MLP आउटपुट्स) को स्वैप करके मल्टी-हेड सेल्फ-अटेंशन (MHSA) और मल्टी-लेयर पर्सेप्ट्रॉन (MLP) मॉड्यूल के योगदान का विश्लेषण किया।
- PCA और लीनियर हाइपोथेसिस: यह परीक्षण करने के लिए कि क्या भविष्य के सिंक्स एक सामान्य 'की' (key) साझा करते हैं जो सिंक दिशा को रिट्रीव करती है, MLP इनपुट पर प्रिंसिपल कंपोनेंट एनालिसिस (PCA) किया गया।
- क्लस्टरिंग: नेटवर्क डेप्थ के माध्यम से "फ्यूचर सिंक्स" और "सामान्य अर्थहीन टोकन्स" के बीच अलगाव को विज़ुअलाइज़ करने के लिए t-SNE का उपयोग किया गया।
परिमाणीकरण (Quantification): निर्माण लेयर ( $l_{start}$ ) और लाइफटाइम (वह संख्या कितनी परतें सिंक बना रहता है) के आधार पर सिंक लेवल्स (Sink Levels) को परिभाषित किया गया।

3. मुख्य योगदान और निष्कर्ष (Key Contributions & Findings)

A. सेकेंडरी सिंक्स और सिंक लेवल्स की खोज

यह शोध पत्र स्थापित करता है कि अटेंशन सिंक्स एकरूप (monolithic) नहीं हैं। उन्हें वर्गीकृत किया जा सकता है:

प्राइमरी सिंक्स: BOS टोकन से संबंधित; जल्दी उभरते हैं और पूरे नेटवर्क में बने रहते हैं।
सेकेंडरी सिंक्स: मध्यवर्ती परतों (जैसे DeepSeek-14B में लेयर 22) में उभरते हैं और जिनका जीवनकाल परिवर्तनशील होता है।

सिंक लेवल्स: लेखक टुपल $(l_{start}, \text{lifetime})$ द्वारा "लेवल्स" को परिभाषित करते हैं। बड़े मॉडल्स (जैसे QwQ-32B, Qwen3-14B) में, ये लेवल्स अधिक नियतात्मक (deterministic) और बार-बार होने वाले होते हैं, जहाँ विशिष्ट परतें विशिष्ट सिंक समूहों के लिए "क्रिएशन पॉइंट्स" के रूप में कार्य करती हैं।

B. कारणत्मक तंत्र: मध्य-लेयर MLPs की भूमिका

सेकेंडरी सिंक्स का निर्माण मध्यवर्ती परतों में विशिष्ट MLP मॉड्यूल द्वारा संचालित होता है:

ट्रांसफॉर्मेशन पॉइंट: टोकन सामान्य व्यवहार करते हैं जब तक कि वे एक विशिष्ट लेयर ( $l_{start}$ ) तक नहीं पहुँच जाते। इस लेयर पर, MLP टोकन के रिप्रेजेंटेशन को बदल देता है।
डायरेक्शन अलाइनमेंट: MLP विविध, ऑर्थोगोनल टोकन रिप्रेजेंटेशन्स को एक ऐसे वेक्टर में मैप करता है जो प्राइमरी सिंक दिशा (BOS दिशा) के साथ संरेखित (align) होता है।
एम्प्लीफिकेशन (Amplification): MLP सिंक दिशा के साथ संरेखित घटकों के लिए एक एम्प्लीफायर के रूप में कार्य करता है और मिस-अलाइन्ड घटकों को दबा देता है। इसके परिणामस्वरूप हिडन स्टेट का बड़ा $\ell_2$ -नॉर्म प्राप्त होता है, जो उच्च अटेंशन स्कोर के साथ सह-संबंधित है।
अर्ली प्रिपरेशन: हालांकि सिंक प्रभाव $l_{start}$ पर प्रकट होता है, सिंक बनाने का निर्णय पहले की परतों (जैसे लेयर 19) में ही शुरू हो जाता है, जहाँ "फ्यूचर सिंक्स" रिप्रेजेंटेशन स्पेस में सामान्य टोकन्स से अलग क्लस्टर होना शुरू हो जाते हैं।

C. नॉर्म्स और लाइफटाइम के साथ सहसंबंध

$\ell_2$ -नॉर्म एक प्रेडिक्टर के रूप में: $l_{start}$ $l_{s t a r t}$ पर MLP आउटपुट का $\ell_2$ $ℓ_{2}$ -नॉर्म दो महत्वपूर्ण गुणों को निर्धारित करता है:
1. सिंक स्कोर: अटेंशन वेट का परिमाण।
2. लाइफटाइम: वह संख्या कितनी परतें टोकन सिंक बना रहता है।
- उच्च नॉर्म्स अधिक मजबूत सिंक्स और लंबा जीवनकाल प्रदान करते हैं।
क्षतिपूर्ति प्रभाव (Compensatory Effect): जैसे-जैसे नेटवर्क की गहराई बढ़ती है, प्राइमरी (BOS) सिंक की शक्ति कम होती जाती है, जो मध्य परतों में न्यूनतम स्तर पर पहुँच जाती है। यह गिरावट ठीक उसी समय होती है जब सेकेंडरी सिंक्स उभरते हैं, जो एक क्षतिपूर्ति तंत्र (compensatory mechanism) का सुझाव देती है जहाँ सेकेंडरी सिंक्स अटेंशन स्थिरता बनाए रखते हैं जो मॉडल के कार्य करने के लिए आवश्यक है।

D. मॉडल स्केल और ट्रेनिंग निर्भरता

स्केल: छोटे बेस मॉडल्स में सेकेंडरी सिंक्स दुर्लभ या गैर-मौजूद होते हैं। वे बड़े मॉडल्स और गहन रीजनिंग/मैथ ट्रेनिंग वाले मॉडल्स (जैसे Qwen-Math, QwQ) में प्रमुख हो जाते हैं।
नियतात्मकता (Determinism): जैसे-जैसे मॉडल का स्केल बढ़ता है, सिंक्स का स्थान ( $l_{start}$ ) और लाइफटाइम अधिक नियतात्मक हो जाता है, जिससे वे रैंडम घटनाओं के बजाय विशिष्ट "लेवल्स" बनाते हैं।

4. परिणामों का सारांश (Results Summary)

डिटेक्शन: सेकेंडरी सिंक्स Qwen2, Qwen2.5, Qwen3, QwQ और DeepSeek परिवारों में पाए गए, लेकिन उल्लेखनीय रूप से CodeLlama और LLaMA-3.1 में अनुपस्थित थे (समान आर्किटेक्चर होने के बावजूद), जो यह सुझाव देता है कि विशिष्ट ट्रेनिंग डेटा या पोजीशनल एम्बेडिंग (RoPE बेस फ्रीक्वेंसी) की बारीकियां भूमिका निभाती हैं।
टोकन प्रकार: सेकेंडरी सिंक्स अक्सर मनमाने स्थानों पर अर्थहीन टोकन (स्पेस, न्यूलाइन, अंक) पर होते हैं, न कि केवल निश्चित स्थितियों पर।
परिमाणात्मक प्रभाव: Qwen3-14B जैसे मॉडल्स में, 6 विशिष्ट सिंक लेवल्स की पहचान की गई। BOS सिंक स्कोर के मुकाबले सेकेंडरी सिंक स्कोर का अनुपात MLP आउटपुट नॉर्म के साथ लॉगरिदमिक रूप से बढ़ता है।

5. महत्व और निहितार्थ (Significance and Implications)

सैद्धांतिक अंतर्दृष्टि: यह कार्य इस विचार को चुनौती देता कि अटेंशन सिंक्स केवल एक BOS घटना है। यह एक गतिशील, बहु-स्तरीय तंत्र को प्रकट करता जहाँ मॉडल विभिन्न गहराइयों पर "रेफरेंस पॉइंट्स" (सिंक्स) का निर्माण सक्रिय रूप से करता है ताकि अटेंशन को स्थिर किया जा सके।
रीजनिंग का तंत्र: सेकेंडरी सिंक्स और रीजनिंग/मैथ-ट्रेन्ड मॉडल्स के बीच मजबूत सहसंबंध बताता है कि ये सिंक्स उच्च-आयामी (high-dimensional) रिप्रेजेंटेशन्स के लिए आंतरिक कोऑर्डिनेट सिस्टम के रूप में कार्य करते हुए, जटिल रीजनिंग क्षमताओं के एक बायप्रोडक्ट या आवश्यक घटक हो सकते हैं।
व्यावहारिक अनुप्रयोग:
- KV-Cache ऑप्टिमाइज़ेशन: यह समझना कि सिंक्स का जीवनकाल परिवर्तनशील है, अधिक कुशल KV-कैश कंप्रेशन रणनीतियों की ओर ले जा सकता है जो अनुक्रम के अंत तक सभी टोकन्स को अंधाधुंध सुरक्षित नहीं रखते हैं।
- मॉडल मजबूती (Robustness): सिंक निर्माण के लिए जिम्मेदार विशिष्ट MLP मॉड्यूल की पहचान करने से मॉडल अस्थिरता को डीबग करने या क्वांटाइजेशन में सुधार करने (इन महत्वपूर्ण "सिंक" वेक्टर्स को सुरक्षित रखकर) में मदद मिल सकती है।
- आर्किटेक्चर डिज़ाइन: भविष्य के मॉडल्स को उन स्थितियों में सेकेंडरी सिंक्स को नियंत्रित या दबाने के लिए डिज़ाइन किया जा सकता है जहाँ वे विशिष्ट कार्यों में हस्तक्षेप करते हैं, या रीजनिंग स्थिरता में सुधार के लिए उन्हें बढ़ाने के लिए बनाया जा सकता है।

निष्कर्षतः, यह शोध पत्र सेकेंडरी अटेंशन सिंक्स का एक कठोर लक्षण वर्णन प्रदान करता है, यह प्रदर्शित करते हुए कि वे एक अलग, कारणत्मक रूप से निर्मित घटना हैं जो मध्य-लेयर MLPs द्वारा संचालित होते हैं, और जो प्राइमरी सिंक्स के क्षय की भरपाई करने के लिए कार्य करते हैं तथा मॉडल स्केल और रीजनिंग क्षमताओं से मजबूती से जुड़े हुए हैं।