🤖 machine learning

On the Existence of Universal Simulators of Attention

यह शोध पत्र एक सार्वभौमिक सिम्युलेटर के अस्तित्व को स्थापित करता है जो ट्रांसफॉर्मर एनकोडर्स से बना है और जो RASP फ्रेमवर्क के माध्यम से मनमाने वैनिला अटेंशन मैकेनिज्म और उनके अंतर्निहित ऑपरेशन्स को एल्गोरिद्मिक और नियत रूप से पुनरुत्पादित कर सकता है, जिससे एक डेटा-अज्ञेय (data-agnostic) समाधान प्राप्त होता है जहाँ पिछले दृष्टिकोण संभाव्य शिक्षण (probabilistic learning) पर निर्भर थे।

मूल लेखक: Debanjan Dutta, Anish Chakrabarty, Faizanuddin Ansari, Swagatam Das

प्रकाशित 2026-04-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Debanjan Dutta, Anish Chakrabarty, Faizanuddin Ansari, Swagatam Das

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट शेफ (एक Transformer) है जो स्वादिष्ट व्यंजन (समस्याओं को हल करना) बनाने के लिए प्रसिद्ध है, क्योंकि वह सामग्रियों को चखने और यह तय करने के बाद कि उन्हें कैसे मिलाना है, बेहतरीन काम करता है। यह शेफ "Attention" नामक एक विशेष तकनीक का उपयोग करता है ताकि यह पता लगा सके कि वर्तमान रेसिपी के लिए कौन सी सामग्रियां सबसे महत्वपूर्ण हैं।

वर्षों से, वैज्ञानिक इस रोबोट शेफ को हजारों उदाहरणों (ट्रेनिंग) के माध्यम से नई रेसिपी सीखने के लिए प्रशिक्षित करने की कोशिश कर रहे थे। वे जानते थे कि शेफ सीख सकता है, लेकिन वे यह साबित नहीं कर पा रहे थे कि पर्दे के पीछे वास्तव में यह कैसे काम करता है, या क्या यह केवल पिछले डेटा के आधार पर अनुमान लगाने के बजाय किसी विशिष्ट कार्य को पूरी तरह से कर सकता है।

बड़ा सवाल:
क्या हम एक "मास्टर रोबोट" (मान लीजिए, Universal Simulator U) बना सकते हैं जो न केवल रेसिपी सीखता है, बल्कि केवल निर्देश दिए जाने पर तुरंत किसी भी अन्य रोबोट शेफ बन सकता है और उनकी सटीक 'अटेंशन ट्रिक्स' को भी निभा सकता है?

यह पेपर कहता है हाँ। उन्होंने इसे कैसे किया, इसका सरल विवरण यहाँ दिया गया है:

1. "यूनिवर्सल रिमोट कंट्रोल" की उपमा

एक मानक ट्रांसफॉर्मर के बारे में सोचें जो एक विशिष्ट टीवी ब्रांड के लिए काम करने वाले एक विशिष्ट टीवी रिमोट की तरह है। इसमें "वॉल्यूम," "चैनल," और "पावर" के बटन हैं।

लेखकों ने एक यूनिवर्सल रिमोट (Simulator U) बनाया।

इनपुट: आप केवल एक बटन नहीं दबाते। आप रिमोट को उस विशिष्ट टीवी का एक ब्लूप्रिंट (नीलपत्र) सौंपते हैं जिसे आप नियंत्रित करना चाहते हैं (वह "Attention Mechanism") और वह सिग्नल जो आप भेजना चाहते हैं (इनपुट डेटा)।
जादू: यूनिवर्सल रिमोट उस ब्लूप्रिंट को पढ़ता है और उस विशिष्ट टीवी के रिमोट की नकल करने के लिए अपने आंतरिक सर्किट को तुरंत पुनर्गठित कर लेता है। इसे "सीखने" या "अभ्यास" करने की आवश्यकता नहीं है; यह बस आवश्यक गणित करने के लिए निर्देशों का पालन करता है।

2. "लेगो" (Lego) का ब्रेकडाउन

इस यूनिवर्सल रिमोट को बनाने के लिए, लेखकों ने महसूस किया कि उन्हें पहिए का पुनरुद्धार करने की आवश्यकता नहीं है। उन्हें बस यह साबित करने की आवश्यकता थी कि वे किसी भी अटेंशन मैकेनिज्म को बनाने वाले बुनियादी लेगो ब्रिक्स (ईंटों) को बना सकते हैं। उन्होंने दिखाया कि एक ट्रांसफॉर्मर ये मौलिक गणितीय चालें चल सकता है:

द शफल (ट्रांसपोज़िशन/क्रम परिवर्तन): कल्पना करें कि कार्डों का एक ग्रिड है। ट्रांसफॉर्मर तुरंत ग्रिड को पलट सकता है ताकि पंक्तियाँ कॉलम बन जाएं।
द मिक्सर (मल्टीप्लिकेशन/गुणा): यह संख्याओं के दो ग्रिड ले सकता है और उन्हें आपस में गुणा करके एक नया ग्रिड बना सकता है, ठीक वैसे ही जैसे सामग्रियों को मिलाया जाता है।
द सॉर्टर (सॉफ्टमैक्स/छँटाई): यह संख्याओं की एक सूची देख सकता है, सबसे बड़ी संख्याओं को चुन सकता है, और उन्हें एक प्रायिकता स्कोर (प्रोबेबिलिटी स्कोर) में बदल सकता है (जैसे यह तय करना कि कौन सी सामग्री 80% महत्वपूर्ण है और कौन सी 20%)।
द मैक्स-मिन स्विच: यह संख्याओं के जोड़े देख सकता है और यदि वे क्रम से बाहर हैं तो उन्हें बदल सकता है (जैसे ताश की गड्डी को छाँटना)।

उपमा: इन्हें भाषा के "क्रियाओं" (verbs) के रूप में सोचें। एक बार जब आप यह सिद्ध कर देते हैं कि एक रोबोट "पलटना" (Flip), "मिलाना" (Mix), "छाँटना" (Sort), और "बदलना" (Swap) कह सकता है, तो आप इन क्रियाओं को जोड़कर कुछ भी कह सकते हैं।

3. "कॉपी-पेस्ट" की शक्ति (Multi-Head Attention)

आधुनिक ट्रांसफॉर्मर समानांतर (parallel) में काम करने वाली शेफ की एक टीम की तरह हैं। उनके पास कई "हेड्स" (विभिन्न दृष्टिकोण) होते हैं जो एक ही समय में डेटा को देखते हैं।

लेखकों ने दिखाया कि उनका यूनिवर्सल रिमोट एक पूरी टीम को संभाल सकता है। यदि आप इसे 4-हेड वाले शेफ का ब्लूप्रिंट देते हैं, तो यह बिना भ्रमित हुए एक साथ सभी 4 हेड्स को काम करते हुए सिम्युलेट कर सकता है।

4. यह क्यों मायने रखता है ( "अनुमान न लगाने" की गारंटी)

आमतौर पर, जब हम AI का उपयोग करते हैं, तो हम कहते हैं, "हे, इस मॉडल की सटीकता 99% है।" यह एक संभाव्य (probabilistic) गारंटी है (यह शायद सही है)। यह मौसम के पूर्वानुमान की तरह है जो कहता है "90% बारिश की संभावना है।"

यह पेपर एक निश्चित (deterministic) गारंटी प्रदान करता है। यह यह कहने जैसा है कि, "यदि आप इन सटीक चरणों का पालन करते हैं, तो परिणाम निश्चित रूप से बारिश होगा।"

पहले: हमें लगता था कि कुछ जटिल गणितीय समस्याएं (जैसे 1 और 0 की स्ट्रिंग में 1 की सम संख्या की जांच करना, जिसे k-PARITY कहा जाता है) केवल तभी हल की जा सकती हैं जब AI उन्हें डेटा से "सीखे"।
अब: लेखकों ने साबित किया कि एक ट्रांसफॉर्मर इन समस्याओं को अनुमान लगाने या प्रशिक्षण की आवश्यकता के बिना, एक पूर्व-निर्मित एल्गोरिदम का उपयोग करके सटीक रूप से हल कर सकता है। यह एक गणितीय निश्चितता है।

5. "यूनिवर्सल ट्यूरिंग मशीन" कनेक्शन

कंप्यूटर विज्ञान में, एक प्रसिद्ध अवधारणा है जिसे यूनिवर्सल ट्यूरिंग मशीन कहा जाता है। यह एक सैद्धांतिक मशीन है जो किसी भी अन्य कंप्यूटर का अनुकरण कर सकती है यदि आप उसे सही निर्देश दें।

लेखक अनिवार्य रूप से कह रहे हैं: "हमने एक यूनिवर्सल ट्यूरिंग मशीन बनाई है, लेकिन टेप और गियर के बजाय, हमने इसे पूरी तरह से ट्रांसफॉर्मर ब्लॉक्स से बनाया है।"
उन्होंने सिद्ध किया कि एक ट्रांसफॉर्मर खुद को और किसी भी अन्य ट्रांसफॉर्मर कॉन्फ़िगरेशन को सिम्युलेट करने के लिए पर्याप्त शक्तिशाली है।

सारांश

यह पेपर एक गणितीय प्रमाण है कि ट्रांसफॉर्मर केवल पैटर्न का अनुमान लगाने वाले "शिक्षार्थी" नहीं हैं; वे शक्तिशाली, सटीक कम्प्यूटेशनल इंजन हैं।

समस्या: हमें नहीं पता था कि क्या एक ट्रांसफॉर्मर अपने स्वयं के "अटेंशन" मैकेनिज्म के पीछे के गणित को अव्यवस्थित प्रशिक्षण डेटा पर निर्भर हुए बिना पूरी तरह से सिम्युलेट कर सकता है।
समाधान: उन्होंने एक "यूनिवर्सल सिम्युलेटर" (U) बनाया जो रेसिपी (गणित) और सामग्रियां (डेटा) लेता है और बुनियादी निर्माण खंडों (शफलिंग, मिक्सिंग, सॉर्टिंग) का उपयोग करके कार्य को पूरी तरह से निष्पादित करता है।
परिणाम: अब हम जानते हैं कि ट्रांसफॉर्मर विशिष्ट, कठिन लॉजिक समस्याओं को 100% निश्चितता के साथ हल कर सकते हैं, न कि केवल भाग्य या प्रशिक्षण के माध्यम से। यह "उत्तर का अनुमान लगाने" से "सटीक सूत्र होने" की ओर बढ़ने जैसा है।

संक्षेप में: उन्होंने साबित किया है कि ट्रांसफॉर्मर गणित के परम "स्विस आर्मी नाइफ" हैं, जो किसी भी अन्य गणितीय उपकरण में बदलने में सक्षम हैं, बशर्ते आप उन्हें सही निर्देश दें।

यहाँ शोध पत्र "On the Existence of Universal Simulators of Attention" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ट्रांसफॉर्मर के सैद्धांतिक समझ में एक मौलिक अंतराल को संबोधित करता है, विशेष रूप से सीखने की क्षमता (learnability) (डेटा-संचालित सन्निकटन) और अभिव्यक्ति क्षमता (expressivity) (सैद्धांतिक कम्प्यूटेशनल शक्ति) के बीच संबंध के संबंध में।

मुख्य प्रश्न: क्या एक ट्रांसफॉर्मर एनकोडर, जो एक कम्प्यूटेशनल मॉडल के रूप में कार्य करता है, अन्य वेनिला (vanilla) ट्रांसफॉर्मर्स का उपयोग करके किसी भी मनमाने अटेंशन मैकेनिज्म (इसके अंतर्निहित मैट्रिक्स ऑपरेशंस और एक्टिवेशन फंक्शन्स सहित) का अनुकरण (simulate) कर सकता है?
वर्तमान कार्यों की सीमा: ट्रांसफॉर्मर की अभिव्यक्ति क्षमता पर पिछले अध्ययन अक्सर संभावabilistic गारंटी या डेटा-संचालित शिक्षण (जैसे, PARITY या Match2 कार्यों को सीखना) पर निर्भर करते हैं। ये दृष्टिकोण कोई नियत (deterministic) समाधान प्रदान नहीं करते हैं और उन परिदृश्यों में विफल रहते हैं जहाँ औपचारिक सत्यापन (formal verification) की आवश्यकता होती है जहाँ सन्निकटन त्रुटियाँ (approximation errors) स्वीकार्य नहीं होती हैं।
लक्ष्य: एक यूनिवर्सल सिम्युलेटर ( $U$ ) का निर्माण करना जो ट्रांसफॉर्मर एनकोडर्स से बना हो और जो किसी भी एकल-परत (single-layer) ट्रांसफॉर्मर अटेंशन मैकेनिज्म $T$ के मापदंडों (parameters) और एक इनपुट $X$ को दिए जाने पर, $T$ के आउटपुट को नियत रूप से दोहरा सके। यह एक यूनिवर्सल ट्यूरिंग मशीन (UTM) के समान है, लेकिन ट्रांसफॉर्मर आर्किटेक्चर के लिए।

2. कार्यप्रणाली (Methodology)

लेखक रिस्ट्रिक्टेड एक्सेस सीक्वेंस प्रोसेसिंग (RASP) का उपयोग करते हैं, जो एक औपचारिक, मानव-पठनीय डोमेन-विशिष्ट भाषा (DSL) है जो समानांतर, अटेंशन-संचालित प्रोसेसिंग के साथ ट्रांसफॉर्मर कम्प्यूटेशन को मॉडल करती है। कार्यप्रणाली में एक यूनिवर्सल सिम्युलेटर $U$ का निर्माण शामिल है जो $\langle T, X \rangle$ युग्म को इनपुट के रूप में लेता है और $T(X)$ को आउटपुट के रूप में देता है।

यह निर्माण ट्रांसफॉर्मर अटेंशन मैकेनिज्म को मौलिक ऑपरेशंस में तोड़ने और यह सिद्ध करने पर आधारित है कि एक ट्रांसफॉर्मर प्रत्येक ऑपरेशन को जनरलाइज्ड एवरेज हार्ड अटेंशन (GAHAT) या एवरेज हार्ड अटेंशन ट्रांसफॉर्मर्स (AHAT) का उपयोग करके सटीक रूप से (या मनचाही सटीकता के साथ) निष्पादित कर सकता है।

मुख्य एल्गोरिद्मिक चरण:

मैट्रिक्स प्रतिनिधित्व (Matrix Representation): लेखक बहु-आयामी मैट्रिसेस और 1-आयामी अनुक्रमों (रो-मेजर ऑर्डरिंग का उपयोग करके) के बीच एक बायजेक्शन (प्रपोजिशन 2) स्थापित करते हैं, जिससे ट्रांसफॉर्मर मैट्रिक्स डेटा को टोकन अनुक्रमों के रूप में प्रोसेस कर सकते हैं।
मौलिक ऑपरेशंस का निर्माण:
- ट्रांसपोजीशन (Transposition) (लेम्मा 3): मैट्रिक्स ट्रांसपोजीशन ( $A \to A^\top$ ) प्राप्त करने के लिए अनुक्रम तत्वों को क्रमबद्ध (permute) करने वाली एक अटेंशन मैट्रिक्स का निर्माण करना।
- सॉफ्टमैक्स एक्टिवेशन (Softmax Activation) (लेम्मा 4): पंक्तियों के भीतर मानों को स्केल करने के लिए अटेंशन मैकेनिज्म का उपयोग करके सॉफ्टमैक्स फंक्शन को लागू करना।
- मैट्रिक्स गुणन (Matrix Multiplication) (लेम्मा 5): $A$ की पंक्तियों और $B$ के कॉलम को अटेंशन के माध्यम से संरेखित करके, एलिमेंट-वाइज मल्टीप्लिकेशन करके और परिणामों को एकत्रित करके $AB$ की गणना करने के लिए एक मैकेनिज्म का निर्माण करना।
- एक्टिवेशन फंक्शन्स (Activation Functions) (लेम्मा 7): लिप्सचिट्ज़ निरंतर (Lipschitz continuous) कार्यों, ReLU और LeakyReLU को दर्शाने की क्षमता दिखाने के लिए MaxMin (जोड़ों को सॉर्ट करना) को लागू करना।
यूनिवर्सल सिम्युलेटर ( $U$ ):
- सिम्युलेटर $U$ को उपरोक्त ऑपरेशंस को जोड़कर बनाया गया है।
- यह इनपुट अनुक्रम $X$ और लक्ष्य ट्रांसफॉर्मर $T$ के पैरामीटर मैट्रिसेस $A$ (Query/Key weights) और $V$ (Value weights) को स्वीकार करता है।
- $U$ निम्नलिखित अनुक्रम को निष्पादित करता है: $X \xrightarrow{\text{Mul}} XA \xrightarrow{\text{Mul}} XAX^\top \xrightarrow{\text{Softmax}} \text{Scores} \xrightarrow{\text{Mul}} \text{Scores} \cdot XV$ ।
मल्टी-हेड एक्सटेंशन (Multi-Head Extension) (थ्योरम 9): लेखक प्रत्येक हेड के डेटा को स्वतंत्र रूप से आइसोलेट और प्रोसेस करने के लिए "identify" और "shift" ऑपरेशंस का उपयोग करके सिंगल-हेड निर्माण को मल्टी-हेड अटेंशन तक विस्तारित करते हैं।

3. मुख्य योगदान (Key Contributions)

यूनिवर्सल सिम्युलेटर का अस्तित्व: यह शोध पत्र सिद्ध करता है कि एक ट्रांसफॉर्मर नेटवर्क $U$ मौजूद है जो किसी भी एकल-परत ट्रांसफॉर्मर अटेंशन मैकेनिज्म (थ्योरम 6) और किसी भी एकल-परत मल्टी-हेड ट्रांसफॉर्मर (थ्योरम 9) का अनुकरण कर सकता है।
नियत, डेटा-अज्ञेयवादी समाधान (Deterministic, Data-Agnostic Solutions): पिछले कार्यों के विपरीत जो कार्यों (जैसे $k$ -PARITY और Match2) को अनुमानित करने के लिए प्रशिक्षण पर निर्भर करते हैं, यह कार्य एल्गोरिद्मिक, सटीक निर्माण प्रदान करता है। यह सीमा को संभावabilistic लर्निंग गारंटी से हटाकर नियत औपचारिक सिमुलेशन (deterministic formal simulation) पर ले जाता है।
हार्ड और सॉफ्ट अटेंशन का एकीकरण: लेखक प्रदर्शित करते हैं कि एवरेज हार्ड अटेंशन (AHAT), सॉफ्टमैक्स-एक्टिवेटेड (Soft) अटेंशन का सटीक अनुकरण कर सकता है। इसका तात्पर्य यह है कि यदि आर्किटेक्चर को एल्गोरिद्मिक रूप से निर्मित किया गया है, तो इन कार्यों के लिए सॉफ्ट अटेंशन की कम्प्यूटेशनल शक्ति अनिवार्य नहीं है।
RASP कार्यान्वयन: सभी सैद्धांतिक निर्माणों के साथ ठोस RASP कार्यान्वयन (प्रदान किए गए रिपॉजिटरी में उपलब्ध) दिए गए हैं, जो इन वेट्स (weights) को साकार करने के लिए एक ब्लूप्रिंट के रूप में कार्य करते हैं।
लिप्सचिट्ज़ निरंतरता प्रमाण (Lipschitz Continuity Proof): MaxMin और मैट्रिक्स ऑपरेशंस को लागू करके, लेखक सिद्ध करते हैं कि ट्रांसफॉर्मर एनकोडर लिप्सचिट्ज़ निरंतर और हॉल्डर-स्मूथ (Hölder-smooth) कार्यों के लिए यूनिवर्सल एप्रोक्सिमेटर्स हैं।

4. परिणाम (Results)

सैद्धांतिक गारंटी: यह शोध पत्र स्थापित करता है कि किसी भी एकल-परत ट्रांसफॉर्मर $T$ के लिए, जिसका ऑर्डर $(n, d, d_v)$ है, एक सिम्युलेटर $U$ मौजूद है ताकि $U(\langle T, X \rangle) = T(X)$ हो।
जटिलता विश्लेषण (Complexity Analysis):
- सिम्युलेटर $U$ की गहराई (depth) स्थिर (constant) है (इनपुट आकार से स्वतंत्र)।
- सिम्युलेटर $U$ की चौड़ाई (अटेंशन हेड्स की संख्या) इनपुट अनुक्रम लंबाई $n$ और मैट्रिक्स आयामों पर निर्भर करती है, विशेष रूप से मैट्रिक्स गुणन के लिए $O(rc)$ के साथ स्केल करती है।
- निर्माण उन "लूप" मैकेनिज्मों से बचता है जिनका उपयोग पिछले कार्यों (जैसे जियानु एट अल., 2023) में किया गया था जो कृत्रिम रूप से गहराई बढ़ाते हैं, जिससे ट्रांसफॉर्मर की स्थिर-गहराई (constant-depth) प्रकृति बनी रहती है।
कार्य समाधान क्षमता: सिम्युलेटर उन कार्यों को हल कर सकता है जिन्हें पहले विशिष्ट शिक्षण की आवश्यकता माना जाता था, जैसे कि Match2 कार्य और $k$ -PARITY, एक निश्चित, निर्मित आर्किटेक्चर का उपयोग करके न कि सीखे गए वेट्स का।
पिछले कार्य के साथ तुलना: तालिका 1 हाइलाइट करती है कि प्रस्तावित AHAT-आधारित आर्किटेक्चर पिछले सॉफ्टमैक्स-आधारित कंस्ट्रक्शंस (जैसे जियानु एट अल., 2023) की तुलना में लेयर काउंट और इनपुट जटिलता के मामले में अधिक कुशल है, जिनमें अक्सर $O(4d)$ इनपुट एक्सपेंशन या न्यूटन के मेथड लूप की आवश्यकता होती थी।

5. महत्व (Significance)

सिद्धांत और व्यवहार के बीच सेतु: यह कार्य ट्रांसफॉर्मर की सैद्धांतिक अभिव्यक्ति क्षमता (ट्यूरिंग पूर्णता) और उनकी व्यावहारिक सीखने की क्षमता के बीच के अंतर को पाटता है। यह सिद्ध करता है कि कुछ एल्गोरिद्मिक पैटर्न को "सीखना" केवल एक सांख्यिकीय घटना नहीं है बल्कि एक एल्गोरिद्मिक रूप से प्राप्त की जा सकने वाली निश्चितता है।
औपचारिक सत्यापन (Formal Verification): नियत समाधान प्रदान करके, यह शोध सुरक्षा-महत्वपूर्ण अनुप्रयोगों में ट्रांसफॉर्मर व्यवहारों के औपचारिक सत्यापन को सक्षम बनाता है जहाँ संभावabilistic अनुमान अपर्याप्त हैं।
आर्किटेक्चरल अंतर्दृष्टि: यह प्रकट करता है कि "हार्ड" और "सॉफ्ट" अटेंशन के बीच का अंतर कम्प्यूटेशनल शक्ति के बारे में कम और अटेंशन मैट्रिसेस के विशिष्ट निर्माण के बारे में अधिक है। एक हार्ड-अटेंशन मॉडल सॉफ्ट-अटेंशन का अनुकरण कर सकता है यदि आर्किटेक्चर पर्याप्त रूप से विस्तृत (wide) हो और सही ढंग से निर्मित हो।
भविष्य की दिशाएं: शोध पत्र सुझाव देता है कि सिम्युलेटर $U$ के विशिष्ट वेट्स उत्पन्न करने के लिए Tracr और ALTA जैसे कंपाइलर का उपयोग किया जा सकता है। यह पूर्ण ट्रांसफॉर्मर आर्किटेक्चर की ट्यूरिंग पूर्णता का लाभ उठाते हुए, एनकोडर-डिकोडर मॉडल्स के लिए यूनिवर्सल सिम्युलेटर्स की जांच करने का मार्ग भी खोलता है।

संक्षेप में, यह शोध पत्र एक कठोर, रचनात्मक प्रमाण प्रदान करता है कि ट्रांसफॉर्मर न केवल सांख्यिकीय अर्थों में यूनिवर्सल एप्रोक्सिमेटर्स हैं, बल्कि वे अन्य ट्रांसफॉर्मर्स के लिए यूनिवर्सल सिम्युलेटर्स के रूप में कार्य कर सकते हैं, जो उनके अटेंशन मैकेनिज्म और ऑपरेशंस को स्पष्ट, एल्गोरिद्मिक डिज़ाइन के माध्यम से दोहराते हैं।