🤖 AI

Average Attention Transformers and Arithmetic Circuits

यह शोध पत्र प्रदर्शित करता है कि अंकगणितीय परिपथों (arithmetic circuits) और औसत हार्ड अटेंशन (average hard attention) से सुसज्जित ट्रांसफार्मर एनकोडर, वास्तविक, परिमेय और मध्यवर्ती रिंगों पर अनबाउंडेड जोड़ (unbounded addition), बाइनरी गुणन (binary multiplication) और साइन गेट्स (sign gates) वाले कॉन्स्टेंट-डेप्थ अंकगणितीय परिपथों का अनुकरण करने की कम्प्यूटेशनल शक्ति रखते हैं।

मूल लेखक: Lena Ehrmuth, Laura Strieker

प्रकाशित 2026-05-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lena Ehrmuth, Laura Strieker

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक ही पहेली को हल करने के लिए दो अलग-अलग प्रकार के सुपर-कंप्यूटर हैं।

कंप्यूटर A एक ट्रांसफॉर्मर (Transformer) है। आप इन्हें आधुनिक AI चैटबॉट्स के पीछे के दिमाग के रूप में जानते होंगे। ये पूरे वाक्य को एक साथ देखने, यह समझने के लिए प्रसिद्ध हैं कि कौन से शब्द एक-दूसरे के लिए सबसे महत्वपूर्ण हैं (एक प्रक्रिया जिसे "अटेंशन" कहा जाता है), और फिर उस जानकारी को मिलाकर एक नया वाक्य बनाने के लिए जाने जाते हैं।

कंप्यूटर B एक अरिथमेटिक सर्किट (Arithmetic Circuit) है। इसे गणितीय मशीनों से बनी एक विशाल, कठोर फैक्ट्री असेंबली लाइन की तरह समझें। इसमें संख्याओं के लिए इनपुट स्लॉट होते हैं, और इसके अंदर ऐसे गियर होते हैं जो केवल विशिष्ट कार्य करते हैं: संख्याओं को जोड़ना, उन्हें गुणा करना, या यह जांचना कि कोई संख्या धनात्मक (positive) है या ऋणात्मक (negative)।

यह शोध पत्र एक सरल प्रश्न पूछता है: यदि हम इन दोनों कंप्यूटरों को एक ही काम दें, तो क्या वे समान रूप से शक्तिशाली हैं?

बड़ी खोज

लेखकों ने पाया कि यदि आप ट्रांसफॉर्मर में थोड़ा सा बदलाव करते हैं, तो यह एक विशिष्ट प्रकार के अरिथमेटिक सर्किट के लिए एक सटीक मेल बन जाता है।

उन्हें आपस में मिलाने के लिए उन्होंने जिस "सीक्रेट सॉस" का उपयोग किया, वह यह है:

"औसत" (Average) का तरीका: केवल एक सबसे महत्वपूर्ण शब्द चुनने के बजाय (जैसे एक सख्त शिक्षक शीर्ष छात्र को चुनता है), उन्होंने इसे उन सभी शब्दों को चुनने के लिए बनाया जो समान रूप से महत्वपूर्ण हैं और उनका औसत (average) निकालने के लिए बनाया।
"गणित" का बदलाव: आमतौर पर, ट्रांसफॉर्मर्स के अंदर एक "दिमाग" होता है (जिसे फीड-फॉरवर्ड नेटवर्क कहा जाता है) जो जटिल, अव्यवस्थित गणनाएँ करता है। लेखकों ने इस अव्यवस्थित दिमाग को एक साफ, सरल अरिथमेटिक सर्किट से बदल दिया।

उपमा: फैक्ट्री बनाम शेफ

कल्पना कीजिए कि आप एक जटिल मशीन बनाने की कोशिश कर रहे हैं।

अरिथमेटिक सर्किट एक फैक्ट्री की तरह है। आप इसमें कच्चा माल (संख्याएँ) डालते हैं। सामग्री कन्वेयर बेल्ट से नीचे जाती है। प्रत्येक स्टॉप पर, एक मशीन या तो दो चीजों को जोड़ती है, उन्हें गुणा करती है, या यह जांचती है कि वे शून्य हैं या नहीं। फैक्ट्री बहुत तेज़ और बहुत सटीक है, लेकिन इसकी एक निश्चित गहराई है; यह एक ही पास में अनंत चरणों को पूरा नहीं कर सकती।
मानक ट्रांसफॉर्मर (Standard Transformer) एक शेफ की तरह है जो सूप को चखता है, तय करता है कि कौन सी सामग्री "सबसे अच्छी" है, और फिर उसमें थोड़ा सा हिस्सा जोड़ देता है। यह स्वाद के लिए बहुत अच्छा है, लेकिन एक शेफ का उपयोग फैक्ट्री बनाने के लिए करना कठिन है।
"एवरेज अटेंशन" वाला ट्रांसफॉर्मर (जो इस पेपर में है) एक ऐसे शेफ की तरह है जो एक फैक्ट्री मैनेजर भी है।
- केवल एक सामग्री चुनने के बजाय, शेफ उन सभी सामग्रियों को देखता है जो "सबसे अच्छी" होने के लिए बराबरी पर हैं, उन्हें मिलाता है (औसत निकालता है), और फिर उस मिश्रण को प्रोसेस करने के लिए एक फैक्ट्री मशीन (अरिथमेटिक सर्किट) का उपयोग करता है।

यह पेपर सिद्ध करता है कि यह "शेफ-मैनेजर" बिल्कुल वही चीजें कर सकता है जो "फैक्ट्री" (अरिथमेटिक सर्किट) कर सकती है, और इसके विपरीत भी।

वे क्या कर सकते हैं?

लेखक दिखाते हैं कि यह विशिष्ट प्रकार का ट्रांसफॉर्मर उन सर्किट्स का अनुकरण (simulate) कर सकता है जो:

संख्याओं की विशाल सूचियों को तुरंत जोड़ सकते हैं।
संख्याओं को आपस में गुणा कर सकते हैं।
यह जांच सकते हैं कि कोई संख्या धनात्मक, ऋणात्मक या शून्य है।

वे इस शक्ति वर्ग को FSAC0 कहते हैं। इसे एक "सुपर-फास्ट मैथ क्लब" के रूप में सोचें जो संख्याओं की सूची कितनी भी बड़ी क्यों न हो, एक निश्चित, छोटे समय में ये विशिष्ट कार्य कर सकता है।

शर्त (खेल के नियम)

इस जादू के काम करने के लिए कुछ नियम हैं:

संख्याएँ: गणित तब सबसे अच्छा काम करता है जब आप "परफेक्ट" संख्याओं (जैसे भिन्न या वास्तविक संख्याएं) का उपयोग कर रहे हों, न कि केवल उन राउंडेड संख्याओं का जिनका उपयोग कंप्यूटर आमतौर पर करते हैं।
एन्कोडिंग (Encoding): सर्किट के निर्देशों को ट्रांसफॉर्मर को समझाने के लिए, लेखकों को पहले निर्देशों को संख्याओं की एक लंबी सूची में लिखना पड़ा। यह एक ब्लूप्रिंट को किराने की सूची में अनुवाद करने जैसा है ताकि शेफ खाना पका सके।
"सॉफ्ट" अटेंशन नहीं: यदि ट्रांसफॉर्मर "सॉफ्ट" होने की कोशिश करता है (कई चीजों को कम वजन देने के बजाय), तो वह यह विशिष्ट सुपर-पावर खो देता है। इसे औसत निकालने के लिए "हार्ड" और निर्णायक होने की आवश्यकता है।

निचोड़

यह पेपर यह नहीं कहता कि यह आपके फोन को तेज़ बनाएगा या बीमारियों का इलाज करेगा। इसके बजाय, यह एक सैद्धांतिक सफलता है। यह गणित और AI के बारे में सोचने के दो बहुत अलग तरीकों के बीच एक सीधी रेखा खींचता है।

यह बताता है: "यदि आप एक ऐसा ट्रांसफॉर्मर बनाते हैं जो 'एवरेज अटेंशन' का उपयोग करता है और अपने दिमाग को एक सरल गणितीय सर्किट से बदल देता है, तो आपने एक ऐसी मशीन बनाई है जो एक विशिष्ट प्रकार के अरिथमेटिक फैक्ट्री के गणितीय रूप से समान है।"

यह वैज्ञानिकों को AI मॉडल की वास्तविक सीमाओं और शक्तियों को समझने में मदद करता है, उनकी तुलना गणितीय फैक्ट्रियों के सुस्थापित नियमों से करके।

तकनीकी सारांश: औसत अटेंशन ट्रांसफॉर्मर और अंकगणितीय सर्किट (Average Attention Transformers and Arithmetic Circuits)

समस्या विवरण
ट्रांसफॉर्मर की अभिव्यंजना क्षमता (expressivity) के मौजूदा सैद्धांतिक विश्लेषण मुख्य रूप से परिमित वर्णमाला (finite alphabets) पर निर्णय समस्याओं पर केंद्रित रहे हैं, जो ट्रांसफॉर्मर की तुलना बूलियन सर्किट वर्गों (जैसे $AC^0$ , $TC^0$ ) या तार्किक औपचारिकताओं (logical formalisms) से करते हैं। ये परिणाम भाषा पहचान (language recognition) तक सीमित हैं। यह शोध पत्र वेक्टर के वास्तविक या परिमेय संख्याओं (real or rational numbers) पर संचालित होने वाले अनुक्रम-से-अनुक्रम (sequence-to-sequence) फलनों के रूप में ट्रांसफॉर्मर की कम्प्यूटेशनल शक्ति को समझने के अंतराल को संबोधित करता है। लेखक ट्रांसफॉर्मर एनकोडर की अभिव्यंजना क्षमता को सीधे अंकगणितीय सर्किटों (arithmetic circuits) के साथ तुलना करके लक्षणित करने का लक्ष्य रखते हैं, जो जोड़, गुणा और साइन (sign) फंक्शन जैसे ऑपरेशनों का उपयोग करके सेमि-रिंग (semirings) पर फलनों की गणना करते हैं।

कार्यप्रणाली (Methodology)
लेखक एक सामान्यीकृत ट्रांसफॉर्मर मॉडल (Hao et al., 2022 पर आधारित) को अनुकूलित करते हैं ताकि यह किसी भी सेमि-रिंग पर कार्य कर सके। प्रमुख कार्यप्रणाली संबंधी विकल्प निम्नलिखित हैं:

मॉडल परिभाषा: वे "औसत अटेंशन सर्किट ट्रांसफॉर्मर" (average attention circuit transformers) को परिभाषित करते हैं, जहाँ मानक फीड-फॉरवर्ड नेटवर्क को अंकगणितीय सर्किटों द्वारा प्रतिस्थापित किया जाता है, और अटेंशन मैकेनिज्म "औसत हार्ड अटेंशन" (सभी वेक्टर्स पर ध्यान केंद्रित करना जिनका अटेंशन स्कोर अधिकतम है) का उपयोग करता है।
सर्किट परिवार: वे स्थिर गहराई (constant depth) और बहुपद आकार (polynomial size) वाले तीन प्रकार के अंकगणितीय सर्किट परिवारों का विश्लेषण करते हैं:
- $FNC^0_R$ : बाउंडेड फैन-इन (Bounded fan-in)।
- $FSAC^0_R$ : सेमी-अनबाउंडेड फैन-इन (अनबाउंडेड जोड़, बाइनरी गुणा)।
- $FAC^0_R$ : अनबाउंडेड फैन-इन (अनबाउंडेड जोड़ और गुणा)।
  इन वर्गों को असंतत (discontinuous) ऑपरेशनों को संभालने के लिए sign फंक्शन के साथ विस्तारित किया गया है।
सिमुलेशन निर्माण (Simulation Construction):
- सर्किट से ट्रांसफॉर्मर: एक सर्किट का अनुकरण करने के लिए, लेखक सर्किट के ग्राफ स्ट्रक्चर (गेट्स और एडजेस) को वेक्टर्स के एक अनुक्रम में एनकोड करते हैं। प्रत्येक वेक्टर एक एज (edge) या गेट का प्रतिनिधित्व करता है, जिसमें पूर्ववर्ती/उत्तरवर्ती (predecessors/successors) के इंडेक्स, गेट के प्रकार और मान शामिल होते हैं।
- अटेंशन मैकेनिज्म: वे विशिष्ट अटेंशन फंक्शन ( $f^{att}_E$ और $f^{att}_V$ ) डिजाइन करते हैं जो इंडेक्स मिलान के आधार पर वेक्टर्स को उनके पूर्ववर्तियों (predecessors) पर ध्यान केंद्रित करने की अनुमति देते हैं।
- पूलिंग और एक्टिवेशन: वे पूर्ववर्तियों के मानों को एकत्रित करने के लिए औसत हार्ड अटेंशन पूलिंग का उपयोग करते हैं। महत्वपूर्ण रूप से, वे ऐसे एक्टिवेशन फंक्शन का निर्माण करते हैं जो वेक्टर में एनकोड किए गए गेट प्रकार के आधार पर उपयुक्त ऑपरेशन (जोड़, गुणा, या आइडेंटिटी) का चयन करते हैं।
- स्केलिंग को संभालना: चूंकि औसत अटेंशन परिणामों को $1/k$ (जहाँ $k$ अटेंडेड वेक्टर्स की संख्या है) द्वारा स्केल करता है, इसलिए निर्माण में सही अंकगणितीय मान प्राप्त करने के लिए पूर्ववर्तियों को गिनने और आउटपुट को पुन: स्केल करने के तंत्र शामिल हैं।

मुख्य परिणाम
यह शोध पत्र इन विशिष्ट ट्रांसफॉर्मर और अंकगणितीय सर्किट वर्गों के बीच कम्प्यूटेशनल शक्ति के बीच एक सटीक संबंध स्थापित करता है:

ऊपरी सीमा (Upper Bound): किसी भी सेमि-रिंग $R$ के लिए, औसत अटेंशन सर्किट ट्रांसफॉर्मर द्वारा गणना किए गए फलन $FSAC^0_R[\text{sign}]$ वर्ग के भीतर समाहित हैं। यह मानक ट्रांसफॉर्मर के लिए भी मान्य है जिनमें विशिष्ट औसत अटेंशन होता है, बशर्ते उनके एक्टिवेशन फंक्शन उसी सर्किट वर्ग द्वारा प्रतिबंधित हों।
निचली सीमा (Lower Bound - Simulation): यदि अंतर्निहित सेमि-रिंग $R$ $R$ , $\mathbb{Q}$ $Q$ का एक $\mathbb{Z}$ $Z$ -ऑर्डर्ड रिंग एक्सटेंशन है, तो किसी भी $FSAC^0_R[\text{sign}]$ $F S A C_{R}^{0} [sign]$ सर्किट परिवार के लिए, जिसकी गहराई $K$ $K$ है, एक ऐसा ट्रांसफॉर्मर मौजूद है जो $2K$ $2 K$ लेयर्स के साथ पूरे परिवार का अनुकरण (simulate) कर सकता है।
- सिमुलेशन औसत अटेंशन का उपयोग करके अनबाउंडेड फैन-इन सर्किटों के लिए कार्य करता है।
- सेमी-अनबाउंडेड फैन-इन सर्किटों के लिए, निर्माण को मानक डॉट-प्रोडक्ट अटेंशन का उपयोग करने के लिए अनुकूलित किया जा सकता है।
- बाउंडेड फैन-इन सर्किटों के लिए, निर्माण को लेफ्टमोस्ट (leftmost) या राइटमोस्ट (rightmost) हार्ड अटेंशन का उपयोग करने के लिए और अधिक प्रतिबंधित किया जा सकता है।
विशिष्ट प्रमेय (Specific Theorems):
- प्रमेय 4.5: 7 डायमेंशन और $2K$ लेयर्स वाला एक ट्रांसफॉर्मर किसी भी अनबाउंडेड फैन-इन $R$ -सर्किट का अनुकरण कर सकता है जिसकी गहराई $\le K$ है (जहाँ $R$ , $\mathbb{Q}$ का एक $\mathbb{Z}$ -ऑर्डर्ड एक्सटेंशन है)।
- प्रमेय 4.11: 9 डायमेंशन और $2K$ लेयर्स वाला एक ट्रांसफॉर्मर किसी भी $FSAC^0_R[\text{sign}]$ -सर्किट का अनुकरण कर सकता है।

महत्व और दावे
लेखक दावा करते हैं कि उनके परिणाम मशीन लर्निंग थ्योरी और बीजगणितीय गणना (algebraic computation) के क्षेत्रों को जोड़कर ट्रांसफॉर्मर की अभिव्यंजना क्षमता पर एक नया दृष्टिकोण प्रदान करते हैं।

सैद्धांतिक समानता: वे प्रदर्शित करते हैं कि औसत अटेंशन ट्रांसफॉर्मर, अनबाउंडेड जोड़, बाइनरी गुणा और साइन गेट्स वाले कांस्टेंट-डेप्थ अंकगणितीय सर्किट ( $FSAC^0_R[\text{sign}]$ ) के वर्ग के साथ कम्प्यूटेशनल रूप से समकक्ष हैं।
सीमाएँ: पेपर स्पष्ट रूप से नोट करता है कि यह समानता इस बात पर निर्भर करती है कि ट्रांसफॉर्मर अंकगणितीय सर्किटों (या समकक्ष फलनों) का उपयोग एक्टिवेशन फंक्शन के रूप में करता है। मानक ट्रांसफॉर्मर, जो फीड-फॉरवर्ड नेटवर्क का उपयोग करते हैं, इन सर्किटों का अनुकरण नहीं कर सकते क्योंकि फीड-फॉरवर्ड नेटवर्क स्वाभाविक रूप से दो मनमाने इनपुट्स के गुणा को करने में सक्षम नहीं होते हैं, जो सिमुलेशन के लिए आवश्यक है।
नॉन-यूनिफॉर्मिटी (Non-Uniformity): लेखक स्पष्ट करते हैं कि हालांकि ट्रांसफॉर्मर विशिष्ट सर्किट परिवारों का अनुकरण कर सकते हैं, इसका अर्थ यह नहीं है कि $FSAC^0_R[\text{sign}]$ का प्रत्येक फलन एक ही ट्रांसफॉर्मर द्वारा कंप्यूट किया जाता है, क्योंकि सर्किट परिवार एक नॉन-यूनिफॉर्म कम्प्यूटेशनल मॉडल है।
भविष्य की क्षमता: पेपर सुझाव देता है कि बीजगणितीय गणना में सैद्धांतिक प्रगति मशीन लर्निंग थ्योरी को लाभान्वित कर सकती है और इसके विपरीत भी, हालांकि कोई विशिष्ट अनुप्रयोग प्रस्तावित नहीं किया गया है।

यह कार्य लीबनिज यूनिवर्सिटी हनोवर के इंस्टीट्यूट फॉर थ्योरेटिकल कंप्यूटर साइंस (Institute for Theoretical Computer Science) से एक प्रीप्रिंट (मई 2026) के रूप में प्रस्तुत किया गया है।

बड़ी खोज

उपमा: फैक्ट्री बनाम शेफ

वे क्या कर सकते हैं?

शर्त (खेल के नियम)

निचोड़

इसी तरह के और पेपर