🤖 machine learning

Parity, Sensitivity, and Transformers

यह शोध पत्र संवेदनशीलता संबंधी बाधाओं के कारण यह सिद्ध करते हुए इस खुले प्रश्न का समाधान करता है कि क्या एक-परत वाले ट्रांसफॉर्मर PARITY कार्य को कंप्यूट कर सकते हैं कि वे ऐसा नहीं कर सकते, और साथ ही एक व्यावहारिक चार-परत वाले ट्रांसफॉर्मर निर्माण को प्रस्तुत करता है जो लंबाई-निर्भर पोजीशनल एनकोडिंग या हार्डमैक्स जैसे पहले से आवश्यक अव्यवहारिक अनुमानों पर निर्भर किए बिना PARITY को हल करता है।

मूल लेखक: Alexander Kozachinskiy, Tomasz Steifer, Przemysław Wał\cega

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexander Kozachinskiy, Tomasz Steifer, Przemysław Wał\cega

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े कठोर स्वभाव वाले रोबोट को "द पैरिटी गेम" (The Parity Game) नामक एक सरल खेल खेलना सिखाने की कोशिश कर रहे हैं।

इस खेल में, रोबोट को रोशनी की एक लंबी कतार दिखाई जाती है, जिसमें कुछ लाल (0) और कुछ नीली (1) होती हैं। रोबोट का एकमात्र काम एक सवाल का जवाब देना है: "नीली रोशनी की कुल संख्या सम (even) है या विषम (odd)?"

यदि 3 नीली रोशनी हैं, तो उत्तर होगा "विषम (Odd)"। यदि 4 नीली रोशनी हैं, तो उत्तर होगा "सम (Even)"।

यह हमें आसान लग सकता है, लेकिन एक विशिष्ट प्रकार के AI आर्किटेक्चर के लिए जिसे ट्रांसफॉर्मर (Transformer) कहा जाता है (वही जो कई आधुनिक चैटबॉट्स और अनुवादकों को शक्ति देता है), यह खेल एक रहस्य रहा है। वैज्ञानिक बहस कर रहे थे: इस खेल को हल करने के लिए इस रोबोट को कितने "सोचने वाले परतों" (thinking layers) की आवश्यकता है?

यहाँ इस शोध पत्र की खोज है, जिसे सरल भाषा में समझाया गया है:

1. "एक-परत" वाला रोबोट बहुत मंदबुद्धि है

लेखकों ने पहले पूछा: क्या केवल एक परत वाली सोच वाला ट्रांसफॉर्मर इस खेल को हल कर सकता है?

उन्होंने सिद्ध किया कि उत्तर नहीं है।

उपमा: कल्पना कीजिए कि रोबक एक ऐसे व्यक्ति की तरह है जो लोगों से भरे कमरे में खड़ा है जो लाल या नीली कार्ड पकड़े हुए हैं। वह व्यक्ति एक साथ सभी को देख सकता है और एक त्वरित "औसत" नज़र डाल सकता है।

"पैरिटी" का खेल अविश्वसनीय रूप से संवेदनशील है। यदि आप केवल एक व्यक्ति के कार्ड को लाल से बदलकर नीला कर देते हैं, तो उत्तर पूरी तरह से बदल जाता है (सम से विषम में)।
लेखकों ने दिखाया कि एक-परत वाला रोबोट बहुत "स्मूथ" और "आलसी" है। वह एक एकल परिवर्तन के प्रति इतनी तीव्रता से प्रतिक्रिया नहीं कर सकता। यह एक तूफान में गिरने वाली एक छोटी सी पिन की आवाज़ को केवल औसत हवा की गति सुनकर पकड़ने की कोशिश करने जैसा है। रोबोट की "संवेदनशीलता" उन सूक्ष्म, महत्वपूर्ण बदलावों को पकड़ने के लिए बहुत धीरे बढ़ती है जो इस खेल को हल करने के लिए आवश्यक हैं।

निर्णय: इस खेल को हल करने के लिए आपको कम से कम दो परतों की सोच की आवश्यकता है।

2. "पुराने समाधानों" में बहुत अधिक हेर-फेर (Hacks) थे

इस शोध पत्र से पहले, अन्य वैज्ञानिकों ने एक ऐसा ट्रांसफॉर्मर बनाने का तरीका खोज लिया था जो इस खेल को हल कर सकता था, लेकिन उन्हें कुछ "चीटिंग" या अवास्तविक सेटिंग्स का उपयोग करना पड़ा था:

"जादुई पैमाना" (The Magic Ruler): उन्होंने रोबोट को एक ऐसा पैमाना दिया जो स्ट्रिंग की सटीक लंबाई को शुरू करने से पहले ही जानता था (जैसे, "यह स्ट्रिंग ठीक 1,000 अक्षरों की लंबी है")। वास्तविक रोबोट आमतौर पर वाक्य खत्म होने तक उसकी लंबाई नहीं जानते।
"परफेक्ट स्विच" (The Perfect Switch): उन्होंने एक "हार्ड स्विच" का उपयोग किया जो तुरंत बाइनरी निर्णय लेता है, बजाय उन "सॉफ्ट, धुंधले" प्रोबेबिलिटी स्विच के जो वास्तविक रोबोट उपयोग करते हैं।
"जीरो-एरर" फ़िल्टर: उन्होंने एक सुरक्षा फ़िल्टर (जिसे LayerNorm कहा जाता है) को हटा दिया जो आमतौर पर रोबोट के नंबरों को अनंत (infinity) में फटने से रोकता है।

ये समाधान कागजों पर तो काम करते थे, लेकिन वास्तविक दुनिया में काम नहीं करते क्योंकि वे उन धारणाओं पर निर्भर थे जो वास्तविक AI प्रशिक्षण में मौजूद नहीं होती हैं।

3. नया, वास्तविक-दुनिया का समाधान

इस शोध पत्र के लेखकों ने एक नया रोबोट बनाया जो बिना किसी हेर-फेर के पैरिटी गेम को हल करता है।

कोई जादुई पैमाना नहीं: यह एक "लेंथ-इंडिपेंडेंट" पोजीशनल एनकोडिंग का उपयोग करता है। इसे स्ट्रिंग की कुल लंबाई पहले से जानने की आवश्यकता नहीं है; यह बस चीजों को एक-दूसरे के सापेक्ष देखता है।
सॉफ्ट स्विच: यह मानक "सॉफ्ट" अटेंशन का उपयोग करता है (वही जो वास्तविक चैटबॉट्स में उपयोग किया जाता है)।
सुरक्षा फ़िल्टर: यह सुरक्षा फ़िल्टर को हटाए बिना काम करता है।
शर्त: इसे बिना चीटिंग के करने के लिए, रोबोट को दो के बजाय चार परतों की सोच की आवश्यकता होती है।

उपमा:
पुराने "चीट" समाधानों को एक जादूगर की तरह समझें जो मेज के नीचे छिपी उत्तर कुंजी को झाँककर पहेली सुलझाता है।
नया समाधान एक मास्टर डिटेक्टिव की तरह है जो उसी पहेली को हल करने के लिए हर सुराग का सावधानीपूर्वक परीक्षण करता है, उन्हें आपस में क्रॉस-रेफरेंस करता है, और थोड़ा अधिक काम करता है (दो के बजाय चार परतें)। यह थोड़ा धीमा है और इसके लिए अधिक "दिमागी शक्ति" (गहराई) की आवश्यकता है, लेकिन यह एक असली अदालत में काम करता है, न कि किसी जादुई मंच पर।

सफलता का सारांश

लोअर बाउंड (Lower Bound): एक ट्रांसफॉर्मर जिसकी केवल एक परत है, गणितीय रूप से पैरिटी गेम को हल करने में असमर्थ है। यह ट्रेनिंग की समस्या नहीं है; रोबोट के पास वास्तव में ऐसा करने के लिए आर्किटेक्चर ही नहीं है।
अपर बाउंड (Upper Bound): आप एक ट्रांसफॉर्मर के साथ इस खेल को हल कर सकते हैं, लेकिन इसे वास्तविक तरीके से करने के लिए (लंबाई-निर्भर ट्रिक्स या सुरक्षा फ़िल्टर्स को हटाए बिना), आपको चार परतों की गहराई की आवश्यकता है।

यह शोध पत्र स्पष्ट रूप से एक रेखा खींचता है: "यदि आप चाहते हैं कि एक वास्तविक AI विषम और सम संख्याओं को गिनना सीखे, तो उसे कम से कम चार परतों की गहराई दें। इससे कम कुछ भी हो, तो यह गणितीय रूप से असंभव है।"

प्रदान किए गए पाठ के आधार पर, "पैरिटी, सेंसिटिविटी, एंड ट्रांसफॉर्मर्स" (Parity, Sensitivity, and Transformers) शोध पत्र का विस्तृत तकनीकी सारांश यहाँ दिया गया है।

समस्या विवरण (Problem Statement)

यह शोध पत्र ट्रांसफॉर्मर आर्किटेक्चर की अभिव्यक्ति क्षमता (expressivity) के मौलिक प्रश्न को संबोधित करता है, विशेष रूप से PARITY कार्य के संबंध में। PARITY एक बूलियन फलन (Boolean function) है जो बाइनरी इनपुट अनुक्रम में 1 की संख्या विषम (odd) होने पर 1 और अन्यथा 0 आउटपुट देता है। यह सैद्धांतिक कंप्यूटर विज्ञान में एक मानक समस्या है जो अपनी उच्च संवेदनशीलता (sensitivity) के लिए जानी जाती है (किसी भी एकल बिट को बदलने से आउटपुट बदल जाता है)।

जबकि पिछले शोधों ने यह स्थापित किया है कि हार्ड अटेंशन तंत्र (विशेष रूप से यूनिक हार्ड अटेंशन या UHAT) वाले ट्रांसफॉर्मर निरंतर गहराई (constant depth) में PARITY की गणना नहीं कर सकते, सॉफ्ट (softmax) अटेंशन वाले ट्रांसफॉर्मर की क्षमताओं के बारे में स्थिति कम स्पष्ट रही है। सॉफ्ट-अटेंशन ट्रांसफॉर्मर के लिए PARITY की गणना करने वाले मौजूदा निर्माण "अव्यावहारिक" धारणाओं पर निर्भर करते हैं, जैसे कि:

ऐसी पोजीशनल एनकोडिंग जो कुल इनपुट लंबाई ( $n$ ) पर निर्भर करती है।
हार्ड अटेंशन तंत्र।
लेयर नॉर्मलाइजेशन जिसमें रेगुलराइजेशन पैरामीटर $\epsilon = 0$ हो।
कॉज़ल मास्किंग (causal masking) के साथ असंगतता।

इसके अलावा, यह एक खुला प्रश्न बना हुआ था कि क्या एक एक-परत (single-layer) वाला ट्रांसफॉर्मर PARITY की गणना कर सकता है।

कार्यप्रणाली (Methodology)

लेखक PARITY के लिए ट्रांसफॉर्मर की अभिव्यक्ति क्षमता के लोअर बाउंड (lower bound) और अपर बाउंड (upper bound/construction) को संबोधित करने के लिए दो अलग-अलग कार्यप्रणाली दृष्टिकोणों का उपयोग करते हैं।

1. औसत संवेदनशीलता (Average Sensitivity) के माध्यम से लोअर बाउंड
यह सिद्ध करने के लिए कि एक-परत वाला ट्रांसफॉर्मर PARITY की गणना नहीं कर सकता, लेखक औसत संवेदनशीलता की अवधारणा का उपयोग करते हैं।

परिभाषा: किसी फलन $f$ की औसत संवेदनशीलता उन इनपुट बिट स्थितियों की अपेक्षित संख्या है जहाँ बिट को बदलने से फलन का आउटपुट बदल जाता है। PARITY के लिए, यह मान सटीक रूप से $n$ (रैखिक वृद्धि) है।
तर्क: लेखक एक-परत वाले ट्रांसफॉर्मर की गणना को वास्तविक संख्याओं के प्रथम-क्रम तर्क $(\mathbb{R}, <, +, \cdot)$ में व्यक्त किए जाने वाले फलन के रूप में मॉडल करते हैं। टार्स्की-सेडेनबर्ग प्रमेय (क्वांटिफायर एलिमिनेशन) को लागू करके, वे प्रदर्शित करते हैं कि एक-परत वाले ट्रांसफॉर्मर द्वारा संगणना किया गया कोई भी फलन निश्चित संख्या में लो-डिग्री पॉलीनोमियल थ्रेशोल्ड फंक्शन्स (PTFs) के बूलियन संयोजन के रूप में दर्शाया जा सकता है।
सीमा निर्धारण (Bounding): केन (Kane) के एक परिणाम का हवाला देते हुए, वे स्थापित करते हैं कि लो-डिग्री PTFs की औसत संवेदनशीलता $O(\sqrt{n} \cdot (\log n)^{O(1)})$ की दर से बढ़ती है। चूंकि PARITY की औसत संवेदनशीलता रैखिक ( $n$ ) रूप से बढ़ती है, इसलिए एक-परत वाला ट्रांसफॉर्मर इसकी गणना नहीं कर सकता।

2. नए निर्माण (New Construction) के माध्यम से अपर बाउंड
यह प्रदर्शित करने के लिए कि PARITY, अव्यावहारिक धारणाओं के बिना एक ट्रांसफॉर्मर द्वारा गणनीय है, लेखक एक नया चार-परत (four-layer) निर्माण प्रस्तावित करते हैं।

तंत्र: यह निर्माण सॉफ्टवेयर अटेंशन (softmax attention) और लंबाई-स्वतंत्र, बहुपद रूप से सीमित (polynomially bounded) पोजीशनल एनकोडिंग का उपयोग करता है। यह लेयर नॉर्मलाइजेशन से बचता है और पूर्ण-अटेंशन (full-attention) एवं कॉज़ल मास्किंग दोनों के तहत कार्य करता है।
एल्गोरिद्मिक रणनीति:
1. लेयर 1: 1 के काउंट ( $\Sigma$ ) से संबंधित एक मान $\gamma$ प्राप्त करने के लिए इनपुट बिट्स के भारित योग (weighted sum) की गणना करता है।
2. लेयर 2: पोजीशनल एनकोडिंग ( $i \mapsto (\ln i, i^{10})$ ) और $\gamma$ के मान का उपयोग करके एक भारित औसत $\Gamma$ की गणना करता है। यह मान $\Sigma$ के बारे में जानकारी को एनकोड करने वाले फलन $f(\rho)$ का अनुमान लगाता है।
3. लेयर 3: ऐसे अटेंशन वेट्स $L_{i,n}$ का निर्माण करता है जो स्थिति $i = \Sigma$ पर अत्यधिक केंद्रित होते हैं। यह इस बात से प्राप्त होता है कि $\Gamma$ का उपयोग एक विशिष्ट क्वाड्रेटिक फॉर्म (quadratic form) को अनुमानित करने के लिए किया जाता है जो $i = \Sigma$ पर चरम (peak) पर होता है। लेखक सिद्ध करते हैं कि सही स्थिति के लिए, अटेंशन वेट अन्य किसी भी स्थिति की तुलना में काफी अधिक (एक मार्जिन $\Omega(n^6)$ से) होता है।
4. लेayer 4: केंद्रित अटेंशन वेट्स का उपयोग करके $(-1)^i$ के भारित योग की गणना करता है। परिणाम एक मान $z$ होता है जो $(-1)^\Sigma$ के करीब होता है, जिससे अंतिम लेयर सम (even) और विषम (odd) पैरिटी के बीच अंतर कर पाती है।
बड़े इनपुटों को संभालना: बड़े इनपुट मामलों को संभालने के लिए, जहाँ 1 की संख्या ( $\Sigma$ ) अधिक है, निर्माण इनपुट को $M$ उप-अनुक्रमों (जहाँ $M$ एक सम स्थिरांक है) में विभाजित करता है, प्रत्येक की पैरिटी समानांतर में गणना करता है, और परिणामों को एकत्रित करता है।

मुख्य योगदान और परिणाम (Key Contributions and Results)

एक-परत वाले ओपन प्रॉब्लम का समाधान: यह शोध पत्र एक-परत वाले ट्रांसफॉर्मर द्वारा PARITY की गणना करने के खुले प्रश्न का निर्णायक उत्तर देता है। परिणाम नकारात्मक है। लेखक सिद्ध करते हैं कि किसी भी एक-परत वाले ट्रांसफॉर्मर द्वारा संगणना की गई फलन की औसत संवेदनशीलता $O(\sqrt{n} \cdot (\log n)^{O(1)}$ द्वारा सीमित है, जो PARITY की रैखिक संवेदनशीलता के लिए अपर्याप्त है।
PARITY के लिए बेहतर निर्माण: लेखक एक नया चार-परत वाला ट्रांसफॉर्मर निर्माण प्रस्तुत करते हैं जो PARITY की गणना करता है। यह निर्माण कई प्रतिबंधात्मक धारणाओं को हटाकर पिछले कार्यों (जैसे चियांग और चोलक, 2022; यांग एट अल., 2025) में सुधार करता है:
- यह हार्ड अटेंशन के बजाय सॉफ्ट अटेंशन (softmax) का उपयोग करता है।
- यह लंबाई-स्वतंत्र (length-independent) पोजीशनल एनकोडिंग का उपयोग करता है।
- इसे लेयर नॉर्मलाइजेशन की आवश्यकता नहीं है (या विशेष रूप से यह $\epsilon=0$ पर निर्भर नहीं है)।
- यह कॉज़ल मास्किंग के अनुकूल है।
- पोजीशनल एनकोडिंग बहुपद रूप से सीमित (polynomially bounded) हैं, जो व्यावहारिक इनपुट लंबाई के लिए व्यवहार्य हैं।
गहराई की आवश्यकताएं (Depth Requirements): यह शोध पत्र स्थापित करता है कि जबकि एक परत अपर्याप्त है, यथार्थवादी डिजाइन बाधाओं के तहत चार परतें पर्याप्त हैं। यह अत्यधिक संवेदनशील फलनों की गणना के लिए गहराई की आवश्यकताओं को परिष्कृत करता है।

महत्व (Significance)

यह शोध पत्र PARITY कार्य के लिए ट्रांसफॉर्मर आर्किटेक्चर की गहराई की आवश्यकताओं को सटीक रूप से निर्धारित करके ट्रांसफॉर्मर की अभिव्यक्ति क्षमता की सैद्धांतिक समझ को आगे बढ़ाता है। ट्रांसफॉर्मर की अभिव्यक्ति क्षमता को बूलियन फलनों की औसत संवेदनशीलता से जोड़कर, लेखक एक कठोर लोअर बाउंड प्रदान करते हैं जो एक-परत वाले मॉडलों को खारिज करता है। साथ ही, मानक वास्तुशिल्प प्रथाओं (सॉफ्ट अटेंशन, कॉज़ल मास्किंग, सीमित एनकोडिंग) का पालन करने वाले चार-परत वाले निर्माण को प्रदान करके, यह शोध पत्र दर्शाता है कि PARITY, सैद्धांतिक आर्टिफैक्ट्स (theoretical artifacts) के बिना भी ट्रांसफॉर्मर द्वारा गणनीय है।

लेखक नोट करते हैं कि ये परिणाम यह समझाने में मदद करते हैं कि ट्रांसफॉर्मर प्रशिक्षण के दौरान PARITY जैसे कार्यों पर सामान्यीकरण (generalize) करने में संघर्ष क्यों कर सकते हैं: इस फलन के लिए एक विशिष्ट गहराई और वास्तुशिल्प विन्यास की आवश्यकता होती है जिसे मानक ग्रेडिएंट डिसेंट विधियों के माध्यम से आसानी से सीखा नहीं जा सकता यदि मॉडल बहुत उथला (shallow) या बाधित है। यह कार्य हार्ड-अटेंशन मॉडलों की अभिव्यक्ति क्षमता के मौजूदा साहित्य का पूरक है और सॉफ्ट-अटेंशन ट्रांसफॉर्मर की क्षमताओं के लिए एक अधिक यथार्थवादी आधार प्रदान करता है।