🤖 machine learning

Complex-Valued Phase-Coherent Transformer

यह शोध पत्र फेज-कोहेरेंट ट्रांसफार्मर (PCT) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो फेज सूचना को संरक्षित करने के लिए मानक सॉफ्टमैक्स अटेंशन को L2-नॉर्मलाइज्ड कॉम्प्लेक्स सिमिलरिटीज़ पर एक स्मूथ, एलिमेंट-इंडिपेंडेंट गेटिंग मैकेनिज्म से बदल देता है, जिससे वास्तविक-मान वाले और मौजूदा कॉम्प्लेक्स-वैल्यूड बेसलाइन्स दोनों की तुलना में विविध लॉन्ग-रेंज और कॉम्प्लेक्स-वैल्यूड कार्यों में बेहतर सामान्यीकरण और प्रदर्शन प्राप्त होता है।

मूल लेखक: Leona Hioki

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Leona Hioki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पुस्तकालय को व्यवस्थित करने की कोशिश कर रहे हैं जहाँ हर किताब के साथ एक गुप्त "फेज़" (phase) या एक छिपा हुआ लय (rhythm) जुड़ा हुआ है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह कॉम्प्लेक्स-वैल्यूड न्यूरल नेटवर्क्स (Complex-Valued Neural Networks) के साथ काम करने जैसा है। ये नेटवर्क शक्तिशाली हैं क्योंकि वे इस अतिरिक्त "फेज़" जानकारी (जैसे ध्वनि तरंग का समय या सिग्नल की दिशा) को संभाल सकते हैं, लेकिन वे टेक्स्ट पढ़ने या छवियों को पहचानने जैसे सामान्य कार्यों पर अच्छी तरह काम करने के लिए संघर्ष कर रहे हैं।

मुख्य समस्या, इस शोध पत्र के अनुसार, यह है कि इन नेटवर्क्स द्वारा जानकारी को व्यवस्थित करने का मानक तरीका एक प्रतिस्पर्धी रियलिटी शो (competitive reality show) की तरह है।

समस्या: "टोकन कॉम्पिटिशन" रियलिटी शो

मानक AI मॉडल (ट्रांसफॉर्मर्स) में, जब मॉडल किसी वाक्य को देखता है, तो वह सॉफ्टमैक्स अटेंशन (Softmax Attention) नामक तंत्र का उपयोग करता है। इसे एक रियलिटी शो के रूप में सोचें जहाँ वाक्य के सभी शब्द (टोकन्स) प्रतियोगी हैं। वे सभी सीमित "अटेंशन मास" (ध्यान के द्रव्यमान) के लिए लड़ते हैं (जैसे कि एक पुरस्कार राशि के लिए लड़ाई)। मॉडल उन्हें प्रतिस्पर्धा करने के लिए मजबूर करता है ताकि कुल ध्यान 100% तक जुड़ जाए।

समस्या: एक कॉम्प्लेक्स-वैल्यूड नेटवर्क में, "फेज़" (छिपी हुई लय) अत्यंत महत्वपूर्ण है। यदि आप इन प्रतियोगियों को प्रतिस्पर्धा करने के लिए मजबूर करते हैं, तो आप अनिवार्य रूप से उन्हें कह रहे हैं, "यदि तुम जीतते हो, तो तुम्हें दूसरों को हारना होगा।" यह प्रतिस्पर्धा नाजुक फेज़ संबंधों को तहस-नहस कर देती है। यह बिल्कुल वैसा ही है जैसे नर्तकों के एक समूह को पूर्ण तालमेल में रखने की कोशिश करना और फिर उन्हें स्पॉटलाइट के लिए आपस में लड़ने के लिए मजबूर करना। शोध पत्र का तर्क है कि यह "टोकन कॉम्पिटिशन" उस जानकारी को नष्ट कर देता है जिसकी कॉम्प्लेक्स नेटवर्क को काम करने के लिए आवश्यकता होती है।

समाधान: फेज-कोहेरेंट ट्रांसफार्मर (PCT)

लेखक फेज-कोहेरेंट ट्रांसफार्मर (Phase-Coherent Transformer - PCT) नामक एक नया मॉडल पेश करते हैं। "रियलिटी शो" के बजाय, इसे एक सहयोगात्मक ऑर्केस्ट्रा (collaborative orchestra) के रूप में कल्पना करें।

कोई लड़ाई नहीं: PCT में, शब्द प्रतिस्पर्धा नहीं करते हैं। प्रत्येक शब्द अपना हिस्सा स्वतंत्र रूप से बोल सकता है।
स्मूथ गेट (Smooth Gate): कठोर प्रतिस्पर्धा के बजाय, मॉडल एक "स्मूथ गेट" (एक गणितीय फलन जिसे 'सिग्मॉइड' कहा जाता है) का उपयोग करता है। इसे प्रत्येक शब्द के लिए एक "वॉल्यूम नॉब" (आवाज़ नियंत्रित करने वाला बटन) के रूप में समझें। यदि कोई शब्द प्रासंगिक है, तो नॉब ऊपर की ओर घूमता है; यदि नहीं, तो यह नीचे की ओर घूमता है। महत्वपूर्ण बात यह है कि एक नॉब को ऊपर घुमाने से दूसरे को नीचे घुमाने की मजबूरी नहीं होती।
लय को बनाए रखना: क्योंकि शब्द आपस में लड़ नहीं रहे हैं, इसलिए नेटवर्क की परतों के माध्यम से छिपी हुई "फेज़" जानकारी बिना बिखरे प्रवाहित होती है। यह एक रिले रेस में बैटन (बैटन) पास करने जैसा है जहाँ धावक इसलिए बैटन नहीं गिराता क्योंकि वह अपने बगल वाले व्यक्ति को धक्का देने में व्यस्त है।

प्रयोग: ऑर्केस्ट्रा का परीक्षण

लेखकों ने इस नए "ऑर्केस्ट्रा" का 9 अलग-अलग चुनौतियों में पुराने "रियलिटी शो" मॉडल्स के विरुद्ध परीक्षण किया, जिसमें संख्याओं की लंबी श्रृंखलाओं को याद रखने से लेकर छवियों के वर्गीकरण और रेडियो सिग्नल को डिकोड करने तक शामिल है।

यहाँ उन्होंने क्या पाया, सरल उपमाओं का उपयोग करते हुए:

"नीडल इन अ हेस्टैक" (NIAH) टेस्ट: कल्पना कीजिए कि एक मिलियन किताबों वाला एक पुस्तकालय है, और आपको उसके बीच में छिपे एक विशिष्ट वाक्य को खोजना है।
- पुराने कॉम्प्लेक्स मॉडल्स: पूरी तरह विफल रहे (0% सफलता)। वे शोर में खो गए।
- पुराने रियल मॉडल्स: पूरी तरह विफल रहे।
- PCT: इसने हर बार सुई को खोज निकाला (100% सफलता)। इसने साबित किया कि कॉम्प्लेक्स नेटवर्क वास्तव में रियल नेटवर्क्स से बेहतर हो सकते हैं यदि आप उन्हें लड़ने से रोक दें।
"कॉपी मेमोरी" टेस्ट: कल्पना कीजिए कि मॉडल को संख्याओं की एक लंबी सूची याद रखने और बाद में उसे दोहराने के लिए कहा गया है।
- पुराने मॉडल्स: जैसे-जैसे सूची लंबी होती गई, वे सब कुछ भूल गए।
- PCT: इसने 5,000 संख्याओं की सूचियों को पूरी तरह से याद रखा। इसने दिखाया कि "प्रतिस्पर्धा" के बिना, नेटवर्क बहुत लंबे समय तक जानकारी को थामे रख सकता है।
"डेप्थ" (गहराई) टेस्ट: कल्पना कीजिए कि आप नेटवर्क को गहरा और गहरा बनाते जा रहे हैं (अधिक परतें जोड़ रहे हैं)।
- पुराने कॉम्प्लेक्स मॉडल्स: आमतौर पर, जैसे-जैसे आप अधिक परतें जोड़ते हैं, सिग्नल इतना शोर भरा हो जाता है कि मॉडल टूट जाता है (जैसे 20 लोगों के बीच से गुजरते समय फुसफुसाहट का खो जाना)।
- PCT: 20 परतों की गहराई पर भी पूरी तरह से काम किया। यह टूटा नहीं। "ऑर्केस्ट्रा" चाहे कितने भी संगीतकार जोड़े जाएं, तालमेल में बना रहा।
"रेडियो सिग्नल" टेस्ट: उन्होंने वास्तविक दुनिया के रेडियो डेटा (कॉम्प्लेक्स सिग्नल्स) पर इस मॉडल का परीक्षण किया।
- परिणाम: PCT ने बहुत अच्छा प्रदर्शन किया, और पुराने कॉम्प्लेक्स मॉडल्स को पीछे छोड़ दिया। दिलचस्प बात यह है कि एक अलग "गैर-प्रतिस्पर्धी" रियल-वैल्यूड मॉडल (real_screen) ने इस विशिष्ट कार्य पर थोड़ा बेहतर प्रदर्शन किया, जो यह सुझाव देता है कि हालांकि PCT एक बड़ी छलांग है, फिर भी विशिष्ट भौतिक डोमेन में सुधार की गुंजाइश है।

जादू के पीछे का "क्यों"

शोध पत्र गहराई से जांच करता है कि PCT क्यों काम करता है और दो स्वर्णिम नियम पहचानता है:

नो टोकन कॉम्पिटिशन: डेटा पॉइंट्स को ध्यान के लिए लड़ने के लिए मजबूर न करें।
फेज प्रिजर्वेशन (फेज़ संरक्षण): सिग्नल के "नेगेटिव" या "एंटी-फेज़" हिस्सों को डिलीट न करें।

उन्होंने नियमों को जानबूझकर तोड़कर इसका परीक्षण किया:

यदि उन्होंने एक ऐसा गेट इस्तेमाल किया जो नेगेटिव सिग्नल्स को हटा देता था (जैसे "ReLU" गेट), तो मॉडल पूरी तरह से विफल हो गया।
यदि उन्होंने एक ऐसा गेट इस्तेमाल किया जो बहुत अधिक अनियंत्रित (unbounded) था, तो मॉडल संघर्ष करने लगा।
लेकिन यदि उन्होंने गेट को स्मूथ और गैर-प्रतिस्पर्धी (जैसे PCT) रखा, तो मॉडल फला-फूला।

निष्कर्ष

यह शोध पत्र दावा करता है कि अब तक कॉम्प्लेक्स-वैल्यूड AI एक "सामान्य-उद्देश्य" (general-purpose) उपकरण क्यों नहीं बन पाया है, इसका कारण यह है कि हम इसे उन नियमों के अनुसार चलाने की कोशिश कर रहे थे जो सरल, रियल-वैल्यूड AI के लिए बनाए गए थे ("प्रतिस्पर्धा" के नियम)।

फेज-कोहेरेंट ट्रांसफार्मर में स्विच करके, जो जानकारी को मजबूर प्रतिस्पर्धा के बिना बहने देता है, कॉम्प्लेक्स नेटवर्क अंततः सामान्यीकरण (generalize) कर सकते हैं। वे लंबी याददाश्त, गहरे तर्क और जटिल सिग्नल्स को पारंपरिक मॉडल्स के समान, या कभी-कभी उनसे भी बेहतर तरीके से संभाल सकते हैं। लेखक निष्कर्ष निकालते हैं कि यह "गैर-प्रतिस्पर्धी" दृष्टिकोण कॉम्प्लेक्स AI की वास्तविक क्षमता को अनलॉक करने की कुंजी है।

तकनीकी सारांश: फेज-कोहेरेंट ट्रांसफॉर्मर (PCT)

1. समस्या विवरण

जटिल-मान वाले न्यूरल नेटवर्क (CvNNs) ऐतिहासिक रूप से सिग्नल-प्रोसेसिंग डोमेन (जैसे MRI, वायरलेस संचार) तक सीमित रहे हैं जहाँ फेज (phase) जानकारी अंतर्निहित होती है। टेक्स्ट, विजन और रीजनिंग के लिए सामान्य-उद्देश्य वाले आर्किटेक्चर के रूप में उनका उपयोग सीमित रहा है। यह शोध पत्र एक विशिष्ट आर्किटेक्चरल बाधा की पहचान करता है: मौजूदा कॉम्प्लेक्स-वैल्यूड ट्रांसफॉर्मर काफी हद तक रियल-वैल्यूड आर्किटेक्चर से विरासत में मिले सॉफ्टमैक्स अटेंशन (softmax attention) तंत्र पर निर्भर करते हैं।

लेखक तर्क देते हैं कि सॉफ्टमैक्स अटेंशन रो-नॉर्मलाइज्ड टोकन कॉम्पिटिशन (row-normalized token competition) पर निर्भर करता है, जहाँ एक रो के भीतर अटेंशन वेट्स का योग एक होता है। यह संरचना जटिल-मान गणना (complex-valued computation) के साथ मौलिक रूप से असंगत है, जिसे फेज जानकारी के संरक्षण की आवश्यकता होती है। "टोकन कॉम्पिटिशन" जो सॉफ्टमैक्स द्वारा लागू किया जाता है, एक ऐसा कपलिंग (coupling) पैदा करता है जो फेज सुपरपोजिशन को बाधित करता है, जिससे एक "कॉम्प्लेक्स पेनल्टी" उत्पन्न होती है जहाँ साधारण कॉम्प्लेक्स ट्रांसफॉर्मर अपने रियल-वैल्यूड समकक्षों की तुलना में खराब प्रदर्शन करते हैं, विशेष रूप से लॉन्ग-रेंज डिपेंडेंसी कार्यों पर।

2. कार्यप्रणाली: फेज-कोहेरेंट ट्रांसफॉर्मर (PCT)

इसे संबोधित करने के लिए, शोध पत्र फेज-कोहेरेंट ट्रांसफॉर्मर (PCT) का प्रस्ताव करता है, जो एक नया अटेंशन प्रिमिटिव (primitive) है जिसे परतों के माध्यम से फेज कोहेरेंस बनाए रखने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र

PCT, रो-नॉर्मलाइज्ड सॉफ्टमैक्स के स्थान पर एक टोकन-नॉन-कॉम्पिटिंग अटेंशन (token-non-competing attention) तंत्र का उपयोग करता है:

सबस्ट्रेट (Substrate): यह क्वेरी ( $Q$ ), की ( $K$ ), और वैल्यू ( $V$ ) के लिए नेटिव कॉम्प्लेक्स लीनियर प्रोजेक्शन का उपयोग करता है।
नॉर्मलाइजेशन: क्वेरीज और कीज़ को L2-नॉर्मलाइज किया जाता है ( $\bar{q}, \bar{k}$ )।
स्कोरिंग: अटेंशन स्कोर नॉर्मलाइज्ड वेक्टर्स के इनर प्रोडक्ट के रियल भाग से प्राप्त किया जाता है: $s_{ij} = \text{Re}\langle \bar{q}_i, \bar{k}_j \rangle \cdot \sqrt{d}$ ।
गेटिंग (Gating): सॉफ्टमैक्स के बजाय, PCT स्कोर पर एक रियल-वैल्यूड, एलिमेंट-इंडिपेंडेंट, स्मूथ गेट लागू करता है। प्राथमिक उदाहरण में एक सिग्मॉइड (sigmoid) फंक्शन का उपयोग किया जाता है जिसका बायस $-\log N$ के रूप में इनिशियलाइज किया गया है:
$\alpha_{ij} = \sigma(s_{ij} + b)$
एग्रीगेशन (Aggregation): आउटपुट को कॉम्प्लेक्स वैल्यूज के वेटेड सम के रूप में कंप्यूट किया जाता है: $\text{out}_i = W_o \sum_{j} \alpha_{ij} v_j$ ।

महत्वपूर्ण रूप से, यहाँ कोई रो-नॉर्मलाइजेशन नहीं है। यह टोकन्स को स्वतंत्र रूप से अटेंड करने की अनुमति देता है, जिससे सॉफ्टमैक्स के प्रतिस्पर्धी नॉर्मलाइजेशन द्वारा होने वाले विनाशकारी हस्तक्षेप के बिना कॉम्प्लेक्स वैल्यूज के फेज सुपरपोजिशन को संरक्षित किया जा सके।

सैद्धांतिक ढांचा: टू-लेवल फेज कोहेरेंस

शोध पत्र PCT की सफलता को "टू-लेवल फेज कोहेरेंस" फ्रेमवर्क के माध्यम से औपचारिक रूप देता है, जो गेट फंक्शन $f$ पर चार शर्तों द्वारा परिभाषित है:

C1: गेट का आउटपुट रियल-वैल्यूड है।
C2: गेट ऑपरेटिंग रेंज के भीतर बाउंडेड (bounded) है।
C3: गेट स्मूथ है और इसमें नॉन-जीरो ग्रेडिएंट है (एंटी-फेज कंपोनेंट्स को सुरक्षित रखता है)।
C4: गेट एलिमेंट-इंडिपेंडेंट है (कोई रो कपलिंग नहीं)।

लेवल 1 (L1) कोहेरेंस: C1 और C4 द्वारा संतुष्ट होता है, जो यह सुनिश्चित करता है कि प्रति-लेयर फेज संबंध संरक्षित रहें (कोई टोकन कपलिंग नहीं)।
लेवल 2 (L2) कोहेरेंस: L1, C2, और C3 द्वारा संतुष्ट होता है, जो यह सुनिश्चित करता है कि एक गहरे स्टैक (deep stack) में फेज नॉइज़ तेजी से संचित न हो। पेपर सिद्ध करता है कि C3 का उल्लंघन करने से (जैसे ReLU) कैटास्ट्रोफिक कैस्केड फेल्योर होता है, जबकि C2 का उल्लंघन करने से (जैसे अनबाउंडेड गेट्स) आंशिक गिरावट आती है।

3. प्रयोगात्मक सेटअप

लेखकों ने 9 मिड-स्केल बेंचमार्क पर एक व्यवस्थित 6-सेल तुलना आयोजित की, जिससे पैरामीटर फेयरनेस ( $\text{real\_dim} = \text{complex\_dim} \times 1.41$ ) सुनिश्चित हुई।

6 सेल्स:

real_softmax: स्टैंडर्ड ट्रांसफॉर्मर बेसलाइन।
real_sigmoid: रियल-वैल्यूड सिग्मॉइड अटेंशन।
real_screen: रियल-वैल्यूड स्क्रीनिंग अटेंशन (Nakanishi 2026)।
complex_softmax: वैनिला कॉम्प्लेक्स ट्रांसफॉर्मर (मैग्निट्यूड का सॉफ्टमैक्स)।
complex_screen: एक कॉम्प्लेक्स वेरिएंट जिसमें हार्ड थ्रेशोल्ड गेट (आंशिक C3 उल्लंघन) है।
PCT (complex_sigmoid): प्रस्तावित आर्किटेक्चर।

बेंचमार्क:

सिंथेटिक/एल्गोरिद्मिक: कॉपी मेमोरी (शॉर्ट/लॉन्ग रेंज), नीडल इन अ हेस्टैक (NIAH), LRA-ListOps, FFT-MNIST, फेज-मेमोरी, मल्टी-पिच।
रियल-वर्ल्ड: RadioML (मॉड्यूलेशन क्लासिफिकेशन), MusicNet।
डेप्थ स्केलिंग: डेप्थ 2 से 20 तक के परीक्षण।

4. मुख्य परिणाम

सामान्यीकरण और प्रदर्शन

वैनिला कॉम्प्लेक्स पर श्रेष्ठता: PCT सभी कार्यों पर complex_softmax से लगातार बेहतर प्रदर्शन करता है। लॉन्ग-रेंज कॉपी कार्यों पर, complex_softmax चांस लेवल पर गिर जाता है, जबकि PCT 1.000 सटीकता प्राप्त करता है।
रियल बेसलाइन्स पर श्रेष्ठता: पैरामीटर-फेयर स्थितियों के तहत, PCT प्रत्येक परीक्षण किए गए कार्य पर real_softmax से बेहतर प्रदर्शन करता है, जिसमें लॉन्ग-रेंज रिट्रीवल और एल्गोरिद्मिक रीजनिंग शामिल हैं।
सबसे मजबूत रियल बेसलाइन्स के साथ प्रतिस्पर्धात्मकता: PCT सिंथेटिक और एल्गोरिद्मिक कार्यों पर real_screen (सबसे मजबूत नॉन-सॉफ्टमैक्स रियल बेसलाइन) के बराबर या उससे बेहतर है। फिजिकल कॉम्प्लेक्स डोमेन टास्क (RadioML) पर, real_screen थोड़ा आगे निकल जाता है, लेकिन PCT अभी भी complex_softmax से काफी बेहतर प्रदर्शन करता है।

विशिष्ट कार्य निष्कर्ष

NIAH (Needle In A Haystack): PCT NIAH (L=2048) पर 1.000 सटीकता प्राप्त करता है, एक ऐसा कार्य जहाँ कॉम्प्लेक्स Q/K कोई इंडक्टिव एडवांटेज नहीं देते (शुद्ध पोजीशनल)। यह इस धारणा का खंडन करता है कि कॉम्प्लेक्स नेटवर्क स्वाभाविक रूप से ऐसे कार्यों पर कमजोर होते हैं; विफलता अटेंशन मैकेनिज्म के कारण थी, न कि सबस्ट्रेट के कारण।
लॉन्ग-रेंज मजबूती: लॉन्ग-रेंज कॉपी कार्यों पर PCT हाइपरपैरामीटर वेरिएशंस (लर्निंग रेट और बैच साइज) के प्रति अद्वितीय रूप से मजबूत है, उस विंडो में भी 1.000 सटीकता बनाए रखता है जहाँ अन्य सेल्स विफल हो जाते हैं।
डेप्थ स्केलिंग: PCT डेप्थ 2 से 20 तक डेप्थ-संबंधित सटीकता पतन (accuracy collapse) नहीं दिखाता है। सटीकता स्थिर रहती है, जो गहरे कॉम्प्लेक्स नेटवर्क में फेज नॉइज़ संचय के बारे में लंबे समय से चली आ रही चिंता को दूर करती है।

एब्लेशन और आइसोलेशन

गेट उल्लंघन (Gate Violations): PCT की शर्तों का जानबूझकर उल्लंघन करने वाले गेट्स के साथ प्रयोगों ने सैद्धांतिक ढांचे की पुष्टि की:
- C3 उल्लंघन (एंटी-फेज डिलीशन): ReLU या क्लैम्प्ड ReLU जैसे गेट्स लॉन्ग-रेंज कार्यों पर तुरंत चांस लेवल पर गिर जाते हैं, चाहे डेप्थ कुछ भी हो।
- C2 उल्लंघन (अनबाउंडेडनेस): क्यूबिक (ऑपरेटिंग रेंज में अनबाउंडेड) जैसे गेट्स महत्वपूर्ण प्रदर्शन गिरावट (उदाहरण के लिए, कॉपी कार्यों पर 1.000 से 0.200 तक गिरना) का कारण बनते हैं, लेकिन यदि C3 बरकरार है तो वे पूर्ण पतन का कारण नहीं बनते हैं।
सबस्ट्रेट मजबूती: कॉम्प्लेक्स सबस्ट्रेट आवश्यक है, लेकिन कोई भी एकल घटक (Q, K, V, या आउटपुट) अपरिहार्य रूप से जिम्मेदार नहीं है; आर्किटेक्चर पैरामीटराइजेशन के विकल्पों के प्रति मजबूत है जब तक कि कॉम्प्लेक्स प्रकृति बनी रहे।

5. महत्व और दावे

शोध पत्र का दावा है कि टोकन-नॉन-कॉम्पिटिंग अटेंशन और मल्टी-लेयर फेज प्रिजर्वेशन का परिचय कॉम्प्लेक्स-वैल्यूड न्यूरल नेटवर्क को उनके पारंपरिक सिग्नल-प्रोसेसिंग डोमेन से परे सामान्यीकरण करने में सक्षम बनाता है।

आर्किटेक्चरल सिद्धांत: मुख्य योगदान यह पहचानना है कि सॉफ्टमैक्स संरचनात्मक रूप से असंगत है। "टोकन कॉम्पिटिशन" जो सॉफ्टमैक्स में निहित है, एक अनावश्यक बाधा है जो फेज कोहेरेंस को तोड़ देती है।
डिज़ाइन गाइडलाइन: पेपर एक "क्लोजनेस-टू-PCT" टैक्सोनॉमी स्थापित करता है। आर्किटेक्चर जो C1–C4 शर्तों को संतुष्ट करते हैं (या जिनके पास आंशिक या बायपास किए गए उल्लंघन हैं) अच्छी तरह से सामान्यीकरण करते हैं, जबकि वे जिनमें सख्त उल्लंघन (जैसे ReLU या सॉफ्टमैक्स) हैं, विफल हो जाते हैं।
सीमित दायरा: लेखक स्पष्ट रूप से कहते हैं कि हालांकि PCT ने परीक्षण किए गए बेंचमार्क पर मजबूत सामान्यीकरण दिखाया है, वे गहराई के लिए कोई मात्रात्मक स्केलिंग लॉ (जैसे चिनचिला-स्टाइल) का दावा नहीं करते हैं। दावा गुणात्मक है: PCT उस डेप्थ-कोलैप्स फेल्योर मोड को समाप्त करता है जो पहले कॉम्प्लेक्स नेटवर्क में देखा गया था।
खुला प्रश्न: पेपर एक विसंगति नोट करता है जहाँ real_screen RadioML कार्य पर PCT से बेहतर प्रदर्शन करता है, जो भौतिक कॉम्प्लेक्स-डोमेन डेटा के विशिष्ट तंत्रों के संबंध में एक खुले प्रश्न को चिह्नित करता है, हालांकि यह मूल एंटी-सॉफ्टमैक्स दावे को अमान्य नहीं करता है।

संक्षेप में, शोध पत्र का तर्क है कि कॉम्प्लेक्स-वैल्यूड ट्रांसफॉर्मर के लिए, सामान्यीकरण की कुंजी केवल रियल-वैल्यूड घटकों को कॉम्प्लेक्स स्पेस में पोर्ट करना नहीं है, बल्कि अटेंशन प्रिमिटिव को फिर से डिजाइन करना है ताकि फेज कोहेरेंस की संरचनात्मक आवश्यकताओं का सम्मान किया जा सके।