🔢 mathematics

An Encoder-Transformer Architecture for Recognition of the Jordan Structure of a Matrix

यह शोध पत्र एक एनकोडर-ट्रांसफॉर्मर आर्किटेक्चर पर आधारित एक मशीन-लर्निंग फ्रेमवर्क प्रस्तावित करता है जो प्रभावी रूप से यह पता लगाता है कि क्या एक मैट्रिक्स एक बड़े जॉर्डन ब्लॉक (Jordan block) वाले मैट्रिक्स का विरूपण (perturbation) है, जो शास्त्रीय संख्यात्मक बेसलाइनों की तुलना में बेहतर सटीकता प्राप्त करता है और अनदेखी मैट्रिक्स श्रेणियों के प्रति मजबूत सामान्यीकरण प्रदर्शित करता है।

मूल लेखक: Michał Trojanowski, Michał Wojtylak

प्रकाशित 2026-06-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michał Trojanowski, Michał Wojtylak

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास संख्याओं से बनी एक रहस्यमय मशीन (एक मैट्रिक्स) है। गणित की आदर्श, सैद्धांतिक दुनिया में, इस मशीन की एक छिपी हुई "मूल संरचना" होती है जिसे जॉर्डन ब्लॉक (Jordan block) कहा जाता है। इस ब्लॉक को आपस में जुड़े हुए गियर के एक सेट की तरह समझें। यदि गियर पूरी तरह से संरेखित (aligned) हैं, तो मशीन सुचारू रूप से चलती है। लेकिन यदि वे थोड़े से गलत संरेखित हैं (एक "दोष"), तो मशीन बहुत अलग व्यवहार करती है, कभी-कभी स्थिर होने से पहले अनियंत्रित रूप से घूमने लगती है।

समस्या यह है कि वास्तविक दुनिया में, हम इन मशीनों को कभी भी पूरी तरह से नहीं माप सकते। हमेशा थोड़ा "शोर" या "स्थिरता" (राउंड-ऑफ एरर) होती है जो मशीन को ऐसा दिखाती है जैसे वह पूरी तरह से काम कर रही हो, भले ही वह वास्तव में खराब हो। पारंपरिक गणितीय उपकरण इन शोर से धोखा खा जाते हैं और एक सुचारू मशीन और एक टूटी हुई मशीन के बीच अंतर नहीं कर पाते हैं।

इस शोध पत्र के लेखकों ने इस पहेली को सुलझाने के लिए एक स्मार्ट AI जासूस (एक मशीन लर्निंग मॉडल) बनाया है। उन्होंने इसे कैसे किया, इसका सरल विवरण यहाँ दिया गया है:

1. जासूस की रणनीति: मशीन को उम्र बढ़ते देखना

मशीन को केवल एक बार देखने के बजाय, AI मशीन को बार-बार चलते हुए देखता है।

उपमा: कल्पना कीजिए कि आपके पास एक घूमता हुआ लट्टू (spinning top) है। यदि यह पूरी तरह से संतुलित है, तो यह लंबे समय तक घूमता रहता है। यदि यह थोड़ा सा भी असंतुलित है, तो यह जल्दी ही डगमगाकर गिर जाता है।
गणित: AI मैट्रिक्स लेता है और उसे बार-बार खुद से गुणा करता है ( $A$ , $A^2$ , $A^3$ , आदि)। एक आदर्श दुनिया में, एक "खराब" मैट्रिक्स अंततः एक शून्य मैट्रिक्स (चलना बंद करना) में बदल जाएगा। AI इस अनुक्रम (sequence) को देखता है कि मशीन कितनी तेज़ी से रुकती है। यह रुकने की गति AI को छिपे हुए "गियर्स" (जॉर्डन ब्लॉक) के आकार को समझने में मदद करती है।

2. AI का मस्तिष्क: एक "ट्रांसफॉर्मर"

लेखकों ने ट्रांसफॉर्मर नामक एक प्रकार के AI का उपयोग किया है। आप शायद इन्हें भाषा अनुवाद करने या निबंध लिखने वाले उपकरणों से जानते होंगे।

ट्विस्ट: आमतौर पर, ट्रांसफॉर्मर उन चित्रों या वाक्यों को देखने में माहिर होते हैं जहाँ चीजें एक-दूसरे के बगल में होती हैं (जैसे फोटो के पिक्सेल या एक पंक्ति के शब्द)। लेकिन एक मैट्रिक्स अलग होता है; संख्याओं का कोई उपयोगी "बायां" या "दायां" पड़ोसी नहीं होता।
समाधान: AI संख्याओं को एक चित्र के रूप में नहीं देखता है। इसके बजाय, यह "घूमते हुए लट्टुओं" के अनुक्रम (मैट्रिक्स की घातों) को एक कहानी की तरह मानता है। यह सीखने में सक्षम है कि कहानी के किस विशिष्ट क्षण पर मशीन अचानक रुक जाती है।

शून्य के करीब "सॉफ्ट" उत्तरों के साथ प्रशिक्षण

AI को लाखों नकली मशीनों पर प्रशिक्षित किया गया था। पेचीदा बात यह थी कि कभी-कभी शोर इतना तेज़ होता था कि एक मानव विशेषज्ञ भी 100% निश्चित नहीं हो सकता था कि ब्लॉक का आकार 4 था या 5।

चाल: AI को एक सटीक संख्या चुनने के लिए मजबूर करने के बजाय, शिक्षकों ने इसे एक "सॉफ्ट" उत्तर दिया। यदि वास्तविक आकार 4 था, तो AI को बताया गया, "यह शायद 4 है, लेकिन यह 3 या 5 भी हो सकता है।" इसने AI को विनम्र होना और शोर को सहजता से संभालना सिखाया, बजाय इसके कि वह भ्रमित हो जाए।

4. उन्होंने क्या पाया?

पुराने उपकरणों को पछाड़ना: AI इन छिपी हुई संरचनाओं को पहचानने में दशकों से वैज्ञानिकों द्वारा उपयोग किए जाने वाले मानक गणितीय उपकरणों की तुलना में बहुत बेहतर था। अत्यधिक शोर के बावजूद, AI ब्लॉक के आकार का सही अनुमान लगाने में सक्षम था (आमतौर पर वास्तविक आकार के 1 यूनिट के भीतर)।
सामान्यीकरण (Generalizing): AI ने इन मशीनों के व्यवहार के नियमों को सीखा, न कि केवल विशिष्ट उदाहरणों को याद किया। यह एक ऐसी मशीन को देख सकता था जिसे उसने पहले कभी नहीं देखा था (भले ही उसमें अलग संख्या में भाग हों) और फिर भी संरचना का पता लगा सकता था।
अदृश्य को दृश्य बनाना: शोध पत्र दिखाता है कि कुछ टूटी हुई मशीनें नग्न आंखों के लिए बिल्कुल वैसी ही दिखती हैं जैसी सुचारू मशीनें। हालाँकि, AI अनुक्रमों के विश्लेषण के माध्यम से अंतर को "देख" सकता है।

सारांश

यह शोध पत्र AI का उपयोग करके उन छिपी हुई, नाजुक संरचनाओं को खोजने का एक नया तरीका प्रस्तुत करता है जो आमतौर पर शोर के कारण छिप जाती हैं। यह देखते हुए कि एक गणितीय वस्तु कैसे "उम्र बढ़ती है" (मैट्रिक्स की घातें) और एक स्मार्ट अटेंशन सिस्टम का उपयोग करके, मॉडल उन संरचनात्मक दोषों का पता लगा सकता है जिन्हें पारंपरिक गणित नहीं देख पाता। यह एक जासूस को घड़ी के चेहरे को देखने के बजाय, उसके टिक-टिक करने की धीमी होती आवाज़ और रुकने के तरीके से एक टूटी हुई घड़ी की पहचान करना सिखाने जैसा है।

तकनीकी सारांश: एक मैट्रिक्स के जॉर्डन स्ट्रक्चर (Jordan Structure) की पहचान के लिए एनकोडर-ट्रांसफॉर्मर आर्किटेक्चर

समस्या का निरूपण (Problem Formulation)
यह शोध पत्र एक मैट्रिक्स $A \in \mathbb{C}^{d \times d}$ (या $\mathbb{R}^{d \times d}$ ) के सबसे बड़े जॉर्डन ब्लॉक (Jordan block) के आकार को निर्धारित करने की चुनौती को संबोधित करता है, जो विशेष रूप से परिमित परिशुद्धता (finite precision) की बाधाओं के तहत लगभग 'डिफेक्टिव' (defective) होने की स्थिति में होता है। संख्यात्मक रैखिक बीजगणित (numerical linear algebra) में, राउंड-ऑफ त्रुटियां अक्सर डिफेक्टिव मैट्रिसेस (वे जिनमें गैर-तुच्छ जॉर्डन ब्लॉक्स होते हैं) को विकर्ण योग्य (diagonalizable) बना देती हैं, जिससे उनके वास्तविक संरचनात्मक गुणों को पहचानना कठिन हो जाता है। लेखक इस समस्या को सबसे बड़े पूर्णांक $m$ को खोजने के रूप में औपचारिक रूप देते हैं, जहाँ एक जॉर्डन मैट्रिक्स $J$ (जिसमें एक शून्य आइजनवैल्यू और एक अधिकतम आकार का ब्लॉक $m$ हो) और एक व्युत्क्रमणीय (invertible) मैट्रिक्स $S$ मौजूद है जो निम्नलिखित को संतुष्ट करता है:

$\kappa(S) \leq \kappa_{\max}$ (समानता रूपांतरण के कंडीशन नंबर पर एक सीमा, जिसे $200d$ निर्धारित किया गया है)।
$\|S^{-1}AS - J\| \leq \epsilon_{\max}$ (परटर्बेशन परिमाण पर एक सीमा)।

यह निरूपण अनियंत्रित अर्थों में निकटतम डिफेक्टिव मैट्रिक्स खोजने के बजाय, एक विशिष्ट शोर स्तर (noise level) और कंडीशनिंग बाधा के तहत "प्राप्य" (attainable) जॉर्डन ब्लॉक आकार को खोजने पर केंद्रित है। इस समस्या की प्रेरणा गतिशील प्रणालियों ($x' = Ax$) में संरचनात्मक स्थिरता को समझने की आवश्यकता से है, जहाँ बड़े जॉर्डन ब्लॉक्स क्षणिक वृद्धि (transient growth) उत्पन्न कर सकते हैं, भले ही आइजनवैल्यू स्थिरता का संकेत दें, और मानक संख्यात्मक विधियों या दृश्य रूप से इन संरचनाओं को पहचानने की कठिनाई से भी है।

कार्यप्रणाली (Methodology)
लेखक maximal attainable जॉर्डन ब्लॉक आकार $m$ की भविष्यवाणी करने के लिए एक एनकोडर-ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करते हुए एक मशीन लर्निंग फ्रेमवर्क प्रस्तावित करते हैं।

डेटा प्रतिनिधित्व (Data Representation): एक एकल मैट्रिक्स को प्रोसेस करने के बजाय, मॉडल मैट्रिक्स की घातों (powers) के एक अनुक्रम $(A, A^2, \dots, A^d)$ को इनपुट के रूप में लेता है। यह एक निलपोटेंट (nilpotent) मैट्रिक्स (शून्य आइजनवल्यू) के गुण का लाभ उठाता है, जहाँ क्रमिक घातों $A^k$ की रैंक जॉर्डन ब्लॉक के आकार को विशिष्ट रूप से निर्धारित करती है। इनपुट मैट्रिसेस वास्तविक मान वाले हैं, जिन्हें $A = S(J + \epsilon E)S^{-1}$ के रूप में उत्पन्न किया गया है, जहाँ $J$ शून्य आइजनवैल्यू वाला एक जॉर्डन मैट्रिक्स है, $S$ एक सीमित कंडीशन नंबर वाला यादृच्छिक समानता मैट्रिक्स है, और $E$ एक सामान्यीकृत गिनब्रे (Ginibre) नॉइज़ मैट्रिक्स है।
आर्किटेक्चर (Architecture):
- एनकोडर्स (Encoders): प्रत्येक आयाम $d$ के लिए, एक समर्पित मल्टीलेयर पर्सेप्ट्रॉन (MLP) एनकोडर इनपुट मैट्रिसेस $A^k$ को प्रोसेस करता है। ये एनकोडर $d \times d$ मैट्रिसेस को एक साझा लेटेंट स्पेस (latent space) में मैप करते हैं जिसका आयाम $d_{latent}=32$ है। एनकोडर्स फीचर एक्सट्रैक्टर और निहित डिनोइज़र (implicit denoisers) के रूप में कार्य करते हैं।
- ट्रांसफॉर्मर (Transformer): अनुक्रम के लेटेंट एम्बेडिंग्स को एक आयाम-स्वतंत्र ट्रांसफॉर्मर (2 लेयर्स, 4 अटेंशन हेड्स) द्वारा प्रोसेस किया जाता है। यह घटक मैट्रिक्स की घातों के बीच वैश्विक संरचनात्मक संबंधों को सीखता है, और मैट्रिक्स के एंट्री-वाइज कोरिलेशन के बजाय अनुक्रम के "लुप्त होने" (vanishing) के व्यवहार पर ध्यान केंद्रित करता है।
- क्लासिफायर (Classifier): एक आयाम-विशिष्ट MLP हेड ट्रांसफॉर्मर आउटपुट पर मीन पूलिंग (mean pooling) करता है और maximal ब्लॉक आकार $m \in \{1, \dots, d\}$ को वर्गीकृत करता है।
प्रशिक्षण रणनीति (Training Strategy):
- सॉफ्ट टारगेट्स (Soft Targets): संख्यात्मक अनिश्चितता को संभालने के लिए, प्रशिक्षण लक्ष्य वन-हॉट एनकोडिंग नहीं बल्कि सॉफ्ट डिस्ट्रीब्यूशन हैं। नगण्य परटर्बेशन ( $\epsilon \leq \epsilon_0$ ) के लिए, लक्ष्य वास्तविक क्लास है। बड़े $\epsilon$ के लिए, लक्ष्य वास्तविक क्लास के केंद्र में एक डिस्क्रीट गॉसियन-जैसे कर्नेल का अनुसरण करता है, जिसका वेरिएंस $\epsilon$ के साथ लॉगरिदमिक रूप से स्केल होता है। यह मॉडल को समस्या में निहित अनिश्चितता सीखने की अनुमति देता है।
- दो-चरणीय प्रशिक्षण (Two-Phase Training): चरण 1 में एनकोडर्स, क्लासिफायर्स और ट्रांसफॉर्मर को आयामों $d \in \{4, 6, 9, 12, 15, 28\}$ पर एक साथ प्रशिक्षित किया जाता है। चरण 2 में ट्रांसफॉर्मर को फ्रीज कर दिया जाता है और अनदेखे आयामों (जैसे $d=33, 35$ ) के लिए नए एनकोडर्स/क्लासिफायर्स को प्रशिक्षित किया जाता है ताकि सामान्यीकरण (generalization) का परीक्षण किया जा सके।
- लॉस फंक्शन (Loss Function): मॉडल को अनुमानित वितरण और सॉफ्ट-टारगेट वितरण के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस का उपयोग करके अनुकूलित किया जाता है।

प्रमुख परिणाम (Key Results)

सटीकता (Accuracy): मॉडल सिंथेटिक रूप से उत्पन्न डेटा पर उच्च वर्गीकरण सटीकता प्राप्त करता है। कम परटर्बेशन के लिए, सटीकता 1.0 के करीब पहुँच जाती है। महत्वपूर्ण परटर्बेशन ( $\epsilon$ तक $0.1 $) और बदलते स्पेक्ट्रल रेडियस के बावजूद, "रिलैक्स्ड एक्यूरेसी" (वास्तविक आकार के$ \pm 1$ के भीतर भविष्यवाणी करना) अधिकांश मामलों में 0.9 से ऊपर रहती है।
सामान्यीकरण (Generalization): मॉडल उन मैट्रिक्स आयामों ( $d=33, 35$ ) के लिए मजबूत सामान्यीकरण प्रदर्शित करता है जो ट्रांसफॉर्मर के प्रारंभिक प्रशिक्षण चरण में नहीं देखे गए थे। यह उन मैट्रिसेस पर भी अच्छा प्रदर्शन करता है जिनमें प्रशिक्षण सेट के मुकाबले अलग सेग्रे विशेषताएँ (Segre characteristics - विभिन्न जॉर्डन ब्लॉक कॉन्फ़िगरेशन) हैं।
बेसलाइन से तुलना (Comparison to Baselines): प्रस्तावित आर्किटेक्चर सिंगुलर वैल्यू डिकंपोजिशन (SVD) के माध्यम से मैट्रिक्स की घातों की रैंक की गणना करने वाले शास्त्रीय संख्यात्मक बेसलाइन को काफी पीछे छोड़ देता है। बेसलाइन परटर्बेशन के बढ़ते परिमाण के साथ तेजी से विफल हो जाता है, जबकि न्यूरल नेटवर्क मजबूत बना रहता है, प्रभावी रूप से भारी शोर (heavy noise) को कम करता है।
आंतरिक विश्लेषण (Internal Analysis): मॉडल के निरीक्षण से पता चलता है कि एनकोडर्स मैट्रिक्स की घातों के परिमाण को लेटेंट स्पेस में सफलतापूर्वक मैप करते हैं (जो कि थ्योरेटिकल नलिटी को दर्शाता है)। ट्रांसफॉर्मर का अटेंशन मैकेनिज्म मैट्रिक्स की पहली लुप्त होने वाली (या निकट-लुप्त होने वाली) घातों के टोकन पर भारी ध्यान केंद्रित करता है, जो जॉर्डन ब्लॉक्स के लिए थ्योरेटिकल रैंक-डिफरेंस फॉर्मूला के अनुरूप है।

महत्व और दावे (Significance and Claims)
यह शोध पत्र दावा करता है कि यह कार्य डीप लर्निंग का लाभ उठाकर संख्यात्मक रैखिक बीजगणित की एक लंबे समय से चली आ रही समस्या के प्रति एक नया दृष्टिकोण पेश करता है। इसकी प्राथमिक महत्ता इस आर्किटेक्चर की निम्नलिखित क्षमताओं में निहित है:

संरचनात्मक गुणों को पकड़ना: मॉडल मैट्रिक्स के विशिष्ट पैटर्न को याद करने के बजाय निलपोटेंसी (nilpotency) और जॉर्डन संरचना के संबंध में आयाम-अज्ञेय (dimension-agnostic) बीजगणितीय नियमों को सीखता है।
संख्यात्मक शोर को संभालना: सॉफ्ट टारगेट्स के साथ प्रशिक्षित होकर और एनकोडर-डिकोडर संरचना का उपयोग करके, मॉडल उन राउंड-ऑफ त्रुटियों और परटर्बेशन के प्रति अधिक मजबूत है जो आमतौर पर शास्त्रीय संख्यात्मक एल्गोरिदम को विफल कर देते हैं।
स्थानिक संरचना की कमी को दूर करना: विजन ट्रांसफॉर्मर (ViTs) के विपरीत जो स्थानिक स्थानीयता (spatial locality) पर निर्भर करते हैं, यह आर्किटेक्चर ट्रांसफॉर्मर को बीजगणितीय अनुक्रमों को प्रोसेस करने के लिए अनुकूलित करता है, जिससे उन मैट्रिसेस में वैश्विक संरचनात्मक गुणों की सफलतापूर्वक पहचान होती है जिनमें स्थानीय कोरिलेशन की कमी होती है।

लेखक विनम्रतापूर्वक सीमाओं को नोट करते हैं: वर्तमान कार्यान्वयन वास्तविक-मान वाले मैट्रिसेस तक सीमित है जिसमें एक एकल आइजनवैल्यू क्लस्टर है (जिसे थ्योरी में रिएस प्रोजेक्शन के माध्यम से संभाला गया है, हालांकि प्रशिक्षण में सिंगल क्लस्टर्स का उपयोग किया गया था) और अभी तक मैट्रिक्स पेन्सिल्स (matrix pencils) तक विस्तारित नहीं हुआ है। हालांकि, परिणाम बताते हैं कि सीखे गए मॉडल प्रशिक्षण के दौरान न देखे गए मैट्रिसेस के वर्गों में सामान्यीकरण कर सकते हैं, जो मैट्रिक्स डिफेक्टिवनेस का पता लगाने के लिए शुद्ध संख्यात्मक विधियों के मुकाबले एक आशाजनक विकल्प प्रदान करते हैं।

1. जासूस की रणनीति: मशीन को उम्र बढ़ते देखना

2. AI का मस्तिष्क: एक "ट्रांसफॉर्मर"

शून्य के करीब "सॉफ्ट" उत्तरों के साथ प्रशिक्षण

4. उन्होंने क्या पाया?

सारांश

इसी तरह के और पेपर