📊 statistics

PIEFS: Physics-Informed Eigenfunction Features with Learnable Scaling

यह शोध पत्र PIEFS को प्रस्तुत करता है, जो एक पर्यवेक्षित न्यूरल रिप्रेजेंटेशन-लर्निंग फ्रेमवर्क है जो फिक्स्ड कर्नेल्स के स्थान पर ऑप्टिमाइज्ड डिरिचलेट-रेगुलराइज्ड कोऑर्डिनेट्स के साथ, एम्पेरिकल ग्राम ऑर्थोगोनैलिटी और एक लर्न करने योग्य, एनिसोट्रोपिक मेट्रिक वाले स्केलर कोऑर्डिनेट मैप्स को प्रशिक्षित करके टास्क-एडेप्टिव स्पेक्ट्रल फीचर्स का निर्माण करता है।

मूल लेखक: Varvara Nazarenko, Timur Lidzhiev, Alexander Tarakanov

प्रकाशित 2026-07-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Varvara Nazarenko, Timur Lidzhiev, Alexander Tarakanov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को डेटा के ढेर में पैटर्न पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि अलग-अलग प्रकार के फलों को छाँटना या हस्तलिखित अंकों की पहचान करना। आमतौर पर, कंप्यूटर यह करने के लिए सीधे कच्चे डेटा (raw data) को देखने की कोशिश करते हैं। लेकिन कभी-कभी, डेटा इस तरह से मुड़ा हुआ, घुमावदार या उलझा हुआ होता है कि अंतर देख पाना कठिन हो जाता है।

PIEFS (फिजिक्स-इन्फॉर्म्ड ईगनफंक्शन फीचर्स विद लर्नबल स्केलिंग) एक नया टूल है जो कंप्यूटर को इस डेटा को "अनटैंगल" (उलझन सुलझाने) करने और पैटर्न देखने का सबसे अच्छा तरीका खोजने में मदद करता है। यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:

1. समस्या: एक कठोर मानचित्र (The Rigid Map)

डेटा को व्यवस्थित करने के पारंपरिक तरीके एक कठोर, पहले से बने मानचित्र का उपयोग करने की तरह हैं। वे यह मान लेते हैं कि दुनिया समतल है और दूरी मापने के नियम हर जगह समान हैं (जैसे एक मानक स्केल/रूलर)। यदि आपका डेटा वास्तव में घुमावदार या मुड़ा हुआ है (जैसे कागज का एक कुचला हुआ टुकड़ा), तो एक कठोर मानचित्र वास्तविक संबंधों को दिखाने में विफल रहता है।

2. समाधान: एक स्मार्ट, लचीला रूलर (A Smart, Stretchy Ruler)

PIEFS कंप्यूटर को एक स्मार्ट, लचीला रूलर देने जैसा है जो जो कुछ भी वह देखता है, उसके आधार पर अपना आकार बदल सकता है।

"फिजिक्स" वाला हिस्सा: यह तरीका भौतिकी (physics) से प्रेरित है, विशेष रूप से इस बात से कि गर्मी या ऊर्जा कैसे फैलती है (जिसे "डिरिचलेट एनर्जी" कहा जाता है)। कल्पना कीजिए कि आप एक कुचले हुए कागज के पन्ने को सीधा करने की कोशिश कर रहे हैं। कागज स्वाभाविक रूप से कम से कम सिलवटों के साथ सपाट होने की कोशिश करता है। PIEFS इस "स्मूथिंग" (चिकना करने) के विचार का उपयोग डेटा को व्यवस्थित करने के लिए करता है।
"लर्नबल" (सीखने योग्य) वाला हिस्सा: पुराने कठोर मानचित्रों के विपरीत, PIEFS प्रशिक्षण के दौरान यह सीखता है कि अपने रूलर को कैसे खींचना और मोड़ना है। यह केवल दूरी नहीं मापता; यह विशिष्ट कार्य के लिए दूरी मापने का सबसे अच्छा तरीका सीखता है।

3. यह मानचित्र कैसे बनाता है (एक "अनुक्रमिक" प्रक्रिया)

पूरा परफेक्ट मैप एक बार में बनाने के बजाय, PIEFS इसे एक-एक परत करके बनाता है, जैसे कांच की पारदर्शी शीट को एक के ऊपर एक रखना:

लेयर 1: यह डेटा को अलग करने का सबसे महत्वपूर्ण तरीका ढूंढता है ("डोमिनेंट मोड")।
लेयर 2: यह अगला सबसे महत्वपूर्ण तरीका ढूंढता है, लेकिन यह सुनिश्चित करता है कि यह नई लेयर पहली लेयर के काम को दोहराए नहीं। यह नई लेयर को पिछली लेयर्स के ऑर्थोगोनल (एक दूसरे से बिल्कुल 90 डिग्री के कोण पर) होने के लिए मजबूर करता है, जैसे कि एक क्यूब में एक नया आयाम जोड़ना।
शिक्षक (The Teacher): इन लेयर्स को बनाते समय, एक "शिक्षक" (एक साधारण क्लासिफायर) लगातार जाँच करता है: "क्या यह नई लेयर हमें फलों को सही ढंग से छाँटने में मदद कर रही है?" यदि हाँ, तो यह इसे रखता है। यदि नहीं, तो यह इसमें सुधार करता है।

4. रूलर के तीन "सेटिंग्स"

शोधकर्ताओं ने इस स्मार्ट रूलर को कॉन्फ़िगर करने के तीन अलग-अलग तरीकों का परीक्षण किया है:

OFF (मानक रूलर): कंप्यूटर एक सामान्य, अपरिवर्तनीय रूलर का उपयोग करता है। यह लेयर्स को तो सीखता है, लेकिन यह स्पेस को खींचता नहीं है।
DIAG (लचीला रूलर): कंप्यूटर विशिष्ट दिशाओं में रूलर को खींचने या सिकोड़ने के बारे में सीखता है (जैसे X-अक्ष को Y-अक्ष से लंबा बनाना) ताकि डेटा के अनुकूल बेहतर फिट हो सके।
TROTTER (घूमने वाला लचीला रूलर): यह सबसे उन्नत संस्करण है। कंप्यूटर न केवल रूलर को खींचता है, बल्कि उसे खींचने से पहले घुमाता (rotate) भी है। कल्पना कीजिए कि आप कागज के एक टुकड़े को पकड़ते हैं, उसे घुमाते हैं, और फिर खींचते हैं। यह कंप्यूटर को डेटा में छिपे हुए आकारों के साथ अपने दृष्टिकोण को पूरी तरह से संरेखित (align) करने की अनुमति देता है।

5. प्रयोगों में क्या हुआ?

शोधकर्ताओं ने कई चुनौतियों पर इसका परीक्षण किया:

मुड़े हुए आकार (Two Moons & Circles): अर्धचंद्राकार चंद्रमा या संकेंद्रित छल्लों (concentric rings) के आकार वाले डेटा पर, PIEFS अविश्वसनीय रूप से सटीक था। यह उन घुमावों को देख सका जिन्हें एक साधारण सीधी रेखा (पुरानी विधियों द्वारा उपयोग की जाने वाली) नहीं देख सकती थी।
हस्तलिखित अंक (MNIST): संख्याओं को पहचानने के एक क्लासिक टेस्ट पर, PIEFS ने बहुत अच्छा प्रदर्शन किया, और इसने उन पुराने "अनसुपरवाइज्ड" तरीकों को भी पीछे छोड़ दिया जो सही उत्तर देखे बिना सीखने की कोशिश करते हैं।
जटिल चित्र (CIFAR-10): जटिल छवियों पर परीक्षण किए जाने पर, इसने अच्छा प्रदर्शन किया, हालांकि यह हमेशा मौजूदा सर्वश्रेष्ठ विधियों को नहीं हरा पाया। यह दर्शाता है कि यह एक मजबूत उपकरण है, लेकिन हर समस्या के लिए कोई जादुई समाधान नहीं है।

निष्कर्ष (The Bottom Line)

PIEFS एक सुपरवाइज्ड (supervised) विधि है, जिसका अर्थ है कि यह मानचित्र बनाते समय सही उत्तरों को देखकर सीखता है। यह फीचर्स का एक संक्षिप्त, कुशल सेट (एक "स्पेक्ट्रल रिप्रेजेंटेशन") बनाता है जो स्मूथ और व्यवस्थित होते हैं।

मुख्य बात: यह केवल डेटा के "प्राकृतिक" आकार को नहीं ढूंढ रहा है; यह एक कस्टम, कार्य-विशिष्ट आकार सीख रहा है जो डेटा को छाँटने या वर्गीकृत करने के काम को बहुत आसान बना देता है। यह एक ऐसे गाइड को प्रशिक्षित करने जैसा है जो न केवल इलाके को जानता है, बल्कि यह भी जानता है कि आपको गंतव्य तक सबसे तेज़ी से पहुँचाने के लिए वहां कैसे नेविगेट करना है।

पेपर में बताई गई सीमाएँ:

यह किसी निश्चित गणितीय समीकरण (जैसे एक मानक भौतिकी सॉल्वर) को हल नहीं करता है; यह विशिष्ट डेटा के लिए एक कस्टम समाधान सीखता है।
रूलर का "रोटेशन" वाला हिस्सा वर्तमान में जो सैद्धांतिक रूप से संभव है उसका एक सरल संस्करण है, और इसे अधिक जटिल बनाने से गणना (computation) बहुत महंगी हो सकती है।
यह "बैच" प्रोसेसिंग पर निर्भर करता है, जिसका अर्थ है कि पूर्ण गणितीय नियमों का अनुमान डेटा के समूहों का उपयोग करके लगाया जाता है, जिससे प्रशिक्षण के दौरान छोटे उतार-चढ़ाव हो सकते हैं।

तकनीकी सारांश: PIEFS – सीखने योग्य स्केलिंग के साथ भौतिकी-प्रेरित आइगेनफंक्शन फीचर्स (Physics-Informed Eigenfunction Features with Learnable Scaling)

समस्या विवरण
डेटा ज्यामिति से निरूपण (representations) बनाने के लिए पारंपरिक रूप से ग्राफ लैपलेसियन (graph Laplacians) या निश्चित कर्नेल (fixed kernels) का उपयोग करते हुए स्पेक्ट्रल विधियों का उपयोग किया जाता है। हालाँकि, इन दृष्टिकोणों के समक्ष दो प्राथमिक बाधाएँ हैं: आइगेन-डीकंपोजिशन (eigen-decomposition) की कम्प्यूटेशनल लागत डेटासेट के आकार के साथ बढ़ती है, और नए बिंदुओं पर फीचर्स का मूल्यांकन करने के लिए आमतौर पर ग्राफ और उसके स्पेक्ट्रम को फिर से बनाने की आवश्यकता होती है। इसके अतिरिक्त, ऑपरेटर आइगेनप्रॉब्लम्स (operator eigenproblems) के लिए मौजूदा न्यूरल सरोगेट्स अक्सर निश्चित कर्नेल या मैन्युअल रूप से चयनित फीचर स्केलिंग पर निर्भर करते हैं, जो विशिष्ट कार्यों के प्रति अनुकूलन क्षमता को सीमित करते हैं। लेखक एक सुपरवाइज्ड फ्रेमवर्क प्रस्तावित करते हैं जो निश्चित, सुपरविजन-स्वतंत्र आइगेनप्रॉब्लम्स को हल करने के बजाय, कार्य-अनुकूल (task-adaptive), सुचारू निर्देशांक (smooth coordinates) सीखने की ओर बढ़ता है।

कार्यप्रणाली (Methodology)
प्रस्तावित विधि का मुख्य आधार, फिजिक्स-इन्फॉर्मड आइगेनफंक्शन फीचर्स विद लर्नबल स्केलिंग (PIEFS), एक संशोधित डिरिचलेट ऊर्जा (Dirichlet energy) पर आधारित एक सुपरवाइजड न्यूरल रिप्रेजेंटेशन-लर्निंग फ्रेमवर्क है।

ऑब्जेक्टिव फंक्शन: विधि एक संयुक्त लॉस फंक्शन को कम करती है जिसमें तीन पद शामिल हैं:
1. संशोधित डिरिचलेट ऊर्जा (Modified Dirichlet Energy - MDE): एक रेगुलराइजेशन टर्म जो सुगमता (smoothness) को प्रोत्साहित करता है। मानक डिरिचलेट ऊर्जा के विपरीत, यह इनपुट ग्रेडिएंट्स पर एक सीखने योग्य, डेटा-निर्भर लीनियर मैप $A(x)$ लागू करता है: $\int \|A(x)\nabla \phi(x)\|^2 p(x) dx$ ।
2. एम्पिरिकल ग्राम ऑर्थोगोनैलिटी (Empirical Gram Orthogonality): एक पेनल्टी टर्म जो सीखे गए कोऑर्डिनेट मैप्स $\phi_1, \dots, \phi_K$ के बीच अनुमानित ऑर्थोगोनैलिटी (orthogonality) को लागू करता है, जो पॉपुलेशन-लेवल $L^2(p)$ ऑर्थोगोनैलिटी के लिए एक सरोगेट के रूप में कार्य करता है।
3. क्रॉस-एन्ट्रॉपी लॉस (Cross-Entropy Loss): एक सुपरवाइज्ड टर्म जहाँ कोऑर्डिनेट मैप्स एक लीनियर क्लासिफायर (logits) के लिए इनपुट के रूप में कार्य करते हैं, यह सुनिश्चित करता है कि फीचर्स डाउनस्ट्रीम टास्क के लिए भविष्य कहने योग्य (predictive) हों।
लर्नेबल मेट्रिक $A(x)$ : मैट्रिक्स $A(x)$ को $A(x) = \Lambda(x)U(x)$ के रूप में फैक्टराइज़ किया गया है, जहाँ:
- $\Lambda(x)$ एक डायगोनल स्केलिंग मैट्रिक्स है जो एनिसोट्रोपिक स्केलिंग (anisotropic scaling) को नियंत्रित करता है। वॉल्यूम संरक्षण सुनिश्चित करने के लिए, लॉग-आइगेनवैल्यूज का योग शून्य होता है ( $\det \Lambda = 1$ )।
- $U(x)$ एक ऑर्थोगोनल मैट्रिक्स है जिसे गिवेंस रोटेशन (Givens rotations) के स्ट्रक्चर्ड प्रोडक्ट के रूप में पैरामीटराइज़ किया गया है। यह महंगे री-ऑर्थोगोनलाइजेशन स्टेप्स (जैसे QR डिकंपोजिशन) की आवश्यकता के बिना, $SO(d)$ के लो-पैरामीटर, स्थिर अनुमान प्रदान करता है।
ट्रेनिंग शेड्यूल: PIEFS एक अनुक्रमिक ब्लॉक-कोऑर्डिनेट डिसेंट (sequential block-coordinate descent) रणनीति का उपयोग करता है। कोऑर्डिनेट मैप्स को एक-एक करके प्रशिक्षित किया जाता है (बाहरी लूप $k=1 \dots K$ )। जब $\phi_k$ को प्रशिक्षित किया जा रहा हो, तो पिछले मैप्स $\phi_{1 \dots k-1}$ को फ्रीज कर दिया जाता है। ट्रेनिंग के दौरान लॉस वेट्स को गतिशील रूप से समायोजित किया जाता है: ट्रेनिंग के शुरुआती चरण में, ऑर्थोगोनैलिटी और क्लासिफिकेशन लॉस को प्राथमिकता दी जाती है; जैसे-जैसे रेसिडुअल्स (residuals) कम होते हैं, स्मूथनेस को रिफाइन करने के लिए MDE पेनल्टी पर जोर दिया जाता है।
इन्फरेंस (Inference): एक बार प्रशिक्षण पूरा हो जाने के बाद, इन्फरेंस सस्ता होता है, जिसमें सीखे गए स्केलर मैप्स और एक फिक्स्ड लीनियर रीडआउट का उपयोग किया जाता है।

मुख्य योगदान

PIEFS का फॉर्मूलेशन: लेखक एक सुपरवाइजड स्पेक्ट्रल-स्टाइल रिप्रेजेंटेशन मेथड को फॉर्मुलेट करते हैं जो सीखने योग्य मेट्रिक के साथ अनुक्रमिक कोऑर्डिनेट मैप्स, एम्पिरिकल ग्राम ऑर्थोगोनैलिटी और एक संशोधित डिरिचलेट पेनल्टी को जोड़ता है।
मेट्रिक वेरिएंट्स: अध्ययन मेट्रिक $A(x)$ $A (x)$ के लिए तीन विशिष्ट सेटिंग्स की जांच करता है:
- OFF: आइडेंटिटी मैट्रिक्स ( $A=I$ ), जो मानक यूक्लिडियन डिरिचलेट ऊर्जा के समकक्ष है।
- DIAG: केवल डायगोनल स्केलिंग ( $A=\Lambda$ ), जो वॉल्यूम-प्रिजर्विंग एनिसोट्रोपिक स्केलिंग की अनुमति देता है।
- TROTTER: स्ट्रक्चर्ड गिवेंस रोटेशन के बाद डायगोनल स्केलिंग ( $A=\Lambda U$ ), जो रोटेशनल इनवेरिएंस लर्निंग पेश करता है।
व्यापक मूल्यांकन: फ्रेमवर्क का मूल्यांकन पांच बेंचमार्क्स (Two Moons, Circles, HTRU2, MNIST, और CIFAR-10 एम्बेडिंग्स) पर रैंडम फॉरेस्ट (RF), लॉजिस्टिक रिग्रेशन (LR), PCA+LR, और अनसुपरवाइज्ड NeuralEF बेसलाइन के विरुद्ध किया गया है।

प्रायोगिक परिणाम (Experimental Results)

नॉनलीन सेपरेबिलिटी (Nonlinear Separability): "Two Moons" जैसे सिंथेटिक डेटासेट्स पर, जहाँ लीनियर क्लासिफायर विफल हो जाते हैं (88.15% सटीकता), PIEFS लगभग पूर्ण सेपरेशन प्राप्त करता है (99.87%), जो नॉनलीनियर डिसीजन बाउंड्रीज सीखने की इसकी क्षमता को प्रदर्शित करता है।
प्रतिस्पर्धी प्रदर्शन: हाई-डायमेंशनल टास्क (MNIST, CIFAR-10 एम्बेडिंग्स) पर, PIEFS वेरिएंट्स अनसुपरवाइज्ड NeuralEF बेसलाइन से काफी बेहतर प्रदर्शन करते हैं (उदाहरण के लिए, $K=16$ के साथ MNIST पर 95.41% बनाम 82.52%)।
बेसलाइन तुलना: लीनियरली सेपरेबल HTRU2 डेटासेट पर, PIEFS, RF और LR के तुलनीय प्रदर्शन करता है, जो दर्शाता है कि जब रॉ फीचर्स पहले से ही सूचनात्मक हों तो यह प्रदर्शन को कम नहीं करता है।
ऑर्थोगोनैलिटी: एम्पिरिकल ग्राम मैट्रिसेस लगभग ऑर्थोनॉर्मैलिटी दिखाते हैं (फ्रोबेंियस डेविएशन $\approx 0.23$ ऑन MNIST), जो फाइनाइट-बैच एस्टीमेशन के अनुरूप है।
मेट्रिक प्रभाव: जबकि TROTTER वेरिएंट एक्सप्रेसिव है, परिणाम बताते हैं कि हाई-लेवल फीचर्स (जैसे CIFAR-10 एम्बेडिंग्स) के लिए, आइडेंटिटी या डायगोनल वेरिएंट्स की तुलना में अतिरिक्त रोटेशन स्केलिंग की जटिलता हमेशा सुधार नहीं लाती है।

महत्व और दावे
यह पेपर PIEFS को एक फिक्स्ड फिजिकल ऑपरेटर्स के जनरल-पर्पस न्यूरल आइजनसॉल्वर के रूप में नहीं, बल्कि एक कॉम्पैक्ट सुपरवाइजड स्पेक्ट्रल रिप्रेजेंटेशन मेथड के रूप में प्रस्तुत करता है।

कार्य-अनुकूल फीचर्स (Task-Adaptive Features): सीखे गए कोऑर्डिनेट्स को "कार्य-अनुकूल, डिरिचलेट-रेगुलराइज्ड कोऑर्डिनेट्स" के रूप में व्याख्यायित किया जाता है, न कि किसी निश्चित, सुपरविजन-स्वतंत्र ऑपरेटर के आइगेनफंक्शंस के रूप में। क्रॉस-एन्ट्रॉपी टर्म को शामिल करने से स्पेक्ट्रल डिकंपोजिशन क्लासिफिकेशन टास्क की ओर बायस (bias) होता है।
दक्षता (Efficiency): यह विधि एक भौतिकी-प्रेरित स्मूथनेस बायस प्रदान करती है जिसका इन्फरेंस ट्रेनिंग के बाद बहुत सस्ता होता है, जिससे नए डेटा पॉइंट्स के लिए ग्राफ को फिर से बनाने की आवश्यकता नहीं होती।
सीमाएं और भविष्य का कार्य: लेखक विनम्रतापूर्वक स्वीकार करते हैं कि वर्तमान गिवेंस रोटेशन चेन एक पूर्ण $SO(d)$ पैरामीट्राइजेशन नहीं है, जो एक्सप्रेसिविटी को सीमित करता है। वे ऑप्टिमाइजेशन स्टेबिलिटी, स्पष्ट ऑपरेटर आइजनप्रॉब्लम्स पर वैलिडेशन, और समृद्ध मेट्रिक पैरामीट्राइजेशन (जैसे डेंस स्क्यू-सिमेट्रिक जनरेटर्स) को भविष्य के अनुसंधान के लिए प्राथमिक दिशाओं के रूप में पहचानते हैं। इस पद्धति को सुपरवाइजड सेटिंग्स में क्लासिकल स्पेक्ट्रल मेथड्स के एक आशाजनक विकल्प के रूप में प्रस्तुत किया गया है, हालांकि यह सभी डेटासेट्स पर रैंडम फॉरेस्ट जैसे मजबूत क्लासिकल बेसलाइन्स पर समान रूप से हावी नहीं होता है।