🔬 condensed matter

Approximating velocity fields with planted attractors via Neural-ODEs for classification purposes

यह शोधपत्र न्यूरल ओडीई (Neural ODEs) का उपयोग करते हुए एक वर्गीकरण पद्धति प्रस्तावित करता है जो क्लास-विशिष्ट अट्रैक्टर्स के रूप में प्लांटेड इक्विलिब्रियम पॉइंट्स (planted equilibrium points) का लाभ उठाती है, जहाँ सीखा गया वेलोसिटी फील्ड इनपुट ट्रैजेक्टरीज को सटीक वर्गीकरण के लिए उनके संबंधित बेसिन ऑफ अट्रैक्शन (basins of attraction) की ओर निर्देशित करता है।

मूल लेखक: Feliciano Giuseppe Pacifico, Duccio Fanelli, Lorenzo Buffoni, Lorenzo Chicchi, Diego Febbe, Raffaele Marino

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Feliciano Giuseppe Pacifico, Duccio Fanelli, Lorenzo Buffoni, Lorenzo Chicchi, Diego Febbe, Raffaele Marino

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास पहाड़ियों और घाटियों से बना एक विशाल, अदृश्य परिदृश्य है। मशीन लर्निंग की दुनिया में, यह वह परिदृश्य है जहाँ डेटा रहता है। आमतौर पर, जब कोई कंप्यूटर चीजों को छाँटने की कोशिश करता है (जैसे बिल्ली को कुत्ते से अलग करना), तो वह उन्हें अलग करने के लिए एक स्थिर रेखा या एक जटिल भूलभुलैया बनाता है।

यह शोध पत्र छाँटने का एक अलग तरीका प्रस्तावित करता है। एक स्थिर मानचित्र बनाने के बजाय, लेखक एक गतिशील नदी प्रणाली (dynamic river system) बनाते हैं।

यहाँ बताया गया है कि यह कैसे काम करता है, शोध पत्र के अपने तर्क का उपयोग करते हुए:

1. लक्ष्य: "डूबने" द्वारा छाँटना (Sorting by "Sinking")

कल्पना कीजिए कि आप एक नदी में एक कंकड़ (आपका डेटा, जैसे जूते की एक तस्वीर) गिराते हैं। आप चाहते हैं कि वह कंकड़ स्वाभाविक रूप से बहकर नदी के नीचे एक विशिष्ट पूल (तालाब) में जाकर ठहर जाए।

पूल (आकर्षक/Attractors): शोधकर्ता पहले से ही तय कर लेते हैं कि ये पूल कहाँ होंगे। वे प्रत्येक श्रेणी के लिए एक विशिष्ट पूल "रोपित" (plant) करते हैं। यदि आपके पास 10 प्रकार के कपड़े हैं, तो वे 10 विशिष्ट पूल रोपते हैं।
प्रवाह (वेग क्षेत्र/Velocity Field): कंप्यूटर नदी के तल (वेग क्षेत्र) को इस तरह से आकार देना सीखता है कि जहाँ भी आप कंकड़ गिराएँ, धारा उसे सही पूल की ओर धकेल दे।

2. समस्या: "कठोर" बनाम "लचीला" (Rigid vs. Flexible)

अतीत में, वैज्ञानिकों ने इन नदी प्रणालियों को पानी के प्रवाह के नियमों को सख्ती से परिभाषित करके बनाने की कोशिश की थी।

पुराना तरीका: यह कंक्रीट की दीवारों वाले नहर बनाने जैसा था। यह बहुत स्पष्ट था कि पानी कैसे चलता है (व्याख्यात्मक/interpretable), लेकिन यदि पानी को एक पूल तक पहुँचने के लिए कोई अजीब मोड़ लेने की आवश्यकता होती, तो कंक्रीट की दीवारें उसे रोक देतीं। यह जटिल पैटर्न सीखने के लिए पर्याप्त लचीला नहीं था।
दूसरा चरम: आधुनिक AI (Neural ODEs) एक जादुई, आकार बदलने वाली नदी की तरह है। यह कहीं भी बह सकती है और लगभग किसी भी पैटर्न को सीख सकती है (यूनिवर्सल एप्रोक्सिमेशन), लेकिन यह गारंटी नहीं देती कि पानी वास्तव में सही पूलों में रुक जाएगा। यह बस हमेशा के लिए बहता रह सकता है या खो सकता है।

3. समाधान: "रोपित आकर्षक" (Planted Attractors)

लेखकों ने दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त करने के लिए एक चतुर तकनीक खोजी। उन्होंने एक गणितीय तकनीक (जो 'QR decomposition' नामक चीज़ पर आधारित है) का उपयोग किया ताकि नदी में विशिष्ट पूल होने के लिए मजबूर किया जा सके जहाँ पानी का चलना रुक जाता है, जबकि बाकी नदी को किसी भी आकार को सीखने के लिए पर्याप्त लचीला रखा जा सके।

इसे इस तरह सोचें:

आप नदी को बताते हैं: "चाहे जो भी हो, पानी इन 10 विशिष्ट स्थानों पर जरूर रुकना चाहिए।"
कंप्यूटर फिर यह पता लगाता है कि उस नियम को तोड़े बिना, उन स्थानों तक पहुँचने के लिए नदी के तल को कैसे मोड़ा जाए।
क्योंकि "रुकने के बिंदु" गणित में हार्ड-कोडेड हैं, कंप्यूटर सीखते समय उन्हें गलती से "भूल" नहीं सकता। यह एक सुरक्षा रेल की तरह है जो नदी को ट्रैक पर रखती है।

4. व्यवहार में यह कैसे काम करता है

शोधकर्ताओं ने दो चीजों पर इसका परीक्षण किया:

सर्पिल आकृतियाँ (Spiral Shapes): उन्होंने आपस में मिले हुए दो बिंदुओं के सर्पिल (spirals) लिए। सिस्टम ने एक ऐसा प्रवाह बनाना सीखा जो बिंदुओं को एक सर्पिल से दूसरे सर्पिल में धकेल कर एक पूल में और दूसरे को दूसरे पूल में ले जाए। आप ग्राफ पर उन रास्तों को देख सकते हैं जिनसे बिंदु गुजरते हैं।
वास्तविक चित्र (Fashion MNIST और CIFAR-10): उन्होंने कपड़ों और वस्तुओं की तस्वीरों को छाँटने की कोशिश की।
- परिणाम: यह सिस्टम एक मानक, शीर्ष-स्तरीय AI क्लासिफायर के समान ही प्रभावी रहा। इसने गति या सटीकता में जीत हासिल नहीं की, बल्कि इसने साबित किया कि एक "नदी प्रणाली" एक "स्थिर मानचित्र" के समान ही काम कर सकती है।
- बोनस: क्योंकि यह एक नदी है, आप प्रक्रिया को देख सकते हैं। आप डेटा पॉइंट को समय के माध्यम से चलते हुए और फिर स्थिर होते हुए देख सकते हैं। यदि वह "जूता" (Shoe) पूल के पास स्थिर होता है, तो कंप्यूटर जानता है कि वह एक जूता है।

5. "दो-जनसंख्या" का रहस्य (गहन अध्ययन)

यह शोध पत्र दो परस्पर क्रिया करने वाले समूहों (जैसे दो मछलियों के झुंड जो एक साथ तैर रहे हों) के बीच के विचार वाले अधिक जटिल संस्करण का भी उल्लेख करता है।

एक समूह धीरे चलता है (मुख्य नदी)।
दूसरा समूह बहुत तेज़ चलता है (एक त्वरित समायोजन तंत्र)।
जब दूसरा समूह अनंत रूप से तेज़ चलता है, तो पूरा सिस्टम बिल्कुल सरल "रोपित पूल" मॉडल की तरह व्यवहार करता है।
यह क्यों मायने रखता है: यह वैज्ञानिकों को गणित को देखने का एक नया तरीका देता है, जिससे डेटा बिंदुओं के बीच के संबंधों की व्याख्या दो अलग-अलग "प्रजातियों" के चरों (variables) के बीच की अंतःक्रिया के रूप में की जा सकती है। यह AI के "ब्लैक बॉक्स" को थोड़ा अधिक पारदर्शी बनाता है।

निचोड़ (The Bottom Line)

शोध पत्र का दावा है कि एक लचीली, सीखने वाली नदी (Neural ODE) में विशिष्ट रुकने के बिंदुओं (आकर्षक/attractors) को "रोपित" करके, उन्होंने एक ऐसा क्लासिफायर बनाया है जो है:

सार्वभौमिक (Universal): यह लगभग किसी भी चीज़ को छाँटने में सक्षम है।
व्याख्यात्मक (Interpretable): आप डेटा के प्रवाह को देख सकते हैं और समझ सकते हैं कि इसने निर्णय क्यों लिया (यह उस पूल की ओर बहा)।
स्थिर (Stable): खेल के नियम (पूल) कभी नहीं बदलते, भले ही कंप्यूटर सीख रहा हो।

उन्होंने यह दावा नहीं किया कि यह वर्तमान तरीकों की तुलना में तेज़ है (प्रवाह के अनुकरण के गणित के कारण यह वास्तव में थोड़ा धीमा है), लेकिन उन्होंने साबित किया कि एक "गतिशील" दृष्टिकोण हमारे आज के "स्थिर" दृष्टिकोणों जितना ही शक्तिशाली हो सकता है, जो यह समझने का एक नया, स्पष्ट तरीका प्रदान करता है कि AI निर्णय कैसे लेता है।

तकनीकी सारांश: न्यूरल-ODEs के माध्यम से प्लांटेड अट्रैक्टर्स (Planted Attractors) के साथ वेलोसिटी फील्ड्स का सन्निकटन (Approximation) वर्गीकरण हेतु

समस्या विवरण

यह शोध पत्र गतिशील क्लासिफायर (dynamical classifiers) के क्षेत्र में एक सैद्धांतिक और व्यावहारिक अंतराल को संबोधित करता है। मौजूदा दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं:

प्लांटेड अट्रैक्टर्स वाले डायनेमिकल क्लासिफायर (Dynamical Classifiers with Planted Attractors): ये मॉडल एक डायनेमिकल सिस्टम के फेज पोर्ट्रेट (phase portrait) में सीधे निर्णय नियमों को एनकोड करते हैं, जहाँ वर्ग (classes) स्थिर साम्यावस्थाओं (अट्रैक्टर्स) के अनुरूप होते हैं। हालांकि ये अत्यधिक व्याख्या योग्य (interpretable) हैं, लेकिन इन ढांचों (जैसे कि हॉपफील्ड नेटवर्क, विल्सन-कौवन मॉडल) अक्सर विशिष्ट क्लोज्ड-फॉर्म इंटरेक्शन टर्म्स पर निर्भर करते हैं और इनमें यूनिवर्सल एप्रोक्सिमेशन (universal approximation) की गारंटी नहीं होती है। किसी भी मनमाने वर्गीकरण कार्यों के लिए उनकी अभिव्यंजक शक्ति (expressive power) अस्पष्ट बनी रहती है।
न्यूरल ऑर्डिनरी डिफरेंशियल इक्वेशंस (Neural-ODEs): ये मॉडल वेक्टर फील्ड्स को पैरामीटराइज़ करने के लिए न्यूरल नेटवर्क की यूनिवर्सल एप्रोक्सिमेशन क्षमताओं का लाभ उठाते हैं। वे अत्यधिक लचीले हैं लेकिन वर्गीकरण करने के लिए आमतौर पर एक बाहरी रीडआउट हेड (जैसे कि लीनियर क्लासिफायर या MLP) की आवश्यकता होती है क्योंकि अट्रैक्टर्स को पूर्व निर्धारित रूप से लागू नहीं किया जाता है। फलस्वरूप, उनमें उन डायनेमिकल क्लासिफायर्स की अंतर्निहित व्याख्यात्मकता का अभाव होता है जहाँ लेबल गंतव्य साम्यावस्था (destination equilibrium) होता है।

मुख्य समस्या इन दोनों दृष्टिकोणों को एकीकृत करना है: एक ऐसा Neural-ODE निर्मित करना जिसमें यूनिवर्सल एप्रोक्सिमेशन गुण हों और साथ ही एक पूर्व निर्धारित सीमित फिक्स्ड पॉइंट्स (अट्रैक्टर्स) के सेट को सख्ती से लागू किया गया हो, जो क्लास प्रोटोटाइप के रूप में कार्य करते हैं, जिससे बाहरी रीडआउट हेड की आवश्यकता समाप्त हो जाती है।

कार्यप्रणाली (Methodology)

लेखक ConsNODEs नामक एक फ्रेमवर्क प्रस्तावित करते हैं, जो एक क्यूरेटेड संग्रह (curated collection) को Neural-ODE के वेलोसिटी फील्ड में सीधे एकीकृत करता है।

1. मॉडल आर्किटेक्चर:
सिस्टम को रेसिडुअल Neural-ODE द्वारा परिभाषित किया गया है:
$\dot{x}(t) = F_\theta(x(t)) = -x(t) + A_1 f(A_2 x(t) + b_2) + b_1$
जहाँ $x(t) \in \mathbb{R}^n$ स्टेट वेक्टर है, $f$ एक कंपोनेंट-वाइज नॉन-लिनियैरिटी (जैसे सिग्मॉइड) है, और पैरामीटर्स में वेट मैट्रिसेस $A_1, A_2$ और बायस $b_1, b_2$ शामिल हैं। लीनियर टर्म $-x(t)$ स्थिरता प्रदान करता है, जो साम्यावस्थाओं की ओर एसिम्प्टोटिक अट्रैक्शन सुनिश्चित करता है।

2. प्लांटेड अट्रैक्टर कंस्ट्रेंट्स (Planted Attractor Constraints):
$C$ लक्षित वर्गों के लिए, लेखक $C$ विशिष्ट साम्यावस्था बिंदुओं $\{\bar{x}^{(\ell)}\}_{\ell=1}^C$ को निर्धारित करते हैं। मॉडल को इस कठोर शर्त $F_\theta(\bar{x}^{(\ell)}) = 0$ को पूरा करना चाहिए।
मॉडल की अभिव्यक्तता (expressivity) को प्रतिबंधित किए बिना इसे लागू करने के लिए, लेखक एक QR-आधारित प्रोजेक्शन विधि का उपयोग करते हैं:

कंस्ट्रेंट $F_\theta(\bar{x}^{(\ell)}) = 0$ को एक लीनियर सिस्टम $A_1 S = Y$ में बदला जाता है, जहाँ $S$ और $Y$ लक्षित बिंदुओं और नेटवर्क पैरामीटर्स से प्राप्त मैट्रिसेस हैं।
वेट मैट्रिक्स $A_1$ को इस प्रकार पैरामीटराइज़ किया गया है:
$A_1 = A_{part} + W(I - P)$
जहाँ $A_{part}$ एक 'पार्टिकुलर सॉल्यूशन' है जो बाधाओं को पूरा करता है, $P$ प्लांटेड फीचर्स के स्पैन किए गए सबस्पेस पर एक ऑर्थोगोनल प्रोजेक्टर है, और $W$ स्वतंत्र, प्रशिक्षणीय (trainable) पैरामीटर्स का एक मैट्रिक्स है।
यह पैरामीटराइजेशन गारंटी देता है कि $W$ के किसी भी मान के लिए, फिक्स्ड-पॉइंट कंस्ट्रेंट्स सटीक रूप से बने रहते हैं। इस प्रकार, ग्रेडिएंट-आधारित प्रशिक्षण संरचनात्मक रूप से उन वेक्टर फील्ड्स के हाइपोथीसिस क्लास तक सीमित रहता है जिनमें निर्धारित साम्यावस्थाएँ मौजूद हैं।

3. वर्गीकरण प्रोटोकॉल (Classification Protocol):

प्रशिक्षण (Training): इनपुट्स को प्रारंभिक स्थितियों $x(0)$ के रूप में मैप किया जाता है। सिस्टम टर्मिनल समय $T$ तक विकसित होता है। लॉस फंक्शन एक रिग्रेशन लॉस है जो टर्मिनल स्टेट $x(T)$ और संबंधित क्लास साम्यावस्था $\bar{x}^{(\ell)}$ के बीच की दूरी को कम करता है।
अनुमान (Inference): वर्गीकरण टर्मिनल स्टेट $x(T)$ के निकटतम प्लांटेड साम्यावस्था की पहचान करके किया जाता है। कोई बाहरी क्लासिफायर हेड उपयोग नहीं किया जाता है।

4. सैद्धांतिक आधार:
यह शोध पत्र थ्योरम 1 (Theorem 1) पर आधारित है, जो यह स्थापित करता है कि कंस्ट्रेंड नेटवर्क क्लास उन निरंतर वेक्टर फील्ड्स के स्पेस में सघन (dense) है जो निर्धारित बिंदुओं पर शून्य होते हैं। यह सिद्ध करता है कि संशोधित Neural-ODE निर्धारित साम्यावस्थाओं के साथ किसी भी वेलोसिटी फील्ड को अनुमानित करने की यूनिवर्सल एप्रोक्सिमेशन क्षमता बनाए रखता है।

5. मल्टी-पॉपुलेशन इंटरप्रिटेशन:
लेखक एक युग्मित दो-जनसंख्या प्रणाली (2PoP मॉडल) पेश करते हैं जिसमें अलग-अलग टाइम स्केल्स को नियंत्रित करने वाले एक पैरामीटर $\epsilon$ के साथ चर $(x, u)$ शामिल हैं। सिंगुलर लिमिट $\epsilon \to 0$ में, यह सिस्टम ठीक से ConsNODEs फॉर्मूलेशन में बदल जाता है। यह एक डायनेमिकल सिस्टम्स इंटरप्रिटेशन प्रदान करता है जहाँ $A_1$ और $A_2$ दृश्य (visible) और छिपी हुई (hidden) आबादी के बीच इंटरैक्शन को नियंत्रित करने वाले वेट एडजेसेंसी मैट्रिसेस का प्रतिनिधित्व करते हैं।

मुख्य योगदान

यूनिवर्सल डायनेमिकल क्लासिफायर: शोध पत्र यह प्रदर्शित करता है कि एक ऐसा Neural-ODE बनाना संभव है जिसमें सिद्ध यूनिवर्सल एप्रोक्सिमेशन गुण हों और जो साथ ही क्लास प्रोटोटाइप के रूप में फिक्स्ड पॉइंट्स के एक सीमित सेट को लागू करता है।
कंस्ट्रेंट-प्रिजर्विंग ट्रेनिंग: प्रस्तावित QR-आधारित पैरामीटराइजेशन ग्रेडिएंट-आधारित ऑप्टिमाइजेशन की अनुमति देता है जहाँ अट्रैक्टर्स का अस्तित्व संरचनात्मक रूप से सुरक्षित रहता है, जिससे सहायक लॉस पेनल्टी या पोस्ट-हॉक सुधारों की आवश्यकता समाप्त हो जाती है।
व्याख्यात्मकता (Interpretability): निर्णय लेने की प्रक्रिया पारदर्शी है: इनपुट्स को एक सीखे गए वेक्टर फील्ड द्वारा विशिष्ट साम्यावस्थाओं की ओर ले जाया जाता है। आकर्षण के बेसिन (basins of attraction) का विश्लेषण मानक डायनेमिकल सिस्टम्स टूल्स (जैसे फेज पोर्ट्रेट, लियापुनोव एक्सपोनेंट्स) का उपयोग करके किया जा सकता है।
दो-जनसंख्या तुल्यता (Two-Population Equivalence): यह कार्य एक रेसिडुअल Neural-ODE और एक मल्टी-स्पीशीज डायनेमिकल सिस्टम के बीच संबंध स्थापित करता है, जो इंटरैक्शन मैट्रिसेस के रूप में वेट्स को न्यूरोसाइंटिफिक व्याख्या प्रदान करता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन डेटासेट्स पर ConsNODEs का तुलनात्मक मूल्यांकन किया:

टू इंटरलीविंग स्पाइरल्स (खिलौना डेटासेट): इस 2D सेटिंग में, मॉडल ने सफलतापूर्वक एक ऐसा वेक्टर फील्ड सीखा जो दो नॉन-लीनियरली सेपरेबल स्पाइरल्स से ट्रैजेक्टरीज को अलग-अलग अट्रैक्शन बेसिनों में रूट करता है। डिसीजन बाउंड्री को फ्लो के सेपेरेट्रिक्स (separatrix) के रूप में विज़ुअलाइज़ किया गया।
फैशन-MNIST: बिना कनवल्शनल एनकोडर के रॉ पिक्सेल इनपुट ( $n=784$ $n = 784$ ) का उपयोग करते हुए, ConsNODEs ने 88.96% टेस्ट सटीकता प्राप्त की, जो स्टैटिक MLP बेसलाइन (89.32%) के बराबर है।
- अवलोकन: एकीकरण (integration) के दौरान सटीकता तेजी से संतृप्त (saturate) हो गई। लेखकों ने नोट किया कि बिना महत्वपूर्ण सटीकता हानि के $t_{best} < T$ पर इंटीग्रेशन को जल्दी रोककर इन्फरेंस समय को कम किया जा सकता है।
CIFAR-10: एक साझा CNN फीचर एक्सट्रैक्टर का उपयोग करते हुए, ConsNODEs ने 84.39% सटीकता प्राप्त की, जबकि MLP ने 84.69% प्राप्त की।
- कंप्यूटेशनल लागत: डायनेमिकल दृष्टिकोण में ODE इंटीग्रेशन और QR ऑपरेशन्स के कारण उच्च कंप्यूटेशनल लागत लगी (लगभग 21% अधिक FLOPs और प्रति एपोक 1.8x लंबा प्रशिक्षण समय)। हालांकि, सटीकता का अंतर एक मानक विचलन (standard deviation) के भीतर था।

महत्व और दावे

शोध पत्र का दावा है कि इसका प्राथमिक योगदान वैचारिक (conceptual) है न कि विशुद्ध रूप से कंप्यूटेशनल। इसका महत्व यह प्रदर्शित करने में निहित है कि एक क्लासिफायर को निर्धारित अट्रैक्टर्स के अनुकूल किसी भी वेलोसिटी फील्ड को अनुमानित करने के लिए पर्याप्त अभिव्यंजक होते हुए भी, एक स्ट्रक्चर्ड डायनेमिकल सिस्टम के रूप में बनाया जा सकता है।

व्याख्यात्मकता बनाम प्रदर्शन: लेखक तर्क देते हैं कि प्रस्तावित विधि एक मध्यम कंप्यूटेशनल ओवरहेड के बदले गुणात्मक रूप से भिन्न, अधिक व्याख्यात्मक वर्गीकरण तंत्र प्रदान करती है। स्टैटिक फीडफॉरवर्ड मैप्स के विपरीत, निर्णय प्रक्रिया क्लास-डिपेंडेंट साम्यावस्थाओं की ओर एक निरंतर-समय डायनेमिकल इवोल्यूशन है।
सैद्धांतिक सेतु: यह कार्य "पारदर्शी" डायनेमिकल क्लासिफायर्स (जिनमें यूनिवर्सल क्षमता की कमी थी) और "यूनिवर्सल" Neural-ODEs (जिनमें अंतर्निहित व्याख्यात्मकता की कमी थी) के बीच के अंतर को पाटता है।
भविष्य की दिशाएं: शोध पत्र सुझाव देता है कि दो-जनसंख्या व्याख्या (2PoP मॉडल) लोअर-डायमेंशनल ODE क्लासिफायर्स में निहित टोपोलॉजिकल बाधाओं (जैसे ट्रैजेक्टरी क्रॉसिंग) को दूर करने का एक तरीका प्रदान कर सकती है।