🤖 machine learning

Solver-Integrated Adversarial Attacking and Training of Neural Operators

यह शोध पत्र न्यूरल ऑपरेटर्स के लिए एक सॉल्वर-एकीकृत ढांचे (solver-integrated framework) को प्रस्तुत करता है जो सामान्यीकरण (generalization) और मजबूती (robustness) के मेट्रिक्स को पुनर्परिभाषित करता है, संगत प्रतिकूल हमलों (adversarial attacks) और प्रशिक्षण विधियों को विकसित करता है, और यह प्रदर्शित करता है कि संख्यात्मक सॉल्वर का गहरा एकीकरण PDE बेंचमार्क पर मॉडल की सामान्यीकरण क्षमता और मजबूती दोनों को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: Yifei Sun

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yifei Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक छात्र को गुरु की नकल करना सिखाना

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन छात्र (न्यूरल ऑपरेटर) को मौसम का पूर्वानुमान लगाना सिखाने की कोशिश कर रहे हैं। आपके पास एक सुपरकंप्यूटर (न्यूमेरिकल सॉल्वर) है जो मौसम की गणना करने में एकदम सटीक है, लेकिन उसे एक बार पूर्वानुमान लगाने में घंटों लग जाते हैं। छात्र तेज़ है—वह पलक झपकते ही उत्तर दे सकता है—लेकिन उसे यह सीखने की ज़रूरत है कि वह सुपरकंप्यूटर जितना ही सटीक कैसे बना जाए।

आमतौर पर, आप छात्र को पिछले मौसम के डेटा दिखाकर प्रशिक्षित करते हैं और यह देखते हैं कि क्या उसका उत्तर उस विशेष दिन के लिए सुपरकंप्यूटर के उत्तर से मेल खाता है।

समस्या:
यह शोधपत्र तर्क देता है कि यह पर्याप्त नहीं है। क्या होगा यदि मौसम की स्थितियाँ थोड़ी बदल जाती हैं? वास्तविक दुनिया में, यदि हवा थोड़ी ज़ोर से चलती है, तो तूफान थोड़ा अलग तरीके से आगे बढ़ता है। सुपरकंप्यूटर (गुरु) इस नए, थोड़े अलग तूफान की सही गणना करेगा। लेकिन छात्र भ्रमित हो सकता है और पूरी तरह से अलग परिणाम की भविष्यवाणी कर सकता है, या इससे भी बुरा, हवा बदलने के बावजूद पुराने तूफान की भविष्यवाणी कर सकता है।

शोधपत्र पूछता है: हम यह कैसे सुनिश्चित करें कि छात्र केवल उत्तरों को रटे नहीं, बल्कि वास्तव में गुरु के साथ तालमेल बिठाना सीखे जब स्थितियाँ बदलती हैं?

मूल विचार: "सॉल्वर-इंटीग्रेटेड" दृष्टिकोण

लेखक छात्र को टेस्ट और ट्रेन करने का एक नया तरीका पेश करते हैं जिसे सॉल्वर-इंटीग्रेटेड एडवरसेरियल ट्रेनिंग कहा जाता है।

1. "एडवरसेरियल अटैक" (तनाव परीक्षण/स्ट्रेस टेस्ट)

कंप्यूटर विज्ञान में, एक "एडवरसेरियल अटैक" एक धोखेबाज की तरह है जो किसी सिस्टम को तोड़ने की कोशिश करता है।

पुराना तरीका: धोखेबाज छात्र को भ्रमित करने के लिए इनपुट में थोड़ा बदलाव करता है, लेकिन वे यह मान लेते हैं कि "सही उत्तर" (ग्राउंड ट्रुथ) वही रहता है। यह मौसम के लिए गलत है! यह पूछने जैसा है, "यदि मैं हवा की गति को 1% बदल दूँ, तो तूफान क्या होगा?" और यह उम्मीद करना कि उत्तर वही पुराना तूफान ही होगा। यह गलत है!
नया तरीका (सॉल्वर-इंटीग्रेटेड): धोखेबाज हवा की गति बदलता है, और वे सुपरकंप्यूटर (गुरु) से तुरंत पूछते हैं कि नया सही तूफान कैसा दिखेगा। फिर, वे यह देखते हैं कि क्या छात्र का उत्तर इस नए सही उत्तर से मेल खाता है।

उपमा (Analogy):
कल्पना कीजिए कि एक डांस इंस्ट्रक्टर (सॉल्वर) और एक छात्र (न्यूरल ऑपरेटर) हैं।

पुराना अटैक: इंस्ट्रक्टर संगीत की लय (टेम्पो) को थोड़ा बदल देता है। छात्र पहले वाले ठीक वही स्टेप्स करने की कोशिश करता है। इंस्ट्रक्टर कहता है, "गलत! तुमने अपने स्टेप्स नहीं बदले!"
नया अटैक: इंस्ट्रक्टर लय बदलता है। इंस्ट्रक्टर तुरंत नए, सही स्टेप्स भी करने लगता है। छात्र का परीक्षण इस बात पर किया जाता है कि क्या वह इंस्ट्रक्टर के नए मूव्स से मेल खा पाता है। यदि छात्र पुराने मूव्स ही करता रहता है, तो वह फेल हो जाता है।

शोधपत्र दिखाता है कि यह "सॉल्वर-इंटीग्रेटेड" हमला छात्र के लिए पास करना बहुत कठिन है, जिसका अर्थ है कि यह उनकी वास्तविक समझ का बेहतर परीक्षण है।

2. "एडवरसेरियल ट्रेनिंग" (वर्कआउट)

एक बार जब आप जानते हैं कि छात्र को कैसे तोड़ना है, तो आप उसका उपयोग उन्हें प्रशिक्षित करने के लिए करते हैं। इसे एडवरसेरियल ट्रेनिंग कहा जाता है।

प्रक्रिया:
1. छात्र एक समस्या को हल करने की कोशिश करता है।
2. "धोखेबाज" (नए सॉल्वर-इंटीग्रेटेड तरीके का उपयोग करके) इनपुट में वह सबसे खराब संभव छोटा बदलाव ढूंढता है जिससे छात्र विफल हो जाए।
3. छात्र को उस विशिष्ट कठिन समस्या को हल करने का अभ्यास करने के लिए मजबूर किया जाता है।
4. दोहराएं।

उपमा (Analogy):
एक मार्शल आर्ट्स डोजो (Martial Arts Dojo) के बारे में सोचें।

मानक प्रशिक्षण: आप एक भारी बैग पर पंच मारने का अभ्यास करते हैं जो हिलता नहीं है। आप मजबूत होते हैं, लेकिन आपको पता नहीं चलेगा कि चलते हुए प्रतिद्वंद्वी को कैसे संभालना है।
एडवरसेरियल ट्रेनिंग: आप एक ऐसे स्पैरिंग पार्टनर के खिलाफ अभ्यास करते हैं जो विशेष रूप से आपकी कमजोरियों को खोजने और वहां प्रहार करने के लिए प्रशिक्षित है।
सॉल्वर-इंटीग्रेटेड ट्रेनिंग: आपका स्पैरिंग पार्टनर एक ग्रैंडमास्टर है जो न केवल आप पर प्रहार करता है; वह इस तरह से प्रहार करता है कि आपको बदलती स्थितियों के प्रति प्रतिक्रिया करना सीखना पड़े। यदि आप लड़खड़ाते हैं, तो वे तुरंत आपको सही काउंटर-मूव दिखाते हैं।

उन्होंने क्या पाया?

शोधकर्ताओं ने तीन प्रसिद्ध भौतिकी समस्याओं (पाइपों के माध्यम से बहते तरल पदार्थ, एक सपाट सतह पर हवा, और घूमते हुए पानी) पर इसका परीक्षण किया।

बेहतर मजबूती (Robustness): "सॉल्वर-इंटीग्रेटेड" पद्धति के साथ प्रशिक्षित छात्र बदलावों को संभालने में बहुत बेहतर थे। यदि आपने इनपुट में थोड़ा बदलाव किया, तो उनके उत्तर सुपरकंप्यूटर के उत्तरों के करीब रहे।
बेहतर सामान्यीकरण (Generalization): ये छात्र उन समस्याओं को हल करने में बेहतर थे जिन्हें उन्होंने पहले कभी नहीं देखा था (जैसे कि कोई तूफान का पैटर्न जिस पर उन्होंने अभ्यास नहीं किया था)।
"डीप" इंटीग्रेशन मायने रखता है: शोधपत्र ने पाया कि प्रशिक्षण लूप में सुपरकंप्यूटर कितनी गहराई से शामिल था (हमले के दौरान नया उत्तर कैलकुलेट करना), परिणाम उतने ही बेहतर थे। उथले (Shallow) तरीके (जहाँ सुपरकंप्यूटर केवल एक स्थिर उत्तर देता है) उतने प्रभावी नहीं थे।

चुनौती (लागत)

इसमें एक ट्रेड-ऑफ (समझौता) है।

पुराना तरीका: तेज़ और सस्ता।
नया तरीका: धीमा और महंगा। क्योंकि कंप्यूटर को हर बार टेस्ट या ट्रेन करने के लिए "मास्टर सॉल्वर" को चलाना पड़ता है, इसलिए इसमें अधिक समय और कंप्यूटर मेमोरी लगती है।

लेखक स्वीकार करते हैं कि यह एक भारी कीमत है, लेकिन परिणाम दिखाते हैं कि भौतिकी के लिए विश्वसनीय AI मॉडल बनाने के लिए, यह अतिरिक्त लागत वाजिब है ताकि ऐसा मॉडल मिल सके जो वास्तविक दुनिया में थोड़ा बदलने पर टूट न जाए।

एक वाक्य में सारांश

यह शोधपत्र AI मॉडल को जटिल भौतिकी सिमुलेशन की नकल करना सिखाता है, उन्हें उन "ट्रिकी सवालों" के खिलाफ प्रशिक्षित करके जहाँ सवाल के साथ सही उत्तर भी बदल जाता है, जिससे यह सुनिश्चित होता है कि AI केवल स्थिर उत्तरों को रटने के बजाय गतिशील रूप से अनुकूल होना सीखता है।

तकनीकी सारांश: सॉल्वर-एकीकृत एडवर्सरियल अटैकिंग और न्यूरल ऑपरेटर्स का प्रशिक्षण

समस्या का निरूपण
न्यूरल ऑपरेटर्स (जैसे, फूरियर न्यूरल ऑपरेटर्स, DeepONets) संख्यात्मक आंशिक अवकल समीकरण (PDE) सॉल्वर के लिए तेज़ डेटा-संचालित सरोगेट्स के रूप में कार्य करते हैं, जो इनपुट फलनों (जैसे, प्रारंभिक स्थितियाँ, गुणांक) को समाधान फलनों में मैप करते हैं। हालांकि ये प्रभावी हैं, ऑपरेटर-लर्निंग सेटिंग में उनकी सामान्यीकरण क्षमता (generalizability) और मजबूती (robustness) क्लासिफिकेशन की तुलना में अपरिभाषित बनी हुई है।

PDE ऑपरेटर लर्निंग में एक महत्वपूर्ण अंतर यह है कि "ग्राउंड ट्रुथ" एक स्थिर लेबल नहीं है, बल्कि एक संख्यात्मक सॉल्वर $G$ का आउटपुट है। पारंपरिक रिग्रेशन या क्लासिफिकेशन में, एडवर्सरियल अटैक्स यह मानकर चलते हैं कि इनपुट परिवर्तन के तहत ग्राउंड ट्रुथ स्थिर रहता है। हालांकि, PDE सेटिंग्स में, इनपुट फंक्शन $x$ को बदलने से स्वाभाविक रूप से वास्तविक समाधान $G(x)$ बदल जाता है। फलस्वरूप, एक मॉडल $F_\theta$ से अकेले (यानी, उसका आउटपुट नहीं बदलना चाहिए) मजबूत होने की अपेक्षा नहीं की जाती है; बल्कि, मॉडल और सॉल्वर के बीच का विसंगति (discrepancy), जिसे त्रुटि ऑपरेटर $E_\theta = F_\theta - G$ के रूप में परिभाषित किया गया है, मजबूत होना चाहिए। मौजूदा विधियाँ अक्सर इस गतिशील ग्राउंड ट्रुथ को ध्यान में रखने में विफल रहती हैं, या तो सॉल्वर आउटपुट को एक स्थिर लेबल मानती हैं या अटैक जनरेशन के दौरान सॉल्वर के ग्रेडिएंट को अनदेखा करती हैं।

कार्यप्रणाली

1. सामान्यीकरण और मजबूती को औपचारिक रूप देना
लेखक मॉडल-सॉल्वर त्रुटि ऑपरेटर के दृष्टिकोण से सामान्यीकरण और मजबूती को परिभाषित करते हैं:

सामान्यीकरण (Generalization): एक निश्चित इनपुट पर त्रुटि ऑपरेटर के नॉर्म के रूप में स्थिर रूप से परिभाषित किया गया है: $L_{gen}(x) = \|F_\theta(x) - G(x)\|_Y$ ।
मजबूती (Robustness): गतिशील रूप से परिभाषित की गई है कि इनपुट परिवर्तन के तहत त्रुटि ऑपरेटर का आउटपुट कैसे बढ़ता है। पेपर तीन स्थानीय मेट्रिक्स प्रस्तावित करता है:
- जैकोबियन ऑपरेटर नॉर्म (Jacobian Operator Norm): त्रुटि ऑपरेटर के डेरिवेटिव का इंड्यूस्ड नॉर्म, $\|DE_\theta[x]\|$ ।
- फाइनाइट एडवर्सरियल अटैक लॉस इंक्रीज (Finite Adversarial Attack Loss Increase): एक नॉर्म-बाउंडेड परटर्बेशन बॉल के ऊपर त्रुटि लॉस में अधिकतम वृद्धि।
- जैकोबियन-एरर मेट्रिक (Jacobian-Error Metric): एक कम्प्यूटेशनल रूप से कुशल प्रॉक्सी जिसे $\|g_\theta(x)\|_X$ के रूप में परिभाषित किया गया है, जहाँ $g_\theta(x) = DE_\theta[x]^* e_\theta[x]$ है। यह मेट्रिक एरर फील्ड को स्थानीय जैकोबियन के साथ जोड़ता है और छोटे-बजट वाले अटैक दिशाओं के साथ निकटता से संरेखित होता है।

2. सॉल्वर-एकीकृत एडवर्सरियल अटैक्स
पेपर पहचानता है कि मानक अटैक ऑब्जेक्टिव (जैसे, मॉडल आउटपुट में परिवर्तन को अधिकतम करना या एक स्थिर ग्राउंड ट्रुथ के साथ तुलना करना) अपर्याप्त हैं क्योंकि वे परिवर्तन के तहत वास्तविक मॉडल-सॉल्वर विसंगति को प्रतिबिंबित नहीं करते हैं। लेखक सॉल्वर एकीकरण के स्तर के आधार पर अटैक ऑब्जेक्टिव का एक पदानुक्रम प्रस्तावित करते हैं:

$L_1$ (केवल मॉडल): मॉडल आउटपुट में परिवर्तन को अधिकतम करता है ( $\|F_\theta(x+\delta) - F_\theta(x)\|$ )।
$L_2$ (फिक्स्ड ग्राउंड ट्रुथ): साफ (clean) सॉल्वर आउटपुट के विरुद्ध त्रुटि को अधिकतम करता है ( $\|F_\theta(x+\delta) - G(x)\|$ )।
$L_3$ (पूर्ण सॉल्वर-एकीकृत): परिवर्तित सॉल्वर आउटपुट के विरुद्ध त्रुटि को अधिकतम करता है ( $\|F_\theta(x+\delta) - G(x+\delta)\|$ )।

मुख्य योगदान $L_3$ ऑब्जेक्टिव है, जिसके लिए आवश्यक है कि संख्यात्मक सॉल्वर $G$ डिफरेंशिएबल हो और अटैक लूप में एकीकृत हो। यह हमला करने की अनुमति देता है कि अटैक सॉल्वर के माध्यम से ग्रेडिएंट ($DG $) की गणना कर सके, जिससे यह सुनिश्चित होता है कि परटर्बेशन$ \delta$ को परिवर्तित इनपुट के वास्तविक समाधान और मॉडल के बीच विचलन को अधिकतम करने के लिए अनुकूलित किया गया है। पेपर उन अनुकूलन रणनीतियों का भी विवरण देता है (जैसे, "replace" बनाम "add" अपडेट) जो लॉस लैंडस्केप की ज्यामिति (बर्गर्स के लिए व्यापक, नेवियर-स्टोक्स के लिए संकीर्ण) के अनुकूल होती हैं।

3. सॉल्वर-एकीकृत एडवर्सरियल ट्रेनिंग
$L_3$ अटैक पर निर्माण करते हुए, लेखक एक एडवर्सरियल ट्रेनिंग फ्रेमवर्क प्रस्तावित करते हैं जहाँ ट्रेनिंग लूप एक मि-मैक्स (min-max) समस्या के रूप में कार्य करता है:
$\min_\theta \mathbb{E}_{x \sim \mu_X} \left[ \max_{\|\delta\| \le \epsilon} \|F_\theta(x+\delta) - G(x+\delta)\|^2 \right]$
इस पाइपलाइन में, वर्तमान मॉडल को $L_3$ लॉस को अधिकतम करके एडवर्सरियल सैंपल्स उत्पन्न करने के लिए फ्रीज किया जाता है। इन सैंपल्स को, उनके संबंधित सॉल्वर आउटपुट्स (सॉल्वर द्वारा पुन: लेबल किए गए) के साथ, मॉडल को अपडेट करने के लिए उपयोग किया जाता है। यह प्रक्रिया एक "टीचर-स्टूडेंट" डिस्टिलेशन के रूप में कार्य करती है, जहाँ संख्यात्मक सॉल्वर एक शिक्षक के रूप में कार्य करता है, और न्यूरल ऑपरेटर परिवर्तित इनपुट्स के तहत सॉल्वर के एक वफादार व्यवहारिक जुड़वां (behavioral twin) के रूप में सीखने का प्रयास करता है।

मुख्य योगदान

नया मजबूती परिभाषा: क्लासिफिकेशन में मॉडल-ओनली स्टेबिलिटी के बजाय मॉडल-सॉल्वर विसंगति के आधार पर ऑपरेटर लर्निंग में सामान्यीकरण और मजबूती का औपचारिकीकरण।
सॉल्वर-एकीकृत अटैक टारगेट: PDE सेटिंग्स में एडवर्सरियल अटैक्स के लिए सबसे सटीक लक्ष्य के रूप में $L_3$ लॉस की पहचान करना, यह प्रदर्शित करते हुए कि सॉल्वर के रिस्पॉन्स को अनदेखा करने वाले हमले ( $L_1, L_2$ ) या स्थिर लेबल वाले हमले उप-इष्टतम (suboptimal) हैं।
एडवर्सरियल ट्रेनिंग फ्रेमवर्क: ऑनलाइन सॉल्वर-रीलेबल एडवर्सरियल बैचेस उत्पन्न करने की एक विधि, जो मैन्युअल सैंपल चयन के बिना शिफ्टेड डिस्ट्रीब्यूशन के प्रति सामान्यीकरण और मजबूती दोनों में सुधार करती है।
मेट्रिक विश्लेषण: यह प्रदर्शन करना कि जैकोबियन-एरर मेट्रिक फाइनाइट-बजट अटैक प्रदर्शन के लिए एक व्यावहारिक, हल्का प्रॉक्सी है और मानक स्पेक्ट्रल नॉर्म्स PDE ऑपरेटर मजबूती को मापने के लिए अपर्याप्त हैं।

प्रायोगिक परिणाम
फ्रेमवर्क का मूल्यांकन तीन कैनोनिकल PDE बेंचमार्क पर किया गया: 1D बर्गर (Burgers), 2D डार्सी फ्लो (Darcy Flow), और 2D नेवियर-स्टोक्स (Navier-Stokes)।

अटैक प्रभावशीलता: पूर्ण $L_3$ ऑब्जेक्टिव का उपयोग करने वाले हमलों ने $L_1, L_2$ , फिजिक्स-रेसिड्यूल, या डिक्शनरी-आधारित हमलों की तुलना में लगातार काफी अधिक मॉडल-सॉल्वर लॉस वृद्धि प्राप्त की। $L_3$ हमलों ने उच्च-आवृत्ति वाले परटर्बेशन भी उत्पन्न किए, जो विशिष्ट मॉडल-सॉल्वर मिसमैच को उजागर करते हैं।
ट्रेनिंग प्रदर्शन:
- सामान्यीकरण: $L_3$ एडवर्सरियल ट्रेनिंग के साथ प्रशिक्षित मॉडल, रैंडम परटर्बेशन या गैर-एकीकृत लॉस वाले बेसलाइन मॉडल्स की तुलना में, शिफ्टेड इनपुट डिस्ट्रीब्यूशन (जैसे, विभिन्न कोरिलेशन लेंथ, कर्नेल पैरामीटर्स, या बाउंड्री कंडीशंस) पर बेहतर प्रदर्शन दिखाते हैं।
- मजबूती: $L_3$ -प्रशिक्षित मॉडल सबसे कम अटैक लॉस वृद्धि और सबसे कम जैकोबियन-एरर नॉर्म प्रदर्शित करते हैं, जो अधिक मजबूती का संकेत देते हैं।
- दक्षता: जबकि सॉल्वर एकीकरण कम्प्यूटेशनल लागत बढ़ाता है (सॉल्वर के माध्यम से फॉरवर्ड और बैकवर्ड पास के कारण), यह विधि हेयुरिस्टिक सैंपलिंग विधियों की तुलना में अधिक सूचनात्मक सैंपल्स और मजबूत समाधानों की ओर तेज़ अभिसरण (convergence) प्रदान करती है।

महत्व और दावे
पेपर दावा करता है कि यह एक रोबस्ट ऑपरेटर ट्रेनिंग के लिए एक सामान्य ढांचा प्रदान करता है जो मौजूदा संख्यात्मक सॉल्वर को एक "विश्वसनीय ओरेकल" (trusted oracle) के रूप में उपयोग करता है। अटैक और ट्रेनिंग लूप में सॉल्वर को सीधे एकीकृत करके, यह विधि स्वचालित रूप से कठिन सैंपल्स का चयन करती है और न्यूरल ऑपरेटर के व्यवहार को सॉल्वर के फिजिक्स के साथ संरेखित करती है, जिससे मैन्युअल हस्तक्षेप या हैंड-क्राफ्टेड शिफ्टेड डेटासेट्स की आवश्यकता कम हो जाती है।

लेखक मुख्य सीमा के रूप में कम्प्यूटेशनल लागत को स्वीकार करते हैं, विशेष रूप से समय-निर्भर (time-dependent) PDEs के लिए जहाँ लंबे सॉल्वर रोलआउट्स के माध्यम से डिफरेंशिएशन करने के लिए महत्वपूर्ण GPU मेमोरी की आवश्यकता होती है। वे सुझाव देते हैं कि भविष्य के कार्य इस लागत को कम करने के लिए पदानुक्रमित दृष्टिकोणों (जैसे, इम्प्लिसिट न्यूरल रोलआउट्स) की खोज कर सकते हैं। पेपर यह दावा नहीं करता है कि यह वैज्ञानिक मशीन लर्निंग में सभी मजबूती संबंधी समस्याओं को हल करता है, बल्कि यह स्थापित करता है कि ऑपरेटर-लर्निंग सेटिंग में सच्ची मजबूती को परिभाषित करने और प्राप्त करने के लिए सॉल्वर एकीकरण एक आवश्यक घटक है।