🤖 machine learning

Discovering Physical Directions in Weight Space: Composing Neural PDE Experts

यह शोध पत्र यह प्रदर्शित करता है कि एक साझा न्यूरल ऑपरेटर को विभिन्न भौतिक व्यवस्थाओं (physical regimes) के लिए फाइन-ट्यून करना वेट स्पेस (weight space) में एक पुन: प्रयोज्य और कैलिब्रेट करने योग्य दिशा को प्रकट करता है, जो प्रस्तावित कैलिब्रेशन-कंडीशन्ड मर्ज (CCM) पद्धति को विशेषज्ञों को संयोजित करने और बिना किसी अतिरिक्त प्रशिक्षण के इस भौतिक पैरामीटर के साथ गतिशील रूप से इंटरपोलेट करके आउट-ऑफ-डिस्ट्रीब्यूशन त्रुटियों को महत्वपूर्ण रूप से कम करने में सक्षम बनाता है।

मूल लेखक: Pengkai Wang, Pengwei Liu, Yuanyi Wang, Guanyu Chen, Xingyu Ren, Xiaolong Li, Zhongkai Hao, Yuting Kong, Qixin Zhang, Dong Ni

प्रकाशित 2026-05-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pengkai Wang, Pengwei Liu, Yuanyi Wang, Guanyu Chen, Xingyu Ren, Xiaolong Li, Zhongkai Hao, Yuting Kong, Qixin Zhang, Dong Ni

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट शेफ (एक न्यूरल ऑपरेटर) है जिसे एक विशिष्ट प्रकार का सूप बनाना सिखाया गया है। यह सूप का नुस्खा थोड़ा बदल जाता है यदि आप इसमें "मसाला" (एक भौतिक पैरामीटर जैसे श्यानता या गर्मी) की मात्रा बदलते हैं।

आमतौर पर, यदि आप चाहते हैं कि रोबोट उस सूप को बनाए जिसमें पहले से अधिक "मसाला" हो या कम "मसाला" हो जिसके लिए उसे प्रशिक्षित किया गया था, तो आपके पास दो बुरे विकल्प होते हैं:

पूरे रोबोट को फिर से प्रशिक्षित करना: इसमें बहुत समय लगता है और बहुत पैसा खर्च होता है।
दो अलग-अलग रोबोट बनाना: एक "कम मसाले" के लिए और एक "अधिक मसाले" के लिए। यदि आपको "मध्यम मसाले" वाले सूप की आवश्यकता होती है, तो आपको अनुमान लगाना पड़ता है कि किसका उपयोग किया जाए या उनके आउटपुट को मिलाने की कोशिश करनी पड़ती है, जो अक्सर बेस्वाद या गलत होता है।

यह पेपर एक चतुर नया तरीका पेश करता है जिसे कैलिब्रेशन-कंडीशन्ड मर्ज (CCM) कहा जाता है। यह पता चला है कि रोबोट का "दिमाग" (इसके आंतरिक वेट्स/भार) वास्तव में मसाले के स्पेक्ट्रम का एक छिपा हुआ नक्शा रखता है।

यह कैसे काम करता है, इसके सरल उपमाओं का विवरण यहाँ दिया गया है:

1. रोबोट के दिमाग में एक "कम्पास"

शोधकर्ताओं ने एक आधारभूत (बेस) रोबोट शेफ से शुरुआत की। फिर उन्होंने उसे दो विशिष्ट सबक सिखाए:

सबक A: सूप को सबसे कम मात्रा में मसाला डालकर कैसे बनाया जाए।
सबक B: सूप को सबसे अधिक मात्रा में मसाला डालकर कैसे बनाया जाए।

उन्होंने पाया कि जब उन्होंने देखा कि इन पाठों के बाद रोबोट के दिमाग में क्या बदलाव आए, तो वे बदलाव यादृच्छिक (रैंडम) नहीं थे। इसके बजाय, उन्होंने रोबोट के दिमाग के भीतर एक सीधी रेखा को प्रकट किया।

बदलाव का एक हिस्सा केवल सामान्य "सुधार" था (सूप बनाना बेहतर सीखना)।
दूसरा हिस्सा एक विशिष्ट दिशा थी जो "कम मसाले" से "अधिक मसाले" की ओर इशारा कर रही थी।

इसे एक कम्पास की सुई की तरह समझें। रोबोट ने केवल दो अलग-अलग रेसिपी नहीं सीखीं; उसने एक दिशा सीखी। यदि आप रोबोट के दिमाग को उस दिशा में थोड़ा सा हिलाते हैं, तो वह स्वाभाविक रूप से मध्यम मसाले वाला सूप बनाता है। यदि आप इसे और आगे ले जाते हैं, तो यह अत्यधिक मसाले वाला सूप बनाएगा (यहाँ तक कि उस स्तर से भी अधिक जिसके लिए उसे प्रशिक्षित किया गया था!)।

2. "मिश्रण" की समस्या (स्टैटिक एवरेजिंग)

इससे पहले, लोग "मध्यम मसाले" की समस्या को हल करने के लिए "कम मसाले" वाले रोबोट और "अधिक मसाले" वाले रोबोट के दिमाग को आपस में मिला देने (जैसे दो स्मूदी को ब्लेंड करना) की कोशिश करते थे।

दोष: यह तब तो ठीक काम करता है जब आप केवल एक सामान्य "ठीक-ठाक" सूप चाहते हैं। लेकिन यह विशिष्ट विवरणों को मिटा देता है। यह एक तीखी करी और एक हल्की सूप को मिलाने जैसा है; आपको एक आदर्श मध्यम करी नहीं मिलती; आपको एक अजीब, पानी जैसा पतला मिश्रण मिलता है। उच्च या निम्न मसाले का विशिष्ट "स्वाद" खो जाता है।

3. समाधान: "CCM" डायल

लेखक एक विधि प्रस्तावित करते हैं जिसे कैलिब्रेशन-कंडीशन्ड मर्ज (CCM) कहा जाता है। अनुमान लगाने या औसत निकालने के बजाय, वे एक डायल (घुमाने वाला बटन) का उपयोग करते हैं।

यह कैसे काम करता है: आप सिस्टम को बताते हैं, "मुझे इस विशिष्ट मसाले के स्तर वाला सूप चाहिए।"
जादू: सिस्टम उस "कम्पास दिशा" को देखता है जिसे उसने पहले खोजा था और रोबोट के दिमाग को उस रेखा के सटीक स्थान पर ले जाता है जो आपकी मांग के अनुरूप है।
परिणाम: आपको एक एकल, पूर्ण रोबोट मिलता है जो जानता है कि उस विशिष्ट मसाले के स्तर को कैसे पकाया जाए। आपको इसे फिर से प्रशिक्षित करने की आवश्यकता नहीं है, और न ही आपको एक साथ दो रोबोट चलाने की आवश्यकता है।

4. आप डायल कहाँ घुमाएंगे, यह कैसे जानेंगे?

पेपर दिखाता है कि डायल को कहाँ सेट करना है, यह जानने के तीन तरीके हैं:

लेबल (मेटाडेटा): यदि आप सटीक मसाला संख्या जानते हैं (जैसे, "श्यानता = 5"), तो आप बस उस संख्या को दर्ज कर देते हैं।
स्केल (कैलिब्रेशन): कभी-कभी संख्याएँ थोड़ी गलत होती हैं (जैसे एक थर्मामीटर जो 10 डिग्री अधिक पढ़ता है)। सिस्टम स्केल को ठीक करने के लिए एक साधारण मल्टीप्लायर सीख लेता है।
टेस्ट ऑफ टेस्ट (प्रिफिक्स): यदि आप मसाला संख्या नहीं जानते, तो आप रोबोट को सूप के केवल पहले कुछ सेकंड बनाने दे सकते हैं। उन पहले कुछ सेकंड में उसके व्यवहार को देखकर, सिस्टम यह समझ जाता है, "आह, इसका स्वाद 'उच्च मसाले' जैसा है!" और फिर शेष खाना पकाने की प्रक्रिया के लिए डायल को स्वचालित रूप से समायोजित करता है।

5. यह क्यों महत्वपूर्ण है (परिणाम)

शोधकर्ताओं ने तीन जटिल भौतिक समस्याओं (जैसे गर्मी कैसे फैलती है, तरल पदार्थ कैसे बहते हैं, और एक बांध कैसे टूटता है) पर इसका परीक्षण किया।

बड़ी जीत: यह तरीका अनदेखी स्थितियों (एक्सट्रपलेशन) में क्या होता है, इसकी भविष्यवाणी करने में अद्भुत था।
आंकड़े: जब इसे अपने प्रशिक्षण दायरे से बाहर के परिदृश्यों की भविष्यवाणी करने के लिए कहा गया, तो इस पद्धति ने बेस रोबोट या विशेषज्ञों के औसत की तुलना में त्रुटियों को 13% से 54% तक कम कर दिया।
प्रमाण: उन्होंने साबित किया कि जो "दिशा" उन्होंने खोजी थी, वह रैंडम शोर नहीं थी। जब उन्होंने डायल को गलत दिशा में घुमाया (जैसे वॉल्यूम बढ़ाने के बजाय घटाना), तो सूप खराब हो गया। इससे यह सिद्ध हुआ कि रोबोट ने वास्तव में भौतिक "दिशा" को सीखा था।

सारांश

संक्षेप में, इस पेपर ने खोजा कि जब आप एक भौतिक AI को स्पेक्ट्रम के "निम्न" और "उच्च" सिरों के बारे में सिखाते हैं, तो वह गुप्त रूप से उनके बीच एक सीधी रेखा वाले मानचित्र को सीख लेता है। अनुमान लगाने या औसत निकालने के बजाय, आप किसी भी बिंदु के लिए—या उससे भी आगे के लिए—परफेक्ट परिणाम प्राप्त करने के लिए बस उस मानचित्र पर फिसल सकते हैं, और इसके लिए AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह एक अव्यवस्थित अनुमान लगाने वाले खेल को एक सटीक, समायोज्य डायल में बदल देता है।

तकनीकी सारांश: वेट स्पेस में भौतिक दिशाओं की खोज (Discovering Physical Directions in Weight Space)

समस्या विवरण (Problem Statement)

न्यूरल ऑपरेटर्स ने बड़े पैमाने पर प्री-ट्रेनिंग और इन-कॉन्टेक्स्ट एडेप्टेशन के माध्यम से पैरामीट्रिक पार्शियल डिफरेंशियल इक्वेशंस (PDEs) के लिए स्केलेबल सरोगेट सॉल्वर बनाने में महत्वपूर्ण सफलता प्रदर्शित की है। हालांकि, एक ही भौतिक परिवार (physical family) के भीतर विभिन्न व्यवस्थाओं (जैसे कि विस्कॉसिटी या डिफ्यूज़िविटी में परिवर्तन) के लिए जब एक साझा ऑपरेटर को फाइन-ट्यून किया जाता है, तो एक मौलिक प्रश्न बना रहता है: क्या परिणामी वेट अपडेट केवल अलग-थलग "रेजीम एक्सपर्ट्स" (regime experts) को परिभाषित करते हैं, या वे वेट स्पेस में एक पुन: प्रयोज्य (reusable), संरचित भौतिक ज्यामिति को प्रकट करते हैं?

मौजूदा अनुकूलन रणनीतियाँ सीमाओं का सामना करती हैं। कंडीशनल ऑपरेटर्स को उच्च सटीकता के साथ पूरे भौतिक अवस्था स्थान (physical state space) को कवर करने वाले आर्किटेक्चर और प्रशिक्षण कॉर्पोरा की आवश्यकता होती है। कई रेजीम-विशिष्ट विशेषज्ञों में फाइन-ट्यून करना बिना किसी सिद्धांत आधारित विधि के खंडित चेकपॉइंट्स बनाता है, जो अनदेखी व्यवस्थाओं के लिए उन्हें संयोजित करने में असमर्थ होते हैं। जेनेरिक मॉडल-मर्जिंग तकनीकें (जैसे मॉडल सूप्स, टास्क अरिथमेटिक) आमतौर पर डाउनस्ट्रीम कार्यों को बिना क्रमबद्ध मानती हैं, और मर्ज गुणांकों का चयन भौतिक रूप से सार्थक निर्देशांकों के बजाय वैलिडेशन लॉस के आधार पर करती हैं। फलस्वरूप, ये विधियाँ अक्सर आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) व्यवस्थाओं में प्रभावी ढंग से सामान्यीकरण करने में विफल रहती हैं, विशेष रूप से जब एक्सट्रपलेशन (extrapolation) की आवश्यकता होती है।

कार्यप्रणाली: कैलिब्रेशन-कंडीशन्ड मर्ज (CCM)

यह शोध पत्र कैलिब्रेशन-कंडीशन्ड मर्ज (CCM) का प्रस्ताव करता है, जो एक पोस्ट-हॉक कोऑर्डिनेट रीडआउट विधि है। यह समान-एंकर एंडपॉइंट एक्सपर्ट्स को केवल अलग-थलग चेकपॉइंट्स के रूप में नहीं, बल्कि स्थानीय भौतिक दिशा के 'फाइनाइट-डिफरेंस प्रोब्स' (finite-difference probes) के रूप में मानती है।

1. सैद्धांतिक ढांचा (Theoretical Framework)

यह विधि मानती है कि एक पैरामीट्रिक PDE परिवार के लिए, डाउनस्ट्रीम व्यवस्थाएं एक अंतर्निहित भौतिक अक्ष के साथ व्यवस्थित बिंदु हैं। एक साझा फैमिली एंकर $\theta_0$ से शुरू करते हुए, लेखक दो एंडपॉइंट एक्सपर्ट्स को फाइन-ट्यून करते हैं: $\theta_{low}$ (लो रेजीम) और $\theta_{high}$ (हाई रेजीम)।

एंकर के सापेक्ष वेट अपडेट को दो घटकों में विभाजित किया जाता है:

साझा अनुकूलन ( $\Delta_+$ ): एंडपॉइंट रेसिडुअल्स का माध्य, जो परिवार में साझा किए गए सॉल्वर सुधारों को कैप्चर करता है।
$\Delta_+ = \frac{\Delta_{low} + \Delta_{high}}{2}$
साइंड फिजिकल डायरेक्शन ( $\Delta_-$ ): रेसिडुअल्स का साइन्ड कंट्रास्ट, जो भौतिक अक्ष के अनुदिश उन्मुख भिन्नता को कैप्चर करता है।
$\Delta_- = \frac{\Delta_{high} - \Delta_{low}}{2}$

यह अपघटन वेट स्पेस में एक एक-आयामी (one-dimensional) कोऑर्डिनेट लाइन को परिभाषित करता है:
$\theta(\alpha) = \theta_0 + \Delta_+ + \alpha\Delta_-$
जहाँ $\alpha = -1$ और $\alpha = +1$ क्रमशः लो और हाई एक्सपर्ट्स को रिकवर करते हैं। स्टैटिक एवरेजिंग $\alpha=0$ के अनुरूप है।

2. CCM एल्गोरिदम

CCM उपलब्ध टेस्ट-टाइम जानकारी के आधार पर एक लक्षित कंपोजिशन कोऑर्डिनेट $\hat{\alpha}$ का चयन करता है, जो बिना किसी और फाइन-ट्यूनिंग, रूटिंग, या एनसेम्बलिंग के एक एकल मर्ज किया गया चेकपॉइंट $\hat{\theta}_\lambda = \theta(\hat{\alpha})$ तैनात करता है। तीन चयन रणनीतियाँ प्रस्तावित की गई हैं:

CCM-Coord: ज्ञात भौतिक मेटाडेटा (जैसे नॉर्मलाइज्ड डिफ्यूज़िविटी) का उपयोग करके भौतिक कोऑर्डिनेट $s(\lambda)$ को सीधे $\hat{\alpha}$ में मैप करता है।
CCM-Scale: भौतिक कोऑर्डिनेट स्केल और वेट-स्पेस स्केल के बीच संभावित बेमेल को संभालने के लिए वैलिडेशन डेटा पर एक ग्लोबल स्केलिंग फैक्टर $\gamma$ सीखता है ( $\hat{\alpha} = \gamma s(\lambda)$ )।
CCM-Prefix: जब मेटाडेटा अविश्वसनीय या अनुपलब्ध हो, तो यह विधि उम्मीदवार कोऑर्डिनेट्स के एक सीमित बैंक के विरुद्ध एक संक्षिप्त देखे गए रोलआउट प्रिफिक्स (जैसे, पहले $K$ टाइम स्टेप्स) पर लॉस को मिनिमाइज करके $\hat{\alpha}$ का अनुमान लगाती है।

मुख्य योगदान (Key Contributions)

फाइन-ट्यूनिंग का भौतिक-कोऑर्डिनेट दृष्टिकोण: यह शोध पत्र एंडपॉइंट एक्सपर्ट्स को एक स्थानीय सॉल्वर ट्राजेक्टरी के फाइनाइट-डिफरेंस प्रोब्स के रूप में प्रस्तुत करता है। यह प्रदर्शित करता है कि एंडपॉइंट-एंकर रेसिडुअल्स पुन: प्रयोज्य भौतिक संरचना (एक साइन्ड दिशा) को एनकोड करते हैं, न कि मनमाने चेकपॉइंट ड्रिफ्ट को।
कैलिब्रेशन-कंडीशन्ड मर्ज (CCM): ट्रेनिंग-फ्री ट्रांसफर के लिए एक नवीन विधि। यह भौतिक मेटाडेटा, कैलिब्रेटेड स्केल्स, या शॉर्ट रोलआउट प्रिफिक्स का उपयोग करके एक सिंगल चेकपॉइंट को कंपोज़ करती है, जिससे टारगेट-रेजीम ट्रेनिंग या डायनेमिक रूटिंग की आवश्यकता नहीं होती।
कैलिब्रेटेबल दिशाओं का अनुभवजन्य प्रमाण: तीन अलग-अलग PDE परिवारों पर व्यापक प्रयोगों के माध्यम से, लेखक सिद्ध करते हैं कि एंडपॉइंट फाइन-ट्यूनिंग एक साइन्ड फिजिकल डायरेक्शन को प्रकट करती है जो इंटरपोलेशन और एक्सट्रपलेशन दोनों के लिए उपयोगी है। यह स्वतंत्र भौतिक मापदंडों के साथ इष्टतम मर्ज कोऑर्डिनेट के बीच मजबूत सहसंबंध और स्टैटिक एवरेजिंग की तुलना में CCM के बेहतर प्रदर्शन से प्रमाणित होता है।

प्रयोगात्मक परिणाम (Experimental Results)

इस विधि का मूल्यांकन तीन अलग-अलग PDE परिवारों पर किया गया: रिएक्शन-डिफ्यूजन डायनेमिक्स, विस्कॉसिटी-पैरामीटराइज्ड 2D नेवियर-स्टोक्स समीकरण, और रेडियल डैम-ब्रेक डायनेमिक्स।

डिकम्पोज़िशन वैधता: नियंत्रित अक्षों पर प्रयोगों ने दिखाया कि जबकि स्टैटिक एवरेजिंग ( $\alpha=0$ ) तब प्रभावी होती है जब साझा अनुकूलन हावी होता है, यह तब विफल हो जाती है जब लक्षित व्यवस्थाओं को एक निर्देशित शिफ्ट की आवश्यकता होती है। $\alpha$ का गैर-शून्य मान पेश करने से एंडपॉइंट-विशिष्ट भौतिकी पुनः प्राप्त हो जाती है।
कोऑर्डिनेट अलाइनमेंट: रिएक्शन-डिफ्यूजन और नेवियर-स्टोक्स कार्यों में, डायग्नोस्टिक ओरैकल कोऑर्डिनेट (रोलआउट लॉस के माध्यम से चयनित) नॉर्मलाइज्ड फिजिकल कोऑर्डिनेट के साथ लगभग पूरी तरह से संरेखित था ( $r=1.00$ और $r=0.99$ क्रमशः), जो वेट-स्पेस दिशा की भौतिक व्याख्यात्मकता की पुष्टि करता है।
एक्सट्रपलेशन प्रदर्शन: CCM ने उन एक्सट्रैपलेटिव (OOD) व्यवस्थाओं में सबसे महत्वपूर्ण लाभ प्राप्त किए जहाँ स्टैटिक एवरेजिंग एंडपॉइंट-विशिष्ट भौतिकी को कम कर देती है:
- रिएक्शन-डिफ्यूजन: फैमिली एंकर के सापेक्ष OOD रोलआउट एरर में 54.2% की कमी।
- नेवियर-स्टोक्स: OOD रोलआउट एरर में 42.8% की कमी।
- रेडियल डैम-ब्रेक: प्रिफिक्स-आधारित चयन का उपयोग करके OOD रोलआउट एरर में 13.8% की कमी।
मजबूती (Robustness): लाभ विभिन्न मॉडल स्केल्स (FNO small/base/large), बैकबोन आर्किटेक्चर (DPOT-स्टाइल सहित), और रैंडम सीड्स में बने रहे। "गलत-साइन" (wrong-sign) नियंत्रण (दिशा को उलटना) ने एरर को काफी बढ़ा दिया, जिससे पुष्टि हुई कि सुधार मनमाने इंटरपोलेशन पर नहीं, बल्कि सही भौतिक ओरिएंटेशन पर निर्भर करता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि सेम-एंकर न्यूरल PDE एक्सपर्ट्स अलग-थलग चेकपॉइंट्स के बजाय एक निरंतर परिवार बनाते हैं। एंडपॉइंट रेसिडुअल्स को डीकंपोज़ करके, लेखक दिखाते हैं कि न्यूरल सॉल्वर निरंतर भौतिक भिन्नता को व्याख्यात्मक वेट-स्पेस दिशाओं के रूप में एनकोड करते हैं।

इस कार्य का महत्व इस परिकल्पना को संचालित करने में निहित है कि एंडपॉइंट फाइन-ट्यूनिंग एक कैलिब्रेटेबल भौतिक दिशा को उजागर करती है। यह निम्नलिखित की अनुमति देता है:

ट्रेनिंग-फ्री रेजीम ट्रांसफर: जटिल रूटिंग तंत्र या रिट्रेनिंग के बिना नए भौतिक मापदंडों के अनुकूल होना।
डायग्नोस्टिक क्षमता: यह समझने के लिए एक उपकरण के रूप में कार्य करना कि न्यूरल सॉल्वर भौतिक मापदंडों का प्रतिनिधित्व कैसे करते हैं, जो साझा सॉल्वर सुधारों और रेजीम-विशिष्ट भौतिक विविधताओं के बीच अंतर करता है।
एक्सट्रपलेशन: साइन्ड फिजिकल दिशा के माध्यम से यात्रा करके प्रशिक्षण वितरण से परे एक्सट्रपलेट करने के लिए एक सिद्धांत आधारित विधि प्रदान करना, एक ऐसा कार्य जहाँ साधारण औसत विफल हो जाता है।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि CCM एक सामान्य स्थानीय ज्यामिति और संगत आर्किटेक्चर को पूर्वधारणा के रूप में लेता है। यह विधि सार्वभौमिक OOD गारंटी प्रदान नहीं करती है, और कोऑर्डिनेट धारणा टूट सकती है यदि एंडपॉइंट अंतराल बहुत बड़े हों या यदि चेकपॉइंट मैनिफोल्ड में उच्च वक्रता (high curvature) हो। इसके अतिरिक्त, प्रिफिक्स-आधारित दृष्टिकोण के लिए एक संक्षिप्त अवलोकन क्षितिज (observation horizon) की आवश्यकता होती है, जो सभी परिदृश्यों में वास्तविक ज़ीरो-शॉट परिनियोजन को रोकता है।