🤖 machine learning

Phys-JEPA: Physics-Informed Latent World Models for Multivariate Time-Series Forecasting

Phys-JEPA एक भौतिकी-सूचित जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर पेश करता है जो केवल आउटपुट स्तर पर ही नहीं, बल्कि लेटेंट स्टेट ट्रांज़िशन के भीतर सीधे भौतिक निरंतरता (physical consistency) को लागू करता है, जिससे जेना क्लाइमेट, ट्रैफिक और इलेक्ट्रिसिटी जैसे वास्तविक दुनिया के डेटासेट पर मल्टीवेरिएट टाइम-सीरीज़ पूर्वानुमान की सटीकता और व्याख्यात्मकता में सुधार होता है।

मूल लेखक: Weizhi Nie, Weichao Liu, Honglin Guo, Yuting Su

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Weizhi Nie, Weichao Liu, Honglin Guo, Yuting Su

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भविष्य के मौसम या ट्रैफिक पैटर्न की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं।

पुराना तरीका: "अनुमान लगाओ और सुधारो" वाला छात्र
वर्तमान के अधिकांश AI मॉडल उन छात्रों की तरह हैं जिन्हें केवल उनके अंतिम उत्तरों पर ग्रेड दिया जाता है। वे अतीत को देखते हैं (कल का मौसम), भविष्य का अनुमान लगाते हैं (कल का मौसम), और यदि अनुमान गलत होता है, तो वे बस अपने उत्तर को तब तक बदलते रहते हैं जब तक कि वह सही न दिखने लगे।

समस्या: रोबोट अंतिम संख्या को सही तो प्राप्त कर सकता है, लेकिन वह वास्तव में भौतिकी (physics) को नहीं समझता है। वह केवल पैटर्न को याद कर रहा है। यदि आप उससे एक सप्ताह बाद के लिए भविष्यवाणी करने को कहते हैं, तो वह बेतुके अनुमान लगाने लग सकता है क्योंकि उसका आंतरिक "मस्तिष्क" (hidden state) तापमान या दबाव जैसे वास्तविक दुनिया के नियमों द्वारा व्यवस्थित नहीं है। यह उस छात्र की तरह है जिसने उत्तर कुंजी (answer key) रट ली है लेकिन उसे गणित नहीं आता।

नया तरीका: Phys-JEPA (भौतिकी-जानकार छात्र)
इस शोध पत्र के लेखकों ने, जो टियांजिन यूनिवर्सिटी (Tianjin University) से हैं, Phys-JEPA नामक एक नया मॉडल बनाया है। केवल अंतिम उत्तर की जाँच करने के बजाय, वे रोबोट को भविष्यवाणी करने से पहले ही अपने आंतरिक मस्तिष्क को वास्तविक भौतिकी के नियमों का उपयोग करके व्यवस्थित करने के लिए मजबूर करते हैं।

यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

1. दो-भागों वाला मस्तिष्क

कल्पना कीजिए कि रोबोट का मस्तिष्क दो दराजों में विभाजित है:

दराज A (भौतिकी दराज): इसमें वह "वास्तविक" चीज़ें होती हैं जिन्हें हम समझते हैं, जैसे तापमान, दबाव और हवा की गति। रोबotong को इन विशिष्ट, ज्ञात तथ्यों को यहाँ रखने के लिए मजबूर किया जाता है।
दराज B (रहस्यमय दराज): इसमें "अवशिष्ट" (residual) चीज़ें होती हैं—वे उलझी हुई, जटिल हिस्से जिन्हें सरल भौतिकी के साथ समझाना कठिन है (जैसे अचानक लगने वाला ट्रैफिक जाम या नमी में अजीब उछाल)।

2. "आंतरिक जाँच" (जादुई ट्रिक)

पुराने मॉडलों में, रोबोट केवल यह जाँचता था कि क्या उसकी अंतिम भविष्यवाणी वास्तविकता से मेल खाती है।
Phys-JEPA में, रोबोट को भविष्यवाणी लिखने से पहले अपने मस्तिष्क के अंदर दो परीक्षण पास करने होते हैं:

स्नैपशॉट टेस्ट (Snapshot Test): क्या "भौतिकी दराज" अभी के वास्तविक मौसम की तरह दिखती है? (उदाहरण के लिए, यदि वास्तविक तापमान 20°C है, तो रोबोट का आंतरिक भौतिकी नंबर भी 20°C का प्रतिनिधित्व करना चाहिए)।
मूवमेंट टेस्ट (Movement Test): यदि रोबोट भविष्यवाणी करता है कि मौसम बदलेगा, तो क्या उसके भौतिकी दराज में होने वाला बदलाव वास्तविक बदलाव से मेल खाता है? (उदाहरण के लिए, यदि वास्तविक तापमान 5 डिग्री गिरता है, तो रोबोट का आंतरिक नंबर भी 5 डिग्री गिरना चाहिए, न कि केवल बेतरतीब ढंग से बदलना चाहिए)।

3. यह क्यों महत्वपूर्ण है

लेखकों ने तीन वास्तविक दुनिया के डेटासेट पर इसका परीक्षण किया:

जेना क्लाइमेट (मौसम): यह "शुद्धतम" परीक्षण है क्योंकि मौसम सख्त भौतिक नियमों का पालन करता है। यहाँ, Phys-JEPA ने बहुत अच्छा काम किया। इसने तापमान और दबाव की अधिक सटीक भविष्यवाणी की क्योंकि इसका आंतरिक मस्तिष्क वास्तव में भौतिकी को ट्रैक कर रहा था।
ट्रैफिक और बिजली: ये "अधिक उलझे हुए" सिस्टम हैं। ट्रैफिक गुरुत्वाकर्षण जैसे किसी एकल भौतिक समीकरण द्वारा संचालित नहीं होता है; यह मानवीय व्यवहार और सड़क के नियमों का मिश्रण है।
- ट्रैफिक पर, नया मॉडल स्पष्ट विजेता था। ट्रैफिक के प्रवाह के "भौतिकी" (भले ही वह भौतिकी थोड़ी अस्पष्ट हो) का सम्मान करने के लिए मस्तिष्क को मजबूर करने से, इसने भविष्य के जाम की बहुत बेहतर भविष्यवाणी की।
- बिजली पर, यह मिला-जुला परिणाम था। अल्पकालिक भविष्यवाणियों के लिए, केवल "स्नैपशॉट" (वर्तमान स्थिति) की जाँच करना सबसे अच्छा था। बहुत लंबी अवधि की भविष्यवाणियों (192 घंटे आगे) के लिए, पूर्ण "मूवमेंट" जाँच (समय के साथ चीजों के परिवर्तन को ट्रैक करना) सबसे सहायक साबित हुई।

मुख्य निष्कर्ष

शोध पत्र का दावा है कि आपको बेहतर भविष्यवाणियाँ तब मिलती हैं जब आप AI को अपनी सोच प्रक्रिया के अंदर दुनिया के नियमों को समझने के लिए मजबूर करते हैं, बजाय इसके कि आप केवल अंत में अपनी गलतियों को ठीक करें।

इसे घर बनाने के रूप में सोचें:

पुराना मॉडल: एक डगमगाता हुआ टॉवर बनाएं, फिर उस पर एक साइन चिपका दें कि "यह एक स्थिर घर है।"
Phys-JEPA: पहले भौतिकी के वास्तविक नियमों का उपयोग करके नींव और दीवारें बनाएं, ताकि घर डिज़ाइन के अनुसार ही स्थिर रहे।

लेखक स्वीकार करते हैं कि यह तो बस शुरुआत है। उन्होंने पाया कि यह तब सबसे अच्छा काम करता है जब "नियम" (भौतिकी) स्पष्ट हों, जैसे मौसम में। जब नियम अस्पष्ट होते हैं (जैसे ट्रैफिक), तो यह अभी भी मदद करता है, लेकिन आपको नियमों को बहुत अधिक सख्ती से लागू करने में सावधान रहना पड़ता है। वे सुझाव देते हैं कि अगला कदम और भी सख्त भौतिक प्रणालियों पर इसका परीक्षण करना है ताकि देखा जा सके कि यह "भौतिकी-प्रथम" सोच कितनी दूर तक जा सकती है।

तकनीकी सारांश: Phys-JEPA

समस्या विवरण (Problem Statement)

भौतिक प्रणालियों (जैसे ऊर्जा ग्रिड, परिवहन, मौसम विज्ञान) में बहुभिन्नचर समय-श्रृंखला पूर्वानुमान (multivariate time-series forecasting) के लिए ऐसे मॉडलों की आवश्यकता होती है जो भौतिक रूप से सार्थक अवस्था विकास को संरक्षित करते हुए युग्मित अस्थायी चरों (coupled temporal variables) की भविष्यवाणी कर सकें। जबकि गहरे पूर्वानुमान मॉडल जटिल सांख्यिकीय सहसंबंधों को पकड़ने में उत्कृष्ट होते हैं, उनके छिपे हुए भविष्य कहने वाले राज्य (hidden predictive states) अक्सर केवल सटीकता के लिए अनुकूलित होते हैं, जिसके परिणामस्वरूप ऐसी लेटेंट डायनेमिक्स (latent dynamics) प्राप्त होती है जो व्याख्या करने में कठिन और भौतिक नियमों द्वारा कमजोर रूप से बाधित होती है।

मौजूदा भौतिकी-सूचित दृष्टिकोण आमतौर पर केवल डिकोडेड-आउटपुट स्तर पर बाधाएं लगाते हैं (जैसे कि उन भविष्यवाणियों को दंडित करना जो संरक्षण नियमों का उल्लंघन करती हैं)। लेखक तर्क देते हैं कि दीर्घ-क्षितिज पूर्वानुमान (long-horizon forecasting) के लिए यह अपर्याप्त है क्योंकि यह आंतरिक लेटेंट प्रेडिक्टिव स्टेट—वह स्रोत जिससे भविष्य के प्रक्षेपवक्र उत्पन्न होते हैं—को भौतिक रूप से असंरचित छोड़ देता है। फलस्वरूप, एक मॉडल अल्पकालिक पूर्वानुमान तो विश्वसनीय बना सकता है, लेकिन वह अस्थिर या गैर-भौतिक आंतरिक संक्रमण (internal transitions) सीख सकता है जो समय के साथ त्रुटि को संचित करते हैं।

कार्यप्रणाली: Phys-JEPA

यह शोध पत्र Phys-JEPA (फिजिक्स-इन्फॉर्म्ड जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो भौतिक नियमितीकरण (physical regularization) को आउटपुट स्पेस से हटाकर लेटेंट प्रेडिक्टिव स्टेट स्पेस में ले जाता है।

मुख्य आर्किटेक्चर (Core Architecture)

Phys-JEPA जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA) प्रतिमान का विस्तार करता है, जो कच्चे अवलोकनों के पुनर्निर्माण के बजाय भविष्य के निरूपणों (representations) की भविष्यवाणी करना सीखता है। मॉडल में निम्नलिखित शामिल हैं:

कॉन्टेक्स्ट एनकोडर ( $E_c$ ): एक ऐतिहासिक समय विंडो को वर्तमान लेटेंट अवस्था $z_t$ में मैप करता है।
लेटेंट प्रेडिक्टर ( $P$ ): सीधे रिप्रेजेंटेशन स्पेस में भविष्य की लेटेंट अवस्था $\hat{z}_{t+H}$ की भविष्यवाणी करता है।
डिकोडर ( $D$ ): भविष्य के प्रक्षेपवक्र $\hat{x}_{t+1:t+H}$ तक अनुमानित लेटेंट अवस्था को मैप करता है।
टारगेट एनकोडर ( $E_y$ ): वास्तविक भविष्य की विंडो को एक टारगेट रिप्रेजेंटेशन $z^*_{t+H}$ में मैप करता है (JEPA एलाइनमेंट के लिए स्टॉप-ग्रेडिएंट के साथ उपयोग किया जाता है)।

भौतिक-सूचित लेटेंट अपघटन (Physics-Informed Latent Decomposition)

मुख्य नवाचार लेटेंट अवस्था $z_t$ को दो अलग-अलग घटकों में विभाजित करना है:

भौतिक घटक ( $z^{phy}_t$ ): प्रत्यक्ष भौतिक अर्थ वाले चरों को एनकोड करता है।
अवशिष्ट घटक ( $z^{res}_t$ ): उन अनसुलझे कारकों और सांख्यिकीय विविधताओं को कैप्चर करता है जो स्पष्ट रूप से भौतिक प्रोजेक्शन द्वारा कवर नहीं किए गए हैं।

एक हल्का फिजिक्स प्रोजेक्टर ( $G$ ) भौतिक लेटेंट घटक को प्रेक्षित भौतिक चरों ( $q_t$ ) के स्थान पर मैप करता है।

लॉस फंक्शन्स (Loss Functions)

प्रशिक्षण उद्देश्य मानक पूर्वानुमान नुकसानों के साथ-साथ भौतिक शाखा पर विशिष्ट बाधाओं को जोड़ता है:

JEPA ऑब्जेक्टिव ( $L_{JEPA}$ ): पिक्सेल-स्तरीय पुनर्निर्माण के बिना भविष्य कहने वाले फीचर्स सीखने के लिए अनुमानित लेटेंट अवस्था को टारगेट लेटेंट रिप्रेजेंटेशन के साथ संरेखित करता है।
फोरकास्टिंग लॉस ( $L_{forecast}$ ): डिकोडेड भविष्यवाणियों और ग्राउंड ट्रुथ के बीच मानक MSE।
स्टैटिक लेटेंट फिजिकल स्टेट लॉस ( $L_{state}$ ): यह सुनिश्चित करता है कि भौतिक लेटेंट अवस्था वर्तमान और भविष्य दोनों समय चरणों में प्रेक्षित भौतिक चरों के अनुरूप हो:
$L_{state} = \|G(z^{phy}_t) - q_t\|^2_2 + \|G(\hat{z}^{phy}_{t+H}) - q_{t+H}\|^2_2$
डायनेमिक लेटेंट फिजिकल ट्रांजिशन लॉस ( $L_{dyn}$ ): यह सुनिश्चित करता है कि भौतिक लेटेंट अवस्था में परिवर्तन प्रेक्षित भौतिक परिवर्तन से मेल खाता है:
$L_{dyn} = \|[G(\hat{z}^{phy}_{t+H}) - G(z^{phy}_t)] - [q_{t+H} - q_t]\|^2_2$
रेसिड्यूअल रेगुलराइजेशन ( $L_{SIGReg}$ ): केवल अवशिष्ट घटक पर लागू किया जाता है ताकि रिप्रेजेंटेशन कोलैप्स (variance और covariance संरचना सुनिश्चित करना) को रोका जा सके, बिना संरचित भौतिक घटक पर आइसोट्रोपिक प्रायर्स (isotropic priors) थोपे।

कुल लॉस एक भारित योग है: $L = L_{forecast} + \alpha L_{JEPA} + \beta L_{SIGReg} + \lambda_s L_{state} + \lambda_d L_{dyn}$ ।

मुख्य योगदान (Key Contributions)

भौतिक पूर्वानुमान के लिए लेटेंट वर्ल्ड मॉडल: यह पेपर एक ऐसी विधि पेश करता है जहाँ भौतिक निरंतरता को केवल डिकोडेड आउटपुट पर नहीं, बल्कि लेटेंट प्रेडिक्टिव स्टेट और उसके संक्रमणों पर लागू किया जाता है। यह आंतरिक वर्ल्ड मॉडल को भौतिक रूप से व्याख्या योग्य बनाने के लिए व्यवस्थित करता है।
भौतिक-अवशिष्ट अपघटन (Physical–Residual Decomposition): एक अभिनव आर्किटेक्चर जो लेटेंट अवस्थाओं को भौतिक और अवशिष्ट घटकों में अलग करता है, जिससे स्पष्ट भौतिक पर्यवेक्षण (supervision) के साथ-साथ गैर-स्पष्ट डायनेमिक्स के लिए लचीलापन बना रहता है।
दोहरी निरंतरता बाधाएं (Dual Consistency Constraints): फॉर्मूलेशन स्टेट एलाइनमेंट (स्टेट्स को वेरिएबल्स से बांधना) और डायनेमिक ट्रांजिशन एलाइनमेंट (स्टेट बदलावों को भौतिक नियमों से बांधना) दोनों का उपयोग करता है, जो अकेले किसी भी बाधा के उपयोग की सीमाओं को संबोधित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क पर Phys-JEPA का मूल्यांकन किया: जेना क्लाइमेट (मौसम संबंधी), इलेक्ट्रिसिटी (ग्रिड लोड), और ट्रैफिक (रोड ऑक्यूपेंसी)।

जेना क्लाइमेट (मजबूत भौतिक डिस्क्रिप्टर):
- क्षितिज $H=24$ पर Phys-JEPA ने एग्रीगेट MSE को 0.12482 से घटाकर 0.12273 और तापमान MSE को 0.01892 से घटाकर 0.01831 कर दिया।
- अधिकांश थर्मोडायनामिक और वेपर-प्रेशर चरों में सुधार देखा गया, जो सीधे मौसम संबंधी अर्थ रखने वाले चरों के लिए इस दृष्टिकोण की पुष्टि करता है।
ट्रैफिक (कमजोर-डोमेन डिस्क्रिप्टर):
- फुल Phys-JEPA (Static + Dynamic) सभी क्षितिजों ( $H=24$ से $H=192$ ) में सुपरवाइज्ड बेसलाइन से लगातार बेहतर रहा।
- $H=192$ पर, एग्रीगेट MSE 0.800784 से सुधरकर 0.773873 हो गया।
इलेक्ट्रिसिटी (कमजोर-डोमेन डिस्क्रطर):
- परिणाम क्षितिज-निर्भर थे। शॉर्ट होराइजन ( $H=24, 48$ ) के लिए स्टैटिक-ओनली कंसिस्टेंसी सबसे अच्छा प्रदर्शन करती है, जबकि लॉन्ग होराइजन ( $H=192$ ) के लिए फुल Phys-JEPA सबसे अच्छा परिणाम देता है।
- यह सुझाव देता है कि डायनेमिक ट्रांजिशन कंसिस्टेंसी दीर्घकालिक विकास के लिए फायदेमंद है लेकिन यदि भौतिक डिस्क्रिप्टर अल्पकालिक डायनेमिक्स के लिए बहुत मोटा (coarse) है, तो यह प्रतिबंधात्मक हो सकता है।
एब्लेशन इनसाइट्स (Ablation Insights):
- पाया गया कि आउटपुट-लेवल फिजिक्स (डिकोडेड भविष्यवाणियों को दंडित करना) इन सेटिंग्स में लेटेंट रेगुलराइजेशन की तुलना में कमजोर था।
- लेटेंट डायग्नोस्टिक्स (इफेक्टिव रैंक और कोवेरिएंस रैंक) ने पुष्टि की कि भौतिक नुकसान केवल आउटपुट पेनल्टी के रूप में कार्य करने के बजाय लेटेंट रिप्रेजेंटेशन की ज्यामिति को नया आकार देते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि भौतिकी-सूचित लर्निंग को आउटपुट स्पेस से हटाकर लेटेंट प्रेडिक्टिव स्टेट स्पेस में ले जाना व्याख्या योग्य और भौतिक रूप से सुसंगत टेम्पोरल वर्ल्ड मॉडल्स की ओर एक आशाजनक मार्ग है।

व्याख्यात्मकता (Interpretability): लेटेंट अवस्थाओं को विभाजित करके, मॉडल एक ऐसा रिप्रेजेंटेशन सीखता है जहाँ भौतिक चर और उनके संक्रमण स्पष्ट रूप से संरचित होते हैं।
स्थिरता (Stability): लेटेंट ट्रांजिशन को नियंत्रित करने से दीर्घ-क्षितिज पूर्वानुमान में त्रुटि संचय को रोकने में मदद मिलती है, जो शुद्ध सांख्यिकीय डीप फोरकास्टर की एक प्रमुख कमजोरी है।
सीमाएं और भविष्य का कार्य: लेखक विनम्रतापूर्वक नोट करते हैं कि वर्तमान परिणाम सिंगल-सीड प्रयोगों और इलेक्ट्रिसिटी एवं ट्रैफिक के लिए "कमजोर-डोमेन" डिस्क्रिप्टर्स पर निर्भर हैं (जो सटीक गवर्निंग इक्वेशन्स नहीं हैं)। वे इस बात पर जोर देते हैं कि इस पद्धति की पूर्ण क्षमता का मूल्यांकन उन प्रणालियों पर किया जाना चाहिए जहाँ मजबूत, स्पष्ट भौतिक बाधाएं मौजूद हों जहाँ ट्रांजिशन कानूनों को सीधे सत्यापित किया जा सके। यह कार्य इस पद्धति को सभी आधुनिक फोरकास्टिंग आर्किटेक्चर के विरुद्ध एक अंतिम बेंचमार्क के बजाय लेटेंट-फिजिक्स फॉर्मूलेशन के प्रारंभिक सत्यापन के रूप में प्रस्तुत करता है।