🤖 machine learning

Embedding Linear Equality Constraints in Probabilistic Neural Networks for Dynamic Modelling

यह शोध पत्र एक संभाव्य न्यूरल नेटवर्क ढांचे का प्रस्ताव करता है जो रासायनिक प्रक्रियाओं में द्रव्यमान संतुलन (mass balances) जैसे रैखिक समानता बाधाओं के पालन की गारंटी देता है, जबकि प्रभावी रूप से एलियटोरिक अनिश्चितता (aleatoric uncertainty) को कैप्चर करता है और अत्याधुनिक तरीकों की तुलना में बेहतर सटीकता, अंशांकन (calibration) और प्रशिक्षण दक्षता प्रदर्शित करता है।

मूल लेखक: Matthew Marsh, Benoit Chachuat, Antonio del Rio Chanona

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matthew Marsh, Benoit Chachuat, Antonio del Rio Chanona

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक बेहतरीन केक बनाना सिखाने की कोशिश कर रहे हैं। आपके पास केक्स की बहुत सारी तस्वीरें (डेटा) हैं, लेकिन आपके पास रेसिपी (रसायन विज्ञान के भौतिक नियम) नहीं है। यदि आप केवल रोबोट को तस्वीरें दिखाते हैं, तो वह ऐसा केक बनाना सीख सकता है जो दिखने में तो अच्छा है लेकिन ढह जाता है क्योंकि वह भूल गया कि आटे को तरल के साथ मिलाना आवश्यक है। यह कई वर्तमान AI मॉडलों के साथ होने वाली समस्या है: वे पैटर्न पहचानने में बहुत अच्छे हैं लेकिन "ब्रह्मांड के नियमों" (जैसे द्रव्यमान संरक्षण का नियम) का सम्मान करने में बहुत खराब हैं।

यह शोध पत्र रासायनिक प्रक्रियाओं (जैसे रिएक्टरों) के लिए AI मॉडल को प्रशिक्षित करने का एक नया तरीका पेश करता है जो उसे इन नियमों का पालन करने के लिए मजबूर करता है, भले ही उसके पास सीखने के लिए बहुत कम तस्वीरें हों।

यहाँ उनके समाधान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "अनुमान लगाने वाला" रोबोट बनाम "नियमों का पालन करने वाला" रोबोट

मानक AI मॉडल उन छात्रों की तरह हैं जो परीक्षा के लिए उत्तर रट लेते हैं। यदि परीक्षा के प्रश्न उनके द्वारा पढ़े गए विषयों से थोड़े भी अलग होते हैं, तो वे अक्सर विफल हो जाते हैं या ऐसे उत्तर देते हैं जिनका भौतिक रूप से कोई अर्थ नहीं होता (उदाहरण के लिए, यह भविष्यवाणी करना कि एक रासायनिक प्रतिक्रिया शून्य से पदार्थ बना रही है)।

अन्य विधियाँ, जिन्हें "फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स" (PINNs) कहा जाता है, इस समस्या को छात्र के होमवर्क में एक "डांटने वाले" नोट जोड़कर ठीक करने की कोशिश करती हैं। यदि छात्र नियम तोड़ता है, तो उसे दंड मिलता है। लेकिन यह एक सॉफ्ट कंस्ट्रेंट (कोमल प्रतिबंध) है: छात्र अभी भी नियम तोड़ सकता है यदि दंड पर्याप्त डरावना नहीं है, या वह डांट से भ्रमित होकर धीरे सीख सकता है।

2. समाधान: "जादुई फिल्टर" (CPNN)

लेखक एक कन्स्ट्रेंड प्रोबेबिलिस्टिक न्यूरल नेटवर्क (CPNN) का प्रस्ताव करते हैं। इसे एक ऐसे छात्र के रूप में न सोचें जिसे डांटा जा रहा है, बल्कि एक ऐसे छात्र के रूप में सोचें जिसके आउटपुट पर एक जादुई फिल्टर लगा है।

भविकीवाणी (The Prediction): AI पहले एक "अंदाजा" लगाता है कि आगे क्या होगा (जैसे एक छात्र उत्तर का अनुमान लगाता है)।
फिल्टर (The Filter): उत्तर दिखाए जाने से पहले, यह एक गणितीय फिल्टर (कंडीशनिंग लेयर) से गुजरता है। यह फिल्टर तुरंत जांच करता है: "क्या यह उत्तर भौतिकी के नियमों को तोड़ता है?"
सुधार (The Correction): यदि उत्तर एक नियम तोड़ता है (जैसे मास बैलेंस/द्रव्यमान संतुलन), तो फिल्टर गणितीय रूप से उत्तर को निकटतम वैध समाधान की ओर "स्नैप" (खींच) देता है। यह एक GPS की तरह है जो आपको तुरंत रास्ता बदल देता है जैसे ही आप सड़क से उतरने की कोशिश करते हैं, जिससे यह सुनिश्चित होता है कि आप सड़क पर ही रहें।

3. अनिश्चितता को संभालना: "धुंधला गोला" (The Fuzzy Ball)

वास्तविक दुनिया में, माप अक्सर शोर वाले (धुंधली तस्वीरों जैसे) होते हैं। लेखक केवल एक संख्या नहीं चाहते; वे यह भी जानना चाहते हैं कि AI कितना आश्वस्त है।

एक एकल बिंदु (जैसे, "तापमान 100°C होगा") की भविष्यवाणी करने के बजाय, AI संभावनाओं का एक बादल (एक "धुंधला गोला") भविष्यवाणी करता है।
जादुई फिल्टर केवल गोले के केंद्र को सही स्थान पर नहीं खींचता; यह गोले को सिकोड़ता (squish) भी है। यह कहता है, "हम उस दिशा के बारे में बहुत आश्वस्त हैं जहाँ नियम लागू होता है, लेकिन हम अन्य दिशाओं में अभी भी अनिश्चित हैं।" यह उस चीज़ का अधिक ईमानदार चित्र देता है जिसे AI जानता है और जिसे वह नहीं जानता।

4. प्रयोग: अंधेरे में बेकिंग बनाम रेसिपी के साथ बेकिंग

उन्होंने दो प्रकार के रासायनिक रिएक्टरों (एक जिसमें अपरिवर्तनीय अभिक्रियाएं हैं, और एक जिसमें प्रतिवर्ती अभिक्रियाएं हैं) पर इसका परीक्षण किया। उन्होंने अपने "जादुई फिल्टर" AI की तुलना मानक AI और "डांटने वाले" AI से की।

परिदृश्य A: बहुत कम डेटा (द "मिनिमल" रिजीम)
कल्पना कीजिए कि आप केवल केक की एक फोटो के साथ बेकिंग सीखना सीख रहे हैं।
- मानक AI: पूरी तरह विफल हो जाता है। यह अजीबोगरीब परिणाम दिखाता है।
- डांटने वाला AI: ठीक-ठाक प्रदर्शन करता है, लेकिन फिर भी गलतियाँ करता है।
- जादुगर फिल्टर AI: जीत जाता है। क्योंकि इसे नियमों (मास बैलेंस) का पालन करने के लिए मजबूर किया जाता है, यह लगभग बिना किसी डेटा के भी बाकी रेसिपी का सही अनुमान लगा सकता है। यह बहुत बेहतर तरीके से सामान्यीकरण (generalize) करता है।
परिदृश्य B: बहुत अधिक डेटा (द "लार्ज" रिजीम)
कल्पना कीजिए कि आपके पास केक्स की 100 तस्वीरें हैं।
- मानक AI: अंततः पर्याप्त उदाहरण देखकर नियमों को सीख जाता है। यह जादुई फिल्टर AI के लगभग समान प्रदर्शन करता है।
- जादुगर फिल्टर AI: अभी भी अच्छा प्रदर्शन करता है, लेकिन इसका लाभ कम हो जाता है क्योंकि डेटा नियमों को स्वाभाविक रूप से सिखाने के लिए पर्याप्त था।
- स्पीड बोनस: प्रचुर मात्रा में डेटा होने पर भी, जादुगर फिल्टर AI दोगुनी तेजी से प्रशिक्षित होता है। यह एक ऐसे GPS की तरह है जो न केवल आपको सड़क पर रखता है बल्कि आपको मंजिल तक तेजी से पहुँचने में भी मदद करता है क्योंकि यह गलत रास्तों पर समय बर्बाद नहीं करता।

5. कमी (The Catch)

लेखक स्वीकार करते हैं कि उनका "जादुई फिल्टर" लीनियर नियमों (सरल, सीधी रेखा वाले संबंध, जैसे "जो अंदर जाता है वह बाहर आना चाहिए") के लिए सबसे अच्छा काम करता है। वास्तविक जीवन में अक्सर घुमावदार, जटिल नियम (नॉन-लीनियर) होते हैं। उनकी वर्तमान विधि एक रूलर (पैमाने) की तरह है; यह सीधी रेखाओं के लिए एकदम सही है लेकिन वृत्तों (circles) के लिए इसका उपयोग करना कठिन है। वे सुझाव देते हैं कि भविष्य के कार्य में फिल्टर को वक्रों (curves) के लिए काम करने के योग्य बनाने का प्रयास किया जाएगा।

सारांश

यह शोध पत्र एक ऐसा उपकरण प्रस्तुत करता है जो एक शक्तिशाली लेकिन "लापरवाह" AI को सीटबेल्ट और GPS देता है।

जब डेटा कम हो: GPS आवश्यक है; इसके बिना, AI दुर्घटनाग्रस्त हो जाता है।
जब डेटा प्रचुर हो: GPS सटीकता के लिए अनिवार्य नहीं है, लेकिन यह AI को तेजी से सीखने और सही रास्ते पर रहने में मदद करता है।
परिणाम: एक ऐसा मॉडल जो अधिक सटीक है, तेजी से प्रशिक्षित होता है, और यह गारंटी देता है कि यह भौतिकी के मौलिक नियमों को नहीं तोड़ेगा।

समस्या विवरण
केमिकल प्रोसेस सिस्टम में सरोगेट मॉडलिंग के लिए मशीन लर्निंग मॉडल तेजी से तैनात किए जा रहे हैं, जो व्यापक विशेषज्ञ ज्ञान की आवश्यकता के बिना सीधे डेटा से मॉडल बनाने का लाभ प्रदान करते हैं। हालांकि, इन डेटा-संचालित दृष्टिकोणों में अक्सर एकीकृत भौतिक ज्ञान की कमी होती है, जिससे ऐसी भविष्यवाणियां हो सकती हैं जो ज्ञात भौतिक नियमों का उल्लंघन करती हैं, विशेष रूप से तब जब प्रशिक्षण डेटा सीमित या शोर (noisy) वाला हो। इसके अतिरिक्त, मानक नियतात्मक (deterministic) मॉडल एक सिद्धांत-आधारित अनिश्चितता मात्रा निर्धारण (uncertainty quantification) प्रदान करने में विफल रहते हैं, जो अनुकूलन और नियंत्रण के अनुप्रयोगों के लिए महत्वपूर्ण है जहाँ डेटा अक्सर आंशिक रूप से दृश्यमान या स्टोकेस्टिक होता है। जबकि फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs) लॉस फंक्शन में सॉफ्ट कंस्ट्रेंट्स के माध्यम से भौतिक निरंतरता को लागू करने का प्रयास करते हैं, वे बाधा संतुप्ति (constraint satisfaction) की गारंटी नहीं देते हैं और उनमें हाइपरपैरामीटर संवेदनशीलता और अभिसरण (convergence) संबंधी समस्याएं उत्पन्न हो सकती हैं। इसके विपरीत, हार्ड-कंस्ट्रेंड विधियां अक्सर आउटपुट प्रोजेक्शन या रिड्यूस्ड सबस्पेस पर निर्भर करती हैं जो मॉडल की अभिव्यक्ति (expressivity) से समझौता कर सकती हैं या कम्प्यूटेशनल बोझ बढ़ा सकती हैं, विशेष रूप से गैर-रेखीय बाधाओं के लिए। इसके अलावा, मौजूदा कंस्ट्रेंड लर्निंग विधियां मुख्य रूप से नियतात्मक हैं, जिनमें एलीओटोरिक (aleatoric/inherent) अनिश्चितता को मॉडल करने की क्षमता का अभाव है।

कार्यप्रणाली
लेखक एक संभाव्य न्यूरल नेटवर्क (PNN) फ्रेमवर्क प्रस्तावित करते हैं जो एक निर्दिष्ट सहनशीलता (tolerance) के भीतर रैखिक समानता बाधाओं (linear equality constraints) को लागू करता है और स्पष्ट रूप से आउटपुट एलीओटोरिक अनिश्चितता को मॉडल करता है। इस कार्यप्रणाली के मुख्य भाग में शामिल हैं:

संभाव्य सूत्रीकरण (Probabilistic Formulation): पॉइंट एस्टीमेट्स के बजाय, न्यूरल नेटवर्क $f_\theta$ आउटपुट के लिए मल्टीवेरिएट गाऊसी वितरण (multivariate Gaussian distribution) के मापदंडों की भविष्यवाणी करता है। विशेष रूप से, यह एक माध्य वेक्टर $\mu_P$ और कोवेरिएंस मैट्रिक्स $\Sigma_P = L_P L_P^\top$ के चोलेस्की फैक्टर (Cholesky factor) $L_P$ को आउटपुट करता है। मॉडल इस वितरण के नेगेटिव लॉग-लाइक्लीहुड (NLL) को कम करने के लिए प्रशिक्षित किया जाता है।
बाधा परिभाषा (Constraint Definition): रैखिक समानता बाधाओं को $Ax + By = b$ के रूप में परिभाषित किया गया है। गणनात्मक सुगमता (tractable conditioning) के लिए, लेखक एक छोटा संख्यात्मक डिफ्यूजन टर्म $\epsilon \sim \mathcal{N}(0, \epsilon I)$ पेश करते हैं, जिसमें बाधा अवशेष (constraint residual) $z = Ax + By - b$ को एक गाऊसी वेरिएबल के रूप में माना जाता है, न कि एक हार्ड डेल्टा फंक्शन के रूप में।
क्लोज्ड-फॉर्म कंडीशनिंग (Closed-Form Conditioning): लीनियर गाऊसी सिस्टम की कंजुगेसी (conjugacy) का लाभ उठाते हुए, फ्रेमवर्क अनकन्स्ट्रेंड आउटपुट डिस्ट्रीब्यूशन $p(y|x)$ को बाधा $z=0$ पर कंडीशन करने के लिए एक क्लोज्ड-फॉर्म अपडेट व्युत्पन्न करता है। इसके परिणामस्वरूप एक नया कंडीशनल डिस्ट्रीब्यूशन $p(y|z=0, x) = \mathcal{N}(\mu_Q, \Sigma_Q)$ प्राप्त होता है, जहाँ माध्य और कोवेरिएंस को विश्लेषणात्मक रूप से अपडेट किया जाता है। यह प्रोजेक्शन सुनिश्चित करता है कि आउटपुट $\epsilon$ की सहनशीलता के भीतर बाधाओं को पूरा करता है और बाधा की दिशा में अनिश्चितता को कम करता है।
कार्यान्वयन (Implementation): कंडीशनिंग को कम्प्यूटेशनल ग्राफ के भीतर एम्बेडेड नॉन-ट्रेनेबल, डिफरेंशिएबल लेयर्स के माध्यम से लागू किया जाता है। मॉडल को कंडीशन्ड डिस्ट्रीब्यूशन के NLL को कम करके प्रशिक्षित किया जाता है। यह दृष्टिकोण इन्फरेंस के दौरान पुनरावृत्ति (iterative) अनुकूलन से बचता है और बैकप्रोपैगेशन के लिए डिफरेंशिएबिलिटी बनाए रखता है।

प्रमुख योगदान

गारंटीकृत बाधा संतुप्ति: सॉफ्ट-कंस्ट्रेंड PINNs के विपरीत, यह फ्रेमवर्क गारंटी देता है कि रैखिक समानता बाधाएं प्रशिक्षण और इन्फरेंस दोनों बिंदुओं पर उपयोगकर्ता द्वारा परिभाषित सहनशीलता के भीतर संतुष्ट होती हैं।
अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification): यह विधि एलीओटोरिक अनिश्चितता को कैप्चर करती है, जो एक नियतात्मक पॉइंट एस्टीमेट के बजाय एक प्रेडिक्टिव डिस्ट्रीब्यूशन प्रदान करती है, जो जोखिम-जागरूक निर्णय लेने के लिए आवश्यक है।
कम्प्यूटेशनल दक्षता: क्लोज्ड-फॉर्म कंडीशनिंग का उपयोग करके, यह विधि कंस्ट्रेंड लर्निंग में उपयोग किए जाने वाले पुनरावृत्ति प्रोजेक्शन विधियों या कॉनवेक्स ऑप्टिमाइज़ेशन लेयर्स के कम्प्यूटेशनल ओवरहेड से बचती है।
सीमित डेटा पर बेहतर प्रदर्शन: फ्रेमवर्क यह प्रदर्शित करता है कि भौतिक बाधाओं को संभाव्य आउटपुट में सीधे एम्बेड करने से कम डेटा होने पर प्रेडिक्टिव सटीकता और अनिश्चितता अंशांकन (uncertainty calibration) में महत्वपूर्ण सुधार होता है।

परिणाम
फ्रेमवर्क का मूल्यांकन दो बैच रिएक्टर केस स्टडीज (एक अपरिवर्तनीय प्रतिक्रियाओं के साथ और एक प्रतिवर्ती प्रतिक्रियाओं के साथ) पर चार डेटा रेजीम (न्यूनतम, छोटा, मध्यम और बड़ा) में किया गया। CPNN की तुलना एक मानक अनकन्स्ट्रेंड ANN और एक सॉफ्ट-कंस्ट्रेंड PINN से की गई।

डेटा रेजीम डिपेंडेंसी: न्यूनतम और छोटे डेटा रेजीम में, CPNN ने MSE, CRPS और बाधा अनुपालन के मामले में दोनों बेसलाइन की तुलना में काफी बेहतर प्रदर्शन किया। बाधाओं के एम्बेडिंग ने ओवरफिटिंग को कम किया और मॉडल को भौतिक रूप से व्यवहार्य समाधानों की ओर निर्देशित किया। जैसे-जैसे डेटा वॉल्यूम मध्यम और बड़े रेजीम तक बढ़ा, प्रदर्शन का अंतर कम हो गया, जहाँ अनकन्स्ट्रेंड मॉडल्स ने अंततः इनवेरियंट्स को डेटा से सीखने के बाद समान सटीकता प्राप्त कर ली।
प्रशिक्षण दक्षता: CPNN ने सभी डेटा रेजीम में ANN और PINN की तुलना में लगातार काफी तेज़ प्रशिक्षण समय दिखाया (अक्सर समय को आधा या उससे अधिक कम कर दिया)। लेखक इस प्रभाव को लॉस लैंडस्केप को बदलने, व्यवहार्य समाधानों पर ध्यान केंद्रित करने और तेज़ अभिसरण को सक्षम करने के रूप में देखते हैं।
अनिश्चितता अंशांकन (Uncertainty Calibration): जबकि 95% कवरेज रेशियो लगातार 0.95 से ऊपर थे, लेखकों ने नोट किया कि मॉडल वेरिएंस को ओवरएस्टिमेट करने की प्रवृत्ति रखते हैं, जिससे खराब कैलिब्रेटेड कॉन्फिडेंस इंटरवल बनते हैं। यह शोर (noise) के बजाय अंतर्निहित डायनेमिक्स के प्रति ओवरफिट होने की प्रवृत्ति का सुझाव देता है, जो संभाव्य डीप लर्निंग में एक ज्ञात चुनौती है।
ट्रैजेक्टरी प्रेडिक्शन: ट्रैजेक्टरी प्रेडिक्शन के विजुअल विश्लेषण ने दिखाया कि CPNN ने बेसलाइन की तुलना में (जो अक्सर शोर वाले डेटा पॉइंट्स के साथ संरेखित होते हैं) कम-डेटा रेजीम में टाइट कॉन्फिडेंस इंटरवल और वास्तविक सिस्टम वैल्यू के करीब भविष्यवाणियां प्रदान कीं।

महत्व और दावे
पेपर का दावा है कि प्रस्तावित फ्रेमवर्क कम्प्यूटेशनल सुगमता से समझौता किए बिना संभाव्य मशीन लर्निंग में भौतिक ज्ञान को एकीकृत करने के लिए एक सिद्धांत-आधारित दृष्टिकोण प्रदान करता है। प्राथमिक महत्व सीमित डेटा के मामले में—जो केमिकल प्रोसेस इंजीनियरिंग में एक सामान्य परिदृश्य है—बेहतर प्रेडिक्टिव सटीकता और अनिश्चितता मात्रा निर्धारण प्रदान करने की इसकी क्षमता में निहित है। लेखक उल्लेख करते हैं कि हालांकि प्रचुर डेटा के साथ प्रदर्शन लाभ कम हो जाता है, फिर भी कंडीशनिंग स्टेप प्रशिक्षण और इन्फरेंस की गति के संदर्भ में लाभ प्रदान करना जारी रखता है। वे सुझाव देते हैं कि यह दक्षता इस दृष्टिकोण को बड़े सिस्टम के लिए रियल-टाइम कंट्रोल और ऑप्टिमाइजेशन के लिए आशाजनक बनाती है। वे विनम्रतापूर्वक यह भी स्वीकार करते हैं कि वर्तमान कार्य विश्लेषणात्मक सुगमता के कारण रैखिक समानता बाधाओं तक सीमित है और भविष्य के कार्य गैर-रेखीय या असमानता बाधाओं के विस्तार, साथ ही RNN या ट्रांसफॉर्मर जैसे अनुक्रमिक मॉडलों के एकीकरण की खोज कर सकते हैं।