📊 statistics

Federated Learning of Nonlinear Temporal Dynamics with Graph Attention-based Cross-Client Interpretability

यह शोध पत्र एक ऐसा फेडरेटेड लर्निंग फ्रेमवर्क प्रस्तावित करता है जो गैररेखीय स्टेट स्पेस मॉडल्स से प्राप्त लेटेंट स्टेट्स पर ग्राफ अटेंशन नेटवर्क्स का उपयोग करता है ताकि विकेंद्रीकृत औद्योगिक प्रणालियों में क्रॉस-क्लाइंट टेम्पोरल इंटरडिपेंडेंसीज़ को सीखा और समझा जा सके, भले ही क्लाइंट्स फिक्स्ड, अपरिवर्तनीय प्रोप्राइटरी मॉडल्स का संचालन कर रहे हों।

मूल लेखक: Ayse Tursucular, Ayush Mohanty, Nazal Mohamed, Nagi Gebraeel

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ayse Tursucular, Ayush Mohanty, Nazal Mohamed, Nagi Gebraeel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक विशाल औद्योगिक कारखाने की कल्पना करें जहाँ विभिन्न मशीनें (जैसे कि एक वॉटर ट्रीटमेंट यूनिट, एक केमिकल मिक्सर और एक हीटर) आपस में जुड़ी हुई हैं। प्रत्येक मशीन के पास अपने स्वयं के सेंसरों की एक टीम है जो उसकी बारीकी से निगरानी करती है, और प्रत्येक मशीन का अपना एक "मस्तिष्क" (एक प्रोप्राइटरी मॉडल) है जो यह अनुमान लगाने की कोशिश करता है कि वह आगे क्या करेगी, इसके लिए अपने स्वयं के सेंसरों का उपयोग करता है।

समस्या:
कारखाना बहुत बड़ा है, और मशीनें एक-दूसरे से बात करती हैं। यदि वाटर हीटर बहुत अधिक गर्म हो जाता है, तो यह अंततः केमिकल मिक्सर को अजीब तरह से प्रतिक्रिया करने के लिए मजबूर कर सकता है। लेकिन पेच यह है कि:

गोपनीयता (Privacy): उनकी टीमें एक-दूसरे के साथ या किसी केंद्रीय बॉस के साथ अपना कच्चा डेटा (raw data) साझा नहीं कर सकतीं क्योंकि वह बहुत संवेदनशील है या बैंडविड्थ बहुत कम है।
लॉक किए गए मस्तिष्क (Locked Brains): प्रत्येक मशीन के अंदर के "मस्तिष्क" स्थिर हैं। आप उन्हें पुन: प्रोग्राम नहीं कर सकते या उनके सोचने के तरीके को बदल नहीं सकते; वे प्रोप्राइटरी सॉफ्टवेयर हैं जिनका उपयोग आपको बस करना है।
जटिलता (Complexity): ये मशीनें एक-दूसरे को कैसे प्रभावित करती हैं, यह सरल नहीं है (जैसे A के कारण B होता है)। यह अव्यवस्थित, नॉन-लीनियर है और कारखाने की वर्तमान स्थिति के आधार पर बदलता रहता है।

बड़ा सवाल यह है कि: हम यह कैसे पता लगा सकते हैं कि ये मशीनें एक-दूसरे को कैसे प्रभावित करती हैं, बिना उनका कच्चा डेटा देखे और बिना उनके मस्तिष्क को पुन: प्रोग्राम किए?

समाधान: "फेडरेटेड" टीम हडल (The "Federated" Team Huddle)
लेखक एक चतुर तरीका प्रस्तावित करते हैं जिससे ये मशीनें नियमों को तोड़े बिना एक-दूसरे के बारे में सीख सकती हैं। इसे जासूसों की एक टीम की तरह समझें जो अपने केस फाइल साझा नहीं कर सकते लेकिन अपनी "अंतरात्मा की आवाज़" (संक्षिप्त नोट्स) साझा कर सकते हैं।

यह प्रणाली कैसे काम करती है, यहाँ चरण-दर-चरण दिया गया है:

1. स्थानीय जासूस (The Client)

प्रत्येक मशीन (क्लाइंट) का अपना एक स्थिर मस्तिष्क होता है। यह अपने सेंसरों को देखता है और अपनी वर्तमान स्थिति के बारे में एक "अंतरात्मा की भावना" (gut feeling) उत्पन्न करता है। यह एक संकुचित, लो-डायमेंशनल सारांश है कि क्या हो रहा है।

उपमा: कल्पना कीजिए कि एक मैकेनिक कार के इंजन को देखता है और इंजन के स्वास्थ्य का प्रतिनिधित्व करने वाला एक एकल नंबर लिखता है। वह दुकान पर पूरा इंजन नहीं भेज सकता, लेकिन वह वह नंबर भेज सकता है।

2. "अगमेंटेशन" (थोड़ा अतिरिक्त जोड़ना)

चूंकि स्थिर मस्तिष्क यह नहीं देख सकता कि अन्य मशीनें क्या कर रही हैं, इसलिए सिस्टम मैकेनिक के नोट में एक छोटा, सीखने योग्य "ऐड-ऑन" जोड़ देता है। यह ऐड-ऑन एक छोटा, लचीला सहायक है जो यह अनुमान लगाने की कोशिश करता है कि अन्य मशीनें इस एक मशीन को कैसे प्रभावित कर रही होंगी।

उपमा: मैकेनिक अपनी रिपोर्ट में एक स्टिकी नोट जोड़ता है कि "मुझे लगता है कि हीटर मुझे प्रभावित कर रहा है।" यह नोट समय के साथ सीखा जाता है।

3. केंद्रीय कोच (The Server)

सभी मशीनें अपने "अंतरात्मा की भावना" (सारांश) एक केंद्रीय सर्वर को भेजती हैं। सर्वर कच्चा डेटा नहीं देखता; यह केवल इन सारांशों को देखता है।
सर्वर एक विशेष टूल का उपयोग करता है जिसे ग्राफ अटेंशन नेटवर्क (GAT) कहा जाता है। इसे एक कोच के रूप में सोचें जो एक कमरे के बीच में खड़ा है और सभी मैकेनिकों की रिपोर्ट देख रहा है।

ग्राफ (The Graph): कोच जानता है कि कौन सी मशीनें किन मशीनों से बात कर सकती हैं (संरचना)।
अटेंशन (The Attention): कोच यह सीखता है कि प्रत्येक मशीन को कितना ध्यान देना है। यदि वाटर हीटर खराब चल रहा है, तो कोच उस पर 90% ध्यान दे सकता है और केमिकल मिक्सर पर 10%। यदि केमिकल मिक्सर समस्या है, तो अटेंशन बदल जाता है।

4. फीडबैक लूप

कोच गणना करता है कि मशीनों को एक-दूसरे को कैसे प्रभावित करना चाहिए। फिर, कच्चा डेटा वापस भेजने के बजाय (जो वर्जित है), वह एक ग्रेडिएंट (एक हल्का सा धक्का/नज) वापस भेजता है।

उपमा: कोच मैकेनिक के कान में फुसफुसाता है, "हीटर के बारे में तुम्हारा स्टिकी नोट थोड़ा और मजबूत होना चाहिए।" मैकेनिक अपने "ऐड-ऑन" को इस फुसफुसाहट के आधार पर अपडेट करता है।
समय के साथ, प्रत्येक मशीन पर मौजूद "ऐड-ऑन" सभी मशीनों के बीच के जटिल, छिपे हुए संबंधों की सटीक नकल करना सीख जाते हैं, भले ही किसी ने भी कच्चा डेटा कभी न देखा हो।

5. "एक्स-रे विजन" (व्याख्यात्मकता/Interpretability)

यही इस पेपर की सबसे बड़ी सफलता है। आमतौर पर, न्यूरल नेटवर्क "ब्लैक बॉक्स" होते हैं—आप जानते हैं कि वे काम करते हैं, लेकिन आप यह नहीं जानते कि वे क्यों काम करते हैं।
लेखकों ने एक गणितीय ट्रिक खोजी है जिससे "अटेंशन" (कोच कितना सुनता है) को जैकोबियन (Jacobian) (एक माप कि एक मशीन में बदलाव वास्तव में दूसरी मशीन को कितना बदलता है) में बदला जा सके।

उपमा: यह केवल यह कहने जैसा नहीं है कि "मैं हीटर को सुन रहा हूँ," बल्कि यह एक सटीक माप प्रदान करने जैसा है: "यदि हीटर का तापमान 1 डिग्री बढ़ता है, तो केमिकल मिक्सर की प्रतिक्रिया की गति ठीक 0.5 यूनिट बदल जाएगी।"
यह इंजीनियरों को यह देखने की अनुमति देता है कि जटिल, नॉन-लीनियर सिस्टम में मशीनों के बीच सटीक "कारण-और-प्रभाव" (cause-and-effect) का नक्शा क्या है।

उन्होंने क्या सिद्ध किया?

यह काम करता है: उन्होंने इसे नकली डेटा (जहाँ उन्हें उत्तर पता था) और वास्तविक औद्योगिक डेटा पर परखा। सिस्टम ने कनेक्शनों को लगभग उतनी ही अच्छी तरह से सीखा जितना कि यदि वे सभी डेटा को एक विशाल कंप्यूटर (सेंट्रलाइज्ड ओरकल) में डाल पाते।
यह स्थिर है: गणित यह सिद्ध करता है कि जैसे-जैसे मशीनें आपस में हडल करती और फुसफुसाती रहती हैं, उनकी समझ सत्य की ओर अभिसरित (converge) होती जाती है।
यह निजी है: कच्चा सेंसर डेटा स्थानीय मशीनों को कभी नहीं छोड़ता है। केवल लो-डायमेंशनल सारांश और "नज" ग्रेडिएंट ही साझा किए जाते हैं।

संक्षेप में:
यह पेपर एक तरीका प्रस्तुत करता है जिससे लॉक-डाउन, गोपनीयता-संरक्षित मशीनों का एक नेटवर्क यह सीख सकता है कि वे एक-दूसरे को कैसे प्रभावित करते हैं। वे केवल उच्च-स्तरीय सारांश साझा करके, एक केंद्रीय "कोच" का उपयोग करके संबंधों को समझने के लिए, और फिर स्थानीय मशीनों को उनके आंतरिक "नोट्स" को वैश्विक चित्र (global picture) के अनुरूप समायोजित करने के लिए सिखाकर ऐसा करते हैं। परिणाम एक ऐसा सिस्टम है जो न केवल यह भविष्यवाणी करता है कि क्या होने वाला है, बल्कि यह भी समझा सकता है कि एक मशीन का व्यवहार दूसरी मशीनों को प्रभावित करने के लिए ठीक कैसे लहरों की तरह फैलता है।

तकनीकी सारांश: ग्राफ अटेंशन-आधारित क्रॉस-क्लाइंट व्याख्यात्मकता के साथ नॉनलीनियर टेम्पोरल डायनेमिक्स का फेडरेटेड लर्निंग

समस्या विवरण

आधुनिक औद्योगिक प्रणालियों की निगरानी तेजी से वितरित सेंसरों द्वारा की जा रही है जो कई परस्पर निर्भर उपप्रणालियों (subsystems) में उच्च-आयामी समय-श्रंखला डेटा (time-series data) उत्पन्न करते हैं। इन उपप्रणालियों के बीच टेम्पोरल इंटरडिपेंडेंसी (temporal interdependencies) को समझना डायग्नोस्टिक्स और विश्वसनीय संचालन के लिए महत्वपूर्ण है। हालाँकि, व्यावहारिक तैनाती में इन डायनेमिक्स को सीखने में चार महत्वपूर्ण बाधाएं आती हैं:

विकेंद्रीकरण और गोपनीयता: गोपनीयता, संचार बैंडविड्थ और डेटा संप्रभुता की बाधाओं के कारण कच्चा सेंसर डेटा साझा नहीं किया जा सकता है।
विषमता और निश्चित मॉडल: उपप्रणालियाँ अक्सर निश्चित, मालिकाना मॉडल (जैसे, ओरिजिनल इक्विपमेंट मैन्युफैक्चरर मॉडल) संचालित करती हैं जिन्हें संशोधित या पुन: प्रशिक्षित नहीं किया जा सकता है।
नॉनलिनियैरिटी (Nonlinearity): प्रणालियाँ मजबूत नॉनलीनियर डायनेमिक्स प्रदर्शित करती हैं, जिससे क्रॉस-सबसिस्टम टेम्पोरल इंटरडिपेंडेंसी स्टेट-डिपेंडेंट हो जाती है और व्याख्या करना कठिन हो जाता है।
व्याख्यात्मकता (Interpretability): मौजूदा न्यूरल दृष्टिकोण अक्सर यह उजागर करने के लिए संरचित तंत्रों की कमी रखते हैं कि सिस्टम के ऑपरेटिंग स्टेट के साथ उप-प्रणाली इंटरैक्शन कैसे बदलते हैं।

मुख्य चुनौती क्लाइंट्स से संचारित कम-आयामी लेटेंट रिप्रजेंटेशन (latent representations) का उपयोग करके, उनके मालिकाना आंतरिक एस्टिमेटर्स को बदले बिना, क्रॉस-क्लाइंट टेम्पोरल इंटरडिपेंडेंसी का एक ग्लोबल मॉडल सीखना है, साथ ही इन सीखे गए डायनेमिक्स की एक सिद्धांतपूर्ण व्याख्या प्रदान करना है।

कार्यप्रणाली

लेखक एक फेडरेटेड फ्रेमवर्क प्रस्तावित करते हैं जहाँ एक केंद्रीय सर्वर क्लाइंट्स द्वारा संचारित लेटेंट स्टेट्स पर एक ग्राफ-स्ट्रक्चर्ड स्टेट-ट्रांजिशन मॉडल सीखता है।

1. क्लाइंट-साइड मॉडलिंग

प्रत्येक क्लाइंट $m$ एक निश्चित, मालिकाना एक्सटेंडेड कलमन फिल्टर (EKF) संचालित करता है जो स्थानीय अवलोकनों $y^m_t$ से एक स्थानीय लेटेंट स्टेट $(\hat{h}^m_t)_c$ का अनुमान लगाता है। क्रॉस-क्लाइंट जानकारी को शामिल करने के लिए, बिना मालिकाना EKF को संशोधित किए, क्लाइंट एक सीखने योग्य नॉनलीनियर ऑगमेंटेशन फंक्शन $\Delta_m(\cdot; \theta_m)$ पेश करता है।

ऑगमेंटेड स्टेट: क्लाइंट एक ऑगमेंटेड स्टेट $(\hat{h}^m_t)_a = (\hat{h}^m_t)_c + \Delta_m(y^m_{t-1}; \theta_m)$ की गणना करता है।
लोकल डायनेमिक्स: ऑगमेंटेड स्टेट अपने स्वयं के टेम्पोरल डायनेमिक्स $(\tilde{h}^m_t)_a = f_m((\hat{h}^m_{t-1})_a)$ के माध्यम से विकसित होता है, जो मालिकाना EKF से भिन्न है।
ऑप्टिमाइज़ेशन: क्लाइंट एक स्थानीय रिकंस्ट्रक्शन लॉस को कम करता है और सर्वर से प्राप्त ग्रेडिएंट्स का उपयोग करके $\theta_m$ को अपडेट करता है।

2. सर्वर-साइड मॉडलिंग

सर्वर सभी क्लाइंट्स से मालिकाना स्टेट्स $(\hat{h}^m_t)_c$ और ऑगमेंटेड स्टेट्स $(\tilde{h}^m_t)_a$ प्राप्त करता है। यह क्रॉस-क्लाइंट इंटरडिपेंडेंसी को एक ग्राफ अटेंशन नेटवर्क (GAT) का उपयोग करके मॉडल करता है।

स्टेट ट्रांजिशन: सर्वर क्लाइंट $m$ के भविष्य के स्टेट का अनुमान इस प्रकार लगाता है:
$(\tilde{h}^m_t)_s = \sigma\left(\sum_{n \in \mathcal{N}(m)} \alpha_{mn} W_{mn} (\hat{h}^n_{t-1})_c\right)$
जहाँ $\alpha_{mn}$ अटेंशन कोएफिशिएंट्स हैं और $W_{mn}$ सीखने योग्य ट्रांसफॉर्मेशन हैं।
लॉस फंक्शन: सर्वर अपने अनुमानों $(\tilde{h}^m_t)_s$ और क्लाइंट्स के ऑगमेंटेड स्टेट्स $(\tilde{h}^m_t)_a$ के बीच मीन स्क्वेर्ड एरर (MSE) को कम करता है।
कम्युनिकेशन: सर्वर लॉस ग्रेडिएंट $\nabla_{(\tilde{h}^m_t)_a} L_s$ को क्लाइंट्स में बैकप्रोपैगेट करता है ताकि उनके ऑगमेंटेशन पैरामीटर्स को अपडेट किया जा सके, जिससे कच्चे डेटा या सर्वर स्टेट्स को साझा किए बिना एक द्विदिश युग्मन (bidirectional coupling) बनता है।

3. जैकोबियन (Jacobians) के माध्यम से व्याख्यात्मकता

नॉनलिनियैरिटी और व्याख्यात्मकता की कमी को संबोधित करने के लिए, पेपर GAT अटेंशन कोएफिशिएंट्स और सीखे गए स्टेट-ट्रांजिशन फंक्शन के जैकोबियन के बीच एक सैद्धांतिक संबंध स्थापित करता है।

जैकोबियन ब्लॉक $J_{mn}(t) = \frac{\partial (\tilde{h}^m_t)_s}{\partial (\hat{h}^n_{t-1})_c}$ यह मात्रा निर्धारित करता है कि क्लाइंट $n$ के पिछले स्टेट में एक गड़बड़ी (perturbation) क्लाइंट $m$ के भविष्य के स्टेट को कैसे प्रभावित करती है।
प्रपोजिशन 6.1 एक क्लोज्ड-फॉर्म रिलेशनशिप को व्युत्पन्न करता है जो यह दर्शाता है कि $J_{mn}(t)$ , अटेंशन कोएफिशिएंट $\alpha_{mn}(t)$ , वेट मैट्रिक्स $W_{mn}$ , और एक्टिवेशन फंक्शन $\sigma'$ के डेरिवेटिव पर निर्भर करता है। यह अटेंशन कोएफिशिएंट्स को निर्देशित टेम्पोरल प्रभाव की शक्ति के रूप में कार्य करने की अनुमति देता है, जो सिस्टम के वर्तमान ऑपरेटिंग स्टेट द्वारा नियंत्रित होता है।

मुख्य योगदान

पेपर निम्नलिखित तकनीकी योगदानों का दावा करता है:

औपचारिकीकरण (Formalization): फिक्स्ड प्रोप्राइटरी क्लाइंट मॉडल्स वाले नॉनलीनियर स्टेट-स्पेस सिस्टम्स में क्रॉस-क्लाइंट टेम्पोरल इंटरडिपेंडेंसी के लिए फेडरेटेड लर्निंग का औपचारिकीकरण।
आर्किटेक्चर: एक GAT-पैरामीटराइज्ड सर्वर-साइड स्टेट-ट्रांजिशन मॉडल का डिज़ाइन जो संचारित लेटेंट स्टेट्स पर स्पष्ट रूप से क्रॉस-क्लाइंट डायनेमिकल इंटरैक्शन को दर्शाता है।
व्याख्यात्मकता: अटेंशन कोएफिशिएंट्स और जैकोबियन ब्लॉक्स के बीच विश्लेषणात्मक संबंधों का व्युत्पत्ति, जो स्टेट-डिपेंडेंट क्रॉस-क्लाइंट इंटरडिपेंडेंसी की सिद्धांतपूर्ण व्याख्या सक्षम बनाता है। इसे विकेंद्रीकृत नॉनलीनियर सिस्टम्स में ऐसे पहले लक्षण वर्णन के रूप में दावा किया गया है।
अभिसरण गारंटी (Convergence Guarantees): सैद्धांतिक प्रमाण कि सीखे गए सर्वर-साइड डायनेमिक्स और जैकोबियन, विशिष्ट मान्यताओं (जैसे, bi-Lipschitz एक्टिवेशन, स्टेट इंडिपेंडेंस) के तहत एक सेंट्रलाइज्ड ओरकल (एक सिस्टम जिसके पास सभी कच्चा डेटा है) की ओर अभिसरित होते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): अभिसरण, व्याख्यात्मकता, स्केलेबिलिटी और प्राइवेसी-यूटिलिटी ट्रेड-ऑफ्स को प्रदर्शित करने के लिए सिंथेटिक और वास्तविक दुनिया के औद्योगिक डेटासेट्स पर सत्यापन।

प्रयोगात्मक परिणाम

सिंथेटिक प्रयोग

ज्ञात ग्राउंड-ट्रुथ इंटरडिपेंडेंसी वाले एक नियंत्रित नॉनलीनियर स्टेट-स्पेस सिस्टम का उपयोग करके:

स्ट्रक्चर रिकवरी: सर्वर-साइड GAT, ग्राउंड-ट्रुथ अटेंशन कोएफिशिएंट्स के करीब था, जिसने लोकल-ओनली बेसलाइन्स को काफी पीछे छोड़ दिया।
जैकोबियन अभिसरण: सीखा गया जैकोबियन ब्लॉक सेंट्रलाइज्ड ओरकल के जैकोबियन के अनुरूप अभिसरित हुआ, जो सैद्धांतिक सीमाओं की पुष्टि करता है।
सहसंबंध (Correlation): अटेंशन कोएफिशिएंट्स और जैकोबियन मैग्नीट्यूड के बीच एक मजबूत अनुभवजन्य सहसंबंध देखा गया, जो सैद्धांतिक लिंक का समर्थन करता है।
स्केलेबिलिटी: फ्रेमवर्क ने बढ़ते ऑब्जर्वेशन डायमेंशन के प्रति मजबूती दिखाई, लेकिन उच्च लेटेंट डायमेंशन और क्लाइंट काउंट के कारण कम्युनिकेशन ओवरहेड के कारण लॉस बढ़ गया।
गोपनीयता: सिस्टम संचार में इंजेक्ट किए गए गौसियन नॉइज़ के छोटे स्तरों के प्रति मजबूत रहा, और उच्च शोर स्तरों पर ही प्रदर्शन में गिरावट आई।

वास्तविक दुनिया के प्रयोग

हार्डवेयर-इन-द-लूप ऑगमेंटेड इंडस्ट्रियल कंट्रोल सिस्टम (HAI) बेंचमार्क (वॉटर ट्रीटमेंट, केमिकल डोजिंग, हीटिंग प्रोसेस) पर मूल्यांकन:

प्रदर्शन: प्रस्तावित मॉडल ने प्रोप्राइटरी क्लाइंट मॉडल्स और एक प्री-ट्रेन्ड फेडरेटेड बेसलाइन की तुलना में काफी बेहतर क्लाइंट प्रेडिक्शन सटीकता हासिल की, जो सेंट्रलाइज्ड बेसलाइन के प्रदर्शन के करीब है।
व्याख्यात्मकता: सर्वर द्वारा सीखी गई टाइम-एवरेज अटेंशन स्ट्रक्चर सेंट्रलाइज्ड बेसलाइन के समान थी।
जैकोबियन समझौता: प्रस्तावित सर्वर मॉडल और सेंट्रलाइज्ड मॉडल द्वारा सीखे गए जैकोबियंस के बीच उच्च समानता पाई गई।

महत्व और दावे

पेपर खुद को विकेंद्रीकृत नॉनलीनियर सिस्टम्स में व्याख्या योग्य क्रॉस-क्लाइंट टेम्पोरल इंटरडिपेंडेंसी स्थापित करने वाले पहले कार्य के रूप में प्रस्तुत करता है। इसका महत्व इनके बीच के अंतर को पाटने में है:

गोपनीयता-संरक्षित लर्निंग: कच्चा डेटा या मालिकाना क्लाइंट मॉडल को संशोधित किए बिना सहयोग की अनुमति देना।
नॉनलीनियर डायनेमिक्स: जटिल, स्टेट-डिपेंडेंट इंटरैक्शन को संभालना जिन्हें लीनियर मॉडल कैप्चर नहीं कर सकते।
व्याख्यात्मकता (Explainability): यह समझने के लिए एक तंत्र प्रदान करना कि सब-सिस्टम कैसे और कब एक दूसरे को प्रभावित करते हैं, बजाय इसके कि ग्लोबल मॉडल को एक ब्लैक बॉक्स माना जाए।

लेखक सीमाओं को नोट करते हैं, विशेष रूप से कि फ्रेमवर्क एक ज्ञात ग्राफ स्केलेटन (एडजसेंसी मैट्रिक्स) को मानता है और व्याख्यात्मकता के लिए स्थानीय प्रथम-क्रम सन्निकटन (first-order approximations) पर निर्भर करता है, जो अत्यधिक नॉनलिनियैरिटी के तहत घट सकता है। वे ग्राफ स्ट्रक्चर को सीखने के लिए कॉज़ल डिस्कवरी विधियों के एकीकरण का सुझाव देते हैं।