📊 statistics

DiPhon: Diffusion on Graphons for Scalable Graph Generation

DiPhon एक स्केलेबल ग्राफ जनरेशन फ्रेमवर्क है जो ग्राफोन थ्योरी और एक जैकोबी स्टोकेस्टिक डिफरेंशियल इक्वेशन का लाभ उठाता है ताकि छोटे ग्राफों पर प्रशिक्षित डिफ्यूजन मॉडल्स को बिना पुनरप्रशिक्षण के मूल टोपोलॉजिकल गुणों को संरक्षित करते हुए प्रगतिशील रूप से बड़े ग्राफ उत्पन्न करने में सक्षम बनाया जा सके।

मूल लेखक: Sergio Rozada, Yiming Qin, Manuel Madeira, Pascal Frossard, Alejandro Ribeiro

प्रकाशित 2026-07-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sergio Rozada, Yiming Qin, Manuel Madeira, Pascal Frossard, Alejandro Ribeiro

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "DiPhon: Scalable Graph Generation के लिए Graphons पर Diffusion" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।

बड़ी समस्या: "ज़ूम" (Zoom) की समस्या

कल्पना कीजिए कि आपके पास एक आदर्श छोटा केक बनाने की रेसिपी है। आप जानते हैं कि 6 इंच के केक के लिए कितना आटा, चीनी और अंडे इस्तेमाल करने हैं। अब, कोई आपसे एक विशाल शादी के लिए 100 फीट का केक बनाने के लिए कहता है।

यदि आप केवल सामग्री को दोगुना या तिगुना कर देते हैं, तो केक ढह सकता है। यदि आप छोटे केक को बनाकर उसे टेफी (taffy) की तरह खींचने की कोशिश करते हैं, तो वह टूट जाता है। यही समस्या वर्तमान AI मॉडल्स के साथ है जो ग्राफ (जुड़े हुए बिंदुओं के नेटवर्क, जैसे सोशल नेटवर्क या आणविक संरचनाएं) जनरेट करते हैं। वे छोटे नेटवर्क पर बहुत अच्छा काम करते हैं, लेकिन जब आप एक विशाल नेटवर्क जनरेट करने की कोशिश करते हैं, तो वे बिखर जाते हैं। उन्हें हर नए आकार के लिए शून्य से फिर से प्रशिक्षित (retrain) करना पड़ता है, जो महंगा और अक्षम है।

समाधान: "ब्लूप्रिंट" (Graphons)

लेखकों, सर्जियो रोज़ाडा और उनकी टीम ने व्यक्तिगत केक (विशिष्ट ग्राफ) के बारे में सोचना बंद कर दिया और ब्लूप्रिंट (वह अंतर्निहित नियम जो केक को केक बनाता है) के बारे में सोचना शुरू कर दिया।

गणित में, इस ब्लूप्रिंट को Graphon कहा जाता है।

उपमा: कल्पना कीजिए कि ग्राफोन (Graphon) एक शहर का एक निरंतर, अनंत मानचित्र (map) है। इसे इससे फर्क नहीं पड़ता कि आप 10 घरों वाले मोहल्ले को देख रहे हैं या 10 मिलियन घरों वाले पूरे शहर को। मानचित्र बस यह बताता है कि किन्हीं दो बिंदुओं के बीच सड़क मिलने की संभावना (probability) क्या है।
लक्ष्य: यदि आप इस अनंत मानचित्र के नियमों को सीख लेते हैं, तो आप बिना नियमों को बदले, किसी भी आकार का एक वैध शहर (ग्राफ) जनरेट करने के लिए ज़ूम इन या ज़ूम आउट कर सकते हैं।

चुनौती: "फेंस" (Fence) की समस्या

इन ग्राफों को जनरेट करने के लिए, टीम Diffusion नामक तकनीक का उपयोग करती है। डिफ्यूजन को एक मूर्तिकार की तरह समझें जो धीरे-धीरे संगमरमर के एक ब्लॉक को एक मूर्ति में बदलता है।

फॉरवर्ड प्रोसेस (Forward Process): आप एक आदर्श मूर्ति (एक वास्तविक ग्राफ) से शुरू करते हैं और धीरे-धीरे इसमें 'नॉइज़' (noise) जोड़ते हैं जब तक कि यह केवल धूल का एक रैंडम ढेर न बन जाए।
रिवर्स प्रोसेस (Reverse Process): आप एक AI को प्रशिक्षित करते हैं जो उस धूल के ढेर से नॉइज़ को धीरे-धीरे हटाकर फिर से मूर्ति को प्रकट करता है।

पकड़ (The Catch): अधिकांश मौजूदा डिफ्यूजन मॉडल "गौसियन नॉइज़" (पुराने टीवी पर दिखने वाले स्टैटिक/झिलमिलाहट की तरह) का उपयोग करते हैं। इस नॉइज़ की कोई सीमा नहीं होती; यह अनंत रूप से ऊपर या नीचे जा सकती है। लेकिन एक ग्राफ एजेस (कनेक्शन) से बना होता है, जो या तो मौजूद होते (1) या नहीं होते (0)। आप एक वास्तविक ग्राफ में "0.5" एज नहीं रख सकते, और निश्चित रूप से आप "-5" एज नहीं रख सकते।

समस्या: यदि आप मानक नॉइज़ का उपयोग करते हैं, तो AI एक एज प्रोबेबिलिटी 1.5 या -0.2 जनरेट करने की कोशिश कर सकता है। यह वास्तविकता की "फेंस" (बाड़) को तोड़ देता है।

नवाचार: DiPhon (द बाउंडेड स्कल्प्टर)

टीम ने DiPhon पेश किया। मानक नॉइज़ के बजाय, उन्होंने Jacobi Stochastic Differential Equation (SDE) नामक एक विशेष गणितीय उपकरण का उपयोग किया।

उपमा: कल्पना कीजिए कि मूर्तिकार ठीक 1 मीटर चौड़े कांच के बॉक्स के अंदर काम कर रहा है। वह मिट्टी को कितनी भी जोर से धकेले, कांच की दीवारें मिट्टी को 0 और 1 के बीच रहने के लिए मजबूर करती हैं।
यह कैसे काम करता है: जैकोबी (Jacobi) प्रक्रिया इस तरह डिज़ाइन की गई है कि "नॉइज़" स्वाभाविक रूप से दीवारों (0 और 1) से टकराती है और वापस लौट आती है, कभी बाहर नहीं निकलती। यह सुनिश्चित करता है कि AI हमेशा वैध संभावनाओं के दायरे में रहे।

जादू का नुस्खा: "डिस्क्रीटाइज-देन-डिफ्यूज" (Discretize-then-Diffuse)

पेपर एक चतुर गणितीय ट्रिक को सिद्ध करता है।

वे कांच के बॉक्स के अंदर चलते हुए "परफेक्ट" अनंत ब्लूप्रिंट (Graphon) को परिभाषित करते हैं।
फिर वे इस ब्लूप्रिंट को एक ग्रिड (जैसे पिक्सेलेटेड इमेज) में काट देते हैं ताकि कंप्यूटर द्वारा इसे कंप्यूट किया जा सके।
परिणाम: उन्होंने सिद्ध किया कि भले ही वे एक पिक्सेलेटेड ग्रिड (एक परिमित ग्राफ) के साथ काम कर रहे हैं, लेकिन उनके मॉडल का औसत व्यवहार (average behavior) बिल्कुल सटीक रूप से परफेक्ट अनंत ब्लूप्रिंट से मेल खाता है।
- प्रथम मोमेंट (The Average): जनरेट किए गए ग्राफ का औसत आकार ब्लूप्रिंट से पूरी तरह मेल खाता है।
- द्वितीय मोमेंट (The Variance): "विगल्स" (wiggles) या रैंडमनेस थोड़ी अलग होती है, लेकिन अंतर छोटा, अनुमानित और बहुत कम होने पर गायब हो जाने वाला है।

परिणाम: एक मॉडल, कोई भी आकार

टीम ने तीन प्रकार के नेटवर्क पर परीक्षण किया:

सोशल क्लस्टर्स (SBM): दोस्तों के समूह।
पॉपुलर हब्स (PA): ऐसे नेटवर्क जहाँ लोकप्रिय नोड्स और भी अधिक लोकप्रिय हो जाते हैं (जैसे ट्विटर)।
ट्री स्ट्रक्चर (Tree Structures): शाखाओं वाले नेटवर्क (जैसे फैमिली ट्री)।

प्रयोग:

उन्होंने छोटे ग्राफों (जैसे 40 से 80 नोड्स) पर DiPhon को प्रशिक्षित किया।
फिर उन्होंने इसे बिना पुन: प्रशिक्षण (retraining) के विशाल ग्राफ (300 नोड्स तक) जनरेट करने के लिए कहा।

निष्कर्ष:

अन्य मॉडल: जब बड़े ग्राफ जनरेट करने के लिए कहा गया, तो मानक मॉडल (जैसे DiGress या GDSS) विफल होने लगे। संरचनाएं ढह गईं, या ग्राफ अपने ट्रेनिंग डेटा जैसा बिल्कुल नहीं दिख रहा था।
DiPhon: इसने पूरी तरह से काम करना जारी रखा। इसने बड़े ट्री, बड़े सोशल क्लस्टर और बड़े हब नेटवर्क जनरेट किए जो बिल्कुल वैसे ही दिखे जैसे वे छोटे ग्राफ थे जिन पर इसे प्रशिक्षित किया गया था, बस वे बड़े थे।

सारांश

DiPhon को आकार के लिए एक यूनिवर्सल ट्रांसलेटर के रूप में सोचें।

पुराना तरीका: आपको हर भाषा के आकार के लिए एक अलग डिक्शनरी की आवश्यकता होती है।
DiPhon का तरीका: आप भाषा के व्याकरण (Graphon) को सीखते हैं। एक बार जब आप व्याकरण जान लेते हैं, तो आप 5 शब्दों का वाक्य या 5,000 शब्दों का वाक्य लिख सकते हैं, और वह अभी भी अर्थपूर्ण होगा।

इस गणित को "बाउंडेड" (0-से-1 के कांच के बॉक्स के भीतर) रखकर और यह सिद्ध करके कि छोटे पैमाने का गणित बड़े पैमाने के गणित से मेल खाता है, DiPhon AI को केवल छोटे उदाहरणों से प्राप्त ज्ञान का उपयोग करके विशाल, जटिल नेटवर्क जनरेट करने की अनुमति देता है।

तकनीकी सारांश: DiPhon – स्केलेबल ग्राफ जनरेशन के लिए ग्राफोन पर डिफ्यूजन (Diffusion on Graphons)

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल ग्राफ जनरेशन के क्षेत्र में, विशेष रूप से आणविक डिजाइन (molecular design) और न्यूरल आर्किटेक्चर सर्च जैसे डोमेन में, एक अग्रणी प्रतिमान (paradigm) के रूप में स्थापित हुए हैं। हालांकि, बड़े ग्राफों के लिए इन मॉडलों को स्केल करना एक मौलिक चुनौती बनी हुई है। वर्तमान दृष्टिकोण दो प्राथमिक सीमाओं का सामना करते हैं:

प्रशिक्षण और परिनियोजन लागत (Training and Deployment Costs): बड़े पैमाने के ग्राफों के साथ काम करते समय डिफ्यूजन मॉडल प्रशिक्षित और तैनात करने में अत्यधिक गणनात्मक रूप से महंगे होते हैं।
आकार हस्तांतरणीयता का अभाव (Lack of Size Transferability): भले ही उन्हें छोटे ग्राफों पर प्रशिक्षित किया गया हो, यह स्पष्ट नहीं है कि क्या सीखे गए जनरेटिव तंत्र बिना पुन: प्रशिक्षण के बड़े ग्राफ आकारों तक सामान्यीकरण (generalize) कर सकते हैं।

मौजूदा ग्राफ डिफ्यूजन विधियां घने-ग्राफ (dense-graph) सेटिंग में इस समस्या को हल करने में संघर्ष करती हैं। डिस्क्रीट डिफ्यूजन मॉडल कैटेगोरिकल एज वेरिएबल्स पर कार्य करते हैं, जो ग्राफोन द्वारा आवश्यक निरंतर स्थानिक डोमेन (continuous spatial domain) के प्राकृतिक विस्तार को रोकते हैं। इसके विपरीत, गॉसियन SDE-आधारित दृष्टिकोण पॉइंटवाइज शोर (noise) इंजेक्ट करते हैं लेकिन अनबाउंडेड प्रक्षेपवक्र (unbounded trajectories) उत्पन्न करते हैं, जिन्हें सीधे एज प्रोबेबिलिटीज (जो $[0, 1]$ के बीच होनी चाहिए) के रूप में व्याख्यायित नहीं किया जा सकता है, जिससे ग्राफोन सिद्धांत के साथ उनका संबंध केवल निहित (implicit) रह जाता है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र DiPhon प्रस्तावित करता है, जो एक आकार-स्केलेबल ग्राफ जनरेशन के लिए डिफ्यूजन फ्रेमवर्क है जो ग्राफोन (graphons) का लाभ उठाता है—जो घने ग्राफ अनुक्रमों के आकार-अज्ञेय (size-agnostic) सीमा ऑब्जेक्ट्स हैं। कार्यप्रणाली निरंतर ग्राफोन डायनेमिक्स और डिस्क्रीट ग्राफ जनरेशन के बीच के अंतर को निम्नलिखित चरणों के माध्यम से पाटती है:

2.1 फॉरवर्ड प्रोसेस: जैकोबी SDE के माध्यम से ग्राफोन डिफ्यूजन

लेखक सीधे ग्राफोन स्पेस $W: [0, 1]^2 \to [0, 1]$ पर एक निरंतर डिफ्यूजन प्रक्रिया को फॉर्म्युलेट करते हैं। यह सुनिश्चित करने के लिए कि प्रक्रिया वैध संभाव्यता रेंज $[0, 1]$ के भीतर रहे, वे एक जैकोबी स्टोकेस्टिक डिफरेंशियल इक्वेशन (Jacobi SDE) को अनुकूलित करते हैं:
$dW_t(x, y) = \kappa (\mu - W_t(x, y)) dt + \sigma \sqrt{W_t(x, y)(1 - W_t(x, y))} dB_t(x, y)$
जहाँ $\mu \in (0, 1)$ स्थिर माध्य (stationary mean) है, $\kappa > 0$ पुल रेट (pull rate) है, और $\sigma > 0$ शोर की शक्ति (noise strength) है। डिफ्यूजन टर्म सीमाओं पर शून्य हो जाता है, जिससे प्रक्रिया बाउंडेड रहती है।

2.2 डिसक्रेटाइजेशन: ग्राफ से ग्राफोन तक

चूंकि निरंतर ग्राफोन सीधे अवलोकन योग्य नहीं होते हैं, इसलिए लेखक एक डिसक्रेटाइज़-देन-डिफ्यूज़ (discretize-then-diffuse) रणनीति प्रस्तावित करते हैं। वे यूनिट स्क्वायर को $N^2$ सेल्स में विभाजित करते हैं और प्रत्येक सेल के लिए एक डिस्क्रीट प्रोसेस $\tilde{W}_t^{ij}$ को परिभाषित करते हैं।

रीनॉर्मलाइजेशन (Renormalization): यह सुनिश्चित करने के लिए कि डिस्क्रीट प्रोसेस निरंतर "डिफ्यूज़-देन-डिसक्रेटाइज़" आदर्श के सांख्यिकीय गुणों से मेल खाए, डिस्क्रीट SDE के मापदंडों को रीनॉर्मलाइज किया जाता है। विशेष रूप से, शोर आयाम को स्केल किया जाता है ( $\tilde{\sigma}^2 = \sigma^2 N^2$ ) और डिसक्रेटाइजेशन की भरपाई के लिए ड्रिफ्ट रेट ( $\tilde{\kappa}$ ) को समायोजित किया जाता है।
प्रारंभिक स्थिति (Initial Condition): यह प्रक्रिया एक प्रेक्षित बाइनरी ग्राफ $A_0$ से शुरू होती है, जहाँ प्रत्येक प्रविष्टि $A_0^{ij}$ को अंतर्निहित ग्राफोन सेल औसत का बर्नौली सैंपल माना जाता है।

2.3 रिवर्स प्रोसेस और लर्निंग

रिवर्स-टाइम SDE को मानक स्कोर-आधारित फॉर्मूलेशन का उपयोग करके व्युत्पन्न किया जाता है, जिसके लिए मार्जिनल स्कोर $\nabla \log \tilde{p}_t$ की आवश्यकता होती है।

ट्रैकेबल स्कोर (Tractable Score): जैकोबी प्रक्रिया के लिए, कंडीशनल स्कोर शिफ्टेड जैकोबी पॉलिनोमियल्स और उनके डेरिवेटिव्स को शामिल करते हुए एक क्लोज्ड-फॉर्म अभिव्यक्ति स्वीकार करता है।
डिनोइजिंग ऑब्जेक्टिव (Denoising Objective): चूंकि वास्तविक प्रारंभिक ग्राफोन प्रविष्टि अनऑब्जर्व्ड है, इसलिए लेखक एक ग्राफ न्यूरल नेटवर्क (GNN) $\Phi_\theta$ को नॉइजी स्टेट $\tilde{W}_t$ से क्लीन इनिशियल ग्राफ $A_0$ की भविष्यवाणी करने के लिए प्रशिक्षित करते हैं। नेटवर्क को बाइनरी क्रॉस-एन्ट्रॉपी लॉस (डिनोइजिंग ऑब्जेक्टिव) के माध्यम से प्रशिक्षित किया जाता है।
सैंपलिंग (Sampling): इन्फरेंस के दौरान, रिवर्स SDE को स्टेशनरी डिस्ट्रीब्यूशन (बीटा डिस्ट्रीब्यूशन) से $t=0$ तक बैकवर्ड इंटीग्रेट किया जाता है। सीखा गया डिनोइज़र प्रत्येक स्टेप पर आवश्यक स्कोर एस्टीमेट प्रदान करता है, और अंतिम अवस्था को स्वतंत्र बर्नौली ड्रॉ के माध्यम से बाइनरी ग्राफ में परिवर्तित किया जाता है।

3. मुख्य योगदान (Key Contributions)

यह शोध पत्र चार प्राथमिक योगदान देता है:

C1 (फॉर्मूलेशन): जैकोबी SDEs पर आधारित ग्राफोन के लिए एक नवीन डिफ्यूजन प्रक्रिया, जिससे DiPhon को उसके अंतर्निहित डायनेमिक्स को डिसक्रेटाइज़ करके प्राप्त किया गया है।
C2 (मोमेंट अलाइनमेंट): एक सैद्धांतिक लक्षण वर्णन जो दिखाता है कि डिस्क्रीट DiPhon प्रोसेस निरंतर ग्राफोन प्रोसेस के प्रथम मोमेंट (first moment) से सटीक रूप से मेल खाता है। द्वितीय मोमेंट (second moment) विसंगति को क्लोज्ड फॉर्म में व्युत्पन्न किया गया है और दिखाया गया है कि यह इन-सेल वेरिएंस और डिसक्रेटाइजेशन फैक्टर द्वारा नियंत्रित है, जो ग्राफ के आकार बढ़ने के साथ लुप्त हो जाता है।
C3 (सैंपलिंग और लिमिट): एक सैंपलिंग प्रक्रिया जो मॉडल के मार्जिनल डिस्ट्रीबशंस से ग्राफ जनरेट करती है। लेखक सिद्ध करते हैं कि स्टेशनरी रिजीम में, जनरेट किए गए ग्राफ होमोमोर्फिज्म डेंसिटी (homomorphism density) में एक एर्डोस-रेनी (Erdős–Rényi) ग्राफोन में अभिसरित होते हैं, जो प्रक्रिया के लिए एक स्ट्रक्चरल लिमिट स्थापित करता है।
C4 (एम्पिरिकल स्केलेबिलिटी): विभिन्न ग्राफ परिवारों में कोर टोपोलॉजिकल गुणों को बनाए रखते हुए, छोटे ग्राफों पर प्रशिक्षित होकर सफलतापूर्वक बड़े, आउट-ऑफ-डिस्ट्रीब्यूशन ग्राफ जनरेट करने की क्षमता का प्रदर्शन करने वाला एम्पिरिकल वैलिडेशन।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक तीन सिंथेटिक ग्राफ परिवारों पर DiPhon का मूल्यांकन करते हैं: स्टोकेस्टिक ब्लॉक मॉडल (SBM), प्रिफरेंशियल अटैचमेंट (PA) ग्राफ, और ट्री (Trees)।

सेटअप: मॉडल्स को छोटे ग्राफों (जैसे 40–80 नोड्स) पर प्रशिक्षित किया जाता है और बढ़ते हुए नोड साइज (300 नोड्स तक) तक टेस्ट किया जाता है।
बेसलाइन्स: DiPhon की तुलना डिस्क्रीट डिफ्यूजन विधियों (DiGress, DeFoG) और गॉसियन डिफ्यूजन मॉडल्स (GDSS, GruM) से की जाती है।
निष्कर्ष:
- मोमेंट अलाइनमेंट: प्रयोग पुष्टि करते हैं कि डिस्क्रीटाइज्ड प्रोसेस का एम्पिरिकल मीन और वेरिएंस निरंतर ग्राफोन थ्योरी से प्राप्त सैद्धांतिक क्लोज्ड-फॉर्म संदर्भों के साथ संरेखित होता है।
- स्केलेबिलिटी: DiPhon सभी डेटासेट्स और नोड साइज पर उच्च सटीकता बनाए रखता है। इसके विपरीत, डिस्क्रीट डिफ्यूजन विधियां बड़े साइज पर प्रदर्शन में गिरावट (collapse) दिखाती हैं, और गॉसियन बेसलाइन्स, विशेष रूप से ट्री संरचनाओं पर, असंगतता प्रदर्शित करती हैं।
- मजबूती (Robustness): उल्लेखनीय रूप से, DiPhon ट्री (Tree) ग्राफ पर भी प्रभावी रहता है, जो एक स्पार्स रिजीम है जहां औपचारिक ग्राफोन थ्योरी सख्ती से लागू नहीं होती है, जो यह सुझाव देता है कि इसकी एम्पिरिकल क्षमता इसके सैद्धांतिक गारंटियों से अधिक है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि DiPhon ग्राफोन को डिफ्यूजन डायनेमिक्स के वाहक के रूप में उपयोग करके स्केलेबल ग्राफ जनरेशन की ओर एक सिद्धांतिक मार्ग प्रदान करता है।

आकार-अज्ञेयता (Size-Agnosticity): ग्राफोन स्पेस में कार्य करके, मॉडल स्वाभाविक रूप से एक ऐसा वितरण सीखता है जो नोड्स की संख्या से स्वतंत्र है, जिससे छोटे ट्रेनिंग रिजीम से बड़े इन्फरेंस रिजीम तक स्थानांतरण संभव होता है।
सैद्धांतिक आधार (Theoretical Grounding): जैकोबी SDEs का उपयोग बाउंडेड एज प्रोबेबिलिटीज सुनिश्चित करता है और मोमेंट मैचिंग एवं होमोमोर्फिज्म डेंसिटी में अभिसरण (convergence) के कठोर विश्लेषण की अनुमति देता है, जो पिछले गॉसियन या डिस्क्रीट दृष्टिकोणों की सीमाओं को संबोधित करता है।
व्यावहारिक उपयोगिता (Practical Utility): बिना पुन: प्रशिक्षण के बड़े पैमाने के ग्राफ जनरेट करने की क्षमता इसे आणविक डिजाइन या नेटवर्क विश्लेषण जैसे कार्यों के लिए एक महत्वपूर्ण लाभ प्रदान करती है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि सैद्धांतिक गारंटी घने ग्राफों के लिए विकसित की गई है और पूर्ण वितरण दूरी (distributional distance) को बाउंड करने के बजाय मोमेंट मैचिंग पर निर्भर करती है। इसके अतिरिक्त, प्रशिक्षण प्रक्रिया के लिए फॉरवर्ड ट्रैजेक्टरीज को सिम्युलेट करने की आवश्यकता होती है, जो ट्रैकेबल ट्रांजिशन डेंसिटीज वाले मॉडलों की तुलना में ओवरहेड पेश करती है। हालांकि, इस फ्रेमवर्क को एक आधार के रूप में प्रस्तुत किया गया है जो भविष्य के कार्यों में नोड फीचर्स और वेटेड एडजेस में स्वाभाविक रूप से विस्तारित हो सकता है।