💻 computer science

Bias mitigation in graph diffusion models

यह शोधपत्र ग्राफ डिफ्यूजन मॉडल के लिए एक व्यापक पूर्वाग्रह शमन ढांचे (bias mitigation framework) का प्रस्ताव करता है जो रिवर्स-स्टार्टिंग बायस को ठीक करने के लिए एक नवीन लैंग्विनियन सैंपलिंग एल्गोरिदम और एक्सपोज़र बायस को संबोधित करने के लिए एक स्कोर करेक्शन मैकेनिज्म का उपयोग करता है, जिससे नेटवर्क संशोधनों की आवश्यकता के बिना अत्याधुनिक परिणाम प्राप्त होते हैं।

मूल लेखक: Meng Yu, Kun Zhan

प्रकाशित 2026-04-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Meng Yu, Kun Zhan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Bias Mitigation in Graph Diffusion Models" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी तस्वीर: "टूटे हुए कंपास" की समस्या

कल्पive कि आप एक रोबोट को शहर का एक सटीक नक्शा (एक Graph) बनाना सिखा रहे हैं। रोबोट इसके लिए Diffusion नामक तकनीक का उपयोग करता है।

Diffusion प्रक्रिया को "टेलीफोन गेम" (Telephone game) के उलटे रूप की तरह समझें:

फॉरवर्ड गेम (ट्रेनिंग): आप एक स्पष्ट, सटीक नक्शे से शुरुआत करते हैं। फिर, आप धीरे-धीरे इसमें स्टेप-दर-स्टेप 'स्टैटिक नॉइज़' (static noise) जोड़ते हैं, जब तक कि नक्शा पूरी तरह से पहचान में न आने वाले सफेद शोर (white noise) में बदल न जाए। रोबोट इस प्रक्रिया को देखता है और सीखता है कि इस शोर को कैसे "ठीक" (un-mess) करना है।
रिवर्स गेम (जनरेशन): एक नया नक्शा बनाने के लिए, रोबोट सफेद शोर के एक खाली पन्ने से शुरुआत करता है और एक नया शहर का नक्शा प्रकट करने के लिए स्टेप-दर-स्टेप शोर को हटाने की कोशिश करता है।

समस्या: लेखकों ने पाया कि अधिकांश मौजूदा रोबोट यह खेल एक टूटे हुए कंपास के साथ खेल रहे हैं।

उपमा 1: "अधूरा हाइक" (Reverse-Starting Bias)

कल्पना करें कि ट्रेनिंग हाइक (Forward Process) एक पहाड़ की चढ़ाई है।

आदर्श रूप में: रोबोट को शिखर (शुद्ध सफेद शोर) तक जाने के बाद ही वापस मुड़ना चाहिए।
वास्तविकता में: क्योंकि रोबलेट थक जाता है (सीमित कंप्यूटिंग पावर) और पहाड़ बहुत बड़ा है (जटिल डेटा), रोबोट शिखर के बीच में ही रुक जाता है। वह एक ऐसे "लो-नॉइज़" स्थान से वापस मुड़ जाता है जो अभी भी मूल नक्शे जैसा थोड़ा दिखता है।
गलती: जब रोबोट एक नया नक्शा बनाने की कोशिश करता है, तो वह अंधे होकर अपने सफर की शुरुआत पहाड़ के बिल्कुल शीर्ष (शुद्ध शोर) से करता है, यह मानकर कि उसने वहीं से शुरुआत छोड़ी थी।
परिणाम: रोबोट अपनी यात्रा गलत जगह से शुरू करता है। यह ऐसा है जैसे आप कभी न गए स्थान से घर जाने की कोशिश कर रहे हों, यह मानकर कि आप शहर के केंद्र में हैं जबकि वास्तव में आप उपनगरों (suburbs) में हैं। इसे Reverse-Starting Bias कहा जाता है। रोबोट तुरंत भ्रमित हो जाता है और एक धुंधला, खराब नक्शा बनाता है।

उपमा 2: "फुसफुसाहट की चेन" (Exposure Bias)

अब, कल्पना करें कि रोबोट पहाड़ से नीचे उतर रहा है और शोर को साफ करने की कोशिश कर रहा है।

मुद्दा: हर कदम पर, रोबोट को अनुमान लगाना पड़ता है कि अगला कदम कैसा दिखेगा। यदि वह स्टेप 1 पर एक छोटी सी गलती करता है, तो वह गलती स्टेप 2 में चली जाती है। स्टेप 100 तक, वह छोटी सी गलती एक बड़े विरूपण (distortion) में बदल जाती है।
नाम: इसे Exposure Bias कहा जाता है। यह "फुसफुसाहट" (Whisper) के खेल जैसा है जहाँ पहला व्यक्ति एक संदेश फुसफुसाता है, और जब तक वह आखिरी व्यक्ति तक पहुँचता है, संदेश पूरी तरह से बदल चुका होता है। रोबोट अपनी पिछली गलतियों के संपर्क में आता है (exposed), और वे गलतियाँ जमा होती जाती हैं।

समाधान: "S++" (स्मार्ट नेविगेटर)

लेखक S++ नामक एक नई विधि प्रस्तावित करते हैं जो रोबोट के दिमाग (न्यूरल नेटवर्क) को दोबारा बनाए बिना दोनों समस्याओं को ठीक करती है। वे दो चतुर तरीकों का उपयोग करते हैं:

ट्रिक 1: "लैंज़वेन अलाइनमेंट" (शुरुआती बिंदु को ठीक करना)

पहाड़ के शीर्ष (शुद्ध शोर) से रिवर्स यात्रा शुरू करने के बजाय, रोबबोट एक विशेष कंपास का उपयोग करता है जिसे Langevin Sampling कहा जाता है।

यह कैसे काम करता है: मुख्य यात्रा शुरू करने से पहले, रोबोट कुछ "वार्म-अप" स्टेप्स लेता है। वह अपने मौजूदा ज्ञान का उपयोग करके शुरुआती शोर को तब तक धकेलता (nudge) है जब तक कि वह ठीक उसी स्थान से मेल न खा जाए जहाँ ट्रेनिंग हाइक वास्तव में समाप्त हुई थी।
परिणाम: रोबोट अब अपनी यात्रा सही जगह से शुरू करता है। अब वह भ्रमित नहीं है कि वह कहाँ है। यह Reverse-Starting Bias को ठीक करता है।

ट्रिक 2: "स्कोर डिफरेंस" (फुसफुसाहट की चेन को ठीक करना)

रोबोट अभी भी पहाड़ से नीचे उतरते समय छोटी गलतियाँ करता है। इसे ठीक करने के लिए, लेखक एक "शैडो रोबोट" (Shadow Robot) पेश करते हैं।

सेटअप:
1. मुख्य रोबोट (Main Robot) नकली नक्शों का एक बैच बनाता है।
2. एक शैडो रोबोट को केवल उन नकली नक्शों पर प्रशिक्षित किया जाता है।
3. क्योंकि नकली नक्शे थोड़े अपूर्ण होते हैं, शैडो रोबोट वही गलतियाँ करना सीख जाता है जो मुख्य रोबोट करता है।
जादू: सिस्टम मुख्य रोबोट के अनुमान की तुलना शैडो रोबोट के अनुमान से करता है।
- यदि मुख्य रोबोट कहता है, "बाएँ मुड़ें," और शैडो रोबोट (जो खराब डेटा पर प्रशिक्षित है) कहता है, "तेजी से बाएँ मुड़ें," तो सिस्टम समझ जाता है, "रुको, शैडो रोबोट ओवर-करेक्ट कर रहा है क्योंकि इसने खराब डेटा से सीखा है।"
- सिस्टम इन दोनों के बीच के अंतर (difference) का उपयोग मुख्य रोबोट को सच्चाई की ओर वापस धकेलने के लिए करता है।
परिणाम: यह एक सुधार संकेत (correction signal) के रूप में कार्य करता है जो जमा होने वाली त्रुटियों को रद्द कर देता है। यह Exposure Bias को ठीक करता है।

यह क्यों महत्वपूर्ण है?

पुनर्निर्माण की आवश्यकता नहीं: आपको पूरे रोबोट को फिर से प्रशिक्षित करने या नया हार्डवेयर जोड़ने की आवश्यकता नहीं है। आप बस यह बदलते हैं कि वह कैसे शुरू करता है और चलते समय खुद को कैसे ठीक करता है।
बेहतर नक्शे: जनरेट किए गए ग्राफ (अणु, सोशल नेटवर्क आदि) बहुत अधिक वास्तविक और सटीक होते हैं।
तेज़: क्योंकि रोबोट सही जगह से शुरू होता है, वह खुद को ठीक करने में समय बर्बाद नहीं करता है। वह कम चरणों में अच्छे परिणाम तक पहुँच सकता है।

एक वाक्य में सारांश

यह पेपर ग्राफ डिफ्यूजन मॉडल को इसलिए ठीक करता है क्योंकि वे अपनी "रिवर्स" यात्रा गलत जगह से शुरू करते हैं और रास्ते में गलतियाँ जमा करते हैं; इसलिए लेखकों ने सही शुरुआती बिंदु खोजने के लिए एक "वार्म-अप" स्टेप और त्रुटियों को ठीक करने के लिए एक "तुलनात्मक जांच" जोड़ी, जिससे बहुत उच्च-गुणवत्ता वाला जनरेटेड डेटा प्राप्त हुआ।

यहाँ पेपर "Bias Mitigation in Graph Diffusion Models" (ICLR 2025) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह पेपर मौजूदा ग्राफ डिफ्यूजन मॉडल्स (जैसे GDSS, GSDM, HGDM, MOOD) में दो महत्वपूर्ण, परस्पर जुड़े हुए बायस (biases) की पहचान करता है जो जनरेशन की गुणवत्ता को कम करते हैं:

रिवर्स-स्टार्टिंग बायस (Reverse-Starting Bias):
- कारण: डेटा स्केल की सीमाओं और नेटवर्क क्षमता के प्रतिबंधों के कारण, ग्राफ डिफ्यूजन मॉडल्स अक्सर फॉरवर्ड डिफ्यूजन प्रक्रिया को बीच में ही रोक देते हैं। इसके परिणामस्वरूप, अंतिम टाइम स्टेप ( $T$ ) पर अधिकतम विक्षोभ वितरण (maximum perturbation distribution), मानक गॉसियन वितरण ( $N(0, I)$ ) से काफी भिन्न हो जाता है।
- विसंगति (The Mismatch): हालाँकि, मानक रिवर्स सैंपलिंग हमेशा एक मानक गॉसियन वितरण से शुरू होती है। यह फॉरवर्ड प्रक्रिया के एंडपॉइंट और रिवर्स प्रक्रिया के शुरुआती बिंदु के बीच एक वितरण विसंगति (distributional mismatch) पैदा करता है।
- प्रभाव: यह बायस मॉडल को ऐसे स्टेट से शुरू होने के लिए मजबूर करता है जहाँ वह काम करने के लिए प्रशिक्षित नहीं है, जिससे जनरेशन के शुरुआती चरणों में महत्वपूर्ण त्रुटियाँ होती हैं।
एक्सपोज़र बायस (Exposure Bias):
- कारण: ट्रेनिंग के दौरान, मॉडल शोर (noise) से दूषित स्वच्छ डेटा ( $x_t$ ) के आधार पर स्कोर का अनुमान लगाता है। इन्फरेंस (रिवर्स सैंपलिंग) के दौरान, मॉडल अपने पिछले अनुमानों ( $\hat{x}_t$ ) के आधार पर स्कोर का अनुमान लगाता है, जिनमें संचित त्रुटियाँ (accumulated errors) होती हैं।
- परस्पर क्रिया (Interaction): पेपर का तर्क है कि एक्सपोज़र बायस, रिवर्स-स्टार्टिंग बायस द्वारा और अधिक बढ़ जाता है। जब मॉडल एक विसंगत वितरण (उच्च शोर/कम सिग्नल) से शुरू होता है, तो वह स्कोर प्रेडिक्शन की त्रुटियों के प्रति अत्यधिक संवेदनशील होता है। जैसे-जैसे सैंपलिंग आगे बढ़ती है, ये त्रुटियाँ जमा होती रहती हैं, जिससे जनरेट किए गए ग्राफ की गुणवत्ता और खराब हो जाती है।

2. कार्यप्रणाली: S++ (Score Correction + Langevin Alignment)

लेखक एक व्यापक, प्लग-एंड-प्ले दृष्टिकोण प्रस्तावित करते हैं जिसे S++ कहा जाता है, जो अंतर्निहित नेटवर्क आर्किटेक्चर को बदले बिना या नए सीखने योग्य घटकों (जैसे डिस्क्रिमिनेटर या जनरेटर) को पेश किए बिना दोनों बायस को कम करता है।

A. लैंग्विन सैंपलिंग के माध्यम से रिवर्स-स्टार्टिंग अलाइनमेंट (Reverse-Starting Alignment via Langevin Sampling)

रिवर्स-स्टार्टिंग बायस को संबोधित करने के लिए, यह विधि रिवर्स सैंपलिंग के शुरुआती बिंदु को वास्तविक फॉरवर्ड मैक्सिमम परटर्बेशन डिस्ट्रीब्यूशन के साथ अलाइन करती है।

तंत्र (Mechanism): सीधे $N(0, I)$ से शुरू करने के बजाय, यह विधि टाइम $T$ पर प्री-ट्रेन्ड स्कोर नेटवर्क $s_{\theta, T}(\cdot)$ द्वारा निर्देशित लैंग्विन सैंपलिंग (Langevin sampling) का उपयोग करती है।
प्रक्रिया:
1. $\hat{X}_T \sim N(0, I)$ से इनिशियलाइज़ करें।
2. लैंग्विन डायनेमिक्स के $M$ स्टेप्स करें: $\hat{X}_T \leftarrow \hat{X}_T + \frac{\eta_T}{2} s_{\theta, T}(\hat{X}_T) + \sqrt{\eta_T}\epsilon$ ।
3. यह सैंपल डिस्ट्रीब्यूशन को स्टैंडर्ड गॉसियन से वास्तविक फॉरवर्ड मैक्सिमम परटर्बेशन डिस्ट्रीब्यूशन $q(X_T)$ में ट्रांज़िशन करता है, जो आमतौर पर एक लो-नॉइज़ स्टेट (low-noise state) में होता है।
लाभ: लो-नॉइज़ स्टेट से शुरू होने से स्कोर प्रेडिक्शन एरर्स के प्रति मॉडल की संवेदनशीलता कम हो जाती है, जिससे स्वाभाविक रूप से प्रारंभिक एक्सपोज़र बायस कम हो जाता है।

B. स्कोर करेक्शन मैकेनिज्म (Score Correction Mechanism - S++)

एक्सपोज़र बायस को और अधिक संबोधित करने और स्कोर एस्टीमेशन को रिफाइन करने के लिए, लेखक दो स्कोर नेटवर्कों के बीच के अंतर पर आधारित एक स्कोर करेक्शन मैकेनिज्म पेश करते हैं।

अवधारणा (Concept):
1. प्री-ट्रेन्ड नेटवर्क $s_{\theta, t}$ का उपयोग करके एक बैच ऑफ स्यूडो-सैंपल्स ( $\hat{X}'_0$ ) जेनरेट करें।
2. इन जेनरेटेड सैंपल्स पर एक स्यूडो स्कोर नेटवर्क $s_{\psi, t}$ को ट्रेन करें। चूंकि $\hat{X}'_0$ में बायस होता है, इसलिए $s_{\psi, t}$ बायस्ड डिस्ट्रीब्यूशन को सीखता है।
3. स्कोर डिफरेंस (Score Difference) की गणना करें: $\Delta s = s_{\theta, t} - s_{\psi, t}$ ।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): $\Delta s$ में वास्तविक डेटा $X_0$ के बारे में जानकारी होती है (विशेष रूप से, बायस्ड प्रेडिक्शन और "अधिक बायस्ड" स्यूडो-प्रेडिक्शन के बीच का विचलन)।
करेक्शन फॉर्मूला (Correction Formula): सुधारा गया स्कोर इस प्रकार कंप्यूट किया जाता है:
$s_{\theta, t}^{corr} = \frac{s_{\theta, t} + \lambda (s_{\theta, t} - s_{\psi, t})}{\omega}$
- $\lambda$ : दिशा को नियंत्रित करता है (स्कोर को अनबायस्ड दिशा की ओर खींचना)।
- $\omega$ : स्कोर के परिमाण (magnitude) को एडजस्ट करता है।
अनुप्रयोग (Application): यह करेक्शन रिवर्स सैंपलिंग प्रक्रिया के दौरान लागू किया जाता है। महत्वपूर्ण रूप से, क्योंकि रिवर्स-स्टार्टिंग अलाइनमेंट प्रक्रिया को लो-नॉइज़ स्टेट में रखता है, इसलिए यह करेक्शन शुरुआत में सबसे प्रभावी होता है और बाद के चरणों में अक्सर कम हस्तक्षेप की आवश्यकता होती है, जिससे कम्प्यूटेशनल लागत कम हो जाती है।

3. मुख्य योगदान (Key Contributions)

व्यवस्थित बायस विश्लेषण (Systematic Bias Analysis): यह पेपर विशेष रूप से ग्राफ डिफ्यूजन मॉडल्स के संदर्भ में रिवर्स-स्टार्टिंग बायस और एक्सपोज़र बायस दोनों को व्यवस्थित रूप से पहचानने और विश्लेषण करने वाला पहला पेपर है, जो डेटा स्पर्सिटी और स्ट्रक्चरल बाधाओं के कारण इमेज डिफ्यूजन मॉडल्स की तुलना में इनकी विशिष्ट गंभीरता को उजागर करता है।
नया मिटिगेशन स्ट्रैटेजी (S++):
- फॉरवर्ड मैक्सिमम परटर्बेशन डिस्ट्रीब्यूशन के साथ रिवर्स स्टार्टिंग पॉइंट को अलाइन करने के लिए लैंग्विन सैंपलिंग का उपयोग करने का प्रस्ताव देता है।
- एक स्कोर डिफरेंस करेक्शन मैकेनिज्म पेश करता है जो मुख्य मॉडल को फिर से ट्रेन किए बिना या बाहरी घटक जोड़े बिना स्कोर प्रेडिक्शन को रिफाइन करने के लिए स्यूडो नेटवर्क का लाभ उठाता है।
प्लग-एंड-प्ले डिज़ाइन (Plug-and-Play Design): इसके लिए नेटवर्क आर्किटेक्चर, पैरामीटर्स या ट्रेनिंग ऑब्जेक्टिव में कोई बदलाव करने की आवश्यकता नहीं है। इसे मौजूदा ग्राफ डिफ्यूजन मॉडल्स (GDSS, GSDM, HGDM, MOOD) में आसानी से एकीकृत किया जा सकता है।
सैद्धांतिक औचित्य (Theoretical Justification): यह प्रमाण प्रदान करता है कि स्कोर डिफरेंस में वास्तविक डेटा $X_0$ के बारे में जानकारी होती है, जिससे करेक्शन सैंपलिंग ट्राजेक्टरी को ऑप्टिमल पाथ के करीब ले जाने में मदद मिलती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस दृष्टिकोण को कई डेटासेट्स (Community-small, Enzymes, Grid, QM9, ZINC250k) और कार्यों (जेनेरिक ग्राफ जनरेशन, मॉलिक्यूलर जनरेशन, ड्रग डिस्कवरी) पर मान्य किया गया।

जेनेरिक ग्राफ जनरेशन: S++ ने डिग्री, क्लस्टरिंग कोएफिशिएंट और ऑर्बिट काउंट्स (MMD) जैसे मेट्रिक्स पर बेसलाइन मॉडल्स (GDSS, HGDM, GSDM) को काफी बेहतर प्रदर्शन किया। इसने स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम प्राप्त किए, जो अक्सर जटिल करेक्टर्स का उपयोग करने वाले बेसलाइन्स से भी बेहतर थे।
मॉलिक्यूलर जनरेशन: QM9 और ZINC250k पर, S++ ने जनरेशन की गुणवत्ता में सुधार किया (कम FCD और NSPDK MMD) और वैलिडिटी रेट्स को बढ़ाया।
- उदाहरण: QM9 पर, GDSS-OC-S++ ने बेसलाइन के 4.584 की तुलना में 1.661 का FCD प्राप्त किया।
ड्रग डिस्कवरी (MOOD): आउट-ऑफ-डिस्ट्रीब्यूशन मॉलिक्यूलर जनरेशन में, MOOD-S++ ने बेसलाइन MOOD की तुलना में पांच प्रोटीन लक्ष्यों (जैसे parp1, fa7) में उच्च "नोवेल हिट रेशियो" और बेहतर डॉकिंग स्कोर दिखाया।
दक्षता (Efficiency): S++ कम सैंपलिंग स्टेप्स के साथ उच्च-गुणवत्ता वाला जनरेशन प्रदान करता है। उदाहरण के लिए, QM9 पर, S++ ने $N=100$ स्टेप्स के साथ भी लगभग इष्टतम प्रदर्शन बनाए रखा, जबकि बेसलाइन का प्रदर्शन काफी गिर गया।
एब्लेशन स्टडीज (Ablation Studies): पुष्टि हुई कि लैंग्विन अलाइनमेंट और स्कोर करेक्शन दोनों आवश्यक हैं; इनमें से किसी एक का स्वतंत्र रूप से उपयोग करने से भी परिणाम बेहतर हुए, लेकिन दोनों को मिलाने से सर्वश्रेष्ठ प्रदर्शन मिला।

5. महत्व (Significance)

पैराडाइम शिफ्ट (Paradigm Shift): यह इस धारणा को चुनौती देता है कि ग्राफ डिफ्यूजन मॉडल्स को हमेशा एक मानक गॉसियन से शुरू होना चाहिए। यह दर्शाता है कि ग्राफ डेटा के लिए सैंपलिंग स्टार्ट को वास्तविक फॉरवर्ड प्रोसेस के साथ अलाइन करना महत्वपूर्ण है।
दक्षता बनाम गुणवत्ता (Efficiency vs. Quality): यह एक ऐसा समाधान प्रदान करता है जो जनरेशन की गुणवत्ता में सुधार करता है और साथ ही कम्प्यूटेशनल लागत को कम करता है (कम स्टेप्स की आवश्यकता), जिससे ग्राफ डिफ्यूजन मॉडल्स बड़े पैमाने के अनुप्रयोगों के लिए अधिक व्यावहारिक बन जाते हैं।
सामान्यीकरण (Generalizability): यह विधि विशिष्ट ग्राफ आर्किटेक्चर (स्पेशियल, स्पेक्ट्रल, हाइपरबोलिक) के संबंध में डोमेन-अज्ञेय (domain-agnostic) है और इसे किसी भी स्कोर-बेस्ड ग्राफ डिफ्यूजन मॉडल पर लागू किया जा सकता है, जो इस क्षेत्र में अंतर्निहित बायस समस्याओं के लिए एक यूनिवर्सल फिक्स प्रदान करता है।