🤖 machine learning

What Information Matters? Graph Out-of-Distribution Detection via Tri-Component Information Decomposition

यह शोध पत्र Tide को प्रस्तुत करता है, जो एक नवीन फ्रेमवर्क है जो लेबल-प्रासंगिक संयुक्त सूचना को अलग करने और भ्रामक फीचर- एवं संरचना-विशिष्ट संकेतों को फ़िल्टर करने के लिए त्रि-घटक सूचना अपघटन (tri-component information decomposition) का उपयोग करता है, जिससे आउट-ऑफ-डिस्ट्रीब्यूशन नोड्स का पता लगाने की ग्राफ न्यूरल नेटवर्क की क्षमता में उल्लेखनीय वृद्धि होती है।

मूल लेखक: Danny Wang, Ruihong Qiu, Zi Huang

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Danny Wang, Ruihong Qiu, Zi Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

द बिग पिक्चर: "ग्राफ डिटेक्टिव" की समस्या

कल्पना कीजिए कि आप एक जासूस हैं जो दो सुरागों के आधार पर एक विशिष्ट प्रकार के अपराधी (जिसे हम "ID" या इन-डिस्ट्रीब्यूशन कहेंगे) की पहचान करने की कोशिश कर रहे हैं:

मग्शॉट (विशेषताएं/Features): व्यक्ति कैसा दिखता है (लंबाई, बालों का रंग, टैटू)।
सोशल सर्कल (स्ट्रक्चर/Structure): उसके दोस्त कौन हैं और वे कैसे घुलते-मिलते हैं।

आप अपने जासूस (एक ग्राफ न्यूरल नेटवर्क) को ज्ञात अपराधियों के एक विशाल डेटाबेस पर प्रशिक्षित करते हैं। आपका जासूस उन्हें पहचानने में बहुत माहिर हो जाता है। लेकिन समस्या यह है: क्या होगा जब कोई नया संदिग्ध सामने आता है जो दिखने में तो ज्ञात अपराधी जैसा ही है, लेकिन उसका सोशल सर्कल बिल्कुल अलग है? या इसके विपरीत?

वास्तविक दुनिया में, डेटा बदलता रहता है। एक शहर का "अपराधी" दिखने में अलग हो सकता है या उसके दोस्त दूसरे शहर के मुकाबले अलग हो सकते हैं। यदि आपका जासूस केवल मग्शॉट या केवल दोस्तों पर बहुत अधिक निर्भर रहता है, तो वह एक "नकली" अपराधी (एक आउट-ऑफ-डिस्ट्रीब्यूशन या OOD नोड) के झांसे में आ सकता है और कह सकता है, "ओह, यह निश्चित रूप से हमारे वाला ही है!" जबकि वह वास्तव में एक छलावा है।

यह पेपर इस समस्या को ठीक करने के लिए TIDE नामक एक नई विधि पेश करता है।

समस्या: "स्मूदी" वाली गलती

वर्तमान में, अधिकांश AI जासूस "मग्शॉट" और "सोशल सर्कल" को एक बड़े स्मूदी (एक सिंगल रिप्रेजेंटेशन) में मिला देते हैं। उन्हें इस बात से कोई फर्क नहीं पड़ता कि स्मूदी का कौन सा हिस्सा चेहरे से आया है और कौन सा दोस्तों से।

यह बुरा क्यों है?
कभी-कभी, AI एक "शॉर्टकट" या स्प्यूरियस कोरिलेशन (भ्रामक संबंध) सीख लेता है।

उदाहरण: आपके ट्रेनिंग डेटा में, सभी अपराधियों के बाल लाल थे। AI ने सीख लिया: "लाल बाल = अपराधी।"
द ट्रैप (जाल): एक नया व्यक्ति सामने आता है जिसके बाल लाल हैं लेकिन वह वास्तव में एक सीधा-साधा बेकर (baker) है। क्योंकि AI केवल "लाल बाल" वाले सुराग (फीचर) को देखता है, वह आत्मविश्वास से कहता है, "यह निश्चित रूप से एक अपराधी है!" भले ही उस व्यक्ति का सोशल सर्कल (स्ट्रक्चर) कुछ और ही कह रहा हो।

पेपर का तर्क है कि मानक AI "ओवरकॉन्फिडेंट" हो जाता है क्योंकि वह इन सुरागों को आपस में मिला देता है। वह यह अंतर नहीं कर पाता कि क्या एक वास्तविक पैटर्न है और क्या केवल एक "किस्मत का संयोग"।

समाधान: TIDE (द ट्राई-कंपोनेंट डिटेक्टिव)

TIDE एक नया फ्रेमवर्क है जो एक भ्रमित जासूस के बजाय, एक साथ काम करने वाली तीन विशेषज्ञ जासूसों की एक विशेष टीम की तरह काम करता है।

1. टीम के सदस्य

एक अकेले दिमाग के बजाय, TIDE तीन अलग-अलग नेटवर्क का उपयोग करता है:

द जॉइंट डिटेक्टिव (Z): यह मुख्य बॉस है। यह मग्शॉट और सोशल सर्कल दोनों को एक साथ देखता है। इसे केवल उन सुरागों की परवाह है जो दोनों को मिलाने पर सही अर्थ देते हैं।
द फीचर डिटेक्टिव (V): यह केवल मग्शॉट को देखता है (दोस्तों को नजरअंदाज करते हुए)।
द स्ट्रक्चर डिटेक्टिव (Q): यह केवल सोशल सर्कल को देखता है (मग्शॉट को नजरअंदाज करते हुए)।

2. रणनीति: "गेहूं से भूसा अलग करना"

TIDE का लक्ष्य जॉइंट डिटेक्टिव को केवल उस जानकारी पर ध्यान केंद्रित करने के लिए मजबूर करना है जो दोनों सुरागों के संयोजन से जुड़ी सच्चाई है।

एनालॉजी (उपमा): कल्पना कीजिए कि आप एक विशिष्ट प्रकार के पक्षी की पहचान करने की कोशिश कर रहे हैं।
- स्टैंडर्ड AI: "इसके नीले पंख हैं और यह पानी के पास रहता है। नीला पंख + पानी = पक्षी।" (लेकिन शायद आपके ट्रेनिंग सेट में मौजूद सभी नीली चीजें पानी के पास रहती थीं, इसलिए यह एक बुरा नियम है)।
- TIDE: यह फीचर डिटेक्टिव से पूछता है: "क्या केवल नीले पंख होने से यह साबित होता है कि यह पक्षी है?" (नहीं, शायद यह एक नीली कार भी हो सकती है)। यह स्ट्रक्चर डिटेक्टिव से पूछता है: "क्या केवल पानी के पास रहना यह साबित करता है कि यह पक्षी है?" (नहीं, शायद यह एक मछली भी हो सकती है)।
- परिणाम: जॉइंट डिटेक्टिव को एहसास होता है, "ठीक है, मैं सिर्फ रंग या सिर्फ स्थान पर भरोसा नहीं कर सकता। मैं पक्षी पर तभी भरोसा करूँगा जब रंग और स्थान दोनों मिलकर उस विशिष्ट पैटर्न से मेल खाएंगे जो मैंने सीखा है।"

3. "इन्फॉर्मेशन बॉटलनेक" (द फिल्टर)

पेपर एक इन्फॉर्मेशन बॉटलनेक नामक अवधारणा का उपयोग करता है। इसे एक क्लब के सख्त बाउंसर की तरह समझें।

बाउंसर (AI) को निर्देश दिया गया है: "तुम केवल वही जानकारी अंदर आने दोगे जो अपराधी की पहचान करने में मदद करती है। बाकी सब बाहर निकाल दो।"
यदि "लाल बाल" वाला सुराग केवल एक संयोग है और वास्तविक नियम नहीं है, तो बाउंसर उसे बाहर निकाल देता है।
यह AI को मजबूर करता है कि वह अजीब चीजों (जैसे लाल बालों वाले बेकर) को देखते समय कम आत्मविश्वासी (less confident) बने और वास्तविक अपराधी को देखते समय अधिक आत्मविश्वासी बने।

यह क्यों महत्वपूर्ण है: "कॉन्फिडेंस गैप"

पेपर का दावा है कि इस टीम अप्रोच का उपयोग करके, TIDE "असली अपराधियों" (ID) और "छलों/नकली लोगों" (OOD) के बीच एक बड़ा अंतर पैदा करता है।

पुराना AI: लाल बालों वाले बेकर को देखकर कहता है, "99% पक्का कि यह अपराधी है!" (बहुत अधिक आत्मविश्वास, गलत उत्तर)।
TIDE: लाल बालों वाले बेकर को देखकर कहता है, "हम्म, बाल मैच कर रहे हैं, लेकिन दोस्त नहीं। मैं केवल 40% पक्का हूँ। यह एक छलावा हो सकता है।" (कम आत्मविश्वास, सही संदेह)।

क्योंकि TIDE अजीब चीजों के बारे में कम आत्मविश्वासी होता है, इसलिए यह उन्हें पकड़ने में बहुत बेहतर होता है। पेपर इसे "शार्पर सेपरेशन" (तीक्ष्ण पृथक्करण) कहता है।

परिणाम: "स्कोरबोर्ड"

शोधकर्ताओं ने सात अलग-अलग डेटासेट्स (जैसे वैज्ञानिक शोध पत्रों के साइटेशन नेटवर्क, गेमर्स के सोशल नेटवर्क और उत्पादों के सह-क्रय नेटवर्क) पर TIDE का परीक्षण किया।

जीत: TIDE ने "छलों" (Out-of-Distribution nodes) को पहचानने की क्षमता में उल्लेखनीय सुधार किया।
आंकड़ा: कुछ मामलों में, इसने मौजूदा सर्वोत्तम तरीकों की तुलना में त्रुटि दर (False Positive Rate) को 34% तक कम कर दिया।
ट्रेड-ऑफ (समझौता): इसे प्रशिक्षित करने में थोड़ा अधिक समय लगता है (लग लगभग 2-3 गुना अधिक) क्योंकि इसे एक के बजाय तीन जासूसों को प्रशिक्षित करना पड़ता है। हालांकि, प्रशिक्षित होने के बाद, यह भविष्यवाणियां करते समय अन्य तरीकों की तरह ही तेजी से काम करता है।

एक वाक्य में सारांश

TIDE संयोगवश मिलने वाले सुरागों से AI को धोखा देने से रोकता है, क्योंकि यह "चेहरे के सुरागों" को "दोस्तों के सुरागों" से अलग करने और केवल उन पैटर्नों पर भरोसा करने के लिए मजबूर करता है जो दोनों के मिलने पर सच साबित होते हैं, जिससे यह नकली चीजों को पहचानने में बहुत बेहतर बन जाता है।

तकनीकी सारांश: TIDE – त्रि-घटक सूचना अपघटन के माध्यम से ग्राफ आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन

1. समस्या विवरण (Problem Statement)

ग्राफ न्यूरल नेटवर्क (GNNs) नोड वर्गीकरण के लिए व्यापक रूप से उपयोग किए जाते हैं, लेकिन वे नोड फीचर्स ( $X$ ) और ग्राफ स्ट्रक्चर ( $A$ ) में आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) बदलावों के प्रति संवेदनशील बने रहते हैं। मौजूदा सुपरवाइज्ड लर्निंग (SL) दृष्टिकोण आमतौर पर एक मिश्रित प्रतिनिधित्व $Z = f(X, A)$ सीखते हैं जो तीन प्रकार के संकेतों को मिला देता है:

फीचर-विशिष्ट संकेत (Feature-specific signals): केवल $X$ पर निर्भर सहसंबंध।
स्ट्रक्चर-विशिष्ट संकेत (Structure-specific signals): केवल $A$ पर निर्भर सहसंबंध।
संयुक्त-इनपुट संकेत (Joint-input signals): $X$ और $A$ के बीच की अंतःक्रियाएं।

यद्यपि ये तीनों ही ट्रेनिंग डिस्ट्रीब्यूशन के भीतर भविष्य कहने योग्य (predictive) हो सकते हैं, लेकिन फीचर-ओनली और स्ट्रक्चर-ओनली संकेत अक्सर स्प्यूरियस कोरिलेशन (spurious correlations) को पकड़ते हैं जो डिस्ट्रीब्यूशनल शिफ्ट के तहत विफल हो जाते हैं। उदाहरण के लिए, एक मॉडल जो स्प्यूरियस स्ट्रक्चर-लेबल सहसंबंधों पर निर्भर है, वह शिफ्टेड फीचर्स वाले लेकिन बरकरार स्ट्रक्चर वाले OOD नोड्स को इन-डिस्ट्रीब्यूशन (ID) के रूप में आत्मविश्वास से गलत वर्गीकृत कर सकता है। मानक SL इन संकेतों के बीच अंतर करने में विफल रहता है, जिससे OOD डेटा पर अत्यधिक आत्मविश्वास वाली भविष्यवाणियां और ID एवं OOD नोड्स के बीच खराब अलगाव होता है।

2. कार्यप्रणाली: TIDE फ्रेमवर्क (Methodology: The TIDE Framework)

लेखक TIDE (ट्राई-कंपोनेंट इंफॉर्मेशन डीकंपोजिशन) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे भविष्य कहने वाली सूचना को फीचर-विशिष्ट, स्ट्रक्चर-विशिष्ट और संयुक्त घटकों में स्पष्ट रूप से विघटित करने के लिए डिज़ाइन किया गया है। मुख्य उद्देश्य केवल लेबल-प्रासंगिक संयुक्त सूचना (label-relevant joint information) को संरक्षित करना है जबकि स्प्यूरियस सिंगल-इनपुट सहसंबंधों और लेबल-अप्रासंगिक शोर को फ़िल्टर करना है।

2.1 त्रि-घटक सूचना अपघटन (Tri-Component Information Decomposition)

TIDE इनपुट्स $(X, A)$ और लेबल $Y$ के बीच म्यूचुअल इंफॉर्मेशन को तीन घटकों के योग के रूप में औपचारिक रूप देता है:
$I(X, A; Y) = I(Z; Y) + I(X; Y|Z) + I(A; Y|Z)$
जहाँ:

$I(Z; Y)$ : संयुक्त-इनपुट सूचना (मुख्य एनकोडर $Z$ द्वारा कैप्चर की गई)।
$I(X; Y|Z)$ : फीचर-विशिष्ट सूचना (एक सहायक फीचर नेटवर्क $V$ द्वारा कैप्चर की गई)।
$I(A; Y|Z)$ : स्ट्रक्चर-विशिष्ट सूचना (एक सहायक स्ट्रक्चर नेटवर्क $Q$ द्वारा कैप्चर की गई)।

फ्रेमवर्क तीन समर्पित नेटवर्कों का उपयोग करता है:

संयुक्त एनकोडर ( $Z$ ): एक GNN क्लासिफायर जो स्थिर फीचर-स्ट्रक्चर इंटरैक्शन को कैप्चर करता है।
फीचर नेटवर्क ( $V$ ): एक MLP जो केवल फीचर-आधारित संकेतों को अलग करता है।
स्ट्रक्चर नेटवर्क ( $Q$ ): एक GNN (स्थिर फीचर्स के साथ) जो केवल स्ट्रक्चर-आधारित संकेतों को अलग करता है।

2.2 अनुकूलन उद्देश्य (Optimization Objectives)

वांछित अपघटन प्राप्त करने के लिए, TIDE एक कंपोजिट ऑब्जेक्टिव फंक्शन को ऑप्टिमाइज़ करता है जो एक इंफॉर्मेशन बॉटलनेक (IB) बैकबोन के साथ दो सिद्धांत-आधारित रेगुलराइजर्स को जोड़ता है:

इंफॉर्मेशन बॉटलनेक (IB) ऑब्जेक्टिव:
तीनों नेटवर्कों पर लागू, IB ऑब्जेक्टिव लेबल-प्रासंगिक सूचना को अधिकतम करता है और लेबल-अप्रासंगिक शोर को न्यूनतम करता है:
$\max I(Z; Y) - \beta_Z I(X, A; Z)$
यह प्रतिनिधित्व को अप्रासंगिक विवरणों को संकुचित करने के लिए प्रोत्साहित करता है, जो सैद्धांतिक रूप से ID भविष्यवाणियों को तेज करता है और ID एवं OOD डेटा के बीच एंट्रॉपी गैप को बढ़ाता है।
कंडीशनल इंडिपेंडेंस रेगुलराइज़र (Conditional Independence Regularizer):
यह सुनिश्चित करने के लिए कि $Z$ संयुक्त सिग्नल को कैप्चर करे न कि अवशिष्ट निर्भरता को, TIDE $A \perp\!\!\!\perp X | Z$ को लागू करता है:
$\min I(A; X | Z)$
इसे एक रिकंस्ट्रक्शन लॉस के माध्यम से लागू किया जाता है, जो $Z$ को $X$ की उस सभी जानकारी को एनकोड करने के लिए प्रोत्साहित करता है जो $A$ के लिए प्रासंगिक है (और इसके विपरीत), किसी भी शेष निर्भरता को स्प्यूरियस मानते हुए।
पेयरवाइज म्यूचुअल इंफॉर्मेशन (PMI) मिनिमाइजेशन:
यह सुनिश्चित करने के लिए कि तीनों नेटवर्क एक ही जानकारी को पुनरावृत्ति (redundantly) के साथ एनकोड न करें, TIDE उनके बीच पेयरवाइज म्यूचुअल इंफॉर्मेशन को कम करता है:
$\min \alpha_1 I(Z; V) + \alpha_2 I(Z; Q) + \alpha_3 I(V; Q)$
इसे CLUB (कॉन्ट्रास्टिव लॉग-रेशियो अपर बाउंड) एस्टीमेटर का उपयोग करके लागू किया जाता है।

2.3 इन्फरेंस (Inference)

इन्फरेंस के दौरान, केवल संयुक्त एनकोडर ( $Z$ ) का उपयोग किया जाता है। सहायक नेटवर्क ( $V$ और $Q$ ) केवल ट्रेनिंग-टाइम रेगुलराइजर्स के रूप में कार्य करते हैं ताकि सिग्नल्स के डिसेंटैंगलमेंट (disentanglement) में मार्गदर्शन किया जा सके। OOD डिटेक्शन $Z$ के लॉजिट्स से प्राप्त एनर्जी-बेस्ड स्कोरिंग का उपयोग करके किया जाता है।

3. मुख्य योगदान (Key Contributions)

मेथोडोलॉजिकल: TIDE का प्रस्ताव, जो एक नया फ्रेमवर्क है जो ग्राफ प्रेडिक्टिव इंफॉर्मेशन को स्पष्ट रूप से फीचर-विशिष्ट, स्ट्रक्चर-विशिष्ट और संयुक्त घटकों में विभाजित करता है। यह स्प्यूरियस सहसंबंधों को दबाने और कंडीशनल इंडिपेंडेंस को लागू करने के लिए विशिष्ट रेगुलराइजर्स पेश करता है।
सैद्धांतिक: लेखक सैद्धांतिक अंतर्दृष्टि प्रदान करते हैं जो दर्शाती है कि IB ऑब्जेक्टिव स्टैंडर्ड SL की तुलना में ID प्रेडिक्शन कॉन्फिडेंस को कैसे सुधारता है और ID एवं OOD डेटा के बीच एंट्रॉपी गैप को कैसे चौड़ा करता है। यह एक सैद्धांतिक आधार प्रदान करता है कि क्यों IB-ट्रेन्ड मॉडल स्वाभाविक रूप से लॉजिट-बेस्ड OOD डिटेक्शन के लिए बेहतर होते हैं।
एम्पिरिकल: विभिन्न शिफ्ट प्रकारों (फीचर, स्ट्रक्चर, जॉइंट और लेबल शिफ्ट) के तहत सात डेटासेट्स (Cora, Citeseer, Pubmed, Amazon, Twitch, और Arxiv सहित) पर व्यापक प्रयोग। TIDE प्रतिस्पर्धी ID सटीकता बनाए रखते हुए मजबूत बेसलाइन्स पर FPR95 में 34% तक सुधार प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रदर्शन: TIDE, नॉन-OOD एक्सपोज़र बेसलाइन्स (जैसे, GNNSAFE, NODESAFE) और सामान्य OOD विधियों (जैसे, MSP, Energy) को महत्वपूर्ण रूप से पछाड़ता है।
- Twitch डेटासेट पर, TIDE ने बेसलाइन्स की तुलना में AUROC में 23% से अधिक सुधार किया और FPR95 को 34% कम कर दिया।
- Pubmed पर, TIDE ने FPR95 को ~37% (GNNSAFE) से घटाकर ~12.75% कर दिया।
एब्लेशन स्टडीज (Ablation Studies): IB बैकबोन को हटाने से FPR95 में ~20% की वृद्धि होती है, और कंडीशनल इंडिपेंडेंस कंस्ट्रेंट को हटाने से प्रदर्शन में और गिरावट आती है, जो दोनों घटकों की आवश्यकता की पुष्टि करता है।
उन्नत विधियों के साथ तुलना: जब TIDE के ऑब्जेक्टिव को अन्य उन्नत विधियों (जैसे, DeGEM, GOLD) में एकीकृत किया जाता है, तो यह लगातार उनके डिटेक्शन मेट्रिक्स में सुधार करता है, जो बताता है कि डिकंपोजिशन फ्रेमवर्क पूरक (complementary) है।
दक्षता: हालांकि सहायक नेटवर्क के कारण TIDE में ट्रेनिंग का समय 2-3 गुना बढ़ जाता है, लेकिन इन्फरेंस समय और मेमोरी उपयोग SOTA विधियों के समान ही रहता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि TIDE वर्तमान ग्राफ OOD डिटेक्शन की एक मौलिक सीमा को संबोधित करता है: मिश्रित प्रतिनिधित्व पर निर्भरता जो स्प्यूरियस सहसंबंधों को कैप्चर करते हैं। सूचना को स्पष्ट रूप से विभाजित करके और इंफॉर्मेशन बॉटलनेक सिद्धांत का उपयोग करके, TIDE मॉडल को नाजुक सिंगल-इनपुट संकेतों के बजाय शिफ्ट-इंडिकेटिव जॉइंट-इनपुट सिग्नल्स पर भरोसा करने के लिए मजबूर करता है।

लेखक दावा करते हैं कि उनका कार्य सूचना संपीड़न (information compression) और OOD डिटेक्शन प्रदर्शन के बीच एक सैद्धांतिक लिंक प्रदान करता है, यह दिखाते हुए कि अप्रासंगिक सूचना को कम करने से ID कॉन्फिडेंस अधिक सटीक होता है और ID-OOD एंट्रॉपी गैप बड़ा होता है। वे TIDE को वास्तविक दुनिया के ग्राफ अनुप्रयोगों में मजबूती (robustness) में सुधार के लिए एक आधारभूत कदम के रूप में प्रस्तुत करते हैं, जहाँ फीचर्स और स्ट्रक्चर में डिस्ट्रीब्यूशनल शिफ्ट आम है, और इसके लिए ट्रेनिंग के दौरान किसी सहायक OOD डेटा की आवश्यकता नहीं होती है। यह कार्य नोड-लेवल ग्राफ कार्यों के लिए व्यापक प्रयोज्यता के साथ एक मेथोडोलॉजिकल प्रगति के रूप में प्रस्तुत किया गया है, हालांकि लेखक नोट करते हैं कि फ्रेमवर्क को ग्राफ-लेवल OOD डिटेक्शन और हेटरोफिलिक ग्राफ्स तक विस्तारित करना भविष्य के शोध की दिशा है।