🤖 machine learning

ZAYAN: Disentangled Contrastive Transformer for Tabular Remote Sensing Data

यह शोध पत्र ZAYAN को प्रस्तुत करता है, जो एक स्व-पर्यवेक्षित (self-supervised), विशेषता-केंद्रित कंट्रास्टिव फ्रेमवर्क है जो टैबुलर रिमोट सेंसिंग डेटा से सुदृढ़, विसंयोजित (disentangled) प्रतिनिधित्व सीखने के लिए ज़ीरो-एंकर ऑब्जेक्टिव और ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करता है, और मौजूदा बेसलाइन की तुलना में लेबल की कमी और वितरण बदलावों के तहत बेहतर सटीकता और सामान्यीकरण प्राप्त करता है।

मूल लेखक: Al Zadid Sultan Bin Habib, Tanpia Tasnim, Md. Ekramul Islam, Muntasir Tabasum

प्रकाशित 2026-05-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Al Zadid Sultan Bin Habib, Tanpia Tasnim, Md. Ekramul Islam, Muntasir Tabasum

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ ZAYAN पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के माध्यम से समझाया गया है।

बड़ी समस्या: डेटा का "शोर भरा कमरा" (Noisy Room)

कल्पना कीजिए कि आप एक ऐसे कमरे में बैठकर मौसम के बारे में सीखने की कोशिश कर रहे हैं जहाँ 100 लोग एक साथ बोल रहे हैं।

चुनौती: रिमोट सेंसिंग (जैसे उपग्रहों से पृथ्वी को देखना) में, डेटा उस शोर भरे कमरे जैसा है। आपके पास सैकड़ों अलग-अलग "फीचर्स" (तापमान, मिट्टी की नमी, पेड़ों की ऊँचाई, जल स्तर) हैं जो एक-दूसरे के ऊपर चिल्ला रहे हैं।
समस्याएँ:
1. अतिरेक (Redundancy): कई लोग बिल्कुल एक ही बात कह रहे हैं (जैसे, "बारिश हो रही है" और "ज़मीन गीली है" एक ही संदेश हैं)।
2. विषमता (Heterogeneity): कुछ लोग फुसफुसा रहे हैं, कुछ चिल्ला रहे हैं, और कुछ अलग-अलग भाषाएँ बोल रहे हैं।
3. कमी (Scarcity): आपके पास केवल कुछ ही "शिक्षक" (लेबल वाला डेटा) हैं जो आपको बता सकें कि कौन सही है। ज़्यादातर समय, आपको खुद ही इसे समझना पड़ता है।

पारंपरिक कंप्यूटर मॉडल इस कमरे में अक्सर भ्रमित हो जाते हैं। वे केवल विशिष्ट लोगों (सैंपल्स) को याद करने की कोशिश करते हैं बजाय उन विचारों (फीचर्स) को समझने के जिन पर चर्चा की जा रही है।

समाधान: ZAYAN (द "फीचर डिटेक्टिव")

लेखकों ने एक नया सिस्टम बनाया है जिसे ZAYAN कहा जाता है। इसे एक स्मार्ट जासूस की तरह समझें जिसे इस बात से फर्क नहीं पड़ता कि कौन बोल रहा है, बल्कि इस बात से फर्क पड़ता है कि क्या बोला जा रहा है।

ZAYAN दो मुख्य चरणों में काम करता है, जैसे कि दो-चरणीय प्रशिक्षण शिविर (training camp):

चरण 1: "ज़ीरो-एंकर" जिम (ZAYAN-CL)

आमतौर पर, सीखने के लिए एक छात्र को एक शिक्षक की ज़रूरत होती है जो किसी तस्वीर की ओर इशारा करके कहे, "यह एक बिल्ली है।" ZAYAN को इसकी ज़रूरत नहीं है। यह सेल्फ-सुपरवाइज्ड लर्निंग नामक तकनीक का उपयोग करता है।

उदाहरण: कल्पना कीजिए कि आप सीखने की कोशिश कर रहे हैं कि "सेब" कैसा दिखता है। इसके बजाय कि आपको बताया जाए "यह एक सेब है," आपको एक सेब की फोटो दी जाती है, फिर उसी सेब की एक फोटो जिसमें एक फ़िल्टर लगा हो, फिर एक फोटो जहाँ उसका कुछ हिस्सा ढका हुआ हो।
ZAYAN क्या करता है: यह एक एकल फीचर (जैसे "मिट्टी की नमी") लेता है और उसके दो थोड़े अलग, "शोर वाले" संस्करण बनाता है (जैसे रेडियो सिग्नल में स्टेटिक जोड़ना)। फिर यह कंप्यूटर को यह समझने के लिए मजबूर करता है कि, "हे, भले ही ये दोनों अलग दिख रहे हों, लेकिन ये वास्तव में एक ही मूल अवधारणा हैं।"
"ज़ीरो-एंकर" का कमाल: अधिकांश सिस्टम को तुलना करने के लिए एक "संदर्भ बिंदु" (एंकर) की आवश्यकता होती है। ZAYAN चतुर है; इसे एंकर की आवश्यकता नहीं है। यह बस फीचर की तुलना उसके अपने शोर वाले संस्करणों से करता है।
"डिसेन्टैंगलमेंट" (Disentanglement) का लक्ष्य: सिस्टम का एक नियम भी है: "फीचर्स को एक-दूसरे की नकल न करने दें।" यदि "मिट्टी की नमी" और "बारिश" एक ही बात कह रहे हैं, तो ZAYAN उन्हें एक-दूसरे से अलग रहने के लिए मजबूर करता है ताकि वे बातचीत में भीड़ न बढ़ाएँ। इससे एक साफ, व्यवस्थित मानसिक मानचित्र बनता है जहाँ सूचना के हर टुकड़े का अपना अनूठा स्थान होता है।

चरण 2: "ट्रांसफॉर्मर" मस्तिष्क (ZAYAN-T)

एक बार जब जासूस चरण 1 में सुरागों को व्यवस्थित कर लेता है, तो वह चरण 2 पर जाता है: वास्तविक रहस्य को सुलझाना (जैसे बाढ़ की भविष्यवाणी करना या जंगल के प्रकार की पहचान करना)।

उदाहरण: अब जब सुराग फाइलों में करीने से सजे हुए हैं, तो जासूस एक सुपर-ब्रेन (Transformer, वही तकनीक जो आधुनिक AI चैटबॉट्स के पीछे है) का उपयोग करके उस फाइल को पढ़ता है।
जादू: क्योंकि चरण 1 में सुरागों को बहुत सावधानी से व्यवस्थित किया गया था, इसलिए सुपर-ब्रेन उन्हें बहुत तेज़ी से और अधिक सटीकता से पढ़ सकता है। उसे यह समझने में ऊर्जा बर्बाद करने की ज़रूरत नहीं है कि कौन से सुराग डुप्लिकेट हैं; वह बस पैटर्न पर ध्यान केंद्रित करता है।

यह कितना प्रभावी रहा?

लेखकों ने 8 अलग-अलग डेटासेट्स पर ZAYAN का परीक्षण किया, जिसमें पेड़ों के प्रकारों की पहचान करने से लेकर भारत में बाढ़ की भविष्यवाणी करने तक शामिल है।

परिणाम: ZAYAN लगभग हर बार जीता। यह पारंपरिक तरीकों (जैसे डिसीजन ट्री) से अधिक सटीक था और इसने टेबल (तालिका) के लिए डिज़ाइन किए गए अन्य फैंसी AI मॉडलों को भी मात दी।
"स्ट्रेस टेस्ट": जब डेटा अस्त-व्यस्त था, उसमें कुछ हिस्से गायब थे, या बहुत असंतुलित था (जैसे कि "बाढ़ नहीं" के उदाहरणों की संख्या "बाढ़" के उदाहरणों से बहुत अधिक होना), तब भी ZAYAN मज़बूत बना रहा।
"ट्राइएज" (Triage) टेस्ट: उन्होंने यह भी जाँच की कि क्या ZAYAN पर वास्तविक जीवन में भरोसा किया जा सकता है। उन्होंने पाया कि जब ZAYAN बहुत आश्वस्त (confident) था, तो वह लगभग हमेशा सही था। यह बाढ़ की चेतावनी जैसी चीज़ों के लिए महत्वपूर्ण है, जहाँ आप लोगों को डराना नहीं चाहते जब तक कि आप सुनिश्चित न हों।

यह एक बड़ी बात क्यों है?

रिमोट सेंसिंग के लिए अधिकांश AI छवियों (पिक्सेल) को देखता है जैसे कोई इंसान फोटो को देखता है। लेकिन बहुत सारा पर्यावरणीय डेटा केवल टेबल (संख्याओं की पंक्तियाँ और कॉलम) होता है।

ZAYAN विशेष है क्योंकि यह इन टेबल्स को एक बिखरी हुई स्प्रेडशीट के रूप में नहीं, बल्कि एक संरचित बातचीत के रूप में देखता है जहाँ प्रत्येक फीचर की अपनी अनूठी आवाज़ होती है। भविष्यवाणी करने से पहले शोर को साफ करके और अतिरेक (redundancy) को हटाकर, यह एक बहुत अधिक स्मार्ट, अधिक विश्वसनीय सिस्टम बनाता है।

संक्षेप में: ZAYAN एक ऐसा तरीका है जो कंप्यूटर को पर्यावरणीय डेटा के सार को समझने के लिए सिखाता है। यह शोर को साफ करके और जानकारी को व्यवस्थित करके, उन्हें बाढ़, जंगलों और भूमि उपयोग के बारे में बेहतर भविष्यवाणी करने में सक्षम बनाता है—भले ही उनके पास सीखने के लिए बहुत अधिक लेबल वाले उदाहरण न हों।

यहाँ शोध पत्र "ZAYAN: Disentangled Contrastive Transformer for Tabular Remote Sensing Data" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रिमोट सेंसिंग और पर्यावरण विज्ञान तेजी से उपग्रह इमेजरी, सेंसर नेटवर्क और सर्वेक्षणों से प्राप्त बड़े पैमाने के टेबुलर डेटासेट (tabular datasets) पर निर्भर होते जा रहे हैं। हालाँकि, इस डेटा से सूचनात्मक प्रतिनिधित्व (informative representations) सीखना चुनौतीपूर्ण है क्योंकि:

विषमता (Heterogeneity): विविध प्रकार की विशेषताएं (निरंतर, श्रेणीबद्ध, स्पेक्ट्रल इंडेक्स)।
विशेषता अतिरेक (Feature Redundancy): विशेषताओं के बीच उच्च सहसंबंध (जैसे, कई वनस्पति सूचकांक)।
लेबल की कमी (Label Scarcity): पर्यवेक्षित प्रशिक्षण (supervised training) के लिए ग्राउंड-ट्रुथ लेबल की सीमित उपलब्धता।
शोर (Noise): माप त्रुटियां और वितरण परिवर्तन (distribution shifts)।

रिमोट सेंसिंग के लिए मौजूदा स्व-पर्यवेक्षित शिक्षण (Self-Supervised Learning - SSL) विधियाँ (जैसे, SeCo, MATTER) मुख्य रूप से इमेज व्यूज़ पर कंट्रास्टिव लर्निंग का उपयोग करके इंस्टेंस/पैच स्तर (instance/patch level) पर कार्य करती हैं। वे विशेषता-स्तर की अंतःक्रियाओं (feature-level interactions) को स्पष्ट रूप से मॉडल करने या टेबुलर इनपुट में अतिरेक (redundancy) को संबोधित करने में विफल रहती हैं। इसके विपरीत, मानक टेबुलर डीप लर्निंग मॉडल (Transformers, TabNet) अक्सर सभी विशेषताओं को बिना किसी विसंयोजन (disentangling) के समान टोकन के रूप में मानते हैं, जिससे लेबल की कमी और शोर के तहत उप-इष्टतम प्रदर्शन होता है।

2. कार्यप्रणाली: ZAYAN फ्रेमवर्क (Methodology: ZAYAN Framework)

ZAYAN (Zero-Anchor dYnamic Attribute Ncoding) एक दो-चरणीय, स्व-पर्यवेक्षित फ्रेमवर्क है जिसे विशेष रूप से टेबुलर रिमोट सेंसिंग डेटा के लिए डिज़ाइन किया गया है। यह विशेषता प्रतिनिधित्व सीखने (feature representation learning) को डाउनस्ट्रीम वर्गीकरण से अलग करता है।

A. ZAYAN-CL: विशेषता-स्तर कंट्रास्टिव प्रीट्रेनिंग (Feature-Level Contrastive Pretraining)

यह मॉड्यूल लेबल या स्पष्ट एंकर नमूनों के बिना मजबूत, विसंयोजित (disentangled) विशेषता एम्बेडिंग सीखता है।

जीरो-एंकर ऑब्जेक्टिव (Zero-Anchor Objective): पारंपरिक कंट्रास्टिव लर्निंग के विपरीत, जो नमूनों (एक ही क्लास के पॉजिटिव पेयर्स, अलग क्लास के नेगेटिव पेयर्स) के बीच अंतर करता है, ZAYAN विशेषताओं (features) के बीच अंतर करता है। यह प्रत्येक फीचर कॉलम $f_j$ को स्वतंत्र रूप से मानता है।
डायनेमिक ऑग्मेंटेशन (Dynamic Augmentation): प्रत्येक फीचर वेक्टर के लिए, दो स्टोकेस्टिक व्यूज़ उत्पन्न किए जाते हैं:
- गॉसियन नॉइज़ इंजेक्शन (Gaussian noise injection)।
- क्वानटाइल वार्पिंग विद जिटर (Quantile warping with jitter)।
- रैंडम मास्किंग (वैल्यू को शून्य से बदलना)।
लॉस फंक्शन (Loss Function): मॉडल एक फीचर-लेवल इन्फोNCE लॉस ( $L_{CL}$ ) को अनुकूलित करता है ताकि एक ही फीचर के ऑगमेंटेड व्यूज़ के बीच सहमति को अधिकतम किया जा सके और अलग-अलग फीचर्स के व्यूज़ को दूर धकेला जा सके।
रेडंडेंसी पेनल्टी ( $R(\theta)$ ): अतिरेक को स्पष्ट रूप से कम करने के लिए, फीचर एम्बेडिंग्स के बीच स्क्वेर्ड कोसाइन सिमिलरिटी पर आधारित एक पेनल्टी जोड़ी जाती है। यह एम्बेडिंग्स को ऑर्थोगोनल (विसंयोजित) होने के लिए प्रोत्साहित करता है।
- फॉर्मूलेशन: $R(\theta) = \|Z^\top Z - I\|_F^2$ , जहाँ $Z$ फीचर एम्बेडिंग्स का मैट्रिक्स है।
आउटपुट: यूनिट हाइपरस्फीयर पर स्थित सामान्यीकृत, विसंयोजित (disentangled) फीचर एम्बेडिंग्स $\{z_j\}$ का एक सेट।

B. ZAY-AN-T: ट्रांसफार्मर-आधारित डाउनस्ट्रीम वर्गीकरण (Transformer-Based Downstream Classification)

यह मॉड्यूल डाउनस्ट्रीम कार्यों के लिए प्रीट्रेन किए गए एम्बेडिंग्स का लाभ उठाता है।

आर्किटेक्चर: एक ट्रांसफार्मर एनकोडर जो फीचर एम्बेडिंग्स $\{z_j\}$ के अनुक्रम (sequence) को इनपुट के रूप में लेता है।
ZAYAN-अवेयर पोजीशनल एनकोडिंग (ZAYAN-Aware Positional Encoding): मानक ट्रांसफार्मर के विपरीत, ZAYAN-T प्रीट्रेनिंग के दौरान स्थापित संरचनात्मक और कोणीय संबंधों को बनाए रखने के लिए विशिष्ट पोजीशनल एनकोडिंग जोड़ता है।
स्ट्रक्चर-प्रिजर्विंग लॉस (Structure-Preserving Loss): फाइन-ट्यूनिंग के दौरान, एक पेनल्टी टर्म ( $L_{preserve}$ ) यह सुनिश्चित करता है कि ट्रांसफार्मर आउटपुट मूल प्रीट्रेन किए गए एम्बेडिंग्स के करीब रहे, जिससे मॉडल द्वारा विसंयोजित संरचना को भूलने (forgetting) की संभावना कम हो जाती है।
प्रेडिक्शन (Prediction): ट्रांसफार्मर आउटपुट को एकत्रित (mean pooling) किया जाता है और अंतिम वर्गीकरण के लिए एक MLP के माध्यम से भेजा जाता है।

3. प्रमुख योगदान (Key Contributions)

ZAYAN-CL (विशेषता-स्तर कंट्रास्टिव प्रीट्रेनिंग): एक जीरो-एंकर, फीचर-सेंट्रिक कंट्रास्टिव स्कीम पेश करता है जो बिना लेबल के मजबूत, विसंयोजित और रेडंडेंसी-मिनिमाइज्ड एम्बेडिंग्स बनाता है।
ZAYAN-T (ट्रांसफार्मर बैकबोन): एक ट्रांसफार्मर आर्किटेक्चर प्रस्तावित करता है जो इन प्रीट्रेन किए गए एम्बेडिंग्स पर आधारित है और एक विशेष लॉस फंक्शन के माध्यम से उनकी ज्यामितीय संरचना को सुरक्षित रखता है।
व्यापक बेंचमार्क (Comprehensive Benchmarks): पूर्ववर्ती टेबुलर बेंचमार्क अध्ययनों को आठ रिमोट सेंसिंग और बाढ़-भविष्यवाणी डेटासेट्स के व्यापक समूह तक विस्तारित करता है, जिसमें शहरी भूमि कवर, वन प्रकार, फसल मानचित्रण, बाढ़ जोखिम जैसे विविध डोमेन शामिल हैं।
मजबूती और तैनाती लाभ (Robustness & Deployment Gains): लेबल की कमी और वितरण बदलाव (distribution shifts) के तहत शास्त्रीय ML (Random Forest, XGBoost) और आधुनिक डीप टेबुलर मॉडल्स (TabNet, TabTransformer, TabPFN) की तुलना में सटीकता, शोर के प्रति मजबूती और कैलिब्रेशन में निरंतर श्रेष्ठता प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन 31 बेसलाइन्स (जिसमें ट्री एनसेम्बल्स, डीप न्यूरल नेटवर्क और फाउंडेशन मॉडल्स शामिल हैं) के विरुद्ध आठ डेटासेट्स (जैसे, अर्बन लैंड कवर, इंडिया में फ्लड रिस्क, प्लुवियल फ्लड) पर किया गया।

प्रदर्शन (Performance): ZAYAN ने सभी डेटासेट्स में उच्चतम या उच्चतम-बराबर औसत सटीकता प्राप्त की।
- अर्बन लैंड कवर: 84.80% (सर्वश्रेष्ठ बेसलाइन ~83% के मुकाबले)।
- Wilt: 99.69%।
- RSI-CB256: 99.77%।
- Pluvial Flood (Noisy): 93.61% (शोर वाले परिवेश में अन्य मॉडल्स से काफी बेहतर)।
रैंकिंग (Ranking): ZAYAN ने 1.06 का औसत रैंक प्राप्त किया, जो अगले सर्वश्रेष्ठ मॉडल्स (TabICL के 3.38 और TANDEM के 6.06) से काफी बेहतर है।
एब्लेशन स्टडीज (Ablation Studies):
- रेडंडेंसी पेनल्टी या कंट्रास्टिव लॉस को हटाने से सटीकता में महत्वपूर्ण गिरावट (4–9%) आई।
- मॉडल फीचर शफलिंग (25% तक) के प्रति मजबूत है लेकिन व्यवस्थित सूचना हानि (फीचर ड्रॉपिंग) के प्रति संवेदनशील है।
- रेडंडेंसी पेनल्टी प्रभावी रूप से फीचर एम्बेडिंग्स को ऑर्थोगोनल बनाती है (ग्राम मैट्रिक्स का ऑफ-डायगोनल मीन $\approx 0.01$ है)।
डिप्लॉयमेंट डायग्नोस्टिक्स (Deployment Diagnostics): ZAYAN ने उत्कृष्ट कैलिब्रेशन (ECE = 0.151) और "ट्राइएज" परिदृश्यों में उच्च विश्वसनीयता (बाइनरी रिस्क स्ट्रैटिफिकेशन के लिए AUC = 1.0) दिखाई, जो इसे वास्तविक दुनिया की तैनाती के लिए उपयुक्त बनाती है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

ZAYAN रिमोट सेंसिंग एनालिटिक्स में एक महत्वपूर्ण अंतराल को संबोधित करता है: पर्यावरणीय स्रोतों से प्राप्त टेबुलर डेटा के लिए प्रभावी स्व-पर्यवेक्षित विधियों की कमी। फीचर-स्तर के विसंजन (feature-level disentanglement) को अपनाकर, यह रिमोट सेंसिंग डेटा में निहित उच्च रेडंडेंसी और विषमता को प्रभावी ढंग से संभालता है।

वैज्ञानिक प्रभाव (Scientific Impact): यह सिद्ध करता है कि टेबुलर रिमोट सेंसिंग डेटा के लिए इंस्टेंस-लेवल कंट्रास्टिव लर्निंग या मानक पर्यवेक्षित डीप लर्निंग की तुलना में फीचर-लेवल विसंजन (disentanglement) एक बेहतर रणनीति है।
व्यावहारिक उपयोगिता (Practical Utility): यह फ्रेमवर्क कम-लेबल वाले शासन (low-label regimes) और शोर वाले वातावरण में अत्यधिक प्रभावी है, जो पर्यावरणीय निगरानी में आम हैं।
सीमाएँ और भविष्य का कार्य (Limitations & Future Work): रेडंडेंसी पेनल्टी के कारण वर्तमान कार्यान्वयन में फीचर्स की संख्या के संबंध में द्विघातीय जटिलता ( $O(m^2)$ ) है, जो अत्यंत उच्च-आयामी इनपुट के लिए स्केलेबिलिटी को सीमित कर सकती है। भविष्य के कार्य में इस समस्या को हल करने के लिए स्पार्स अटेंशन मैकेनिज्म को शामिल करना शामिल है।

संक्षेप में, ZAYAN टेबुलर सेंसिंग डेटा से सीखने के लिए एक नया "नुस्खा" प्रदान करता है: जीरो-एंकर फीचर कंट्रास्टिव प्रीट्रेनिंग + स्ट्रक्चर-प्रिजर्विंग ट्रांसफार्मर फाइन-ट्यूनिंग।