🤖 AI

Increasing the Robustness of Model Predictions to Missing Sensors in Earth Observation

यह शोध पत्र दो नवीन विधियों, इनपुट सेंसर ड्रॉपआउट (ISensD) और एनसेम्बल सेंसर इनवेरिएंट (ESensI) का प्रस्ताव और मूल्यांकन करता है, जो तीन अर्थ ऑब्जर्वेशन डेटासेट पर प्रयोगों के माध्यम से यह प्रदर्शित करता है कि एनसेम्बल-आधारित मल्टी-सेंसर मॉडल और सेंसर ड्रॉपआउट तकनीकें लुप्त सेंसर डेटा के विरुद्ध भविष्यवाणी की मजबूती को महत्वपूर्ण रूप से बढ़ाती हैं।

मूल लेखक: Francisco Mena, Diego Arenas, Andreas Dengel

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Francisco Mena, Diego Arenas, Andreas Dengel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं, खेत में उगने वाली फसल के प्रकार का पता लगाने की कोशिश कर रहे हैं, या किसी शहर की वायु गुणवत्ता को मापने का प्रयास कर रहे हैं। इसे सटीक रूप से करने के लिए, आप केवल एक उपकरण पर भरोसा नहीं करते; आप "सेंसर" की एक पूरी टीम का उपयोग करते हैं। कुछ कैमरे की तरह तस्वीरें लेने वाले (ऑप्टिकल) होते हैं, कुछ रडार की तरह बादलों के पार देखने वाले (रडार) होते हैं, और अन्य हवा या मिट्टी की नमी जैसी चीजों को मापते हैं।

पृथ्वी अवलोकन (Earth Observation) की दुनिया में, वैज्ञानिक कंप्यूटर मॉडल (AI) बनाते हैं जो एक सुपर-स्मार्ट जासूस की तरह काम करते हैं, जो सभी डेटा को मिलाकर भविष्यवाणियां करने के लिए इस डेटा को जोड़ते हैं। समस्या क्या है? कभी-कभी, एक सेंसर टूट जाता है, बादलों से ढक जाता है, या बस डेटा भेजना भूल जाता है। जब पहेली का एक हिस्सा गायब होता है, तो जासूस भ्रमित हो जाता है, और भविष्यवाणी अविश्वसनीय हो जाती है।

यह शोध पत्र इन AI जासूसों को यह सिखाने के लिए दो नई प्रशिक्षण तकनीकें पेश करता है कि कैसे उनके टीम के सदस्य गायब होने पर भी शांत और सटीक बना रहे।

समस्या: "गायब टीम सदस्य"

अपनी AI मॉडल को एक स्पोर्ट्स टीम की तरह समझें। यदि आप टीम को केवल तभी प्रशिक्षित करते हैं जब सभी मौजूद हों, तो वे संघर्ष कर सकते हैं यदि वास्तविक खेल के दौरान कोई मुख्य खिलाड़ी घायल हो जाए। पृथ्वी अवलोकन में, "गायब खिलाड़ी" अक्सर होते हैं। उदाहरण के लिए, एक कैमरा सेंसर तूफान के बादल से अंधा हो सकता है, जिससे मॉडल के पास केवल रडार डेटा बचता है। पारंपरिक मॉडल ऐसी स्थितियों में अक्सर क्रैश हो जाते हैं या गलत उत्तर देते हैं।

समाधान: दो नई प्रशिक्षण ड्रिल

लेखक इन मॉडलों को प्रशिक्षित करने के लिए दो विशिष्ट तरीके प्रस्तावित करते हैं ताकि वे गायब डेटा के प्रति "मजबूत" (tough and adaptable) बन सकें।

1. इनपुट सेंसर ड्रॉपआउट (ISensD): "आंखों पर पट्टी बांधने वाली ड्रिल"

उपमा: कल्पना कीजिए कि एक कोच बास्केटबॉल टीम को प्रशिक्षित कर रहा है। एक ऐसे खेल के लिए तैयारी करने के लिए जहाँ एक खिलाड़ी बीमार पड़ सकता है, कोच अभ्यास के दौरान हर सत्र में याद से एक खिलाड़ी को कुछ मिनटों के लिए बाहर बैठने के लिए कहता है। शेष खिलाड़ियों को उस विशिष्ट व्यक्ति के बिना जीत हासिल करने का तरीका खोजना पड़ता है।

यह कैसे काम करता है:

प्रशिक्षण चरण के दौरान, कंप्यूटर याद से पूरे सेंसर को "बंद" (मास्क) कर देता है। कभी-कभी यह कैमरा डेटा को छिपा देता है; अन्य समय में यह रडार डेटा को छिपा देता है।
मॉडल को बचे हुए डेटा का उपयोग करके अच्छी भविष्यवाणियां करना सीखना पड़ता है।
परिणाम: बिल्कुल बास्केटबॉल टीम की तरह, मॉडल अनुकूलित होना सीख जाता है। यदि वास्तविक खेल के दौरान कैमरा गायब है, तो मॉडल घबराता नहीं है; वह रडार डेटा का प्रभावी ढंग से उपयोग करना जानता है। शोध पत्र में पाया गया कि इस पद्धति ने मॉडल को बहुत अधिक स्थिर बनाया जब सेंसर बंद हो गए।

2. एन्सेम्बल सेंसर इनवेरिएंट (ESensI): "एक साझा कप्तान के साथ विशेष दस्ता"

उपमा: कल्पना कीजिए कि आपके पास तीन अलग-अलग विशेषज्ञ हैं: एक मौसम विज्ञानी, एक मृदा वैज्ञानिक (Soil Scientist), और एक उपग्रह विश्लेषक (Satellite Analyst)।

पुराना तरीका: आप प्रत्येक विशेषज्ञ से उनकी अपनी भविष्यवाणी करने के लिए कहते हैं, और फिर आप उनका औसत निकालते हैं। यदि उपग्रह विश्लेषक गायब है, तो आप बस उनके हिस्से को अनदेखा कर देते हैं। यह ठीक काम करता है, लेकिन विशेषज्ञ वास्तव में एक-दूसरे से बात नहीं करते हैं।
नया तरीका (ESensI): आप प्रत्येक विशेषज्ञ को उनके विशिष्ट डेटा का विश्लेषण करने के लिए अपनी निजी नोटबुक (एनकोडर) देते हैं। हालांकि, वे सभी अपनी अंतिम रिपोर्ट एक ही साझा कप्तान (एक साझा प्रेडिक्शन हेड) को लिखते हैं।
कप्तान के पास प्रत्येक विशेषज्ञ के लिए एक छोटा "आईडी कार्ड" भी होता है जो कहता है, "यह डेटा उपग्रह विश्लेषक से है।" यह कप्तान को डेटा के संदर्भ को समझने में मदद करता है, भले ही वह दूसरों से अलग हो।

यह कैसे काम करता है:

मॉडल प्रत्येक सेंसर प्रकार के लिए अलग "मस्तिष्क" (brains) प्रशिक्षित करता है लेकिन उन्हें अंत में एक ही "मस्तिष्क" का उपयोग करके एक अंतिम उत्तर पर सहमत होने के लिए मजबूर करता है।
परिणाम: यह एक ऐसी टीम बनाता है जो गायब सदस्यों को संभालने में बहुत अच्छी होती है। यदि उपग्रह विश्लेषक गायब है, तो कप्तान अभी भी एक ठोस निर्णय ले सकता है क्योंकि सभी विशेषज्ञ एक ही नियमों के तहत एक साथ काम करने के लिए प्रशिक्षित हैं।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने इन तरीकों का परीक्षण तीन वास्तविक दुनिया के परिदृश्यों पर किया:

फसल कटाई: कौन सी फसलें उग रही हैं, इसकी पहचान करना।
ईंधन नमी (Fuel Moisture): वनस्पति कितनी सूखी है, इसे मापना (जो आग के जोखिम के लिए महत्वपूर्ण है)।
वायु गुणवत्ता: प्रदूषण के स्तर को मापना।

उन्होंने 10% से लेकर 100% तक के टेस्ट केसों से डेटा को याद से हटाकर गायब सेंसरों का अनुकरण किया।

विजेता: एन्सेम्बल विधि (ESensI) और मानक एन्सेम्बल दृष्टिकोण (नए प्रशिक्षण ट्रिक्स के बिना) सबसे मजबूत थे। उन्होंने प्रदर्शन को उच्च बनाए रखा, भले ही सेंसर गायब थे।
उपविजेता: ब्लाइंडफोल्ड ड्रिल (ISensD) भी बहुत अच्छा था, जो उन मानक मॉडलों की तुलना में काफी बेहतर था जो केवल गायब संख्याओं को अनुमान लगाकर भरने की कोशिश करते हैं।
सावधानी: यहाँ एक ट्रेड-ऑफ (समझौता) है। जब सभी सेंसर मौजूद होते हैं और पूरी तरह से काम कर रहे होते हैं, तो नए तरीके कभी-कभी मानक मॉडलों की तुलना में थोड़ा खराब प्रदर्शन करते हैं। यह वैसा ही है जैसे बास्केटबॉल टीम ने "गायब खिलाड़ियों" के लिए इतनी कड़ी मेहनत की कि जब वास्तव में सभी वहां थे, तो वे थोड़े कम कुशल थे। हालांकि, लेखक तर्क देते हैं कि जब चीजें गलत होती हैं तो विश्वसनीय होना, सब कुछ आसान होने पर पूर्ण होने से अधिक महत्वपूर्ण है।

निष्कर्ष

यह शोध पत्र हमें सिखाता है कि यदि आप चाहते हैं कि आपका AI वास्तविक दुनिया की अव्यवस्था (जहाँ सेंसर विफल होते हैं) में विश्वसनीय हो, तो आपको इसे विफलता को संभालने के लिए प्रशिक्षित करना होगा। प्रशिक्षण के दौरान डेटा को याद से छिपाकर (ISensD) या विभिन्न सेंसरों को एक सामान्य निर्णय लेने वाले को साझा करने के लिए मजबूर करके (ESensI), हम ऐसे पृथ्वी अवलोकन मॉडल बना सकते हैं जो डेटा अधूरा होने पर टूटते नहीं हैं।

तकनीकी सारांश: पृथ्वी अवलोकन में गायब सेंसरों के प्रति मॉडल भविष्यवाणियों की मजबूती को बढ़ाना

समस्या विवरण

मल्टी-सेंसर मशीन लर्निंग (ML) मॉडल पृथ्वी अवलोकन (EO) के लिए विविध स्रोतों (जैसे ऑप्टिकल, रडार, मौसम) से डेटा को एकीकृत करके भविष्यवाणी सटीकता को बढ़ाते हैं। हालांकि, तकनीकी विफलताओं या पर्यावरणीय कारकों (जैसे क्लाउड कवर के कारण ऑप्टिकल इमेजरी में बाधा) के कारण वास्तविक दुनिया के अनुप्रयोगों में सेंसर डेटा की निरंतरता सुनिश्चित नहीं की जा सकती है। मौजूदा साहित्य ने सिंगल-सेंसर इनपुट पर केंद्रित 'टेम्पोरल ड्रॉपआउट' (temporal dropout) या स्टैटिक इमेज पर केंद्रित 'सेंसर-इनवेरिएंट मॉडल्स' (sensor-invariant models) जैसी रणनीतियों के माध्यम से गायब डेटा को संबोधित किया है। मल्टी-सेंसर टाइम-सीरीज परिदृश्यों के भीतर गायब सेंसरों को संभालने में एक महत्वपूर्ण अंतर बना हुआ है, जहाँ मानक ML मॉडल स्वाभाविक रूप से मजबूत नहीं होते हैं, जिससे विशिष्ट सेंसर इनपुट अनुपलब्ध होने पर पक्षपाती या विफल भविष्यवाणियां होती हैं।

कार्यप्रणाली

लेखक मल्टी-सेंसर टाइम-सीरीज परिदृश्यों के लिए विशेष रूप से तैयार की गई दो नवीन विधियों का प्रस्ताव करते हैं ताकि गायब सेंसरों के विरुद्ध मॉडल की मजबूती को बढ़ाया जा सके:

1. इनपुट सेंसर ड्रॉपआउट (ISensD)

डेटा ऑग्मेंटेशन तकनीकों से प्रेरित होकर, ISensD प्रशिक्षण के दौरान इनपुट स्तर पर एक सेंसर ड्रॉपआउट (SensD) तंत्र पेश करता है।

तंत्र: एक दिए गए सैंपल के लिए, पूरे सेंसर के इनपुट फीचर्स को बेतरतीब ढंग से मास्क (mask) कर दिया जाता है।
कार्यान्वयन:
- स्टैंडर्ड SensD: एक हाइपरपैरामीटर $r$ (ड्रॉपआउट रेश्यो) का उपयोग करता है जहाँ सेंसर फीचर्स को बर्नौली वितरण ( $d_s \sim \text{Bernoulli}(r)$ ) के आधार पर मास्क किया जाता है।
- नो रेश्यो (NR): एक पैरामीटर-मुक्त वेरिएंट जो प्रत्येक बैच के लिए सभी संभावित गायब सेंसर संयोजनों ( $2^{|S|} - 1$ ) में से एक संयोजन को बेतरतीब ढंग से चुनता है।
प्रशिक्षण: मॉडल को इन मास्क किए गए इनपुट्स पर एक मानक मल्टी-सेंसर फ्यूजन आर्किटेक्चर (इनपुट-लेवल फ्यूजन) का उपयोग करके प्रशिक्षित किया जाता है, जो ग्राउंड ट्रुथ के विरुद्ध लॉस (loss) को कम करने के लिए पैरामीटर्स को अनुकूलित करता है।

2. एन्सेम्बल सेंसर इनवेरिएंट (ESensI)

सेंसर-इनवेरिएंट मॉडल्स से प्रेरित होकर, ESensI एक शेयर्ड प्रेडिक्शन हेड (shared prediction head) के साथ एक एन्सेम्बल आर्किटेक्चर का प्रस्ताव करता है।

तंत्र: मॉडल प्रत्येक सेंसर के लिए फीचर निकालने हेतु सेंसर-डेडिकेटेड एनकोडर ( $E_{\theta_s}$ ) का उपयोग करता है, लेकिन सभी सेंसरों के लिए एक एकल, साझा प्रेडिक्शन हेड ( $P_\phi$ ) का उपयोग करता है।
सेंसर एनकोडिंग: यह सुनिश्चित करने के लिए कि मॉडल जागरूक रहे कि कौन से सेंसर फीचर्स प्रोसेस किए जा रहे हैं, साझा हेड से पहले एनकोडेड फीचर्स में एक लर्नबल सेंसर एनकोडिंग वेक्टर ( $\rho_s$ ) जोड़ा जाता है।
अनुकूलन (Optimization): उन मानक एन्सेम्बल्स के विपरीत जहाँ सेंसर-विशिष्ट हेड्स को स्वतंत्र रूप से अनुकूलित किया जाता है, ESensI सेंसर-डेडिकेटेड पैरामीटर्स और साझा हेड पैरामीटर्स को संयुक्त रूप से अनुकूलित करता है, जिससे मॉडल को विभिन्न सेंसरों के बीच इनवेरिएंट रिप्रेजेंटेशन सीखने के लिए मजबूर किया जाता है।

प्रयोगात्मक सेटअप

विधियों को तीन मल्टी-सेंसर टेम्पोरल EO डेटासेट्स पर मान्य किया गया:

क्रॉपहार्वेस्ट (CH): सेंटिनल-2 (ऑप्टिकल), सेंटिनल-1 (रडार), ERA5 (मौसम), और SRTM (टोपोग्राफी) का उपयोग करके मल्टी-क्रॉप रिकग्निशन।
लाइव फ्यूल मॉइस्चर कंटेंट (LF_MC): लैंडसैट-8 (ऑप्टिकल), सेंटिनल-1 (रडार), और विभिन्न स्टैटिक एनवायर्नमेंटल सेंसर्स का उपयोग करके वनस्पतियों की नमी का अनुमान।
पार्टिकुलेट मैटर 2.5 (PM25): वायुमंडलीय स्थितियों, गतिकी और वर्षा डेटा का उपयोग करके वायु गुणवत्ता रिग्रेशन।

बेसलाइन: प्रस्तावित विधियों की तुलना चार लिटरेचर बेसलाइन्स के विरुद्ध की गई:

इनपुट: मीन इम्प्यूटेशन (mean imputation) के साथ स्टैंडर्ड इनपुट-लेवल फ्यूजन।
ITempD: इनपुट फ्यूजन विद टेम्पोरल ड्रॉपआउट (सेंसर्स के लिए अनुकूलित)।
फीचर: एक्सेम्पलर-आधारित (समानता खोज) इम्प्यूटेशन का उपयोग करके फीचर-लेवल फ्यूजन।
एन्सेम्बल: सेंसर-डेडिकेटेड मॉडल्स का एकत्रीकरण, जो गायब सेंसर भविष्यवाणियों को अनदेखा करता है।

मूल्यांकन मीट्रिक: मजबूती के लिए प्राथमिक मीट्रिक परफॉरमेंस रोबस्टनेस स्कोर (PRS) था, जो पूर्ण सेंसर उपलब्धता वाले मॉडल्स की तुलना में गायब सेंसरों वाले मॉडल्स की सापेक्ष भविष्य कहने वाली त्रुटि (relative predictive error) को मापता है।

मुख्य परिणाम

गायब सेंसरों के प्रति मजबूती: दोनों ISensD और ESensI ने गायब सेंसरों का प्रतिशत बढ़ने के साथ काफी अधिक मजबूती (उच्च PRS मान) प्रदर्शित की, जो कि मानक बेसलाइन्स (Input, ITempD, Feature) से बेहतर प्रदर्शन करती है।
एन्सेम्बल की श्रेष्ठता: मानक एन्सेम्बल विधि (इनवेरिएंट हेड के बिना) समग्र रूप से सबसे मजबूत आर्किटेक्चर सिद्ध हुई, जो अक्सर कच्चे मजबूती मेट्रिक्स में प्रस्तावित ESensI से बेहतर प्रदर्शन करती है। हालांकि, ESensI ने विशिष्ट मामलों (जैसे PM25 डेटासेट) में एन्सेम्बल विधि से सुधार किया।
ISensD का प्रदर्शन: ISensD विधि ने अपने प्रत्यक्ष बेसलाइन्स (Input और ITempD) की तुलना में मजबूती में उल्लेखनीय सुधार दिखाया। पैरामीटर-मुक्त "नो रेश्यो" (NR) वेरिएंट ट्यून किए गए रेश्यो संस्करणों के तुलनीय प्रदर्शन करता है, जो बताता है कि यह एक व्यवहार्य विकल्प है।
फुल-सेंसर प्रदर्शन में ट्रेड-ऑफ: एक महत्वपूर्ण अवलोकन मजबूती और फुल-सेंसर सटीकता के बीच का ट्रेड-ऑफ था। जबकि एन्सेम्बल और ESensI विधियाँ गायब-सेंसर परिदृश्यों में उत्कृष्ट थीं, वे अक्सर सभी सेंसर उपलब्ध होने पर मानक Input विधि की तुलना में कम भविष्य कहने वाला प्रदर्शन (F1/R2) प्रदर्शित करती हैं। लेखकों ने उल्लेख किया है कि ISensD ने फुल-सेंसर परिदृश्यों में Input बेसलाइन से खराब प्रदर्शन किया, जो सुझाव देता है कि मॉडल प्रशिक्षण के दौरान गायब-डेटा परिदृश्यों को अत्यधिक प्राथमिकता दे सकता है।

महत्व और दावे

यह पेपर दावा करता है कि यह मल्टी-सेंसर टाइम-सीरीज परिदृश्यों में विशेष रूप से डिज़ाइन की गई विधियों के माध्यम से EO साहित्य के एक महत्वपूर्ण अंतराल को संबोधित करता है जहाँ सेंसर गायब हो सकते हैं।

योगदान: ISensD और ESensI का परिचय सेंसर विफल होने पर बिना रिट्रेनिंग के मॉडल की मजबूती बढ़ाने के लिए व्यावहारिक रणनीतियाँ प्रदान करता है।
मामूली दावे: लेखक स्वीकार करते हैं कि हालांकि उनके तरीके मजबूती में सुधार करते हैं, लेकिन वे आवश्यक रूप से तब अधिकतम भविष्य कहने वाली सटीकता प्राप्त नहीं करते जब सभी डेटा मौजूद होता है। वे स्पष्ट रूप से कहते हैं कि इस मजबूती का स्रोत पूरी तरह से समझा नहीं गया है—यह मॉडल की अनुकूलन क्षमता, कुछ सेंसर जानकारी की उपेक्षा, या विशिष्ट भविष्यवाणी कार्य के लिए कुछ सेंसर डेटा की अंतर्निहित अप्रासंगिकता से उत्पन्न हो सकता है।
भविष्य का कार्य: लेखक इस मजबूती के पीछे के तंत्र की जांच करने और गायब-सेंसर लचीलेपन एवं फुल-सेंसर सटीकता के बीच के ट्रेड-ऑफ को संतुलित करने की आवश्यकता की पहचान करते हैं।