When One Modality Is Not Enough: Multimodal Sex and Life-Stage Classification of Red Deer from Aerial RGB-Thermal Video

कल्पना कीजिए कि आप एक वन्यजीव जासूस हैं जो एक विशाल, जीवित पहेली में रहस्य सुलझाने की कोशिश कर रहे हैं। आपका काम केवल यह गिनना नहीं है कि जंगल में कितने जानवर हैं; आपको यह भी जानना है कि वे कौन हैं। क्या वे बड़े सींगों वाले पिता हैं? माताएं? या नन्हे, तेजी से बढ़ने वाले बच्चे? यह हिरणों के झुंड के "पारिवारिक वृक्ष" (फैमिली ट्री) को समझने के लिए वन्यजीव प्रबंधकों के सामने एक दैनिक चुनौती है ताकि उन्हें स्वस्थ रखा जा सके। लेकिन इसमें एक पेच है: जंगल बहुत पेचीदा होते हैं। पेड़ ऐसी छाया डालते हैं जो जानवरों को छिपा लेती है, और जमीन बिल्कुल हिरण के फर जैसी दिख सकती है। इसे हल करने के लिए, वैज्ञानिक ऊपर से उड़ते हुए ड्रोन का उपयोग करते हैं, जो दो अलग-अलग तरह की "आंखों" को साथ लेकर चलते हैं। एक आंख दुनिया को रंगों में देखती है, जैसे एक इंसान (RGB), और दूसरी आंख गर्मी को देखती है, जैसे एक नाइट-विज़न कैमरा (थर्मल)। समस्या यह है कि दोनों में से कोई भी आंख अपने आप में पूर्ण नहीं है। रंग वाली आंख छाया में भ्रमित हो जाती है, जबकि गर्मी वाली आंख एक चमकदार, धुंधले धब्बे के रूप में दिखती है जिससे पिता और माता के बीच अंतर करने के लिए आवश्यक सूक्ष्म विवरण खो जाते हैं। यह शोध एक चतुर तकनीक की खोज करता है: क्या होगा अगर हमें दोनों आंखों में से किसी एक को चुनने की जरूरत न पड़े, बल्कि उन्हें एक सुपर-टीम के रूप में एक साथ काम करने दें?

इस अध्ययन के पीछे के शोधकर्ताओं ने इस विचार का परीक्षण रेड डियर (लाल हिरण) पर करने का निर्णय लिया, जो बड़े सींगों वाले राजसी जानवर हैं। वे देखना चाहते थे कि क्या वे एक ऐसा कंप्यूटर सिस्टम बना सकते हैं जो जंगल के ऊपर ड्रोन उड़ाए, हर एक हिरण को पहचाने, और फिर स्वचालित रूप से उनकी प्रजाति, लिंग और आयु का पता लगाए। बड़ा सवाल यह था: क्या रंग और गर्मी के कैमरों को मिलाकर एक "सुपर-विज़न" बनाया जा सकता है जो अकेले किसी एक से बेहतर हो, खासकर जब मौसम बदलता है और सुराग भी बदलते हैं?

दो आंखें जो अलग-अलग दुनिया देखती हैं

ड्रोन के कैमरों को दो अलग-अलग कौशल वाले जासूसों के रूप में सोचें। कलर डिटेक्टिव (रंग वाला जासूस - RGB) सींगों के आकार या फर के पैटर्न जैसे विवरणों को पहचानने में माहिर है, लेकिन यह छाया से आसानी से अंधा हो जाता है। यदि कोई हिरण पेड़ के नीचे छिपा है, तो कलर डिटेक्टिव को पत्तियों के अलावा कुछ नहीं दिखता। दूसरी ओर, हीट डिटेक्टिव (गर्मी वाला जासूस - थर्मल) गर्मी देखता है। इसे छाया से फर्क नहीं पड़ता; अंधेरे में खड़ा हिरण इस जासूस के लिए एक चमकते हुए सितारे जैसा होता है। हालांकि, हीट डिटेक्टिव विवरणों के मामले में थोड़ा अनाड़ी है। यह हिरण को एक धुंधले, चमकदार धब्बे के रूप में देखता है। यह आसानी से नहीं बता पाता कि उस धब्बे में सींग हैं या नहीं, और कभी-कभी यह गर्म चट्टानों या जमीन से भी भ्रमित हो जाता है।

शोधकर्ताओं ने पाया कि ये दोनों जासूस विपरीत तरीकों से विफल होते हैं। गर्मियों में, जब नर हिरण के सींग नरम और मखमली परत से ढके होते हैं, तो वे गर्म होते हैं। हीट डिटेक्टिव उन्हें चमकते हुए देख सकता है, लेकिन कलर डिटेक्टिव उन्हें छाया में होने पर मिस कर सकता है। पतझड़ में, सींग सख्त और ठंडे हो जाते हैं। अब, हीट डिटेक्टिव उनके बारे में कुछ विशेष नहीं देख पाता, लेकिन कलर डिटेक्टिव स्पष्ट रूप से कठोर, हड्डी जैसा आकार देख सकता है। यदि आपके पास केवल एक ही जासूस होता, तो आप मौसम के आधार पर आधे सुराग खो देते।

टीम-अप रणनीति

केवल एक जासूस पर भरोसा करने के बजाय, टीम ने एक ऐसा पाइपलाइन बनाया जहां दोनों कैमरे हर कदम पर एक साथ काम करते हैं। उन्होंने केवल चित्रों को मिलाया नहीं; उन्होंने कंप्यूटरों को DINOv3 फीचर्स नामक एक विशेष भाषा का उपयोग करके एक-दूसरे से "बात" करने के लिए बनाया। इसे एक साझा नोटबुक के रूप में सोचें जहाँ दोनों जासूस जो देखते हैं उसे लिखते हैं, और कंप्यूटर जांचता है कि क्या उनकी कहानियाँ मेल खाती हैं।

यहाँ उनका सिस्टम चरण-दर-चरण काम करता है:

1. डबल-चेक: सिस्टम किसी हिरण को तभी "असली" मानता है जब दोनों कैमरे उसे देखते हैं। यदि कलर कैमरा एक धब्बा देखता है लेकिन हीट कैमरा कुछ नहीं देखता, तो सिस्टम मान लेता है कि वह केवल एक अजीब छाया या चट्टान है, न कि हिरण। यह सिस्टम को नकली जानवरों को गिनने से रोकता है।
2. फ़िल्टर: हर हिरण की तस्वीर अच्छी नहीं होती। कुछ धुंधली होती हैं, कुछ पत्तियों से ढकी होती हैं, और कुछ बहुत दूर होती हैं। सिस्टम एक सख्त संपादक की तरह काम करता है, उन खराब फ्रेमों को हटा देता है जहाँ सुराग गायब हैं। यह हिरण को नहीं फेंकता; यह केवल उस हिरण की खराब तस्वीरों को हटा देता है।
3. वोटिंग (मतदान): जो हिरण फ़िल्टर से बच जाते हैं, सिस्टम उन सभी अच्छी तस्वीरों को देखता है और एक वोट लेता है। यदि एक नर हिरण 10 तस्वीरों में दिखाई देता है, और उनमें से 6 में स्पष्ट सींग दिखते हैं, तो सिस्टम "नर" का वोट देता है। भले ही 4 तस्वीरों में वह मादा जैसा दिखे क्योंकि सींग छिपे हुए थे, वोट जीत जाता है।
4. साइज चेक (आकार की जाँच): एक बच्चे (जुवेनाइल) को माँ (वयस्क मादा) से अलग करने के लिए, सिस्टम हिरण के आकार को मापता है। चूंकि ड्रोन एक निश्चित ऊंचाई पर उड़ता है, इसलिए एक बच्चा हिरण वयस्क की तुलना में फोटो में बहुत छोटा दिखाई देगा। सिस्टम बच्चों को पहचानने के लिए इस आकार के अंतर का उपयोग करता है।

परिणाम: एक टीम जो जीतती है

टीम ने ऑस्ट्रिया के एक जंगल में चार अलग-अलग ड्रोन उड़ानों पर अपने सिस्टम का परीक्षण किया। उनके पास जमीन पर मौजूद लोगों से एक गुप्त "उत्तर कुंजी" (answer key) थी जो ठीक से जानते थे कि वहां कौन से हिरण थे और वे क्या थे।

परिणाम प्रभावशाली थे। जब उन्होंने केवल कलर कैमरा या केवल हीट कैमरा का उपयोग किया, तो उन्होंने 26 में से लगभग 20 हिरणों का लिंग सही बताया। लेकिन जब उन्होंने दोनों को मिलाया? तो उन्होंने 26 में से 25 हिरणों को सही पहचाना। प्रजातियों की पहचान करने में उनकी सफलता दर 96.0% थी, और दोनों सेंसरों के संयोजन ने लिंग की पहचान को विभिन्न मौसमों में बहुत अधिक विश्वसनीय बना दिया।

यह सिस्टम "ट्रिकी" मामलों को संभालने में विशेष रूप से अच्छा था। उदाहरण के लिए, तीन नर हिरण थे जिन्हें दोनों एकल कैमरों ने मादा समझा था क्योंकि उनके सुराग छिपे हुए थे। लेकिन क्योंकि सिस्टम ने संयुक्त साक्ष्यों को देखा, उसने महसूस किया, "रुको, हीट कैमरा यहाँ एक गर्म स्थान देख रहा है, और कलर कैमरा वहाँ एक आकार देख रहा है," और उन्हें सही ढंग से नर के रूप में पहचाना।

यह क्यों महत्वपूर्ण है

यह शोध पत्र दिखाता है कि हमें रंग वाले कैमरे और गर्मी वाले कैमरे में से किसी एक को चुनने की आवश्यकता नहीं है। उन्हें जोड़कर, हम एक ऐसा जनगणना (census) बना सकते हैं जो साधारण गिनती से कहीं अधिक स्मार्ट है। केवल "50 हिरण हैं" कहने के बजाय, एक ड्रोन उड़ान अब कह सकती है, "50 हिरण हैं: 15 पिता, 30 माताएं और 5 बच्चे।"

वन्यजीव प्रबंधकों के लिए यह एक बड़ी बात है। वर्तमान में, इस तरह की विस्तृत जानकारी प्राप्त करने के लिए अक्सर मनुष्यों को तस्वीरों को मैन्युअल रूप से देखना पड़ता है, जिसमें बहुत समय लगता है और यह हर उड़ान के लिए नहीं किया जा सकता है। यह नई विधि इस प्रक्रिया को स्वचालित करती है, जिससे एक साधारण गिनती एक विस्तृत रिपोर्ट में बदल जाती है। यह साबित करता है कि जब दुनिया को देखने का एक तरीका पर्याप्त नहीं होता, तो विभिन्न दृष्टिकोणों को मिलाने से पूरी तस्वीर स्पष्ट हो जाती है, भले ही जानवर छाया में छिपे हों या मौसम बदल रहा हो। सिस्टम एकदम सटीक नहीं है—इसे अभी भी बहुत छोटे हिरणों या बहुत ऊंचाई पर उड़ते ड्रोन के साथ थोड़ी कठिनाई होती है—लेकिन यह दिखाता है कि सही टीम वर्क के साथ, हम आसमान से जंगल की कहानी पढ़ सकते हैं।