Multi-Scale ViT Inference with Habitat-Fit Priors and kNN Retrieval for Multi-Species Plant Identification
यह शोध पत्र प्लांटCLEF 2026 चुनौती के लिए DS@GT ARC के तीसरे स्थान वाले समाधान को प्रस्तुत करता है, जो एक मल्टी-स्केल DINOv2 ViT क्लासिफायर को FAISS kNN रिट्रीवल, भौगोलिक आवास प्रायोरिटीज़ (geographic habitat priors) और टेम्पोरल फ्यूजन के साथ जोड़कर उच्च-रिज़ॉल्यूशन वाले क्वाड्रैट इमेजेस में मजबूत बहु-प्रजाति पौधों की पहचान प्राप्त करता है, जबकि यह प्रदर्शित करता है कि वैकल्पिक प्रशिक्षण-केंद्रित दृष्टिकोणों से कोई प्रदर्शन लाभ नहीं हुआ।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन आपका "अपराध स्थल" कोई अपराध का दृश्य नहीं, बल्कि एक जंगली घास के मैदान का एक वर्गाकार हिस्सा है, जो लगभग एक छोटी डाइनिंग टेबल के आकार का है। आपका काम वहां उगने वाले हर एक प्रकार के पौधे का नाम बताना है। अब, कल्पना कीजिए कि आपके पास प्रशिक्षण के लिए केवल एक ही मैनुअल है जिसमें सफेद पृष्ठभूमि पर अलग किए गए एकल, पूर्ण फूल या पत्तियां दिखाई गई हैं। आपने कभी भी एक अव्यवस्थित, भीड़भाड़ वाले मैदान को नहीं देखा है। यही आपकी चुनौती है: बहु-प्रजाति पादप पहचान (multi-species plant identification): केवल अलग-थलग पड़े व्यक्तियों का अध्ययन करने के बाद, एक अराजक भीड़ में यह समझना कि कौन क्या है।
इस चुनौती से निपटने के लिए, वैज्ञानिक विज़न ट्रांसफॉर्मर्स (Vision Transformers - ViTs) का उपयोग करते हैं, जो सुपर-स्मार्ट डिजिटल आंखों की तरह होते हैं जो यह समझने के लिए कि वे क्या देख रहे हैं, एक छवि को छोटे-छोटे पहेली के टुकड़ों में तोड़ देते हैं। वे k-निकटतम पड़ोसी (k-Nearest Neighbors - kNN) का भी उपयोग करते हैं, जो एक "समानता खोजने वाले" सर्च इंजन की तरह काम करता है: यदि आप इसे एक पत्ते की तस्वीर दिखाते हैं, तो यह अपने डेटाबेस में सबसे समान तस्वीरें ढूंढता है और कहता है, "अरे, ये बिल्कुल उस वाले की तरह दिखते हैं!" अंत में, वे प्रायर्स (priors) का उपयोग करते हैं, जो दुनिया के नियमों पर आधारित शिक्षित अनुमान हैं, जैसे यह जानना कि कैक्टस आर्कटिक में नहीं उग सकते या कुछ विशेष काई (mosses) केवल ऊंचे पहाड़ों पर ही पसंद की जाती हैं। यह शोध पत्र इस बात की कहानी बताता है कि कैसे एक टीम ने इन उपकरणों को मिलाकर "अव्यवस्थित मैदान" की पहेली को सुलझाया, और एक हरे-भरे बिखराव को प्रजातियों की एक सटीक सूची में बदल दिया।
जासूसों का टूलकिट: टीम ने अव्यवस्थित मैदान को कैसे सुलझाया
टीम, जिसे DS@GT ARC के रूप में जाना जाता है, ने PlantCLEF 2026 प्रतियोगिता में भाग लिया, जो 0.5-मीटर वर्गाकार प्लॉट्स की उच्च-रिज़ॉल्यूशन वाली तस्वीरों में पौधों की पहचान करने की एक उच्च-दांव वाली प्रतियोगिता है। ये तस्वीरें बहुत बड़ी हैं—लगभग 3,000 x 3,000 पिक्सेल—जिसके कारण इन्हें एक मानक कंप्यूटर मस्तिष्क में एक साथ फीड करना कठिन है। टीम का समाधान एक बड़ा, अधिक जटिल मस्तिष्क बनाने के बारे में नहीं था; यह एक स्मार्ट जासूस बनने के बारे में था जो जानता है कि सुरागों को कैसे देखना है।
रणनीति: ज़ूम इन और ज़ूम आउट करना
कल्पना कीजिए कि आप हेलीकॉप्टर से पूरे समूह को देखकर लोगों की भीड़ की पहचान करने की कोशिश कर रहे हैं। आप सिरों का एक समुद्र देख सकते हैं, लेकिन आप यह नहीं बता सकते कि किसने लाल टोपी पहनी है। यदि आप बहुत अधिक ज़ूम इन करते हैं, तो आप केवल एक व्यक्ति को देखते हैं और संदर्भ खो देते हैं। टीम की पहली तरकीज थी मल्टी-स्केल टाइलिंग (Multi-Scale Tiling)। उन्होंने प्रत्येक विशाल फोटो को विभिन्न ज़ूम स्तरों पर छोटे वर्गों (टाइल्स) में विभाजित किया: कुछ ज़ूम आउट किए हुए (3x3 ग्रिड), कुछ ज़ूम इन किए हुए (6x6 ग्रिड)। इसने उन्हें एक ही मैदान के 86 अलग-अलग "दृश्य" दिए। उन्होंने अपने मुख्य AI मॉडल, एक फाइन-ट्यून्ड DINOv2 ViT-L/14 (एक शक्तिशाली डिजिटल आंख जिसे लाखों छवियों पर प्रशिक्षित किया गया है) को हर एक टाइल पर चलाया। फिर, उन्होंने एक "मैक्स पूलिंग" नियम का उपयोग किया: यदि किसी भी टाइल ने उच्च आत्मविश्वास के साथ एक विशिष्ट पौधे को पहचाना, तो पूरे फोटो को उस पौधे का श्रेय दिया गया। इसने यह सुनिश्चित किया कि वे छोटे फूलों को केवल इसलिए न चूक जाएं क्योंकि वे बड़े चित्र में छोटे थे।
"समानता खोजने वाला" सर्च इंजन
AI मॉडल बेहतरीन है, लेकिन कभी-कभी यह भ्रमित हो जाता है। इसकी मदद के लिए, टीम ने एक kNN रिट्रीवल सिस्टम (kNN Retrieval System) जोड़ा। इसे 860,000 पौधों की तस्वीरों का एक विशाल पुस्तकालय समझें। जब AI एक टाइल को देखता है, तो वह पुस्तकालय से भी पूछता है, "यह किसके जैसा दिखता है?" पुस्तकालय सबसे समान 20 छवियां वापस करता है। यदि AI अनिश्चित है, लेकिन पुस्तकालय कहता है, "यह बिल्कुल Geum reptans जैसा दिखता है," तो टीम उस सलाह को अंतिम उत्तर में मिला देती है। यह एक अनुभवी वनस्पति शास्त्री से दूसरी राय लेने जैसा है जिसने लाखों पौधे देखे हैं।
"आवास फिट" नियम: अंतिम वास्तविकता जांच
उनकी समाधान पद्धति का सबसे शक्तिशाली हिस्सा कोई नया एल्गोरिदम नहीं था, बल्कि भूगोल पर आधारित नियमों का एक सेट था। उन्होंने महसूस किया कि सिर्फ इसलिए कि कोई पौधा फोटो में हो सकता है, इसका मतलब यह नहीं है कि उसे वहां होना चाहिए। उन्होंने हैबिटेट-फिट डिमोशन (Habitat-Fit Demotion) पेश किया।
- भूगोल: यदि फोटो दक्षिण-पश्चिमी यूरोप का था, तो उन्होंने उन पौधों की संभावना को स्वचालित रूप से कम कर दिया जो केवल उष्णकटिबंधीय या आर्कटिक में उगते हैं।
- ऊंचाई: यदि फोटो समुद्र तल पर लिया गया था, तो उन्होंने उन पौधों को कम महत्व दिया जो केवल ऊंचे पहाड़ी शिखरों पर उगते हैं।
यह एक फिल्टर की तरह काम करता था, जो चुपचाप AI को फुसफुसाता था, "हे, यह कैक्टस यहाँ होने की संभावना कम है; शायद आप एक पत्थर देख रहे हैं।" इस कदम ने अकेले उनकी सटीकता में सबसे बड़ा अंतर पैदा किया, जिससे यह सिद्ध हुआ कि आप क्या देख रहे हैं, यह जानने के साथ-साथ आप कहाँ हैं, यह जानना भी उतना ही महत्वपूर्ण है।
समय यात्री: टेम्पोरल फ्यूजन (Temporal Fusion)
टेस्ट फोटो केवल एक बार के स्नैपशॉट नहीं थे; कई को वर्ष के अलग-अलग समय पर एक ही स्थान के लिए लिया गया था। टीम ने इसका लाभ उठाया। यदि किसी स्थान का दौरा वसंत और ग्रीष्म ऋतु में किया गया था, और वसंत की फोटो में एक ऐसा फूल दिखा जो ग्रीष्मकालीन फोटो में गायब था (क्योंकि वह मुरझा गया था), तो उन्होंने साक्ष्यों को मिला दिया। यह एक संदिग्ध के तीन अलग-अलग दिनों के अलibi (बहाना) की जांच करके रहस्य सुलझाने जैसा है। यदि साक्ष्य दौरों में सुसंगत हैं, तो वे उन पर अधिक भरोसा करते हैं। यदि दौरे बहुत अलग दिखते हैं (जैसे कि एक हरा-भरा ग्रीष्म बनाम एक खाली शीतकालीन), तो वे यह सुनिश्चित करने के लिए एक विशेष "समानता" जांच का उपयोग करते हैं कि वे बदलते मौसमों से धोखा न खा जाएं।
क्या काम नहीं आया (और क्यों यह मायने रखता है)
टीम ने केवल अनुमान नहीं लगाया; उन्होंने कई फैंसी विचार आजमाए और जब वे काम नहीं आए तो उन्हें त्याग दिया। यह उनकी सफलता की कहानियों जितना ही महत्वपूर्ण है।
- "सिंथेटिक" जाल: उन्होंने एक नए प्रकार के डिकोडर को सिखाने के लिए डिजिटल पौधों के हिस्सों (pseudo-quadrats) को मिलाकर नकली प्रशिक्षण डेटा बनाने की कोशिश की। यह पूरी तरह से विफल रहा। AI भ्रमित हो गया क्योंकि नकली डेटा वास्तविक, अव्यवस्थित मैदानों जैसा नहीं था।
- "क्रॉस-रीजन" गलती: उन्होंने यूरोप के परिदृश्यों (LUCAS) के एक विशाल डेटासेट का उपयोग करके AI को सिखाने की कोशिश की जो उनकी विशिष्ट प्रतिस्पर्धा के पौधों के समान नहीं था। AI ने गलत सबक सीखे और प्रदर्शन और खराब हो गया।
- "सेगमेंटेशन" गड़बड़ी: उन्होंने एक उपकरण का उपयोग करने की कोशिश की जो पृष्ठभूमि से व्यक्तिगत पौधों को काट देता है (SAM 3) ताकि साफ छवियां मिल सकें। इससे कोई मदद नहीं मिली क्योंकि AI को ग्रिड वर्गों पर प्रशिक्षित किया गया था, न कि इन अजीब आकार के कटआउट्स पर। इस बेमेल होने के कारण सिग्नल से अधिक शोर (noise) पैदा हुआ।
अंतिम स्कोर
टीम के अंतिम सिस्टम ने, जिसने मल्टी-स्केल ज़ूमिंग, लुक-अलाइक सर्च और सख्त हैबिटेट नियमों को जोड़ा, प्राइवेट लीडरबोर्ड पर 0.43902 का macro-F1 स्कोर प्राप्त किया, जिससे उन्हें प्रतियोगिता में तीसरा स्थान मिला। दिलचस्प बात यह है कि उनके एक अनचयनित कॉन्फ़िगरेशन ने वास्तव में उच्च स्कोर (0.45777) किया था, लेकिन वे प्रतियोगिता समाप्त होने के बाद ही वह स्कोर देख सके।
यह शोध पत्र सुझाव देता है कि इस विशिष्ट, अव्यवस्थित समस्या के लिए, सबसे अच्छा दृष्टिकोण अनिवार्य रूप से एक अधिक जटिल न्यूरल नेटवर्क बनाना नहीं है। इसके बजाय, विजेता वे थे जिन्होंने सावधानीपूर्वक डिजाइन किया कि डेटा को कैसे देखना है (मल्टी-स्केल), सही "चीट कोड्स" (भौगोलिक और ऊंचाई के प्रायर्स) का उपयोग किया, और जानते थे कि कब उन फैंसी नए ट्रिक्स को अनदेखा करना है जो वास्तविक दुनिया के नियमों में फिट नहीं बैठते। उन्होंने साबित कर दिया कि कभी-कभी, सबसे स्मार्ट कदम यह होता है कि छवि के साथ-साथ वातावरण की भी बात सुनी जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।