GMT: Guided Mask Transformer for Leaf Instance Segmentation

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस की तरह, लेकिन आप उंगलियों के निशान नहीं, बल्कि पत्तियों की तलाश कर रहे हैं। यह प्लांट फेनोटाइपिंग (plant phenotyping) की दुनिया है, जो विज्ञान की एक शाखा है जहाँ शोधकर्ता पौधों के विकास, उनके भोजन उत्पादन और उनकी सेहत को मापने के लिए कैमरों और कंप्यूटरों का उपयोग करते हैं। ऐसा करने के लिए, कंप्यूटरों को इंस्टेंस सेगमेंटेशन (instance segmentation) नामक कार्य करना पड़ता है। इसे एक कलरिंग बुक की तरह समझें जहाँ हर एक पत्ती एक अलग पात्र है। कंप्यूटर का काम प्रत्येक पत्ती को एक अलग रंग देना है ताकि वह ठीक से जान सके कि एक पत्ती कहाँ समाप्त होती है और दूसरी कहाँ से शुरू होती है। यह बहुत महत्वपूर्ण है क्योंकि यदि कंप्यूटर पत्तियों को अलग-अलग नहीं पहचान पाता, तो वह उन्हें गिन नहीं सकता या उनके आकार को नहीं माप सकता, जिसका अर्थ है कि किसान और वैज्ञानिक फसल की पैदावार का सटीक अनुमान नहीं लगा पाएंगे या तनाव के प्रति पौधों की प्रतिक्रिया को नहीं समझ पाएंगे।

हालाँकि, यह एक बेहद कठिन पहेली है। पत्तियाँ अक्सर एक-दूसरे के ऊपर होती हैं, वे बहुत छोटी या बहुत बड़ी हो सकती हैं, और वे आकार और हरे रंग में एक जैसी दिख सकती हैं। इस शोध पत्र में, शोधकर्ताओं ने एक नया समाधान प्रस्तावित किया है जिसे गाइडेड मास्क ट्रांसफार्मर (Guided Mask Transformer - GMT) कहा जाता है। वे सुझाव देते हैं कि इस पहेली को सुलझाने का रहस्य केवल पत्तियों को अधिक ध्यान से देखना नहीं है, बल्कि यह समझना है कि वे पौधे पर आमतौर पर कहाँ स्थित होती हैं। उन्हें यह सिखाकर कि पत्तियाँ विशिष्ट पैटर्न में बढ़ती हैं—जैसे कि केंद्र में झुंड बनाकर छोटी, नई पत्तियाँ और किनारों पर फैलती हुई बड़ी, पुरानी पत्तियाँ—वे एक "मानचित्र" (map) बनाते हैं जो कंप्यूटर को पहले की तुलना में पत्तियों को बहुत बेहतर तरीके से अलग करने में मदद करता है।

समस्या: एक उलझा हुआ हरा जाल

कल्पना कीजिए कि आप हरे स्पैगेटी के ढेर को सुलझाने की कोशिश कर रहे हैं जहाँ हर नूडल दूसरे जैसा ही दिखता है, कुछ आपस में चिपके हुए हैं, और कुछ इतने छोटे हैं कि आप उन्हें मुश्किल से देख पा रहे हैं। पौधों की पत्तियों को सेगमेंट करने के दौरान कंप्यूटर विज़न को इसी का सामना करना पड़ता है। जबकि आधुनिक AI मॉडल, विशेष रूप से जो ट्रांसफॉर्मर्स (Transformers) (एक प्रकार का शक्तिशाली न्यूरल नेटवर्क आर्किटेक्चर) पर आधारित हैं, वस्तुओं को खोजने में विशेषज्ञ बन गए हैं, फिर भी वे पौधों के मामले में संघर्ष करते हैं।

पेपर बताता है कि मानक मॉडल अक्सर दो मुख्य तरीकों से विफल होते हैं: या तो वे पौधे के केंद्र में स्थित छोटी, ओवरलैपिंग पत्तियों को छोड़ देते हैं, या वे अन्य हरे रंग की वस्तुओं से भ्रमित हो जाते हैं जो पत्तियाँ नहीं हैं। ऐसा इसलिए होता है क्योंकि ये मॉडल आमतौर पर सामान्य वस्तुओं (जैसे कार या कुत्ते) के विशाल डेटासेट पर प्रशिक्षित होते हैं, लेकिन पौधों के डेटासेट बहुत छोटे होते हैं और पौधे स्वयं अविश्वसनीय रूप से जटिल होते हैं। शोधकर्ताओं का तर्क है कि इसे ठीक करने की कुंजी केवल समस्या में अधिक डेटा डालना नहीं है, बल्कि स्पेशियल प्रायर्स (spatial priors) का उपयोग करना है। सरल शब्दों में, इसका अर्थ है "सामान्य ज्ञान" का उपयोग करना कि पत्तियाँ बेतरतीब ढंग से प्रकट नहीं होती हैं; वे एक विशिष्ट विकास पैटर्न का पालन करती हैं।

समाधान: गाइडेड मास्क ट्रांसफार्मर (GMT)

लेखक एक नया मॉडल पेश करते हैं जिसे गाइडेड मास्क ट्रांसफार्मर (GMT) कहा जाता है। यह समझने के लिए कि यह कैसे काम करता है, कल्पना करें कि आप एक भीड़ भरे कमरे में अपने दोस्तों को खोजने की कोशिश कर रहे हैं। यदि आप केवल चेहरों को देखते हैं, तो यह कठिन हो सकता है। लेकिन यदि आप जानते हैं कि आपके दोस्त आमतौर पर एक विशिष्ट मेज के चारों ओर घेरा बनाकर खड़े होते हैं, तो वह "ज्ञान" आपको उन्हें तेजी से खोजने में मदद करता है। GMT पत्तियों के लिए बिल्कुल यही करता है।

मॉडल इस "ज्ञान" को एकीकृत करने के लिए तीन विशेष उपकरणों का उपयोग करता है:

1. गाइडेड पोजीशनल एनकोडिंग (Guided Positional Encoding - GPE): यह कंप्यूटर को एक विशेष मानचित्र देने जैसा है। केवल यह जानने के बजाय कि "यह पिक्सेल X, Y निर्देशांक पर है," मानचित्र कंप्यूटर को बताता है, "यह पिक्सेल केंद्र में है जहाँ युवा पत्तियाँ आमतौर पर उगती हैं," या "यह पिक्सेल किनारे पर है जहाँ पुरानी पत्तियाँ रहती हैं।" मॉडल गणितीय कार्यों (जिन्हें "गाइड फंक्शन्स" कहा जाता है) का एक सेट सीखता है जो इस मानचित्र की तरह कार्य करते हैं, जिससे यह स्थान के आधार पर पत्तियों के बीच अंतर करने में मदद मिलती है।
2. गाइडेड एम्बेडिंग फ्यूजन मॉड्यूल (Guided Embedding Fusion Module - GEFM): यह उपकरण कंप्यूटर को अपने विचारों को व्यवस्थित करने में मदद करता है। यह दृश्य जानकारी लेता है और उसे "मानचित्र" की जानकारी के साथ मिला देता है। लक्ष्य यह सुनिश्चित करना है कि कंप्यूटर की एक पत्ती की आंतरिक प्रस्तुति (representation) उसके पड़ोसी की प्रस्तुति से बहुत भिन्न हो, भले ही वे दिखने में एक जैसी हों। यह प्रत्येक मित्र को एक अनूद्य बैज देने जैसा है जिस पर लिखा है "मैं केंद्र वाली पत्ती हूँ" ताकि वे आपस में न मिलें।
3. गाइडेड डायनेमिक पोजीशनल क्वेरीज (Guided Dynamic Positional Queries - GDPQ): यह सबसे गतिशील हिस्सा है। जैसे-जैसे कंप्यूटर छवि को देखता है और पत्तियों के स्थान के बारे में अनुमान लगाता है, यह गाइड मैप के आधार पर अपने "खोज प्रश्नों" (search questions) को अपडेट करता है। यदि कंप्यूटर को लगता है कि उसने केंद्र में एक पत्ती ढूँढ ली है, तो वह मैप का उपयोग करके पूछता है, "क्या यह एक युवा पत्ती है?" और उसके अनुसार अपनी खोज को समायोजित करता है। यह एक फीडबैक लूप है जहाँ कंप्यूटर उन स्थानिक नियमों का उपयोग करके अपने अनुमानों को लगातार परिष्कृत करता है जो उसने सीखे हैं।

उन्होंने क्या पाया

शोधकर्ताओं ने अपने नए GMT मॉडल का परीक्षण तीन अलग-अलग सार्वजनिक प्लांट डेटासेट्स पर किया: CVPPP LSC, MSU-PID, और KOMATSUNA। उन्होंने GMT की तुलना वर्तमान सर्वश्रेष्ठ मॉडलों से की, जिसमें Mask2Former नामक एक लोकप्रिय मॉडल भी शामिल है।

परिणाम बताते हैं कि GMT वास्तव में इस काम में बेहतर है।

• CVPPP LSC डेटासेट पर, GMT ने सेगमेंटेशन सटीकता (जिसे SBD नामक मीट्रिक द्वारा मापा जाता है) को 89.5 से बढ़ाकर 90.1 कर दिया, और पत्तियों को गिनने की त्रुटि (|DiC|) को 0.67 से घटाकर 0.48 कर दिया।
• MSU-PID पर, इसने सटीकता को 83.1 से बढ़ाकर 83.5 कर दी।
• KOMATSUNA पर, इसने सटीकता को 90.9 से बढ़ाकर 91.0 कर दिया।

हालाँकि ये संख्याएँ छोटी लग सकती हैं, लेकिन कंप्यूटर विज़न की दुनिया में, एक मामूली सुधार भी महत्वपूर्ण होता है। अधिक महत्वपूर्ण बात यह है कि पेपर दिखाता है कि GMT काम के सबसे कठिन हिस्सों में विशेष रूप से अच्छा है: छोटी, ओवरलैपिंग पत्तियों को अलग करना और अन्य हरे रंग की वस्तुओं के साथ भ्रमित होने से बचना। उदाहरण के लिए, विजुअल टेस्ट में, पुराने मॉडल अक्सर दो ओवरलैपिंग पत्तियों को एक ही गोले (blob) में मिला देते थे या छोटी पत्तियों को पूरी तरह से छोड़ देते थे, जबकि GMT उन्हें सफलतापूर्वक अलग करने में सफल रहा।

लेखकों ने "एब्लेशन स्टडीज" (ablation studies) भी चलाईं, जो एक मशीन को खोलकर यह देखने जैसा है कि कौन सा हिस्सा क्या करता है। उन्होंने पाया कि यदि वे तीनों विशेष उपकरणों (GPE, GEFM, या GDPQ) में से किसी एक को हटा देते हैं, तो मॉडल का प्रदर्शन गिर जाता है। यह सुझाव देता है कि पूरा सिस्टम मिलकर काम करता है; आप केवल एक हिस्से का उपयोग नहीं कर सकते और समान परिणाम की अपेक्षा नहीं कर सकते। उन्होंने विभिन्न "बैकबोन" (मॉडल का अंतर्निहित मस्तिष्क) का भी परीक्षण किया और पाया कि एक छोटा, सरल मॉडल (ResNet-50) वास्तव में इन विशिष्ट प्लांट कार्यों के लिए सबसे अच्छा काम करता है, संभवतः इसलिए क्योंकि बड़े, जटिल मॉडलों को बिना भ्रमित हुए प्रशिक्षित करने के लिए प्लांट डेटासेट बहुत छोटे होते हैं (एक समस्या जिसे ओवरफिटिंग कहा जाता है)।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि कंप्यूटर को यह सिखाकर कि पत्तियाँ कैसे बढ़ती हैं—उनके स्थान का उपयोग एक मार्गदर्शक के रूप में करके—हम मशीनों के पौधों को देखने और गिनने की क्षमता में काफी सुधार कर सकते हैं। GMT मॉडल सुझाव देता है कि इन स्थानिक पैटर्न को शामिल करना छोटे डेटासेट और जटिल पौधों की संरचनाओं की सीमाओं को पार करने का एक शक्तिशाली तरीका है। हालाँकि लेखक यह भी नोट करते हैं कि उनकी विधि वर्तमान में विशिष्ट पौधों के प्रकारों और डेटासेट्स पर केंद्रित है, लेकिन AI मॉडलों में पूर्व ज्ञान (prior knowledge) को एम्बेड करने के लिए "गाइड फंक्शन्स" का उपयोग करने का दृष्टिकोण कृषि में कंप्यूटर विज़न को अधिक प्रभावी बनाने के लिए एक नया द्वार खोलता है। वे सावधानी बरतते हुए कहते हैं कि यह एक कदम आगे की ओर है, न कि अंतिम समाधान, और भविष्य के कार्यों को और भी जटिल खेती के परिदृश्यों से निपटना होगा।