VespaSeg: A Resource-Aware Ground-then-Segment Pipeline for Referring Expression Segmentation

कल्पना कीजिए कि आप एक भीड़भाड़ वाले, शोर-शराबे वाले कॉन्सर्ट में अपने किसी खास दोस्त को ढूंढने की कोशिश कर रहे हैं। आप सिर्फ चिल्लाकर "मेरा दोस्त ढूंढो!" नहीं कह सकते और उम्मीद नहीं कर सकते कि सुरक्षा गार्ड समझ जाएगा कि आपका मतलब किससे है। आपको एक विवरण देना होगा: "वह व्यक्ति जिसने लाल टोपी पहनी है और नीली गिटार पकड़ी है।" यह कंप्यूटर के लिए मानव भाषा को समझने की दैनिक चुनौती है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे रेफरिंग एक्सप्रेशन सेगमेंटेशन (Referring Expression Segmentation) कहा जाता है। यह वह जादुई ट्रिक है जहाँ एक कंप्यूटर एक फोटो को देखता है, "गेंद का पीछा करता हुआ कुत्ता" जैसा वाक्य पढ़ता है, और फिर केवल उसी कुत्ते के चारों ओर पिक्सेल-दर-पिक्सेल एक सटीक रूपरेखा (outline) खींच देता है।

लंबे समय तक, यह काम करने वाले रोबोट विशाल, भारी टैंकों की तरह थे। वे अविश्वसनीय रूप से स्मार्ट थे लेकिन उन्हें चलाने के लिए भारी मात्रा में बिजली और सुपर-कंप्यूटरों की आवश्यकता होती थी, जिससे वे वास्तविक जीवन में, जैसे कि रोबोट वैक्यूम या फोन ऐप पर, उपयोग करने के लिए धीमे और महंगे हो जाते थे। शोधकर्ता एक बड़ा सवाल पूछ रहे हैं: क्या हम एक ऐसा सिस्टम बना सकते हैं जो चीजों को खोजने में उतना ही अच्छा हो, लेकिन छोटा, तेज़ और इतना हल्का हो कि आपकी जेब में समा सके? यह पेपर ठीक उसी समस्या में उतरता है, एक भारी टैंक को एक सुव्यवस्थित, दो-भागों वाली टीम से बदलने की कोशिश कर रहा है जो बिना बहुत अधिक खर्च किए इस पहेली को हल करने के लिए मिलकर काम करती है।

---

दो-चरणीय नृत्य: VespaSeg

VespaSeg से मिलिए। इसे एक बुद्धिमान, दो-सदस्यीय टीम के रूप में समझें जो एक विशाल, अत्यधिक काम करने वाले जासूस के बजाय एक रहस्य सुलझा रही है। लेखक ने महसूस किया कि सब कुछ एक विशाल, भारी दिमाग में करने की कोशिश करना बहुत भारी है। इसलिए, उन्होंने काम को दो अलग-अलग चरणों में विभाजित किया: ग्राउंडिंग (Grounding) और सेगमेंटिंग (Segmenting)।

चरण 1: द स्पॉटर (द ढूँढने वाला - Grounding)
सबसे पहले, आपको यह जानना होगा कि वस्तु कहाँ है। एक वीडियो गेम में एक स्काउट की कल्पना करें जिसे एक टेक्स्ट कमांड मिलता है: "खजाने का संदूक ढूँढो।" स्काउट को अभी यह जानने की ज़रूरत नहीं है कि संदूक हाई-डेफिनिशन में कैसा दिखता है; उन्हें बस एक उंगली दिखानी है और उसके चारों ओर एक मोटा चौकोर बॉक्स बनाना है। VespaSeg में, यह एक "कॉम्पैक्ट" AI मॉडल (एक छोटा, कुशल दिमाग) द्वारा किया जाता है जो आपके वाक्य को पढ़ता है और एक बाउंडिंग बॉक्स बनाता है। यह उस स्काउट की तरह है जो चिल्लाता है, "यह उस कोने में है!"

चरण 2: द ट्रेसर (द रेखांकन करने वाला - Segmenting)
एक बार जब बॉक्स बना लिया जाता है, तो दूसरा विशेषज्ञ कार्यभार संभाल लेता है। यह MobileSAM है, एक मॉडल जिसे विशेष रूप से हल्का और तेज़ होने के लिए डिज़ाइन किया गया है। इसका एकमात्र काम उस बॉक्स को देखना और कहना है, "ठीक है, मैं बॉक्स देख रहा हूँ। अब, मुझे इसके अंदर की वस्तु के सटीक किनारों को ट्रेस करने दें।" यह उस मोटे चौकोर बॉक्स को एक सटीक, पिक्सेल-सटीक मास्क में बदल देता है।

इस सेटअप की खूबसूरती यह है कि यदि आपके पास दस अलग-अलग चीजें खोजने वाली एक फोटो है, तो "ट्रेसर" को केवल एक बार इमेज का गहन विश्लेषण करने का भारी काम करना होगा। यह "चित्र स्मृति" (इमेज एम्बेडिंग) को सहेज लेता है और हर नए बॉक्स के लिए जिसे "स्पॉटर" बनाता है, उसे ही दोबारा उपयोग करता है। यह एक कमरे की एक बार फोटो लेने जैसा है, और फिर हर बार पूरे कमरे की दोबारा फोटो लेने के बजाय उसी फोटो में अलग-अलग फर्नीचर की ओर इशारा करने जैसा है।

उन्होंने क्या पाया: गति बनाम आकार

शोधकर्ताओं ने इस टीम का परीक्षण विभिन्न "स्काउट्स" (ग्राउंडिंग मॉडल) का उपयोग करके किया ताकि यह देखा जा सके कि कौन सा सबसे अच्छा साथी है। उन्होंने Florence-2 और Moondream2 सहित कुछ विकल्पों की तुलना की।

यहाँ वह बड़ी खोज है जो उन्होंने उजागर की: बड़ा होना हमेशा बेहतर नहीं होता।

उन्होंने Florence-2 मॉडल के एक "लार्ज" (बड़े) संस्करण का परीक्षण उसके "बेस" (छोटे) संस्करण के मुकाबले किया। आप सोच सकते हैं कि बड़ा, अधिक शक्तिशाली मॉडल हर बार जीतेगा। लेकिन इस विशिष्ट सेटअप में, छोटा Florence-2-base मॉडल वास्तव में थोड़ा बेहतर प्रदर्शन कर गया!

• सटीकता (Accuracy): छोटे मॉडल ने 73.73 का स्कोर प्राप्त किया (जिसे मीन इंटरसेक्शन ओवर यूनियन, या mIoU के रूप में मापा गया है), जबकि बड़े मॉडल ने 72.82 का स्कोर किया।
• गति (Speed): छोटा मॉडल 1.70 गुना तेज़ था, जो बड़े मॉडल की धीमी गति की तुलना में 22.8 क्वेरी प्रति सेकंड प्रोसेस कर रहा था।
• मेमोरी (Memory): छोटे मॉडल ने ग्राफिक्स कार्ड पर 1.17 GB कम मेमोरी का उपयोग किया।

यह साबित हुआ कि इस विशिष्ट "ग्राउंड-देन-सेगमेंट" नृत्य के लिए, विशालकाय के बजाय छोटा और फुर्तीला साथी अधिक कुशल और सटीक था।

इंजन को ट्यून करना

टीम ने यह देखने के लिए भी सेटिंग्स के साथ प्रयोग किया कि क्या वे सटीकता खोए बिना सिस्टम को और तेज़ बना सकते हैं। उन्हें दो शानदार तरीके मिले:

1. निर्देशों को छोटा करना: AI आमतौर पर बॉक्स का वर्णन करने के लिए 64 "टोकन" (डेटा के छोटे टुकड़े) उत्पन्न करता है। उन्होंने पाया कि वे बिना किसी सटीकता को खोए इसे घटाकर केवल 32 टोकन कर सकते हैं। यह स्काउट को यह बताने जैसा है, "मुझे बस निर्देशांक (coordinates) दें, कोई अतिरिक्त बातें नहीं।"
2. सही हिस्सों को प्रशिक्षित करना: उन्होंने LoRA (Low-Rank Adaptation) नामक तकनीक का उपयोग किया, जो AI को उसके पूरे दिमाग को फिर से प्रशिक्षित करने के बजाय उसके मस्तिष्क के एक बहुत छोटे हिस्से (लग लगभग 1.63% पैरामीटर) को ट्यून करके नए कौशल सिखाने जैसा है। इसने "ट्रेसर" (MobileSAM) को सटीक बॉक्स दिए जाने पर किनारों को खींचने में बहुत बेहतर बनाया, जिससे इसका स्कोर 82.22 से बढ़कर 86.61 हो गया।

एक कमी: एक जारी प्रक्रिया

हालाँकि परिणाम रोमांचक हैं, लेखक बहुत सावधानी से यह स्पष्ट करते हैं कि उन्होंने दुनिया की समस्याओं को हल नहीं किया है। वे कुछ महत्वपूर्ण सीमाओं की ओर इशारा करते हैं:

• परीक्षण विशिष्ट था: उन्होंने 3,811 इमेज-और-सेंटेंस पेयर्स के एक विशिष्ट सेट पर परीक्षण किया (प्रत्येक ऑब्जेक्ट के लिए केवल पहला वाक्य लिया)। यह उद्योग में उपयोग किए जाने वाले पूर्ण, मानक टेस्ट सेट्स से अलग है, जिनमें 10,000 से अधिक वाक्य होते हैं। इसलिए, भले ही संख्याएँ बहुत अच्छी दिख रही हों, वे वास्तविक दुनिया के लिए थोड़ी आशावादी हो सकती हैं।
• हार्डवेयर: गति परीक्षण एक बहुत ही शक्तिशाली, महंगे ग्राफिक्स कार्ड (NVIDIA RTX 6000 Ada) पर किया गया था। वे स्वीकार करते हैं कि हमें अभी तक यह नहीं पता है कि यह एक सामान्य फोन या छोटे रोबोट पर कैसा चलेगा।
• कोई जादुई समाधान नहीं: यदि पहला चरण (स्पॉटर) बॉक्स को गलत बनाता है, तो दूसरा चरण (ट्रेसर) उसे ठीक नहीं कर सकता। सिस्टम उतना ही अच्छा है जितना कि उसका सबसे कमजोर लिंक।

मुख्य निष्कर्ष

VespaSeg हमें दिखाता है कि हमें हमारी भाषा को समझने और चीजों की ओर इशारा करने के लिए एक विशाल, भूखे AI की आवश्यकता नहीं है। काम को "बॉक्स खोजने" के चरण और "रूपरेखा खींचने" के चरण में विभाजित करके, और छोटे, स्मार्ट मॉडल का उपयोग करके, हम ऐसे परिणाम प्राप्त कर सकते हैं जो बड़े दिग्गजों के लगभग उतने ही सटीक हैं लेकिन बहुत तेज़ी से चलते हैं और कम बिजली का उपयोग करते हैं। यह एक ऐसे भविष्य का सुझाव देता है जहाँ आपके उपकरण आपकी बात समझ सकते हैं और ठीक उसी चीज़ की ओर इशारा कर सकते हैं जिसका आपका मतलब है, बिना आपकी जेब में सुपरकंप्यूटर रखे। हालाँकि, इससे पहले कि हम कह सकें कि यह अंतिम उत्तर है, टीम को पूर्ण, मानक डेटासेट पर और वास्तविक दुनिया के उपकरणों पर इसका परीक्षण करने की आवश्यकता है ताकि यह दबाव में टिक सके।