🤖 machine learning

gen2seg: Generative Models Enable Generalizable Instance Segmentation

यह शोध पत्र "gen2seg" का प्रस्ताव करता है, जो एक विधि है जो एक संकीर्ण डेटासेट पर इंस्टेंस कलरिंग लॉस (instance coloring loss) के साथ प्रीट्रेंड जनरेटिव मॉडल्स जैसे कि स्टेबल डिफ्यूजन (Stable Diffusion) और MAE को कैटेगरी-एग्नोस्टिक इंस्टेंस सेगमेंटेशन (category-agnostic instance segmentation) के लिए पुन: उपयोग करती है, जिससे एक मजबूत ज़ीरो-शॉट जनरलाइजेशन (zero-shot generalization) प्राप्त होता है जो अनदेखे ऑब्जेक्ट प्रकारों और अस्पष्ट सीमाओं पर SAM जैसे भारी रूप से सुपरवाइज्ड मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन करता है।

मूल लेखक: Om Khangaonkar, Hamed Pirsiavash

प्रकाशित 2026-04-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Om Khangaonkar, Hamed Pirsiavash

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बच्चे को खिलौनों के एक विशाल, बिखरे हुए डिब्बे को छाँटना सिखा रहे हैं।

पुराना तरीका (पारंपरिक AI):
आमतौर पर, कंप्यूटर को वस्तुओं को पहचानना सिखाने के लिए, आप उसे लाखों लेबल वाली तस्वीरें दिखाते हैं: "यह एक कुत्ता है," "यह एक कार है," "यह एक कप है।" आपको उसे हर उस प्रकार के जानवर और वस्तु को दिखाना होगा जो वह कभी भी देख सकता है। यदि आप चाहते हैं कि वह जिराफ को पहचाने, तो आपको उसे पहले जिराफ की एक हज़ार तस्वीरें दिखानी होंगी। यदि आप उसे "जेब्रा" की तस्वीर नहीं दिखाते हैं, तो उसे पता ही नहीं चलेगा कि जेब्रा क्या है। यह एक बच्चे को दुनिया के हर खिलौने को दिखाने के बाद ही खेलने देने जैसा है।

नया तरीका (GEN2SEG):
यह शोध पत्र एक चतुर नया तरीका पेश करता है। कंप्यूटर को विशिष्ट वस्तुओं को दिखाने के बजाय, शोधकर्ताओं ने उसे पेंटिंग करना सिखाया।

मुख्य विचार: "पेंटर" बनाम "सॉर्टर" (छाँटने वाला)

एक जेनरेटिव मॉडल (जैसे Stable Diffusion) को एक प्रतिभाशाली कलाकार के रूप में सोचें जिसने शून्य से दृश्य बनाने के लिए वर्षों तक पेंटिंग सीखी है। एक लिविंग रूम का वास्तविक दृश्य पेंट करने के लिए, कलाकार को यह समझना ही होगा कि दीवारें कहाँ समाप्त होती हैं और फर्श कहाँ शुरू होता है। उन्हें पता होना चाहिए कि एक कुर्सी के पैर और एक सीट होती है, और एक लैंप का एक शेड और एक आधार होता है। वे चीजों को बनाने की कोशिश करके ही उनकी सीमाओं (boundaries) और आकृतियों को समझते हैं।

शोधकर्ताओं ने पूछा: "यदि यह कलाकार पहले से ही चीजों के किनारों को पूरी तरह से बनाना जानता है, तो क्या हम बस उनसे पेंटिंग करने के बजाय छाँटने (sort करने) के लिए कह सकते हैं?"

प्रयोग: "खिलौने का डिब्बा" प्रतिबंध

यहाँ उनके प्रयोग का जादुई हिस्सा है:

उन्होंने एक शक्तिशाली "पेंटर" AI (Stable Diffusion) और एक "रिकंस्ट्रक्टर" AI (MAE) लिया।
उन्होंने उन्हें केवल दो चीजों की तस्वीरें दिखाईं: इनडोर फर्नीचर (कुर्सियाँ, मेज, लैंप) और कारें।
उन्होंने AI को बताया: "आपका एकमात्र काम इन विशिष्ट वस्तुओं को कलर-कोड करना है। यदि आप एक कुर्सी देखते हैं, तो उसे नीला रंग दें। यदि आप एक कार देखते हैं, तो उसे लाल रंग दें।"

आश्चर्य:
इसके बाद उन्होंने AI को ऐसी चीजें दिखाईं जो उसने पहले कभी नहीं देखी थीं: लोग, जानवर, अमूर्त कला (abstract art), सामानों के एक्स-रे, और यहाँ तक कि बारीक तार भी।

परिणाम:
भले ही AI को यह नहीं बताया गया था कि "कुत्ता" या "जेब्रा" कैसा दिखता है, फिर भी वह उनके चारों ओर एक सटीक रूपरेखा (outline) खींच सका! वह एक घोड़े को गाड़ी से, या एक व्यक्ति को पृष्ठभूमि (background) से, अद्भुत सटीकता के साथ अलग कर सका।

यह कैसे काम करता है? ("मसल मेमोरी" का उदाहरण)

AI के प्रशिक्षण को पियानो बजाना सीखने की तरह समझें।

पारंपरिक AI उस छात्र की तरह है जो "ट्विंकल, ट्विंकल लिटिल स्टार" और "हैप्पी बर्थडे" की शीट म्यूजिक को रट लेता है। यदि आप उससे "जिंगल बेल्स" बजाने को कहते हैं, तो वह अटक जाता है क्योंकि उसने कभी उस गाने का अभ्यास नहीं किया था।
यह नया AI उस संगीतकार की तरह है जिसने स्केल्स और उंगलियों की चपलता (dexterity) का अभ्यास करने में वर्षों बिताए हैं। उन्होंने विशिष्ट गाने याद नहीं किए; उन्होंने ध्वनि उत्पन्न करने के लिए कीबोर्ड पर उंगलियों के हिलने के भौतिक विज्ञान (physics) को सीखा।

क्योंकि AI ने छवियों को जेनरेट (बनाने) के लिए सीखा, इसलिए उसमें चीजों के आपस में जुड़ने, उनकी सीमाओं और हिस्सों के बीच संबंध को समझने की एक गहरी, सहज समझ विकसित हो गई। आकृतियों और सीमाओं के लिए यह "मसल मेमोरी" इतनी मजबूत है कि यह किसी भी वस्तु पर लागू हो जाती है, भले ही उसने उसे पहले कभी न देखा हो।

"ज़ीरो-शॉट" सुपरपावर

शोध पत्र इसे ज़ीरो-शॉट जनरलाइजेशन (Zero-Shot Generalization) कहता है।

ज़ीरो-शॉट (Zero-Shot): AI को कुत्ते या बिल्ली को पहचानने के लिए एक भी उदाहरण (शॉट) की आवश्यकता नहीं थी।
जनरलाइजेशन (Generalization): इसने फर्नीचर और कारों से सीखे गए नियमों को पूरी दृश्य दुनिया पर लागू किया।

उन्होंने इसे कैसे किया ( "कलरिंग बुक" वाला तरीका)

AI को पेंट करने के बजाय छाँटना सिखाने के लिए, उन्होंने एक सरल ट्रिक का उपयोग किया:

उन्होंने AI को एक छवि दी।
उन्होंने AI से छवि का "कलरिंग बुक" संस्करण आउटपुट करने को कहा।
प्रत्येक अलग वस्तु को एक ठोस, अद्वितीय रंग दिया जाना था (जैसे, कुर्सी के सभी पिक्सेल #FF0000 हैं, मेज के सभी पिक्सेल #00FF00 हैं)।
उन्होंने AI को सिखाया कि एक ही वस्तु के पिक्सेल का एक ही रंग होना चाहिए, और अलग-अलग वस्तुओं के पिक्सेल के रंग अलग होने चाहिए।

चूंकि AI पहले से ही एक मास्टर पेंटर था, इसलिए वह जानता था कि "कुर्सी" कहाँ समाप्त होती है और "फर्श" कहाँ शुरू होता है। उसने बस उन सीमाओं को नए रंगों के साथ लागू कर दिया।

यह क्यों महत्वपूर्ण है

यह AI के भविष्य के लिए एक बहुत बड़ी बात है:

दक्षता (Efficiency): हमें दुनिया की हर संभावित वस्तु की अरबों छवियों को लेबल करने की आवश्यकता नहीं है। हम एक छोटे, सरल डेटासेट पर प्रशिक्षित हो सकते हैं और ऐसे परिणाम प्राप्त कर सकते हैं जो विशाल, महंगे डेटासेट्स पर प्रशिक्षित मॉडलों के बराबर हों।
मजबूती (Robustness): ये मॉडल वर्तमान के अत्याधुनिक मॉडलों (जैसे SAM) की तुलना में कठिन किनारों (जैसे बारीक तार, फर, या पारदर्शी कांच) को खोजने में बेहतर हैं।
मानव जैसी दृष्टि: यह इस बात की नकल करता है कि मनुष्य कैसे सीखते हैं। एक छोटा बच्चा ज़ेबरा को जानने के लिए हज़ार ज़ेब्रा देखने की ज़रूरत नहीं महसूस करता; उसे बस "वस्तु होने" (objectness) और "सीमाओं" की अवधारणा को समझने की आवश्यकता होती है।

संक्षेप में: AI को एक रचनात्मक कलाकार बनने के लिए सिखाकर, शोधकर्ताओं ने अनजाने में उसे दुनिया का सबसे अच्छा ऑब्जेक्ट सॉर्टर (वस्तु छाँटने वाला) बना दिया, यहाँ तक कि उन चीजों के लिए भी जिनसे वह पहले कभी नहीं मिला।

यहाँ शोध पत्र "GEN2SEG: GENERATIVE MODELS ENABLE GENERALIZABLE INSTANCE SEGMENTATION" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सामान्यीकरण योग्य इंस्टेंस सेगमेंटेशन (generalizable instance segmentation) की चुनौती को संबोधित करता है, विशेष रूप से एक मॉडल की उन वस्तु प्रकारों और शैलियों के इंस्टेंस को सेगमेंट करने की क्षमता जो उसने प्रशिक्षण के दौरान कभी नहीं देखे हैं (जीरो-शॉट जनरलाइजेशन)।

वर्तमान सीमाएँ: SAM (Segment Anything) जैसे अत्याधुनिक मॉडल व्यापक, विविध और अत्यधिक पर्यवेक्षित डेटासेट (जैसे SA-1B जिसमें 1.1 बिलियन मास्क हैं) पर निर्भर करते हैं ताकि सामान्यीकरण प्राप्त किया जा सके। अन्य प्रॉम्प्टेबल मॉडल अक्सर तब विफल हो जाते हैं जब उन्हें उन वस्तु श्रेणियों या छवि शैलियों (जैसे अमूर्त कला, एक्स-रे) पर परीक्षण किया जाता है जो उनके प्रशिक्षण डेटा में अनुपस्थित हैं।
मुख्य प्रश्न: क्या एक मॉडल दृश्य जगत के एक बहुत ही संकीर्ण हिस्से (जैसे केवल इनडोर फर्नीचर और कारें) से सीख सकता है और फिर भी अनदेखे वस्तु प्रकारों (जैसे मानव, जानवर) और नवीन शैलियों (जैसे प्रभाववादी कला, एक्स-रे) के लिए प्रभावी ढंग से सामान्यीकरण कर सकता है?
परिकल्पना: लेखक परिकल्पना करते हैं कि जेनरेटिव मॉडल (generative models) स्वाभाविक रूप से वस्तु की सीमाओं, दृश्य संरचना और भाग-पूर्ण संबंधों (part-whole relationships) को समझने के लिए प्रशिक्षित होते हैं क्योंकि उन्हें विक्षेपित इनपुट से सुसंगत छवियां संश्लेषित करनी होती हैं। ये "जेनरेटिव प्रायर" (generative priors) एक मजबूत तंत्र प्रदान कर सकते हैं जो इंटरनेट-स्केल लेबल वाले पर्यवेक्षण की आवश्यकता के बिना विभिन्न डोमेन में स्थानांतरित होता है।

2. कार्यप्रणाली (Methodology)

लेखक एक सरल फाइन-ट्यूनिंग रणनीति का उपयोग करके एक श्रेणी-अज्ञेय (category-agnostic) इंस्टेंस सेगमेंटेशन के लिए पूर्व-प्रशिक्षित जेनरेटिव मॉडलों (Stable Diffusion और MAE) को पुन: उपयोग करने का प्रस्ताव देते हैं।

A. इंस्टेंस कलरिंग लॉस (Instance Coloring Loss)

बाइनरी मास्क सीधे अनुमानित करने के बजाय, लेखक इंस्टेंस सेगमेंटेशन को एक इमेज-टू-इमेज ट्रांसलेशन कार्य के रूप में फ्रेम करते हैं जहाँ ग्राउंड ट्रुथ प्रत्येक इंस्टेंस के लिए एक अद्वितीय रंग और बैकग्राउंड के लिए काला रंग वाला एक RGB इमेज होता है। वे एक नवीन इंस्टेंस कलरिंग लॉस ( $L_{IC}$ ) पेश करते है जो तीन पदों से बना है:

इंट्रा-इंस्टेंस वेरिएंस लॉस ( $L_{var}$ ): यह सुनिश्चित करता है कि एक ही ऑब्जेक्ट इंस्टेंस के भीतर सभी पिक्सेल एक सुसंगत रंग (कम वेरिएंस) का अनुमान लगाएं। यह आउटलेर्स को तीव्रता से दंडित करने से बचने के लिए एक स्मूथ $\ell_1$ लॉस का उपयोग करता है।
इंटर-इंस्टेंस सेपरेशन लॉस ( $L_{sep}$ ): यह एक इंस्टेंस के बाहर के पिक्सेल के अनुमानित रंगों को उस इंस्टेंस के औसत रंग से दूर धकेलता है, जिससे यह सुनिश्चित होता है कि अलग-अलग क्षेत्र समान रंगों में विलीन न हों।
मीन-लेवल सेपरेशन लॉस ( $L_{mean}$ ): यह अलग-अलग इंस्टेंस के औसत रंगों को एक-दूसरे से भिन्न होने के लिए प्रोत्साहित करता है।

कुल लॉस है: $L_{IC} = L_{var} + \lambda_{sep}L_{sep} + \lambda_{mean}L_{mean}$ ।

B. पॉइंट-प्रॉम्प्टेबल सेगमेंटेशन (Point-Promptable Segmentation)

इंटरैक्टिव सेगमेंटेशन (SAM के समान) को सक्षम करने के लिए, लेखक द्वारा उत्पन्न फीचर मैप $F(x,y)$ (प्रत्येक पिक्सेल पर अनुमानित रंग) का उपयोग किया जाता है।

क्वेरी वेक्टर (Query Vector): उपयोगकर्ता द्वारा दिए गए पॉइंट प्रॉम्प्ट $p$ के लिए, एक क्वेरी वेक्टर $q_p$ की गणना $p$ के पड़ोस में अनुमानित रंगों के गाऊसी-वेटेड औसत (Gaussian-weighted average) के रूप में की जाती है।
सिमिलैरिटी मैप (Similarity Map): प्रत्येक पिक्सेल के फीचर और क्वेरी वेक्टर के बीच व्युत्क्रम दूरी (inverse distance) के आधार पर एक सिमिलैरिटी मैप $S_p$ की गणना की जाती है।
मास्क जनरेशन: सिमिलैरिटी मैप को एक जॉइंट द्विपक्षीय फिल्टर (joint bilateral filter) का उपयोग करके स्मूथ किया जाता है और बाइनरी मास्क बनाने के लिए थ्रेशोल्ड किया जाता है। कोई अलग मास्क डिकोडर प्रशिक्षित नहीं किया गया है; जेनरेटिव फीचर्स स्वयं आकार को एनकोड करते हैं।

C. प्रशिक्षण सेटअप (Training Setup)

मॉडल: फाइन-ट्यून किए गए Stable Diffusion v2 (SD) और Masked Autoencoders (MAE) उनके डिकोडर्स (MAE-B और MAE-H) के साथ।
डेटा: फाइन-ट्यूनिंग विशेष रूप से एक सिंथेटिक डेटासेट पर की जाती है जो Hypersim (इनडोर दृश्य) और Virtual Kitti 2 (आउटडोर कारें) को जोड़ता है।
- महत्वपूर्ण बाधा: प्रशिक्षण डेटा में मानवों, जानवरों या कई अन्य सामान्य श्रेणियों के लिए कोई मास्क नहीं है। यह वस्तुओं के एक संकीर्ण सेट (फर्नीचर, कारें) और यथार्थवादी शैलियों तक सीमित है।
बेसलाइन (Baselines): SAM (ViT-H), SimpleClick, और DINO-B के विरुद्ध तुलना की गई है।

3. मुख्य योगदान (Key Contributions)

सेगमेंटेशन के लिए जेनरेटिव प्रायर: यह प्रदर्शित करता है कि जेनरेटिव प्रीट्रेनिंग (इंटरनेट-स्केल लेबल वाले डेटा के बिना भी) एक अंतर्निहित ग्रुपिंग तंत्र को एनकोड करती है जो अनदेखी वस्तु श्रेणियों और शैलियों में स्थानांतरित होता है।
डेटा दक्षता: यह केवल कुछ श्रेणियों और वास्तविक शैलियों के <87,000 छवियों और 3.7 मिलियन मास्क पर प्रशिक्षित होकर SAM के प्रदर्शन के बराबर प्रदर्शन प्राप्त करता है, जबकि SAM के पास 11 मिलियन छवियां और 1.1 बिलियन मास्क हैं।
बेहतर बाउंड्री क्वालिटी: मॉडल SAM की तुलना में अधिक स्पष्ट और धारणात्मक रूप से संरेखित (perceptually aligned) सीमाएं उत्पन्न करते हैं, विशेष रूप से महीन संरचनाओं (तार, बाड़) और संदिग्ध सीमाओं पर, भले ही उन्हें पॉलिगोनल किनारों (जैसे COCO) वाले डेटासेट पर फाइन-ट्यून किया गया हो।
उभरती हुई पार्ट-लेवल कंपोजिबिलिटी: बिना किसी स्पष्ट पार्ट-लेवल सुपरविजन के, मॉडल संबंधित भागों (जैसे व्यक्ति का सिर और शरीर, या कार के पहिये और चेसिस) को पदानुक्रमित रूप से समूहबद्ध करना सीख जाते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडलों का मूल्यांकन पांच विविध डेटासेट पर किया गया जिनमें अनदेखे वस्तु प्रकार और शैलियाँ शामिल हैं:

COCOexc: COCO वैलिडेशन सेट जिसमें प्रशिक्षण में देखी गई श्रेणियों को बाहर रखा गया है।
DRAM: कला पेंटिंग्स (प्रभाववाद, घनवाद, आदि)।
EgoHOS: भारी ऑक्लूजन (occlusion) और मोशन ब्लर के साथ एगोसेंट्रिक विजन।
iShape: जटिल, महीन संरचनाएं (तार, बाड़)।
PIDRay: एक्स-रे सामान स्कैन।

मुख्य निष्कर्ष:

जीरो-शॉट जनरलाइजेशन: फाइन-ट्यून किया गया Stable Diffusion (SD) मॉडल सभी डेटासेट पर SAM के प्रदर्शन के करीब पहुँच जाता है, बावजूद इसके कि उसने मूल्यांकन श्रेणियों के लिए कभी मास्क नहीं देखे।
छोटे ऑब्जेक्ट की सीमा: बड़े ऑब्जेक्ट्स पर मजबूत होने के बावजूद, बहुत छोटे ऑब्जेक्ट्स पर प्रदर्शन गिर जाता है (संभवतः SD और MAE के प्रीट्रेनिंग बायस के कारण जो केंद्रीय/प्रमुख ऑब्जेक्ट्स को प्राथमिकता देते हैं)।
महीन संरचनाएं (Fine Structures): iShape डेटासेट पर, प्रस्तावित मॉडल SAM से बेहतर प्रदर्शन करते हैं, सफलतापूर्वक तारों और जटिल संरचनाओं को सेगमेंट करते हैं जहाँ SAM अक्सर विफल हो जाता है या काले क्षेत्र छोड़ देता है।
एज डिटेक्शन (Edge Detection): BSDS500 पर, मॉडल SAM की तुलना में उच्च Edge AP प्राप्त करते हैं, विशेष रूप से कम रिकॉल पर, जो दर्शाता है कि वे जेनरेटिव प्रक्रिया में निहित सटीक वस्तु सीमाओं को सीखते हैं।
मजबूती (Robustness): मॉडल अत्यंत सीमित डेटा (जैसे केवल 5 ऑब्जेक्ट क्लास या ClevrTex जैसे सरल सिंथेटिक आकार) पर भी सामान्यीकरण करते हैं।
MAE प्रदर्शन: यहाँ तक कि MAE, जो केवल अनलेबल ImageNet-1K (कोई टेक्स्ट नहीं, कोई इंटरनेट-स्केल डेटा नहीं) पर प्रीट्रेन किया गया है, मजबूत जीरो-शॉट जनरलाइजेशन प्रदर्शित करता है, जो यह सिद्ध करता है कि जेनरेटिव प्रायर ही मुख्य कारक है, न कि केवल प्रीट्रेनिंग का पैमाना।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र इंस्टेंस सेगमेंटेशन पर दृष्टिकोण को मौलिक रूप से बदल देता है:

डिस्क्रिमिनेटिव लर्निंग से परे: यह इस धारणा को चुनौती देता है कि व्यापक, विविध लेबल वाले डेटासेट सामान्यीकरण योग्य सेगमेंटेशन के लिए अनिवार्य रूप से आवश्यक हैं। इसके बजाय, दृश्यों को संश्लेषित करने की क्षमता मॉडल को वस्तुओं की अंतर्निहित संरचना को सीखने के लिए मजबूर करती है, जो हस्तांतरणीय है।
मानव जैसी धारणा: परिणाम बताते हैं कि जेनरेटिव मॉडल मानव दृष्टि के समान एक "सामान्यीकरण योग्य धारणात्मक संगठन" (generalizable perceptual organization) प्राप्त करते हैं, जो विशिष्ट नामों या लेबल की आवश्यकता के बिना (जैसे जेब्रा या शेर को पहचानना) अलग-अलग वस्तुओं को पहचान सकता है।
भविष्य के अनुप्रयोग: यह दृष्टिकोण रोबोटिक्स, मेडिकल इमेजिंग और स्वायत्त ड्राइविंग के लिए अधिक कुशल, सामान्यीकरण योग्य धारणा प्रणाली की ओर एक मार्ग प्रदान करता है, जहाँ विशिष्ट नवीन वस्तुओं के लिए प्रशिक्षण डेटा दुर्लभ या अनुपलब्ध है।

संक्षेप में, GEN2SEG यह सिद्ध करता है कि एक सरल कलरिंग लॉस के माध्यम से जेनरेटिव मॉडलों को सेगमेंटेशन के लिए पुन: उपयोग करने से एक अत्यधिक सामान्यीकरण योग्य प्रणाली प्राप्त होती है जो SAM जैसे भारी रूप से पर्यवेक्षित दिग्गजों का मुकाबला करती है, विशेष रूप से महीन विवरणों और अनदेखे डोमेन को संभालने में।