🤖 AI

Decomposed Vision-Language Alignment for Fine-Grained Open-Vocabulary Segmentation

यह शोध पत्र एक विखंडित विजन-लैंग्वेज अलाइनमेंट (Decomposed Vision-Language Alignment) ढांचे का प्रस्ताव करता है जो टेक्स्ट प्रॉम्प्ट्स को कॉन्सेप्ट और एट्रिब्यूट टोकन में विभाजित करके और कंपोजिशनल सिमेंटिक्स को लागू करने के लिए एक फीचर-गेटेड क्रॉस-अटेंशन मॉड्यूल का उपयोग करके फाइन-ग्रैन्ड ओपन-वोकेबुलरी सेगमेंटेशन को बढ़ाता है, जिससे अनदेखे एट्रिब्यूट-कैटेगरी संयोजनों के प्रति सामान्यीकरण में महत्वपूर्ण सुधार होता है।

मूल लेखक: Chenhao Wang, Yingrui Ji, Yu Meng, Yao Zhu

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenhao Wang, Yingrui Ji, Yu Meng, Yao Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक अव्यवस्थित गोदाम में विशिष्ट वस्तुओं को खोजना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह एक "लाल, सपाट छत वाली, औद्योगिक इमारत" को खोजे।

वर्तमान के अधिकांश AI मॉडल उन छात्रों की तरह हैं जो फ्लैशकार्ड रट लेते हैं। यदि उन्होंने "लाल औद्योगिक इमारत" की एक तस्वीर और "सपाट छत वाली इमारत" की एक तस्वीर अलग-अलग देखी है, तो वे उस विशिष्ट संयोजन के लिए पूछे जाने पर भ्रमित हो सकते हैं। वे इन विचारों को एक ही धुंधली अवधारणा में मिला देते हैं, जैसे कि "लाल-औद्योगिक-सपाट-छत"। यदि उन्होंने पहले से इस सटीक वाक्यांश को नहीं देखा है, तो वे विफल हो जाते हैं। वे इस विचार को आसानी से अलग नहीं कर पाते कि "ठीक है, मुझे कुछ ऐसा चाहिए जो लाल भी हो और सपाट छत वाला भी हो और औद्योगिक भी हो।"

यह शोध पत्र रोबोट को सिखाने का एक नया तरीका प्रस्तावित करता है, जिसे डिकम्पोज्ड विजन-लैंग्वेज एलाइनमेंट (Decomposed Vision-Language Alignment) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. वाक्य को सामग्रियों में तोड़ना (प्रॉम्प्ट डिकम्पोज़िशन)

पूरे वाक्य "लाल सपाट छत वाली औद्योगिक इमारत" को एक बड़े टुकड़े के रूप में रोबोट को खिलाने के बजाय, लेखक इसे अलग-अलग सामग्रियों में तोड़ देते हैं:

अवधारणा (The Concept): "इमारत"
विशेषता 1 (Attribute 1): "लाल" (विशेष रूप से, एक लाल इमारत)
विशेषता 2 (Attribute 2): "सपाट छत वाली" (विशेष रूप से, एक सपाट छत वाली इमारत)
विशेषता 3 (Attribute 3): "औद्योगिक" (विशेष रूप से, एक औद्योगिक इमारत)

इन्हें अलग करके, रोबोट सीखता है कि एक इमारत के लिए "लाल" का क्या अर्थ है, एक इमारत के लिए "सपाट छत" का क्या अर्थ है, और एक इमारत के लिए "औद्योगिक" का क्या अर्थ है, बिना उन्हें आपस में मिलाए।

2. "सुरक्षा गार्ड" प्रणाली (फीचर-गेटेड क्रॉस-अटेंशन)

एक बार जब रोबोट के पास ये अलग-अलग सामग्रियां आ जाती हैं, तो उसे गोदाम की जांच करने की आवश्यकता होती है। लेखक एक विशेष तंत्र पेश करते हैं जिसे फीचर-गेटेड क्रॉस-अटेंशन (Feature-Gated Cross-Attention) कहा जाता है।

रोबोट के विजन (दृष्टि) को गोदाम को स्कैन करने वाली एक स्पॉटलाइट के रूप में सोचें।

"अवधारणा" (इमारत) सभी इमारतों को खोजने के लिए स्पॉटलाइट चालू करती है।
"विशेषताएं" (Attributes) स्पॉटलाइट के सामने खड़े सुरक्षा गार्डों की तरह कार्य करती हैं।
- "लाल" वाला गार्ड केवल तभी रोशनी को गुजरने देता है जब इमारत लाल हो। यदि वह नीली है, तो गार्ड रोशनी को रोक देता है।
- "सपाट छत" वाला गार्ड केवल तभी रोशनी को गुजरने देता है जब छत सपाट हो।
- "औद्योगिक" वाला गार्ड केवल तभी रोशनी को गुजरने देता है जब वह एक औद्योगिक इमारत हो।

रोबोट एक मल्टीप्लिकेटिव फिल्टर (एक "AND" गेट) का उपयोग करता है। इसका मतलब है कि रोशनी तभी चालू रहती है जब सभी गार्ड "हाँ" कहते हैं। यदि एक भी गार्ड "ना" कहता है (उदाहरण के लिए, इमारत लाल है लेकिन उसकी छत नुकीली है), तो रोशनी पूरी तरह से रुक जाती है। यह सुनिश्चित करता है कि रोबोट गलती से किसी ऐसी लाल इमारत को न चुन ले जिसकी छत नुकीली हो, सिर्फ इसलिए क्योंकि उसे उसका रंग पसंद आया था।

3. "निश्चितता का गणित" (लॉग-स्पेस स्कोरिंग)

अंत में, रोबोट को यह तय करने की आवश्यकता होती है कि वह सही चीज़ खोजने के प्रति कितना आश्वस्त है।

पुराना तरीका: यदि आप छोटी संभावनाओं को एक साथ गुणा करते हैं (जैसे, लाल होने की 0.5 संभावना × सपाट छत की 0.5 संभावना), तो संख्याएं बहुत तेज़ी से छोटी होती जाती हैं, जिससे गणित अस्थिर और सीखना कठिन हो जाता है।
नया तरीका: लेखक लॉग-स्पेस स्कोरिंग (Log-Space Scoring) का उपयोग करते हैं। कल्पना कीजिए कि संभावनाओं को गुणा करने के बजाय, आप एक विशेष लॉग-बुक में "कॉन्फिडेंस पॉइंट्स" जोड़ रहे हैं।
- यदि रोबोट रंग के बारे में 90% सुनिश्चित है, तो उसे एक उच्च स्कोर मिलता है।
- यदि वह छत के बारे में 90% सुनिश्चित है, तो उसे एक और उच्च स्कोर मिलता है।
- वे इन स्कोर को एक साथ जोड़ते हैं।

यह तरीका छोटे अंशों को गुणा करने के बजाय एक स्थिर रनिंग टोटल रखने जैसा है। यह सीखने की प्रक्रिया को बहुत सहज बनाता है और रोबोट को तब भ्रमित होने से रोकता है जब कई विशेषताओं की जांच करनी होती है।

परिणाम

लेखकों ने दो डेटासेट्स (इमारतें और सामान्य वस्तुएं) पर इसका परीक्षण किया। उन्होंने पाया कि उनका तरीका नए संयोजनों को खोजने में बहुत बेहतर है जिन्हें उसने पहले कभी नहीं देखा है।

पहले: यदि रोबोट ने प्रशिक्षण के दौरान "लाल घर" और "नीला घर" देखा था, तो उसे "हरा घर" खोजने में संघर्ष करना पड़ता था यदि उसने वह विशिष्ट संयोजन नहीं देखा था।
बाद में: क्योंकि उसने "लाल," "नीला," और "हरा" के नियम अलग-अलग और "घर" के साथ कैसे जोड़ना है, यह सीखा, इसलिए वह तुरंत "हरा घर" पहचान सकता है भले ही उसने पहले कभी उसे न देखा हो।

संक्षेप में, यह शोध पत्र AI को पूरे वाक्यांशों को रटने के बजाय खेल के व्यक्तिगत नियमों को समझना सिखाता है, जिससे वह उन नए संयोजनों के साथ खेल सकता है जिनका उसने पहले कभी सामना नहीं किया है।

तकनीकी सारांश: सूक्ष्म-स्तरीय ओपन-वोकेबुलरी सेगमेंटेशन के लिए डीकंपोज्ड विजन-लैंग्वेज अलाइनमेंट

समस्या विवरण
ओपन-वोकेबुलरी सेगमेंटेशन (OVS) मॉडल, हालांकि विजन-लैंग्वेज प्रीट्रेनिंग के माध्यम से अनदेखी श्रेणियों के नामों को सामान्य करने में सक्षम हैं, लेकिन वे वस्तु श्रेणियों और गुणों (attributes) के अनदेखे संयोजनों (जैसे कि "फ्लैट रूफ इंडस्ट्रियल बिल्डिंग" और "फ्लैट रूफ रेजिडेंशियल बिल्डिंग" के बीच अंतर करना, जब विशिष्ट संयोजन प्रशिक्षण के दौरान नहीं देखा गया हो) को सामान्य करने में संघर्ष करते हैं। मौजूदा दृष्टिकोण आमतौर पर संपूर्ण टेक्स्ट प्रॉम्प्ट को एक एकल समग्र अनुक्रम (holistic sequence) के रूप में एनकोड करते हैं। यह समग्र एनकोडिंग श्रेणी और गुण संबंधी अर्थों (semantics) को एक साझा प्रतिनिधित्व के भीतर उलझा देती है, जिससे मॉडल इन्फरेंस के समय सिमेंटिक इकाइयों को डीकंपोज और रीकॉम्बाइन करने में असमर्थ हो जाता है। परिणामस्वरूप, मॉडल उन तार्किक "AND" बाधाओं को लागू करने में विफल रहता है जो सूक्ष्म-स्तरीय कंपोजिशनल रीजनिंग के लिए आवश्यक हैं, जिससे अनदेखे एट्रिब्यूट-कैटेगरी संयोजनों पर प्रदर्शन में गिरावट आती है।

कार्यप्रणाली (Methodology)
लेखक एक डीकंपोज्ड विजन-लैंग्वेज अलाइनमेंट फ्रेमवर्क का प्रस्ताव करते हैं जिसे टेक्स्ट प्रॉम्प्ट्स को स्पष्ट रूप से फैक्टराइज़ करने और फीचर एवं स्कोरिंग दोनों स्तरों पर कंपोजिशनल बाधाओं को लागू करने के लिए डिज़ाइन किया गया है। यह विधि मॉडल-अग्नोस्टिक है लेकिन इसे यहाँ SAM3 आर्किटेक्चर के भीतर स्थापित किया गया है।

स्पष्ट प्रॉम्प्ट डीकंपोजिशन (Explicit Prompt Decomposition):
टेक्स्ट को एक एकल वाक्य में जोड़ने के बजाय, यह फ्रेमवर्क श्रेणी (category) और प्रत्येक गुण (attribute) को स्वतंत्र रूप से एनकोड करता है। ज्यामितीय अस्पष्टता (जैसे "फ्लैट रूफ" का किसी भी सपाट सतह पर लागू होना) को हल करने के लिए, एनकोडिंग के दौरान गुणों को श्रेणी पर आधारित किया जाता है (उदाहरण के लिए, "फ्लट रूफ" को "फ्लैट रूफ बिल्डिंग" के रूप में एनकोड करना)। इससे एक स्ट्रक्चर्ड रिप्रेजेंटेशन प्राप्त होता है जिसमें एक श्रेणी टोकन अनुक्रम ( $t_c$ ), गुणों के टोकन अनुक्रमों का एक सेट ( $t_{a_k}$ ), और एक एट्रिब्यूट प्रेजेंस मास्क ( $m$ ) शामिल है।
फीचर-गेटेड क्रॉस-अटेंशन (Feature-Gated Cross-Attention):
यह फ्रेमवर्क विजुअल क्वेरीज और प्रत्येक सिमेंटिक यूनिट के बीच डीकंपोज्ड क्रॉस-अटेंशन करता है।

कैटेगरी इंटरेक्शन: कैटेगरी टोकन के साथ क्वेरीज को अलाइन करने के लिए स्टैंडर्ड क्रॉस-अटेंशन का उपयोग किया जाता है।
एट्रिब्यूट गेट्स: प्रत्येक एट्रिब्यूट के लिए, एक अलग क्रॉस-अटेंशन ब्रांच सिग्मॉइड एक्टिवेशन के माध्यम से एक गेटिंग मैप ( $G_{a_k}$ ) जेनरेट करती है। ये गेट्स "नेसेसरी कंडीशन फिल्टर्स" के रूप में कार्य करते हैं।
AND कंपोजिशन: अंतिम फीचर आउटपुट को कैटेगरी-अलाइन्ड फीचर्स और सभी सक्रिय एट्रिब्यूट गेट्स के एलिमेंट-वाइज मल्टीप्लिकेशन द्वारा प्राप्त किया जाता है ( $F_{out} = Q_c \odot \prod G_{a_k}$ )। यह मल्टीप्लिकेटिव एग्रीगेशन यह सुनिश्चित करता है कि एक विजुअल फीचर केवल तभी संरक्षित रहता है जब वह सभी एट्रिब्यूट बाधाओं को एक साथ संतुष्ट करता है।

लॉग-स्पेस AND कंपोजिशनल स्कोरिंग (Log-Space AND Compositional Scoring):
संभाव्यता (probabilities) के गुणन से जुड़ी संख्यात्मक अस्थिरता और ग्रेडिएंट वैनिशिंग से बचने के लिए, स्कोरिंग मैकेनिज्म लॉग-स्पेस में संचालित होता है।

श्रेणी और प्रत्येक एट्रिब्यूट के लिए मैचिंग लॉजिट्स स्वतंत्र रूप से कंप्यूट किए जाते हैं।
इन लॉजिट्स को सिग्मॉइड के माध्यम से प्रोबेबिलिटीज में बदला जाता है, फिर लॉग-प्रोबेबिलिटीज में मैप किया जाता है।
अंतिम कंपोजिशनल स्कोर इन लॉग-प्रोबेबिलिटीज का योग है, जिसे सक्रिय घटकों की संख्या द्वारा नॉर्मलाइज किया जाता है। यह फॉर्मूलेशन गणितीय रूप से तार्किक AND ऑपरेशन ( $\log(\prod \pi) = \sum \log(\pi)$ ) को एप्रोक्सिमेट करता है जबकि स्थिर ग्रेडिएंट्स बनाए रखता है।

प्रमुख योगदान

डीकंपोज्ड विजन-लैंग्वेज अलाइनमेंट: एक फ्रेमवर्क जो ट्रांसफार्मर-आधारित सेगमेंटेशन आर्किटेक्चर में सहजता से एकीकृत हो जाता है, जो सूक्ष्म-स्तरीय OVS में सुधार के लिए श्रेणी और एट्रिब्यूट इंटरैक्शन को स्पष्ट रूप से डीकपल करता है।
फीचर-गेटेड क्रॉस-अटेंशन: एक नवीन मॉड्यूल जहाँ एट्रिब्यूट्स स्पेशियल फिल्टर्स के रूप में कार्य करते हैं, जो एट्रिब्यूट-विशिष्ट फीचर लर्निंग को डीकपल करते हैं और मल्टीप्लिकेटिव गेटिंग के माध्यम से कंपोजिशनल बाधाओं को लागू करते हैं।
लॉग-स्पेस AND कंपोजिशनल स्कोरिंग: एक स्कोरिंग रणनीति जो सिमेंटिक इकाइयों के बीच तार्किक AND संबंधों को स्पष्ट रूप से मॉडल करती है, जो डायरेक्ट प्रोबेबिलिटी मल्टीप्लिकेशन की तुलना में बेहतर न्यूमेरिकल स्टेबिलिटी और ऑप्टिमाइजेशन व्यवहार प्रदान करती है।
कंपोजिशनल जनरलाइजेशन इवैल्यूएशन प्रोटोकॉल: डेटा को देखे गए (seen) और अनदेखे (unseen) एट्रिब्यूट-कैटेगरी संयोजनों में विभाजित करने वाला एक कठोर मूल्यांकन प्रोटोकॉल, जो कंपोजिशनल रीजनिंग क्षमताओं को मापने के लिए अनसीन AP, सीन-अनसीन गैप ( $R_d$ ), और AND-एफिशिएंसी जैसे मेट्रिक्स का उपयोग करता है।

प्रायोगिक परिणाम
विधि का मूल्यांकन UBC बिल्डिंग डेटासेट और PACO-LVIS डेटासेट पर एक कंपोजिशनल जनरलाइजेशन सेटिंग के तहत किया गया जहाँ विशिष्ट एट्रिब्यूट-कैटेगरी संयोजन प्रशिक्षण से बाहर रखे गए थे।

प्रदर्शन लाभ: UBC डेटासेट पर, प्रस्तावित विधि ने अनसीन AP को 4.0 (SAM3 बेसलाइन) से बढ़ाकर 7.1 कर दिया, जबकि AND-एफिशिएंसी मेट्रिक 0.533 से बढ़कर 0.959 हो गया। PACO-LVIS पर, अनसीन AP 37.9 से बढ़कर 39.2 और AND-एफिशिएंसी 0.874 से बढ़कर 0.907 हो गई।
एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि होलिस्टिक एनकोडिंग जनरलाइजेशन को सीमित करती है। होलिस्टिक एनकोडिंग को इंडिपेंडेंट एनकोडिंग और मीन एग्रीगेशन से बदलने से परिणामों में सुधार हुआ, लेकिन पूर्ण Log-Space AND मैकेनिज्म ने सबसे महत्वपूर्ण लाभ प्रदान किया। इसके अलावा, विधि ने अनुकूलित कंपोजिशनल ज़ीरो-शॉट लर्निंग (CZSL) विधियों (जैसे AttrAsOp, CGE) को पीछे छोड़ दिया, जो दर्शाता है कि डेंस प्रेडिक्शन कार्यों के लिए ग्लोबल कंपोजिशन वेक्टर्स की तुलना में पिक्सेल-लेवल स्पेशियल गेटिंग बेहतर है।
क्वालिटेटिव एनालिसिस: फीचर गेट्स के विजुअलाइजेशन ने दिखाया कि मॉडल सफलतापूर्वक उन इंस्टेंस को दबाने (suppress) में सीख गया जो श्रेणी से मेल खाते थे लेकिन विशिष्ट एट्रिब्यूट बाधाओं का उल्लंघन करते थे (उदाहरण के लिए, जब प्रॉम्प्ट में "रेजिडेंशियल" की आवश्यकता थी तो कमर्शियल बिल्डिंग्स को दबाना), जो मल्टीप्लिकेटिव गेटिंग मैकेनिज्म की प्रभावशीलता की पुष्टि करता है।

महत्व
पेपर का दावा है कि इसका प्राथमिक महत्व सूक्ष्म-स्तरीय कंपोजिशनल रीजनिंग में विजन-लैंग्वेज मॉडल्स के व्यवस्थित पूर्वाग्रह (systematic bias) को संबोधित करने में निहित है। इमेज-लेवल कंपोजिशनल ज़ीरो-शॉट लर्निंग से डीकंपोजिशन अंतर्दृष्टि को पिक्सेल-लेवल डोमेन (सेगमेंटेशन) में स्थानांतरित करके, यह कार्य प्रदर्शित करता है कि सिमेंटिक इकाइयों का स्पष्ट फैक्टराइजेशन और फीचर लेवल पर तार्किक बाधाओं को लागू करना अनदेखे संयोजनों के लिए सामान्य करने हेतु महत्वपूर्ण है। लेखक तर्क देते हैं कि यह फ्रेमवर्क जटिल, संरचित सिमेंटिक विवरणों को संभालने में सक्षम अधिक विश्वसनीय ओपन-वर्ल्ड परसेप्शन सिस्टम विकसित करने के लिए एक मजबूत आधार प्रदान करता है।

1. वाक्य को सामग्रियों में तोड़ना (प्रॉम्प्ट डिकम्पोज़िशन)

2. "सुरक्षा गार्ड" प्रणाली (फीचर-गेटेड क्रॉस-अटेंशन)

3. "निश्चितता का गणित" (लॉग-स्पेस स्कोरिंग)

परिणाम

इसी तरह के और पेपर