💻 computer science

Domain Generalization through Spatial Relation Induction over Visual Primitives

यह शोध पत्र PARSE का प्रस्ताव करता है, जो एक डोमेन जनरलाइजेशन फ्रेमवर्क है जो एक एंड-टू-एंड आर्किटेक्चर के माध्यम से विजुअल प्रिमिटिव्स और उनके डिफरेंशिएबल स्पेशियल रिलेशनल कंपोजिशन्स को स्पष्ट रूप से सीखकर वर्गीकरण सुदृढ़ता (classification robustness) में सुधार करता है, जिससे कंपोजिशनल बेंचमार्क पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।

मूल लेखक: Dat Nguyen, Duc-Duy Nguyen

प्रकाशित 2026-05-08✓ Author reviewed ⓘ

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dat Nguyen, Duc-Duy Nguyen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को विभिन्न प्रकार के पक्षियों को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे धूप वाले खेतों, बारिश वाले जंगलों और यहाँ तक कि कुछ कार्टून चित्रों में ली गई "रेड-विंग्ड ब्लैकबर्ड" (Red-winged Blackbird) की हज़ारों तस्वीरें दिखाते हैं।

अधिकांश वर्तमान AI मॉडल पक्षी के रंगों और बनावट (टेक्सचर) को याद करके सीखते हैं। वे सोच सकते हैं, "यदि इसमें लाल पंख और काला शरीर है, तो यह रेड-विंग्ड ब्लैकबर्ड है।" लेकिन यह एक जाल है। यदि आप रोबोट को एक कार्टून चित्र दिखाते हैं जहाँ पक्षी नीला और सपाट है, तो रोबोट भ्रमित हो जाता है क्योंकि "लाल पंख" गायब हैं। वह इसलिए विफल होता है क्योंकि उसने उन अस्थिर विवरणों पर भरोसा किया जो एक वातावरण से दूसरे वातावरण में बदल जाते हैं।

यह शोध पत्र एक नई विधि पेश करता है जिसे PARSE (Primitive-Aware Relational Structure for domain gEneralization) कहा जाता है ताकि इस समस्या को हल किया जा सके। यह कैसे काम करता है, यहाँ सरल तरीके से समझाया गया है:

1. "लेगो" (Lego) दृष्टिकोण: प्रिमिटिव्स (Primitives) को खोजना

एक पक्षी को एक बड़े रंगीन धब्बे के रूप में देखने के बजाय, PARSE इसे छोटे, पुन: उपयोग करने योग्य निर्माण खंडों में तोड़ देता है जिन्हें प्रिमिटिव्स कहा जाता है।

उपमा: एक पक्षी को एक एकल वस्तु के रूप में नहीं, बल्कि लेगो के टुकड़ों के संग्रह के रूप में सोचें: एक "चोंच वाला टुकड़ा," एक "पंख वाला टुकड़ा," एक "आँख वाला टुकड़ा," और एक "पूंछ वाला टुकड़ा।"
यह कैसे काम करता है: AI इन विशिष्ट हिस्सों को बिना किसी इंसान द्वारा बॉक्स बनाए खुद ही पहचानना सीख जाता है। यह एक "हीट मैप" बनाता है जो दिखाता है कि चोंच कहाँ है, पंख कहाँ है, आदि। महत्वपूर्ण बात यह है कि यह चोंच के आकार को पहचानना सीखता है, न कि केवल उसके रंग को। इसलिए, भले ही कार्टून पक्षी नीला हो, AI अभी भी "चोंच के आकार" को पहचान लेगा।

2. "नियम पुस्तिका": संबंधों को समझना

हिस्सों को खोजना ही काफी नहीं है; आपको यह भी जानना होगा कि वे एक साथ कैसे फिट होते हैं। चोंच और पंखों वाला पक्षी एक पक्षी है, लेकिन बिना शरीर के चोंच का पंख के पास तैरना बेतुका है।

उपमा: कल्पना कीजिए कि एक पक्षी बनाने के लिए एक सख्त नियम पुस्तिका है। नियम पुस्तिका कहती है: "चोंच छाती के ऊपर होनी चाहिए," "पंखों को किनारों से जुड़ा होना चाहिए," और "आँखें क्षैतिज रूप से संरेखित (aligned) होनी चाहिए।"
जादू: PARSE इन संबंधों की जाँच करने के लिए गणितीय "प्रेडिकेट्स" (नियमों) का उपयोग करता है। यह ऐसे प्रश्न पूछता है जैसे: "क्या पंख पूंछ के बाईं ओर है?" या "क्या आँखें चोंच के साथ एक त्रिकोण बनाती हैं?" ये नियम लचीले (सॉफ्ट) हैं, जिसका अर्थ है कि वे मामूली बदलावों को संभाल सकते हैं, लेकिन वे ज्यामिति (geometry/लेआउट) के बारे में सख्त हैं।

3. "जासूस": सबको एक साथ जोड़ना

जब AI एक नई छवि देखता है, तो वह केवल रंग के आधार पर अनुमान नहीं लगाता है। वह एक जासूस की तरह कार्य करता है:

यह लेगो के टुकड़ों (प्रिमिटिव्स) को खोजता है।
यह देखने के लिए नियम पुस्तिका की जाँच करता है कि क्या वे टुकड़े सही पैटर्न में व्यवस्थित हैं।
यदि "चोंच छाती के ऊपर है" और "पंख किनारों पर हैं," तो AI आश्वस्त होता है कि यह एक पक्षी है, भले ही रंग अजीब हों या शैली कार्टून जैसी हो।

यह बेहतर क्यों है?

यह शोध पत्र तर्क देता है कि जबकि अन्य AI मॉडल पक्षी के दिखावट को याद करने की कोशिश करते हैं (जो आसानी से बदल जाता है), PARSE एक पक्षी की संरचना को याद करता है (जो स्थिर रहती है)।

परिणाम: जब पक्षियों के एक डेटासेट पर परीक्षण किया गया जो फोटो से कार्टून और पेंटिंग में बदल गए थे, तो PARSE ने पिछले तरीकों की तुलना में काफी बेहतर स्कोर प्राप्त किया। इसने एक कठिन पक्षी डेटासेट पर सटीकता में 4.5% से अधिक सुधार किया।
दक्षता (Efficiency): भले ही इन सभी नियमों की जाँच करना जटिल लगता है, लेकिन यह सिस्टम स्मार्ट है। यह सीखता है कि कुछ नियम कुछ पक्षियों के लिए बेकार हैं और प्रशिक्षण के बाद उन्हें "प्रून" (काट) देता है। यह अंतिम सिस्टम को तेज़ और हल्का बनाता है, जो लगभग मानक AI मॉडल जितना ही तेज़ है।

सारांश में

PARSE AI को यह सिखाता है कि चीजों को पहचानने के लिए वे कैसे एक साथ फिट होती हैं इसे समझना है, न कि केवल वे कैसी दिखती हैं। यह एक कार को इसलिए पहचानने के बीच का अंतर है क्योंकि वह लाल है (जो विफल हो जाता है यदि कार नीली हो) बनाम एक कार को इसलिए पहचानने के कारण क्योंकि उसमें बॉडी के नीचे पहिए और ऊपर विंडशील्ड है (जो रंग या शैली की परवाह किए बिना काम करता है)। यह AI को बहुत अधिक मजबूत और विश्वसनीय बनाता है जब वह नए, अनदेखे वातावरण का सामना करता है।

तकनीकी सारांश: प्रिमिटिव-अवेयर रिलेशनल स्ट्रक्चर फॉर डोमेन जनरलाइजेशन (PARSE)

समस्या विवरण (Problem Statement)

डोमेन जनरलाइजेशन (DG) का लक्ष्य ऐसे क्लासिफायर को प्रशिक्षित करना है जो अनदेखे टारगेट डोमेन (unseen target domains) पर सटीकता बनाए रख सकें, भले ही कैमरा, लाइटिंग, व्यूपॉइंट या स्टाइल में वितरण परिवर्तन (distribution shifts) हों। जबकि मौजूदा DG विधियाँ अक्सर प्रशिक्षण प्रक्रियाओं (जैसे डेटा ऑग्मेंटेशन, फीचर एलाइनमेंट, या मॉडल सिलेक्शन) को बेहतर बनाने पर ध्यान केंद्रित करती हैं, वे संरचनात्मक संयोजन (structural composition) को कैप्चर करने के लिए मुख्य रूप से बैकबोन रिप्रेजेंटेशन पर निर्भर करती हैं। लेखक तर्क देते हैं कि यह अंतर्निहित (implicit) दृष्टिकोण संरचनात्मक संयोजन को अपर्याप्त रूप से परिभाषित छोड़ देता है, जिससे उन बेंचमार्क पर प्रदर्शन सीमित हो जाता है जहाँ डोमेन शिफ्ट में दिखावट (appearance) में महत्वपूर्ण बदलाव होते हैं लेकिन स्थानिक लेआउट (spatial layout) सुरक्षित रहता है (उदाहरण के लिए, एक ही पक्षी प्रजाति को फोटो बनाम कार्टून के रूप में प्रस्तुत किया जाना)। वर्तमान विधियाँ अक्सर दृश्य भागों (visual parts) के बीच स्थिर स्थानिक संबंधों को स्पष्ट रूप से मॉडल करने में विफल रहती हैं, जो डोमेन शिफ्ट के तहत मजबूत पहचान के लिए महत्वपूर्ण हैं।

कार्यप्रणाली: PARSE फ्रेमवर्क (Methodology: PARSE Framework)

लेखक प्रिमिटिव-अवेयर रिलेशनल स्ट्रक्चर फॉर डोमेन जनरलाइजेशन (PARSE) का प्रस्ताव करते हैं, जो एक एंड-टू-एंड डिफरेंशिएबल फ्रेमवर्क है जो विजुअल रिकग्निशन को विजुअल प्रिमिटिव्स (visual primitives) और उनके रिलेशनल कंपोजिशन (relational composition) में विभाजित करता है।

1. विजुअल प्रिमिटिव्स और डिस्क्रिप्टर्स (Visual Primitives and Descriptors)

PARSE $K$ सीखे गए विजुअल प्रिमिटिव्स के सेट की धारणा लेता है। मैनुअल एनोटेशन की आवश्यकता के बजाय, ये प्रिमिटिव्स इमेज-लेवल सुपरविजन से सीखे जाते हैं। प्रत्येक प्रिमिटिव $p_k$ के लिए, नेटवर्क एक इमेज-डिपेंडेंट डिस्क्रिप्टर $z_k(X) = \langle c_k, \sigma_k, \delta_k \rangle$ आउटपुट करता है, जिसमें शामिल हैं:

स्थानिक स्थान (Spatial Location - $c_k$ ): एक डिफरेंशिएबल हीटमैप से प्राप्त 2D कोऑर्डिनेट्स।
उपस्थिति स्कोर (Presence Score - $\sigma_k$ ): एक कॉन्फिडेंस वैल्यू जो प्रिमिटिव के अस्तित्व को दर्शाती है।
स्थानिक विस्तार (Spatial Extent - $\delta_k$ ): प्रिमिटिव के आकार का एक माप।

2. डिफरेंशिएबल स्पेशियल प्रेडिकेट्स (Differentiable Spatial Predicates)

संरचनात्मक अपरिवर्तनीयता (structural invariance) को कैप्चर करने के लिए, PARSE प्रिमिटिव लोकेशन्स पर सॉफ्ट, डिफरेंशिएबल स्पेशियल प्रेडिकेट्स के एक वोकैबुलरी का उपयोग करता है। ये प्रेडिकेट्स $[0, 1]$ में एक संतुष्टि स्कोर (satisfaction score) आउटपुट करते हैं:

यूनरी (Unary): $R_{has}$ (एक प्रिमिटिव की उपस्थिति)।
बाइनरी (Binary): सापेक्ष स्थिति ( $R_{above}, R_{left}$ ), संरेखण ( $R_{h-align}, R_{v-align}$ ), निकटता ( $R_{near}$ ), और कंटेनमेंट ( $R_{contains}$ ) जैसे पेयरवाइज संबंधों को एनकोड करता है।
टर्नरी (Ternary): ज्यामितीय संकेतों जैसे त्रिकोणीय कॉन्फ़िगरेशन ( $R_{tri}$ ) और क्रमबद्ध श्रृंखलाओं में टर्निंग एंगल ( $R_{turn}$ ) को मॉडल करता है।
क्वाटरनरी (Quaternary): दो प्रिमिटिव पेयर्स के बीच संबंधों की तुलना करता है, सापेक्ष ओरिएंटेशन ( $R_{orient}$ ) और सापेक्ष यूक्लिडियन दूरी ( $R_{eqdist}$ ) का मूल्यांकन करता है।

सभी प्रेडिकेट पैरामीटर्स (जैसे मार्जिन, टॉलरेंस, शार्पनेस) सीखने योग्य (learnable) हैं और क्लासेस के बीच ग्लोबल स्तर पर साझा किए जाते हैं।

3. नेटवर्क आर्किटेक्चर (Network Architecture)

फ्रेमवर्क में तीन एंड-टू-एंड ट्रेन करने योग्य घटक शामिल हैं:

विजुअल बैकबोन (Visual Backbone): एक CNN (जैसे ResNet) सामान्य विजुअल फीचर्स निकालता है।
कॉन्सेप्ट बॉटलनेक लेयर (Concept Bottleneck Layer): बैकबोन फीचर्स को $K$ प्रिमिटिव हीटमैप्स में मैप करता है। टेम्परेचर-नॉर्मलाइज्ड सॉफ्ट-आर्गमैक्स ऑपरेशन का उपयोग करके, ये हीटमैप्स डिफरेंशिएबल स्थानिक कोऑर्डिनेट्स, उपस्थिति स्कोर और विस्तार में परिवर्तित हो जाते हैं।
स्ट्रक्चरल स्कोरिंग लेयर (Structural Scoring Layer):
- प्रिमिटिव्स के प्रेडिकेट वोकैबुलरी के सभी वैध असाइनमेंट को सूचीबद्ध करता है।
- प्रेडिकेट एक्टिवेशन का एक वेक्टर $a(X)$ कंप्यूट करता है।
- इन एक्टिवेशन्स पर क्लास-विशिष्ट स्पार्स वेट्स $\lambda_c$ को sparsemax नॉर्मलाइजेशन का उपयोग करके सीखता है।
- स्पार्स वेट्स और एक्टिवेशन वेक्टर के डॉट प्रोडक्ट के रूप में अंतिम क्लास स्कोर $s_c(X)$ कंप्यूट करता है।

मॉडल को स्ट्रक्चरल स्कोर पर क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके एंड-टू-एंड ट्रेन किया जाता है, जिससे ग्रेडिएंट्स वर्गीकरण कार्य से वापस प्रिमिटिव डिटेक्टर्स और प्रेडिकेट पैरामीटर्स तक प्रोपेगेट हो सकते हैं।

मुख्य योगदान (Key Contributions)

स्ट्रक्चर-अवेयर फ्रेमवर्क: DG के लिए एक नया दृष्टिकोण जो विजुअल कैटेगरी को केवल इम्प्लिसिट फीचर एलाइनमेंट पर निर्भर रहने के बजाय, सीखे गए प्रिमिटिव्स और स्थानिक संबंधों के संयोजन के रूप में स्पष्ट रूप से मॉडल करता है।
एंड-टू-एंड डिफरेंशिएबल आर्किटेक्चर: एक एकीकृत मॉडल जो मैनुअल पार्ट एनोटेशन की आवश्यकता के बिना प्रिमिटिव डिटेक्टर्स, स्पेशियल डिस्क्रिप्टर्स और स्ट्रक्चरल प्रेडिकेट्स को संयुक्त रूप से सीखता है।
डिफरेंशिएबल स्ट्रक्चरल इंडक्टिव बायस: न्यूरो-सिंबोलिक रीजनिंग में सिमेंटिक टारगेट्स के रूप में उनके उपयोग के विपरीत, क्लासिफिकेशन के लिए एक स्ट्रक्चरल बायस के रूप में सॉफ्ट बाइनरी, टर्नरी और क्वाटरनरी प्रेडिकेट्स का उपयोग।
स्पार्स स्ट्रक्चरल कॉम्पैक्शन: एक तंत्र जहाँ ट्रेनिंग अधिकांश क्लास-रिलेशन वेट्स को शून्य की ओर ले जाती है, जिससे कुशल इन्फरेंस के लिए इनएक्टिव रिलेशंस को हटाना (pruning) संभव होता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो बेंचमार्क पर PARSE का मूल्यांकन किया:

CUB-DG (कंपोजिशनल डोमेन जनरलाइजेशन):
- PARSE ने 65.6% की औसत सटीकता प्राप्त की, जो पिछले स्टेट-ऑफ-द-आर्ट (ERM++) से 4.5 प्रतिशत अंक अधिक है।
- इसने चार में से तीन टारगेट डोमेन (Photo, Cartoon, Art) पर सर्वश्रेष्ठ सटीकता प्राप्त की।
- एब्लेशन स्टडीज ने पुष्टि की कि रिलेशनल प्रेडिकेट्स (बाइनरी, टर्नरी, क्वाटरनरी) जोड़ने से प्रिमिटिव डिस्क्रिप्टर्स वाले बेसलाइन की तुलना में प्रदर्शन में लगातार सुधार हुआ।
DomainBed:
- PARSE ने पांच डेटासेट्स में 66.7% की औसत सटीकता प्राप्त की।
- इसने MIRO और GVRT को पछाड़ दिया और SWAD (0.2 अंक के भीतर) के साथ प्रतिस्पर्धी बना रहा।
- इसने TerraIncognita डेटासेट पर सर्वश्रेष्ठ परिणाम प्राप्त किया, जो पिछले सर्वश्रेष्ठ से 3.6 अंक अधिक है।
दक्षता (Efficiency):
- हालांकि स्ट्रक्चरल लेयर पैरामीटर्स पेश करती है, लेकिन इसका कम्प्यूटेशनल ओवरहेड बैकबोन (जो ResNet-50 फॉरवर्ड पास द्वारा डोमिनेट है) की तुलना में न्यूनतम है।
- पोस्ट-ट्रेनिंग प्रूनिंग (sparsemax के माध्यम से) प्रदर्शन को कम किए बिना स्ट्रक्चरल पैरामीटर्स को 99% से अधिक कम कर देती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि PARSE डोमेन जनरलाइजेशन में एक्सप्लिसिट स्ट्रक्चरल इंडक्टिव बायस के महत्व को प्रदर्शित करता है। लोकल प्रिमिटिव अपीयरेंस और कंपोजिशनल स्ट्रक्चर के बीच साक्ष्य (evidence) को वितरित करके, मॉडल अपीयरेंस शिफ्ट (जैसे टेक्सचर, स्टाइल) के प्रति अधिक मजबूत हो जाता है, जबकि स्थिर स्थानिक संगठन (जैसे पार्ट लेआउट) का लाभ उठाता है।

लेखक जोर देते हैं कि उनका दृष्टिकोण मौजूदा फीचर-सेंट्रिक विधियों का पूरक है। वे नोट करते हैं कि जबकि यह विधि तब सबसे प्रभावी होती है जब प्रिमिटिव्स को विश्वसनीय रूप से लोकलाइज किया जा सके और स्थानिक संरचना सूचनात्मक बनी रहे, फ्रेमवर्क एंड-टू-एंड ट्रेनबिलिटी से समझौता किए बिना डीप लर्निंग और स्ट्रक्चरल रीजनिंग के बीच के अंतर को सफलतापूर्वक पाटता है। यह कार्य सुझाव देता है कि DG में भविष्य के सुधार बेहतर प्रिमिटिव रिप्रेजेंटेशन और एडेप्टिव प्रेडिकेट वोकैबुलरी में निहित हो सकते हैं।