SADGE: Structure and Appearance Domain Gap Estimation of Synthetic and Real Data

तकनीकी सारांश: SADGE – संरचना और स्वरूप डोमेन अंतराल अनुमान (Structure and Appearance Domain Gap Estimation)

समस्या विवरण
सिंथेटिक डेटा का निर्माण कंप्यूटर विज़न सिस्टम को स्केल करने के लिए एक महत्वपूर्ण रणनीति है, विशेष रूप से तब जब वास्तविक दुनिया के एनोटेशन महंगे हों या उपलब्ध न हों। हालाँकि, एक मौलिक बाधा बनी हुई है: यह भविष्यवाणी करना कि क्या एक विशिष्ट सिंथेटिक डेटासेट डाउनस्ट्रीम मॉडल प्रशिक्षण की लागत उठाने से पहले वास्तविक दुनिया के प्रदर्शन में सफलतापूर्वक स्थानांतरित होगा। वर्तमान मूल्यांकन अभ्यास मुख्य रूप से 'ट्रायल-एंड-एरर' (परीक्षण और त्रुटि) पर निर्भर करते हैं, जहाँ विशेषज्ञ डेटासेट उत्पन्न करते हैं, मॉडल प्रशिक्षित करते हैं, और रेंडरिंग पाइपलाइन या डोमेन-रैंडमाइजेशन रणनीतियों को मान्य करने के लिए वास्तविक दुनिया के प्रदर्शन को मापते हैं।

सिंथेटिक डेटा की गुणवत्ता का मूल्यांकन करने वाले मौजूदा मेट्रिक्स मुख्य रूप से स्वरूप समानता (Appearance Similarity) (जैसे PSNR, FID, CLIP, LPIPS) पर ध्यान केंद्रित करते हैं ताकि वास्तविक और सिंथेटिक छवियों के बीच उच्च-स्तरीय सिमेंटिक या पिक्सेल-स्तरीय संरेखण को मापा जा सके। जबकि कुछ दृष्टिकोण ज्यामितीय समानता (Geometric Similarity) (संरचनात्मक संरेखण) पर विचार करते हैं, इस बात का कोई स्थापित प्रमाण नहीं है कि कौन सा समानता मेट्रिक विविध सिंथेटिक डेटासेट्स में डाउनस्ट्रीम कार्य प्रदर्शन को सर्वोत्तम रूप से अनुमानित करता है। इसके अलावा, यह स्पष्ट नहीं है कि क्या केवल स्वरूप या ज्यामिति पर्याप्त है, या क्या उनका परस्पर प्रभाव ही निर्णायक कारक है।

कार्यप्रणाली: SADGE
लेखक SADGE (स्ट्रक्चर एंड अपीयरेंस डोमेन गैप एस्टिमेटर) प्रस्तावित करते हैं, जो एक ज़ीरो-शॉट, ट्रेनिंग-फ्री मेट्रिक है जिसे डाउनस्ट्रीम विजुअल रिकग्निशन कार्यों के लिए सिंथेटिक इमेज डेटासेट्स की उपयोगिता का अनुमान लगाने के लिए डिज़ाइन किया गया है। SADGE दो पूरक संकेतों को संयुक्त रूप से मॉडल करके कार्य करता है:

1. स्वरूप समानता ($A$): इसे उच्च-स्तरीय सिमेंटिक और टेक्सचरल संरेखण को मापने के लिए प्री-ट्रेन्ड विजुअल एनकोडर्स (जैसे DINOv3, CLIP, SigLIP, SAM) का उपयोग करके गणना किया जाता है। स्कोर को नॉर्मलाइज्ड इमेज एम्बेडिंग्स के बीच कोसाइन सिमिलैरिटी के रूप में परिभाषित किया गया है।
2. ज्यामितीय निरंतरता ($G$): इसे ज्योमेट्री-अवेयर मैचर्स (जैसे MASt3R, LoFTR, SuperPoint+LightGlue) का उपयोग करके गणना किया जाता है ताकि संरचनात्मक निष्ठा (structural fidelity) को मापा जा सके। इसमें वास्तविक और सिंथेटिक छवियों के बीच सघन (dense) या अर्ध-सघन पत्राचार का अनुमान लगाना और ज्यामितीय रूप से वैध इनलायर्स की संख्या गिनना शामिल है (जिसे एपिपोलर ज्योमेट्री या 3D निरंतरता के माध्यम से सत्यापित किया जाता है)।

फ्यूजन मैकेनिज्म (संलयन तंत्र)
SADGE इन स्कोर का केवल औसत नहीं निकालता है। इसके बजाय, यह उन्हें एक प्रतिबंधित द्विपक्षीय इंटरेक्शन मॉडल (constrained bilinear interaction model) का उपयोग करके फ्यूज करता है:
$$\text{SADGE} = a\hat{G} + b\hat{A} + c\hat{G}\hat{A}$$
जहाँ $\hat{A}$ और $\hat{G}$ क्रमशः z-स्कोर नॉर्मलाइज्ड अपीयरेंस और ज्योमेट्री स्कोर हैं। गुणांक $a, b, c \geq 0$ डाउनस्ट्रीम प्रदर्शन के साथ सहसंबंध (correlation) को अधिकतम करने के लिए सीखे जाते हैं। यह फॉर्मूलेशन मोनोटोनिसिटी (एकदिशिकता) को लागू करता है (किसी भी स्कोर में सुधार से कुल स्कोर कम नहीं होना चाहिए) और पूरकता (complementarity) को सुनिश्चित करता है (इंटरेक्शन टर्म $c\hat{G}\hat{A}$ यह सुनिश्चित करता है कि स्कोर तब उच्चतम हो जब स्वरूप और ज्यामिति दोनों मजबूत हों)। मॉडल यह मानता है कि सिंथेटिक डेटा सबसे उपयोगी होता है जब वह दृश्य रूप से यथार्थवादी और संरचनात्मक रूप से निष्ठावान दोनों हो।

प्रायोगिक प्रोटोकॉल
मूल्यांकन पाँच सार्वजनिक सिंथेटिक-टू-रियल बेंचमार्क परिवारों और 15 डेटासेट-स्तरीय वेरिएंट्स में फैला हुआ है, जिसमें लगभग 79,000 इमेज पेयर्स शामिल हैं। बेंचमार्क विविध डोमेन और कार्यों को कवर करते हैं:

• DIMO: औद्योगिक धातु वस्तुएं (6D पोज़ एस्टीमेशन)।
• Virtual KITTI 2: ड्राइविंग सीन (सिमेंटिक सेगमेंटेशन)।
• TUD-L / BOP: टेक्सचरलेस ऑब्जेक्ट्स (6D पोज़ एस्टीमेशन)।
• RarePlanes: हवाई इमेजरी (ऑब्जेक्ट डिटेक्शन)।
• ASD (एग्रिकल्चरल सिंथेटिक डेटासेट): फसल/खरपतवार सेगमेंटेशन।

लेखक वाइड रेंज के बेसलाइन्स के विरुद्ध SADGE का तुलनात्मक अध्ययन करते हैं, जिसमें शुद्ध अपीयरेंस मेट्रिक्स (FID, LPIPS, PSNR, CLIP, DINO वेरिएंट्स) और शुद्ध ज्योमेट्री मेट्रिक्स (SSIM, LoFTR, SuperPoint+LightGlue) शामिल हैं।

मुख्य परिणाम

• श्रेष्ठ सहसंबंध: SADGE सभी परीक्षण किए गए मेट्रिक्स में डाउनस्ट्रीम ट्रांसफर प्रदर्शन के साथ सबसे मजबूत जुड़ाव प्राप्त करता है। यह 15 डेटासेट वेरिएंट्स में पियर्सन सहसंबंध $r = 0.879$ और स्पियरमैन रैंक सहसंबंध $\rho = 0.768$ तक पहुँचता है।
• बेसलाइन्स के साथ तुलना: SADGE सबसे मजबूत ज्योमेट्री-ओनली बेसलाइन (MASt3R, $r = 0.677$) और सबसे मजबूत अपीयरेंस-ओनली बेसलाइन (LPIPS, $r = 0.649$) को महत्वपूर्ण रूप से पीछे छोड़ देता है।
• मजबूती (Robustness): लीव-वन-डेटासेट-आउट मूल्यांकनों में, SADGE लगातार प्रथम स्थान प्राप्त करता है। प्रदर्शन में गिरावट सबसे अधिक तब होती है जब DIMO डेटासेट (जो संरचनात्मक भिन्नता पर जोर देता है) को बाहर रखा जाता है, जिससे पता चलता है कि संरचनात्मक रूप से चुनौतीपूर्ण परिदृश्यों में ज्यामिति एक महत्वपूर्ण भविष्यवक्ता है, जबकि उच्च प्रकाश व्यवस्था या टेक्सचर भिन्नता वाले परिदृश्यों में स्वरूप (appearance) हावी रहता है।
• इष्टतम कॉन्फ़िगरेशन: सर्वश्रेष्ठ प्रदर्शन करने वाला कॉन्फ़िगरेशन DINOv3 (अपीयरेंस) को MASt3R (ज्योमेट्री) के साथ फ्यूज करता है।
• संवेदनशीलता: फ्यूजन गुणांक मजबूत हैं; उच्च सहसंबंध गुणांकों के एक विस्तृत प्लेटो (plateau) के पार बना रहता है, जो यह दर्शाता है कि परिणाम किसी संकीर्ण पैरामीटर स्पेस के ओवरफिटिंग का आर्टिफैक्ट नहीं है।

महत्व और दावे
पेपर का दावा है कि सिंथेटिक डेटा की उपयोगिता केवल एक कारक (स्वरूप या ज्यामिति) द्वारा नियंत्रित नहीं होती है, बल्कि उनके गैर-रेखीय परस्पर प्रभाव (non-linear interplay) द्वारा होती है। SADGE उम्मीदवार सिंथेटिक डेटासेट्स को रैंक करने के लिए एक व्यवस्थित, ट्रेनिंग-फ्री तरीका प्रदान करता है, जिससे अभ्यासकर्ता निम्नलिखित कार्य कर सकते हैं:

• महंगे प्रशिक्षण से पहले रेंडरिंग कॉन्फ़िगरेशन, डोमेन-रैंडमाइजेशन शेड्यूल्स, और जेनेरेटिव पाइपलाइनों की तुलना करना।
• यह पहचानना कि कौन से सिंथेटिक वेरिएंट वास्तविक दुनिया के कार्यों में अच्छी तरह से स्थानांतरित होने की संभावना रखते हैं।
• केवल डेटासेट गुणवत्ता का मूल्यांकन करने के लिए मॉडल को प्रशिक्षित करने के "ट्रायल-एंड-एरर" लूप से बचना।

लेखक इस बात पर जोर देते हैं कि SADGE एक प्रॉक्सी रैंकिंग मेट्रिक है, न कि अंतिम रियल-डोमेन सत्यापन का विकल्प, विशेष रूप से सुरक्षा-महत्वपूर्ण अनुप्रयोगों में। यह अध्ययन तुलनीय डाउनस्ट्रीम मूल्यांकन प्रोटोकॉल वाले सार्वजनिक बेंचमार्क की उपलब्धता से सीमित है, लेकिन संवेदनशीलता विश्लेषण बताता है कि इसका इंटरेक्शन मॉडल परीक्षण किए गए विशिष्ट डेटासेट्स से परे सामान्यीकृत होता है।