OASIC: Occlusion-Agnostic and Severity-Informed Classification

यहाँ शोध पत्र "OASIC: Occlusion-Agnostic and Severity-Informed Classification" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र गंभीर अवरोध (severe occlusion) (90% तक का अवरोध, जिसमें वस्तु का केवल 10% हिस्सा दिखाई देता है) के तहत सूक्ष्म-स्तरीय छवि वर्गीकरण (fine-grained image classification) की चुनौती को संबोधित करता है। लेखक ऐसे परिदृश्यों में प्रदर्शन में गिरावट के दो मूल कारणों की पहचान करते हैं:

1. दृश्य जानकारी की हानि (Loss of Visible Information): समान श्रेणियों के बीच अंतर करने के लिए आवश्यक महत्वपूर्ण विवरण छिपे हुए हैं।
2. विचलित करने वाले पैटर्न (Distracting Patterns): अवरोधक (occluders) स्वयं (जैसे कि पत्तियाँ, धुआँ, मलबा) जटिल बनावट (textures) पेश करते हैं जो मॉडल का ध्यान मुख्य वस्तु से भटका देते हैं।

मौजूदा समाधान अक्सर विशिष्ट प्रकार के अवरोधों पर निर्भर करते हैं या अप्रत्याशित, वास्तविक दुनिया के अवरोधों के अनुकूल होने में विफल रहते हैं। इसके अलावा, स्वच्छ छवियों या सरल डेटा ऑग्मेंटेशन पर मानक प्रशिक्षण, बनावट वाले अवरोधकों द्वारा पेश किए गए विशिष्ट दृश्य शोर (visual noise) के लिए मॉडल को पर्याप्त रूप से तैयार नहीं करता है।

2. कार्यप्रणाली: OASIC

प्रस्तावित ढांचा, OASIC (Occlusion-Agnostic Severity-Informed Classification), दो मुख्य चरणों में कार्य करता है: अवरोध प्रबंधन (Masking) और गंभीरता-सूचित मॉडल चयन (Severity-Informed Model Selection)।

A. अवरोध-अज्ञेय (Occlusion-Agnostic) विभाजन और मास्किंग

अवरोधक के प्रकार (जैसे "यह धुआँ है") के पूर्व ज्ञान की आवश्यकता के बजाय, OASIC अवरोध को स्वच्छ वस्तु के सापेक्ष एक दृश्य विसंगति (visual anomaly) के रूप में मानता है।

• विसंगति का पता लगाना (Anomaly Detection): यह विधि पिक्सेल-स्तरीय विसंगति संभावना मानचित्र (anomaly likelihood maps) उत्पन्न करने के लिए AnomalyDINO का उपयोग करती है। ये मानचित्र उन क्षेत्रों को उजागर करते हैं जो वस्तु की अपेक्षित उपस्थिति से विचलित होते हैं।
• अनुकूली थ्रेशोल्डिंग (Adaptive Thresholding): विसंगति मानचित्र को बाइनरी मास्क में बदलने के लिए, लेखक निश्चित थ्रेशोल्ड के बजाय Otsu's method का उपयोग करते हैं। यह विसंगति स्कोर के हिस्टोग्राम के आधार पर प्रत्येक छवि के लिए इष्टतम थ्रेशोल्ड ($\tau^*$) की गतिशील रूप से गणना करता है, जिससे फॉल्स पॉजिटिव और फॉल्स नेगेटिव के बीच संतुलन बना रहता है।
• ग्रे मास्किंग (Gray Masking): एक बार जब अवरुद्ध क्षेत्रों को विभाजित कर लिया जाता है, तो उन्हें एक समान मध्यम-स्तर के ग्रे टोन ($g=127$) से बदल दिया जाता है। यह अवरोधक की उच्च-आवृत्ति वाली, विचलित करने वाली बनावट (जैसे पत्तियाँ या धुआँ) को हटा देता है जबकि वस्तु के दृश्य भागों को सुरक्षित रखता है।

B. अवरोध की गंभीरता का अनुमान (Occlusion Severity Estimation)

सिस्टम छवि में पिक्सेल-वार विसंगति स्कोर के माध्य की गणना करके अवरोध की गंभीरता ($\hat{s}$) को मापता है। यह एक निरंतर मान (continuous value) प्रदान करता है जो छवि के उस भाग का प्रतिनिधित्व करता है जो अवरोध से प्रभावित है।

C. गंभीरता-सूचित मॉडल चयन (Severity-Informed Model Selection)

लेखकों ने एक महत्वपूर्ण अंतर्दृष्टि की खोज की है: विशिष्ट अवरोध स्तरों के लिए अनुकूलित मॉडल तब सबसे अच्छा प्रदर्शन करते हैं जब उन्हें समान स्तर के अवरोधों पर टेस्ट किया जाता है।

• मॉडल पूल (Model Pool): एक बेस मॉडल (DINOv2 ViT-B/14) को विभिन्न अधिकतम अवरोध स्तरों ($p \in \{0, 10, \dots, 100\}$) वाले डेटासेट पर फाइन-ट्यून करके एक मॉडल पूल ($\mathcal{F}$) बनाया गया है। प्रत्येक मॉडल $f_{[0,p]}$ को 0% से $p$% तक के सिंथेटिक अवरोधों पर प्रशिक्षित किया गया है।
• गतिशील चयन (Dynamic Selection): अनुमान (inference) के समय, अनुमानित गंभीरता $\hat{s}$ का उपयोग पूल से सबसे उपयुक्त मॉडल चुनने के लिए किया जाता है। सिस्टम उस मॉडल को चुनता है जिसे $[0, p^*]$ की सीमा पर प्रशिक्षित किया गया है, जहाँ $p^*$ अनुमानित गंभीरता के निकटतम ऊपरी बाउंड (upper bound) है:
  $$p^* = \arg \min_{p \in P} |\hat{s} - p|$$
  यह सुनिश्चित करता है कि इमेज को प्रोसेस करने वाला मॉडल वर्तमान दृश्यता स्तर के लिए विशेष रूप से ट्यून किया गया है।

3. प्रमुख योगदान (Key Contributions)

1. एकीकृत ढांचा (Unified Framework - OASIC): एक नया दृष्टिकोण जो (गंभीरता-सूचित चयन के माध्यम से) सूचना की हानि और (विसंगति-आधारित मास्किंग के माध्यम से) दृश्य व्याकुलता को एक साथ संबोधित करता है।
2. अवरोध-अज्ञेय विभाजन (Occlusion-Agnostic Segmentation): विसंगति का पता लगाने (anomaly detection) का लाभ उठाकर, बिना किसी स्पष्ट पर्यवेक्षण या अवरोधक के प्रकार के पूर्व ज्ञान के, मनमाने अवरोधकों (वनस्पति, धुआँ, मलबा) को स्थानीयकृत और मास्क करने की क्षमता।
3. गंभीरता-सूचित रणनीति (Severity-Informed Strategy): यह खोज कि एक एकल मॉडल सभी अवरोध स्तरों को इष्टतम रूप से संभालने में सक्षम नहीं है। प्रस्तावित अनुकूली चयन रणनीति छवियों को उनके विशिष्ट अवरोध स्तर के लिए सबसे उपयुक्त मॉडल तक गतिशील रूप से भेजती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन Stanford Cars dataset (196 श्रेणियाँ) पर सिंथेटिक अवरोधों (वास्तविक बनावट जैसे वनस्पति, धुआँ और मलबे से भरे Perlin noise masks) का उपयोग करके किया गया।

• प्रदर्शन मेट्रिक्स (Performance Metrics): प्राथमिक मेट्रिक $AUC_{occ}$ (सटीकता बनाम अवरोध गंभीरता का एरिया अंडर द कर्व) है।
• तुलनात्मक लाभ (Comparative Gains):
  • OASIC ने सीधे अवरुद्ध छवियों पर प्रशिक्षित मॉडलों की तुलना में $AUC_{occ}$ में +18.5 का सुधार किया।
  • इसने अन-अवरुद्ध (स्वच्छ) छवियों पर फाइन-ट्यून किए गए मॉडलों की तुलना में $AUC_{cc}$ में +23.7 का सुधार किया।
• घटक विश्लेषण (Component Analysis):
  • ग्रे मास्किंग (Gray Masking): विचलित करने वाली बनावट को हटाने से प्रदर्शन में काफी वृद्धि होती है, विशेष रूप से जटिल बनावट जैसे वनस्पति और मलबे के विरुद्ध, जो समान ग्रे अवरोधों की तुलना में सटीकता को अधिक कम करते हैं।
  • मॉडल चयन (Model Selection): एक विस्तृत रेंज (0–90%) पर प्रशिक्षित फिक्स्ड मॉडल का उपयोग करना, टेस्ट इमेज की गंभीरता से मेल खाने वाले विशिष्ट रेंज के मॉडल को गतिशील रूप से चुनने की तुलना में कम प्रभावी है।
• विभाजन सटीकता (Segmentation Accuracy): अवरोध-अज्ञेय AnomalyDINO दृष्टिकोण ने सभी प्रकार के अवरोधों में प्रॉम्प्ट-आधारित सेगमेंटेशन बेसलाइन (जैसे OVSeg) को काफी बेहतर प्रदर्शन किया, जो बिना किसी टेक्स्ट प्रॉम्प्ट के उच्च AUROC और औसत परिशुद्धता (Average Precision) प्राप्त करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

OASIC वास्तविक दुनिया में तैनाती के लिए मजबूत कंप्यूटर विज़न की दिशा में एक महत्वपूर्ण कदम है, जहाँ वस्तुएं शायद ही कभी पूरी तरह से दिखाई देती हैं।

• मजबूती (Robustness): यह प्रदर्शित करता है कि अवरोध को एक विसंगति (anomaly) के रूप में मानने से विविध, अप्रत्याशित अवरोधकों के बीच सामान्यीकरण (generalization) संभव होता है।
• अनुकूलन क्षमता (Adaptability): गंभीरता-सूचित चयन तंत्र यह स्वीकार करता है कि विभिन्न दृश्य स्तरों के लिए अलग-अलग फीचर रिप्रजेंटेशन की आवश्यकता होती है, जो "एक-आकार-सभी-के-लिए-फिट" (one-size-fits-all) मॉडल प्रतिमान से आगे बढ़ता है।
• भविष्य का प्रभाव (Future Impact): यह ढांचा सूक्ष्म-वर्गीकरण से परे स्वायत्त नेविगेशन, निगरानी और चिकित्सा इमेजिंग जैसे कार्यों के लिए भी लागू है, जहाँ आंशिक दृश्यता एक सामान्य बात है। लेखक सुझाव देते हैं कि भविष्य के कार्य अवरोध अनुमान (occlusion estimation) और वर्गीकरण को एक एकल एंड-टू-एंड आर्किटेक्चर में एकीकृत कर सकते हैं।