Transfer learning RGB models to hyperspectral images with trainable tensor decompositions

तकनीकी सारांश: प्रशिक्षण योग्य टेंसर अपघटन के साथ हाइपरस्पेक्ट्रल छवियों के लिए ट्रांसफर लर्निंग RGB मॉडल

समस्या विवरण
हाइपरस्पेक्ट्रल इमेजिंग (HSI) सैकड़ों स्पेक्ट्रल तरंग दैर्ध्यों (wavelengths) में डेटा कैप्चर करती है, जो रिमोट सेंसिंग, मेडिकल इमेजिंग और बागवानी जैसे कार्यों के लिए समृद्ध जानकारी प्रदान करती है। हालाँकि, बड़े, विविध डेटासेट्स की कमी के कारण हाइपरस्पेक्ट्रल इमेजिंग पर डीप लर्निंग मॉडल को प्रशिक्षित करना कठिन है। फलस्वरूप, पूर्व-प्रशिक्षित RGB बैकबोन मॉडल (जैसे, ImageNet पर प्रशिक्षित) से ट्रांसफर लर्निंग एक वांछनीय रणनीति है। फिर भी, एक मौलिक असंगति मौजूद है: मानक बैकबोन मॉडल 3-चैनल वाले RGB इनपुट की अपेक्षा करते हैं, जबकि हाइपरस्पेक्ट्रल छवियों में काफी अधिक चैनल आयाम ($\hat{C}_{in} > 3$) होते हैं।

मौजूदा समाधान इस आयामी विसंगति (dimensionality mismatch) से जुड़े महत्वपूर्ण समझौतों (trade-offs) से ग्रस्त हैं:

1. इमेज-साइड अनुकूलन (Image-side adaptation): आयामी कमी (जैसे, PCA) या चैनल चयन के माध्यम से हाइपरस्पेक्ट्रल छवियों को 3 चैनलों में कम करना मॉडल आर्किटेक्चर को तो सुरक्षित रखता है, लेकिन महत्वपूर्ण स्पेक्ट्रल जानकारी को त्याग देता है।
2. मॉडल-साइड अनुकूलन (Model-side adaptation): पहले कनवल्शनल लेयर को $\hat{C}_{in}$ इनपुट चैनल्स वाली नई लेयर से बदलना इमेज डेटा को तो सुरक्षित रखता है, लेकिन इसके लिए नए वेट्स (weights) को शुरू से प्रशिक्षित करने की आवश्यकता होती है। यह मूल प्री-ट्रेंड फिल्टर्स के सीखे हुए स्थानिक पैटर्न (spatial patterns) का बलिदान करता है, प्रशिक्षण योग्य मापदंडों (parameters) की संख्या बढ़ाता है, और छोटे HSI डेटासेट्स पर ओवरफिटिंग के जोखिम को बढ़ाता है।

कार्यप्रणाली (Methodology)
लेखक एक नया दृष्टिकोण प्रस्तावित करते हैं जो आंशिक रूप से प्रशिक्षण योग्य टेंसर अपघटन (partially trainable tensor decompositions) का उपयोग करके इस अंतर को पाटता है। मुख्य अंतर्दृष्टि यह है कि बैकबोन मॉडल के कनवल्शनल फिल्टर्स को स्थानिक (spatial) और स्पेक्ट्रल (spectral) घटकों में विभाजित किया जा सकता है। इन्हें अलग करके, यह विधि बड़े RGB डेटासेट्स से सीखे गए स्थानिक पैटर्न को बनाए रखने में सक्षम है, जबकि स्पेक्ट्रल घटकों को विशिष्ट हाइपरस्पेक्ट्रल डोमेन के अनुकूल बनाती है।

इस प्रक्रिया में निम्नलिखित चरण शामिल हैं:

1. अपघटन (Decomposition): एक पूर्व-प्रशिक्षित बैकबोन के पहले कनवल्शनल लेयर ($W^1$) के वेट्स को CP (Canonic Polyadic) या Tucker टेंसर अपघटन का उपयोग करके विघटित किया जाता है।
   • CP अपघटन: फिल्टर को एक रैंक-वन टेंसर के योग के रूप में अनुमानित करता है, जो फिल्टर को एक स्पेक्ट्रल वेक्टर और दो स्थानिक वेक्टर्स (क्षैतिज और ऊर्ध्वाधर) में विभाजित करता है।
   • Tucker अपघटन: एक लोअर-डायमेंशनल कोर टेंसर में टेंसर को प्रोजेक्ट करता है। लेखक एक आंशिक Tucker अपघटन लागू करते हैं, जो केवल स्पेक्ट्रल आयाम को संकुचित करता है जबकि स्थानिक संरचना को सुरक्षित रखता है।
2. घटक प्रतिस्थापन (Component Replacement): मूल 3-चैनल वाले स्पेक्ट्रल घटकों को हटा दिया जाता है। उन्हें $\hat{C}_{in}$ आयाम (हाइपरस्पेक्ट्रल इनपुट से मेल खाने वाले) के नए, प्रशिक्षण योग्य (trainable) स्पेक्ट्रल घटकों द्वारा प्रतिस्थापित किया जाता है।
3. फ्रीजिंग और ट्रेनिंग (Freezing and Training): मूल प्री-ट्रेंड फिल्टर्स से प्राप्त स्थानिक घटकों को फ्रीज (freeze) कर दिया जाता है। केवल नए स्पेक्ट्रल घटकों और अंतिम वर्गीकरण लेयर (classification layer) को प्रशिक्षित किया जाता है।
4. कार्यान्वयन (Implementation): अपघटित लेयर्स को ग्रुपड सेपरेबल कनवल्शन (grouped separable convolutions) का उपयोग करके लागू किया जाता है। CP के लिए, इसमें एक पॉइंटवाइज कनवल्शन के बाद दो डेप्थवाइज कनवल्शन शामिल हैं; Tucker के लिए, इसमें एक पॉइंटवाइज कनवल्शन के बाद एक मानक 2D कनवल्शन शामिल है।

प्रमुख योगदान

• नया ट्रांसफर तंत्र (Novel Transfer Mechanism): यह पेपर हाइपरस्पेक्ट्रल इनपुट के लिए 3-चैनल RGB बैकबोन को बिना स्पेक्ट्रल डेटा खोए या प्री-ट्रेंड स्थानिक जानकारी का त्याग किए, अनुकूलित करने की एक विधि पेश करता है।
• पैरामीटर दक्षता (Parameter Efficiency): स्थानिक घटकों को फ्रीज करके, यह विधि पहले लेयर को शुरू से प्रशिक्षित करने की तुलना में प्रशिक्षण योग्य मापदंडों की संख्या को काफी कम कर देती है, जिससे डेटा-दुर्लभ परिदृश्यों में ओवरफिटिंग के जोखिमों को कम किया जा सकता है।
• स्थानिक पूर्वग्रहों का संरक्षण (Preservation of Spatial Priors): यह दृष्टिकोण "रंगीन, अंडाकार आकृतियों" और एज-डिटेक्शन व्यवहारों को बनाए रखता है जो प्री-ट्रेंड बैकबोन फिल्टर्स की विशेषता हैं, जो मजबूत विजन कार्यों के लिए महत्वपूर्ण हैं।

प्रायोगिक परिणाम
लेखकों ने पांच डेटासेट्स पर अपने तरीके का मूल्यांकन किया: तीन रिमोट सेंसिंग डेटासेट्स (Botswana, Indian Pines, Kennedy Space Center) और दो बागवानी डेटासेट्स (Avocado, Grape leaves)। उन्होंने अपने CP और Tucker दृष्टिकोणों की तुलना दो बेसलाइन्स से की:

• Reduce: 3 चैनलों तक आयामी कमी।
• Scratch: पहली लेयर को शुरू से प्रशिक्षित किए जाने वाले एक नए लेयर से बदलना।

निष्कर्ष:

• सटीकता (Accuracy): प्रस्तावित CP और Tucker विधियों ने "Reduce" बेसलाइन को लगातार पछाड़ दिया। वे "Scratch" बेसलाइन की तुलना में आम तौर पर अधिक सटीक थे, विशेष रूप से 'Grape leaves' जैसे जटिल डेटासेट्स पर जहाँ "Scratch" खराब प्रदर्शन करता है।
• मजबूती (Robustness): ओवरफिटिंग प्रयोगों में (बदलते लर्निंग रेट और लंबे एपॉक्स के दौरान), "Scratch" विधि अपघटित दृष्टिकोणों की तुलना में बहुत तेजी से ओवरफिट हुई। अपघटित विधियों ने अधिक स्थिरता प्रदर्शित की।
• बैकबोन स्वतंत्रता (Backbone Independence): परिणाम विभिन्न बैकबोन आर्किटेक्चर (AlexNet, DenseNet, ResNet18) में समान रहे।
• रैंक संवेदनशीलता (Rank Sensitivity): हालांकि $R=2$ का डिकंपोजिशन रैंक आम तौर पर सबसे अच्छा संतुलन प्रदान करता था, $R=3$ तक रैंक बढ़ाने से लगातार सुधार नहीं हुआ, जो हाइपरपैरामीटर ट्यूनिंग की आवश्यकता को दर्शाता है।

महत्व और दावे
यह पेपर दावा करता है कि यह दृष्टिकोण हाइपरस्पेक्ट्रल छवियों और RGB बैकबोन के बीच आयामी विसंगति को सफलतापूर्वक हल करता है, जबकि छवि की स्पेक्ट्रल जानकारी और मॉडल के स्थानिक पूर्वग्रहों दोनों को सुरक्षित रखता है। लेखक जोर देते हैं कि उनका तरीका मौजूदा हाइपरस्पेक्ट्रल ट्रांसफर लर्निंग दृष्टिकोणों की तुलना में अधिक सटीक और ओवरफिटिंग के प्रति अधिक मजबूत है, जो या तो छवि को संकुचित करते हैं या मॉडल को शुरू से प्रशिक्षित करते हैं।

यह कार्य हाइपरस्पेक्ट्रल इमेजिंग के लिए सार्वभौमिक बैकबोन बनाने की दिशा में एक कदम के रूप में खुद को स्थापित करता है। हालाँकि, लेखक अपनी सीमाओं के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि टेंसर-डिकंपोज्ड लेयर्स इनिशियलाइजेशन और ऑप्टिमाइजेशन रणनीतियों के प्रति संवेदनशील हो सकती हैं। वे भविष्य के कार्य के रूप में उन अनुकूलन रणनीतियों पर ध्यान केंद्रित करने का सुझाव देते हैं जो विशेष रूप से इन लेयर्स के लिए तैयार की गई हों और ऐसे तरीकों की खोज करने का सुझाव देते हैं जो अंततः पूरे नेटवर्क में बैकप्रोपेगेशन के बिना ट्रांसफर लर्निंग की अनुमति दे सकें।