Transfer learning RGB models to hyperspectral images with trainable tensor decompositions

ملخص تقني: نقل تعلم نماذج RGB إلى الصور فائقة الطيف باستخدام تفكيك الموترات القابلة للتدريب

بيان المشكلة
تلتقط التصويرات فائقة الطيف (HSI) بيانات عبر مئات الأطوال الموجية الطيفية، مما يوفر معلومات غنية للمهام في الاستشعار عن بعد، والتصوير الطبي، والبستنة. ومع ذلك، فإن تدريب نماذج التعلم العميق على الصور فائقة الطيف (HSI) يعوقه ندرة مجموعات البيانات الكبيرة والمتنوعة مقارنة بصور RGB. وبناءً على ذلك، يعد نقل التعلم (Transfer Learning) من النماذج الأساسية (backbone models) سابقة التدريب والمبنية على RGB (مثل تلك المدربة على ImageNet) استراتيجية مرغوبة. ومع ذلك، يوجد عدم توافق جوهري: تتوقع النماذج الأساسية القياسية مدخلات RGB مكونة من 3 قنوات، بينما تمتلك الصور فائقة الطيف أبعاد قنوات أعلى بكثير ($\hat{C}_{in} > 3$).

تعاني الحلول الحالية لهذا التفاوت في الأبعاد من مقايضات كبيرة:

1. التكيف على جانب الصورة: تقليل الصور فائقة الطيف إلى 3 قنوات عبر تقليل الأبعاد (مثل PCA) أو اختيار القنوات يحافظ على بنية النموذج ولكنه يتخلص من المعلومات الطيفية الحاسمة.
2. التكيف على جانب النموذج: استبدال الطبقة التلافيفية الأولى بطبقة ذات $\hat{C}_{in}$ من قنوات المدخلات يحافظ على بيانات الصورة ولكنه يتطلب تدريب أوزان جديدة من الصفر. وهذا يضحي بالأنماط المكانية المتعلمة مسبقاً من المرشحات (filters) الأصلية، ويزيد من عدد المعلمات القابلة للتدريب، ويرفع من مخاطر الإفراط في التخصيص (overfitting) في حالات بيانات HSI الصغيرة.

المنهجية
يقترح المؤلفون نهجاً مبتكراً يسد هذه الفجوة من خلال استخدام تفكيك الموترات جزئياً القابل للتدريب. وتتمثل الفكرة الجوهرية في أن المرشحات التلافيفية في النماذج الأساسية يمكن تفكيكها إلى مكونات مكانية وطيفية. ومن خلال فصل هذه المكونات، يمكن للطريقة الحفاظ على الأنماط المكانية المتعلمة من مجموعات بيانات RGB الضخمة مع تكييف المكونات الطيفية لتناسب المجال فائق الطيف المحدد.

تتضمن العملية الخطوات التالية:

1. التفكيك: يتم تفكيك أوزان الطبقة التلافيفية الأولى ($W^1$) للنموذج الأساسي سابقة التدريب باستخدام تفكيك الموترات CP (Canonic Polyadic) أو Tucker.
   • تفكيك CP: يقرب المرشح كحاصل جمع لموترات من الرتبة الأولى، مما يفصل المرشح إلى متجه طيفي ومتجهين مكانيين (أفقي وعمودي).
   • تفكيك Tucker: يقوم بإسقاط الموتر إلى تنور أساسي (core tensor) منخفض الأبعاد عبر عمليات ضرب المصفوفات. يطبق المؤلفون تفكيك Tucker جزئياً، حيث يتم ضغط البعد الطيفي فقط مع الحفاظ على البنية المكانية.
2. استبدال المكونات: يتم التخلص من المكونات الطيفية الثلاثة الأصلية، واستبدالها بمكونات طيفية جديدة قابلة للتدريب ذات بُعد $\hat{C}_{in}$ (ليتطابق مع المدخلات فائقة الطيف).
3. التجميد والتدريب: يتم تجميد المكونات المكانية (المشتقة من المرشحات الأصلية سابقة التدريب). ويتم تدريب المكونات الطيفية الجديدة وطبقة التصنيف النهائية فقط.
4. التنفيذ: يتم تنفيذ الطبقات المفككة باستخدام تلافيفات منفصلة مجتمعة (grouped separable convolutions). بالنسبة لـ CP، يتضمن ذلك تلافيف نقطي (pointwise convolution) يليه تلافيفان بعمق (depthwise convolutions)؛ وبالنسبة لـ Tucker، يتضمن تلافيف نقطي يليه تلافيف ثنائي الأبعاد (2D convolution) قياسي.

المساهمات الرئيسية

• آلية نقل مبتكرة: قدمت الورقة طريقة لتكييف النماذج الأساسية ثلاثية القنوات (RGB) مع المدخلات فائقة الطيف دون التضحية بالمعلومات الطيفية للصورة أو بالمعلومات المكانية سابقة التدريب.
• كفاءة المعلمات: من خلال تجميد المكونات المكانية، تقلل الطريقة بشكل كبير من عدد المعلمات القابلة للتدريب مقارنة بإعادة تدريب الطبقة الأولى من الصفر، مما يخفف من مخاطر الإفراط في التخصيص في السيناريوهات التي تعاني من نقص البيانات.
• الحفاظ على الأولويات المكانية: يحافظ النهج على "الأشكال الملونة والإهليلجية" وسلوكيات اكتشاف الحواف المميزة لمرشحات النماذج الأساسية سابقة التدريب، والتي تعد حاسمة لمهام الرؤية القوية.

النتائج التجريبية
قيم المؤلفون طريقتهم على خمس مجموعات بيانات: ثلاث مجموعات بيانات للاستشعار عن بعد (بوتسوانا، الهندي بينز، كينيدي سبيس سنتر) ومجموعتان من البيانات الزراعية (أفوكادو، أوراق العنب). وقارنوا نهجي CP و Tucker مع خطين أساسيين:

• التقليل (Reduce): تقليل الأبعاد إلى 3 قنوات.
• البداية من الصفر (Scratch): استبدال الطبقة الأولى بطبقة جديدة يتم تدريبها من الصفر.

النتائج:

• الدقة: تفوقت طرق CP و Tucker المقترحة باستمرار على خط الأساس "التقليل". وكانت أكثر دقة عموماً من خط الأساس "البداية من الصفر"، لا سيما في مجموعات البيانات المعقدة مثل "أوراق العنب" حيث كان أداء "البداية من الصفر" ضعيفاً.
• المتانة: في تجارب الإفراط في التخصيص (تغيير معدلات التعلم والتدريب لعدد دورات ممتدة)، عانى منهج "البداية من الصفر" من الإفراط في التخصيص بشكل أسرع بكثير من المناهج المفككة. أظهرت المناهج المفككة استقراراً أكبر.
• استقلالية النموذج الأساسي: ظلت النتائج ثابتة عبر بنيات نماذج مختلفة (AlexNet, DenseNet, ResNet18).
• حساسية الرتبة: بينما وفرت رتبة التفكيك $R=2$ أفضل توازن بشكل عام، فإن زيادة الرتبة إلى $R=3$ لم تؤدِ باستمرار إلى تحسينات إضافية، مما يشير إلى الحاجة لضبط المعلمات الفائقة.

الأهمية والادعاءات
تدعي الورقة أن هذا النهج يحل بنجاح مشكلة عدم التوافق في الأبعاد بين الصور فائقة الطيف ونماذج RGB مع الحفاظ على كل من المعلومات الطيفية للصورة والأولويات المكانية للنموذج. ويؤكد المؤلفون أن طريقتهم أكثر دقة وأكثر متانة ضد الإفراط في التخصيص من مناهج نقل التعلم الحالية فائقة الطيف التي إما تضغط الصورة أو تعيد تدريب النموذج من الصفر.

يضع هذا العمل نفسه كخطوة نحو إنشاء نماذج أساسية عالمية للتصوير فائق الطيف. ومع ذلك، يظل المؤلفون متواضعين فيما يتعلق بالقيود، مشيرين إلى أن الطبقات المفككة بالتنسور (tensor-decomposed layers) قد تكون حساسة لاستراتيجيات التهيئة والتحسين. ويقترحون أن العمل المستقبلي يمكن أن يركز على استراتيجيات التحسين المصممة خصيصاً لهذه الطبقات واستكشاف طرق قد تسمح في النهاية بنقل التعلم دون الحاجة للانتشار العكسي (backpropagation) عبر الشبكة بأكملها.