ملخص تقني: ضغط نماذج المحولات الرؤيوية في التعلم بنقل المعرفة الجيومكانية باستخدام التحسين المقيد بالمتشعبات

بيان المشكلة

تواجه عملية نشر نماذج التأسيس (FMs) الجيومكانية على الأجهزة الطرفية محدودة الموارد عقبة حرجة: فبينما تحقق بنيات "المحولات الرؤيوية" (ViT) واسعة النطاق أداءً قويًا في مهام متنوعة مثل رسم خرائط غطاء الأرض والاستجابة للكوارث، فإن أعداد معاملاتها الهائلة (من مئات الملايين إلى المليارات) ومتطلباتها الحسابية تجعلها غير عملية للنشر المحلي أو الطرفي. غالبًا ما تفرض طرق ضغط النماذج القياسية مقايضة غامضة، حيث يؤدي التقليل الكبير في عدد المعاملات إلى خسائر غير مقبولة في دقة المهام اللاحقة ومعايرة النموذج. توفر طرق التكيف منخفضة الرتبة الموجودة، مثل LoRA، مسارًا للضغط، ولكنها قد لا تنجح تمامًا في الحفاظ على الأداء عند تطبيقها على نماذج التأسيس الجيومكانية المعقدة، خاصة تلك التي تستخدم التعلم المسبق ذاتي الإشراف.

المنهجية

تقترح الورقة البحثية تطبيق التدريب منخفض الرتبة الديناميكي (DLRT)، وهو إطار تحسين مقيد بالمتشعبات، لضغط نماذج المحولات الرؤيوية (ViT) القائمة على التأسيس الجيومكانية أثناء التعلم بنقل المعرفة الخاضع للإشراف.

الإطار الجوهري

تعامل هذه الطريقة مصفوفات الأوزان في طبقات الشبكة العصبية كعناصر تتطور على متشعب منخفض الرتبة $\mathcal{M}_r$. بدلاً من تحديث الأوزان كاملة الرتبة، يقيد التحسين التحديثات ضمن فضاء جزئي منخفض الأبعاد محدد عبر تحليل عامل هو $W = USV^\top$، حيث $U, V \in \mathbb{R}^{n \times r}$ و $S \in \mathbb{R}^{r \times r}$. تتكون عملية DLRT من ثلاث خطوات تكرارية:

1. تعزيز القواعد (Basis Augmentation): في كل خطوة تحسين، يتم تعزيز القواعد المتعامدة الحالية $U_t$ و $V_t$ باستخدام ديناميكيات التدرج ($\nabla_U \mathcal{L}, \nabla_V \mathcal{L}$). ينشئ هذا فضاءً جزئيًا مؤقتًا برتبة $2r$ يحتوي على القاعدة الحالية وتقريب من الدرجة الأولى للخطوة التالية، مما يضمن عدم زيادة الخسارة أثناء مرحلة التعزيز.
2. تدريب الفضاء الكامن (Latent Space Training): يتم إسقاط ديناميكيات التدريب على هذا الفضاء الكامن المعزز. يتم تحديث المعاملات الكامنة $\tilde{S}$ عبر التدرج الاشتقاقي العشوائي (أو محسنات مماثلة) لعدد $s^*$ من التكرارات المحلية. ومن الأهمية بمكان أن مصفوفة الأوزان الكاملة لا يتم إعادة بنائها أبدًا؛ بل يتم فقط تحديث العوامل منخفضة الرتبة.
3. التقليص (الارتداد - Truncation/Retraction): يتم إرجاع الحل المحدث إلى المتشعب $\mathcal{M}_r$ (أو رتبة جديدة $r_1$) باستخدام تحليل القيم المفردة (SVD) المبتور. تعمل هذه الخطوة على استبعاد أصغر القيم المفردة، مما يؤدي فعليًا إلى ضغط التمثيل مع الحفاظ على قيد المتشعب.

الإعداد التجريبي

تقيم الدراسة هذا النهج على عائلتين من نماذج التأسيس الجيومكانية:

• نماذج ViT المدربة مسبقًا على ImageNet-21k: نماذج ViT-B16 و ViT-H14 القياسية.
• نماذج OReole-MR FMs: نماذج جيومكانية متخصصة تم تدريبها مسبقًا عبر الترميز التلقائي المقنع (MAE) على مجموعة بيانات Million-AID غير المصنفة.

تم ضبط النماذج بدقة على ثلاث معايير اختبار صعبة للاستشعار عن بعد ذات نسب تدريب إلى تحقق صغيرة: UCM (21 فئة)، AID (30 فئة)، و NWU (45 فئة). تمت مقارنة طريقة DLRT بكل من:

1. التدريب بنقل المعرفة كامل الرتبة (Baseline).
2. طريقة LoRA القياسية (التكيف منخفض الرتبة).

كان هناك اكتشاف إجرائي محدد مفاده أن نماذج OReole-MR تتطلب دورة "إحماء" واحدة من التعلم بنقل المعرفة القياسي غير المضغوط قبل تطبيق التكيف منخفض الرتبة لتحقيق النتائج المثلى، وهي خطوة لم تكن ضرورية لنماذج ImageNet المدربة مسبقًا.

النتائج الرئيسية

أسفرت التجارب عبر 10 جولات لكل تكوين عن النتائج التالية:

• الحفاظ على الدقة: حافظت DLRT باستمرار على الدقة ضمن نطاق 0.5–1% من النموذج المرجعي كامل الرتبة في مجموعة بيانات UCM مع إزالة 64–82% من المعاملات.
• المقارنة مع LoRA: في مجموعات البيانات الأكثر صعوبة (AID و NWU) مع نسب بيانات أصغر، عانت الطرق منخفضة الرتبة عمومًا من انخفاض أكبر في الدقة مقارنة بالنموذج المرجعي. ومع ذلك، تفوقت DLRT على LoRA بنسبة 1–6% في دقة التحقق عبر هذه المجموعات.
• نسب الضغط: حققت DLRT نسب ضغط (c.r.) تتراوح بين 62% إلى 82% تقريبًا، مما قلل عدد المعاملات بشكل كبير مع الحفاظ على أداء عالٍ.
• حساسية النموذج: حققت نماذج التأسيس القائمة على OReole-MR أعلى دقة تحقق مطلقة، ولكن وُجد أنها أصعب في الضغط إلى تنسيقات منخفضة الرتبة مقارنة بالنماذج القائمة على ImageNet. يشير هذا إلى عدم توافق بين مخططات التعلم المسبق ذاتي الإشراف والفضاء الجزئي منخفض الرتبة، وهو ما ساعدت استراتيجية الإحماء في تخفيفه.
• متانة المعلمات الفائقة: وجدت الدراسة أن معدل التعلم هو المعلم الفائق الأكثر أهمية، بينما أظهرت معلمات DLHT الخاصة (عتبة التعزيز $\tau$ والتكرارات المحلية $s^*$) ارتباطًا ضعيفًا بالأداء، مما يشير إلى المتانة في اختيارها.

الأهمية والادعاءات

تزعم الورقة أن التحسين المقيد بالمتشعب عبر DLRT يوفر نهجًا مبدئيًا لضغط نماذج التأسيس الجيومكانية يتفوق على الطرق منخفضة الرتبة الجاهزة مثل LoRA.

• الضمانات النظرية: تستفيد الطريقة من البنية الهندسية للمتشعب منخفض الرتبة لتوفير ضمانات تقريب وانحدار قابلة للإثبات. تتيح متعامدية القواعد وقيد المتشعب التحكم في الخطأ، مما يضمن بقاء تدفق التدرج المسقط قريبًا من تدفق التدرج الأصلي.
• النشر العملي: من خلال تحقيق تقليل كبير في المعاملات مع حد أدنى من فقدان الدقة، يتيح هذا النهج نشر نماذج عالية الأداء على الأجهزة الطرفية ذات الذاكرة والحوسبة المحدودة.
  la
• المتانة ضد الهجمات العدائية: لوحظ أن الإطار متوافق مع مخططات التنظيم التي تعمل على الفضاء الكامن منخفض الرتبة، وهي خاصية اعتُبرت مهمة لتحسين المتانة العدائية في التطبيقات الجيومكانية.

خلص المؤلفون إلى أنه بينما تعد الطريقة فعالة، فإن العمل المستقبلي مطلوب لمواءمة مخططات التعلم المسبق ذاتي الإشراف بشكل أفضل مع الفضاءات الجزئية منخفضة الرتبة لتحسين كفاءة الضغط لنماذج مثل OReole-MR.