ملخص تقني: فعالية استراتيجيات التكيف لنماذج الرؤية واللغة (VLM) في التعلم الاتحادي القائم على الاستشعار عن بُعد

1. بيان المشكلة

تنتج تقنيات الاستشعار عن بُعد (RS) كميات هائلة من البيانات الصورية الموزعة عبر أرشيفات لامركزية. ومع ذلك، فإن اللوائح القانونية، والمخاوف المتعلقة بالخصوصية، وقيود عرض النطاق الترددي (bandwidth) غالبًا ما تمنع مركزية هذه البيانات، مما يجعل نهج التعلم العميق التقليدي غير عملي. يقدم التعلم الاتحادي (Federated Learning - FL) بديلًا لامركزيًا حيث تقوم العميل بتدريب النماذج محليًا ومشاركة المعلمات (parameters) فقط. ويتمثل التحدي الحاسم في التعلم الاتحادي للاستشناء عن بُعد في عدم تجانس البيانات (non-IID): حيث تؤدي الاختلافات الجغرافية، والموسمية، والاعتماد على المستشعرات إلى حدوث تحولات كبيرة في التوزيع وعدم توازن في التصنيفات (labels) عبر العملاء. يؤدي هذا غالبًا إلى وصول كل عميل إلى نقاط مثلى خاصة به، مما يبطئ التقارب (convergence) ويقلل من قدرة النموذج الإجمالي المجمع على التعميم.

بينما تُظهر نماذج الرؤية واللغة (VLMs)، مثل CLIP، قوة في مواجهة تحولات التوزيع بفضل التمثيلات القابلة للنقل التي تعلمتها من بيانات الصور والنصوص واسعة النطاق، إلا أن تطبيقها في التعلم الاتحادي يعوقه حجم معالمها الضخم. إن التكيف الكامل لهذه النماذج يستلزم تكاليف اتصالات باهظة وتعقيدًا حسابيًا محليًا كبيرًا. وبناءً على ذلك، هناك نقص في التوجيه بشأن أي استراتيجية تكيف لنماذج VLM تحقق أفضل توازن بين قدرة التعميم، وكفاءة الاتصال، والتكلفة الحسابية في السياق المحدد لتصنيف صور الاستشعار عن بُعد.

2. المنهجية

تقدم الورقة أول دراسة مقارنة شاملة لاستراتيجيات تكيف نماذج VLM ضمن إطار التعلم الاتحادي للاستشعار عن بُعد. تقيم الدراسة أربع استراتيجيات متميزة على مجموعة بيانات BigEarthNet-S2 (التدريب الاتحادي) وتقيم التعميم على EuroSAT و RESISC45 و ImageNet.

استراتيجيات التكيف التي تم استقصاؤها

1. التدريب الدقيق الكامل (Full Fine-Tuning - FFT): يقوم بتحديث جميع معالم مشفر الصور والنصوص ($\theta_{train} = \theta$). يوفر أقصى قدر من المرونة التمثيلية ولكنه يتسبب في أعلى تكاليف اتصال وحساب.
2. التدريب الدقيق الخاص بالمشفر (Encoder-Specific Fine-Tuning): يقصر التحديثات على مشفر الصور ($\theta_{train} = \{\theta_v\}$) أو مشفر النصوص ($\theta_{train} = \{\theta_t\}$)، مع تجميد الآخر. يقلل هذا من تكاليف الاتصال مقارنة بـ FFT ولكنه يحد من التكيف عبر الوسائط (cross-modal adaptation).
3. تعلم المحفز (Prompt Learning - CoOp): يحسن فقط مجموعة صغيرة من متجهات السياق القابلة للتعلم (soft prompts) التي تسبق أسماء الفئات، مع إبقاء المشفرات مجمدة. يقلل هذا من عبء الاتصالات والحمل الحسابي ولكنه يحد من قدرة التكيف عند مستوى المحفز.
4. التكيف منخفض الرتبة (Low-Rank Adaptation - LoRA): يجمد الأوزان سابقة التدريب ويدمج مصفوفات منخفضة الرتبة قابلة للتدريب في طبقات الإسقاط (projection layers) الخاصة بالمحول (transformer). يسمح هذا بالتكيف مع فضاء فرعي منخفض الرتبة، مع الحفاظ على التمثيلات سابقة التدريب وتقليل عدد المعالم القابلة للتدريب بشكل كبير مقارنة بـ FFT.

التصميم التجريبي

• الإعداد الاتحادي: تم تقسيم العملاء حسب الدولة (مثل النمسا، بلجيكا، فنلندا) لمحاكاة توزيعات البيانات غير المتجانسة (non-IID).
• النماذج المرجعية (Baselines): تتضمن نموذج ResNet-50 مدرب من الصفر ونموذج Zero-shot CLIP كمرجع.
• المقاييس: يتم قياس الأداء عبر micro/macro-mAP (داخل التوزيع) و top-1/top-5 accuracy/recall (خارج التوزيع). يتم تحديد التعقيد عبر FLOPs/MACs وعدد المعالم المرسلة.
• تخفيف النسيان الكارثي: تستقصي الدراسة طريقة PAINT، وهي طريقة تستخدم الاستيفاء الخطي (linear interpolation) بين الأوزان سابقة التدريب والأوزان المدربة بدقة، لتحليل المقايضة بين التخصص في المهمة والحفاظ على قدرة التعميم من نوع zero-shot.

3. النتائج الرئيسية

الأداء داخل التوزيع (BigEarthNet-S2)

تفوق جميع استراتيجيات التكيف بشكل كبير على نموذج Zero-shot CLIP ونموذج ResNet-50 المدرب من الصفر.

• حقق LoRA و FFT أعلى أداء، حيث حسن LoRA مقياس micro-mAP بأكثر من 52% مقارنة بـ Zero-shot CLIP.
• أظهرت استراتيجيات المشفر النوعي مكاسب متوسطة، بينما قدمت CoOp أقل تحسن، مما يشير إلى أن حصر التحديثات في المحفزات يقيد قدرة النموذج على التكيف مع التحول الكبير في نطاق بيانات الاستشعار عن بُعد.

الأداء خارج التوزيع والنسيان الكارثي

لوحظت مقايضة حرجة بين التخصص في المهمة والتعميم عبر النطاقات:

• النسيان الشديد: أظهر FFT أكثر حالات النسيان الكارثي، حيث انخفض من 75.6% دقة top-1 (في حالة Zero-shot) إلى 7.8% على ImageNet. يشير هذا إلى أن التكيف غير المقيد لبيانات الاستشزال عن بُعد يدمر التمثيلات سابقة التدريب.
• الحفاظ: حافظ LoRA على أكبر قدر من المعرفة سابقة التدريب، حيث حافظ على 75.1% دقة top-1 على ImageNet (انخفاض أقل من 1%)، مع تحقيق أداء قوي أيضًا على مجموعات بيانات الاستشعار عن بُعد.
• خصوصية المشفر: يحافظ تدريب مشفر النصوص على الميزات البصرية بشكل أفضل من تدريب مشفر الصور، مما يؤدي إلى أداء أفضل خارج التوزيع في مجموعات بيانات مثل EuroSAT و RESISC45 مقارنة بالتدريب المقتصر على الصور فقط.
• تحليل PAINT: يكشف الاستيفاء بين الأوزان (PAINT) أن تعظيم الأداء في مهمة الاستشزال عن بُعد يؤدي بطبيعته إلى تدهور الأداء على ImageNet. ومع ذلك، يمكن لنقاط التفتيش المتوسطة ومعاملات الاستيفاء المحددة أن تقدم حلًا وسطًا متوازنًا.

التعقيد والاتصال

• تكلفة الاتصال: تعد CoOp الأكثر كفاءة، حيث ترسل حوالي 46.85 ألف معلم فقط. يتبعها LoRA بحوالي 1.08 مليون معلم، وهو أقل بمقدار رتبتين من FFT (427.62 مليون).
• التعقيد الحسابي:
  • بدون التخزين المؤقت (Caching): تمتلك FFT والتدريب النوعي للمشفر عمليات حسابية (FLOPs) عالية متشابهة. وتعتبر CoOp أكثر كفاءة قليلاً بسبب قلة العمليات في بناء ميزات النص.
  • مع التخزين المؤقت (With Caching): يستفيد التدريب النوعي للمشفر بشكل كبير من تخزين الميزات المجمدة (مثل ميزات النص في تدريب مشفر الصور)، مما يقلل الـ FLOPs بمقدار ~387 مليار عملية مقارنة بـ FFT. أما LoRA فلا يستفيد من التخزين المؤقت بنفس الفعالية لأن الوحدات المدرجة تغير تدفق الميزات، مما يؤدي إلى تعقيد أعلى قليلاً من FFT.

4. الأهمية والإرشادات

تثبت الورقة أنه بينما تعد نماذج VLM قوية للتعلم الاتحادي في الاستشزال عن بُعد، فإن اختيار استراتيجية التكيف يحدد جدوى النظام وأدائه. يستخلص المؤلفون الإرشادات التالية بناءً على القيود التشغيلية:

1. تدريب مشفر النصوص: يُوصى به عندما يكون الهدف الأساسي هو نقل المعرفة إلى مجموعات بيانات استشزال عن بُعد ذات صلة. فهو يوفر أفضل تعميم عبر مجموعات البيانات المختلفة بين النماذج التي خضعت للتدريب الدقيق مع تكاليف اتصال متوسطة.
2. تعلم المحفز (CoOp): يُوصى به فقط عندما يكون عرض النطاق الترددي للاتصال هو القيد المهيمن. فهو يقلل من العبء ولكنه يضحي بدقة المهمة وقدرة التعميم.
3. LoRA: يُوصى به كأفضل حل وسط للحالات التي تتطلب كلاً من الأداء العالي وكفاءة الاتصال. فهو يحقق نتائج تنافسية داخل التوزيع مع تقليل عبء الاتصال بمقدار رتبتين مقارنة بـ FFT وتخفيف حدة النسيان الكارثي.
4. FFT + PAINT: يُوصى به عند توسيع نموذج zero-shot لمهمة جديدة مع الحفاظ بصرامة على الأداء في المهام المتعلمة سابقًا، رغم التكلفة العالية للاتصال.

5. الخاتمة

تخلص الدراسة إلى أن استراتيجيات التكيف ذات المعالم الفعالة (parameter-efficient)، وخاصة LoRA، مناسبة جدًا لتدريب نماذج VLM الاتحادية في الاستشزال عن بُعد. فهي تخفف بفعالية من تكاليف الاتصال والنسيان الكارثي مع الحفاظ على أداء تنافسي. وعلى العكس من ذلك، فإن التدريب الدقيق الكامل (FFT) غير المقيد، رغم فعاليته في المهام داخل التوزيع، يؤدي إلى فقدان كبير في قدرات التعميم، مما يحد من قابليته للتطبيق في البيئات التي تتطلب قوة عبر النطاقات. ويهدف العمل المستقبلي إلى توسيع هذا التحليل ليشمل النماذج التأسيسية المتخصصة في المجال وأنماط المستشعرات متعددة الأطياف.