FALCON: Future-Aware Learning with Contextual Object-Centric Pretraining for UAV Action Recognition

إليك ملخص تقني مفصل لورقة البحث FALCON: التعلم المستقبلي الواعي بالسياق عبر التدريب المسبق المتمحور حول الأجسام لتمييز أفعال الطائرات بدون طيار (UAV).

1. بيان المشكلة

تتناول الورقة تحدي تمييز الأفعال في الطائرات بدون طيار (UAV) من لقطات RGB الخام. وبينما حقق التعلم الخاضع للإشراف الذاتي (SSL) تقدماً في فهم الفيديو، فإن الطرق القياسية مثل "المشفرات التلقائية للقناع" (Masked Autoencoders - MAE) تفشل في سيناريوهات الطائرات بدون طيار بسبب وجود عدم توافق جوهريين:

1. هيمنة الخلفية المكانية: تتميز فيديوهات الطائرات بدون طيار بخلفيات واسعة ومزدحمة مع أهداف صغيرة ذات صلة بالفعل (بشر/أجسام). تؤدي عمليات الحجب العشوائي وإعادة البناء الموحدة في نماذج MAE التقليدية إلى جعل النماذج تستهلك قدرتها في تعلم أنسجة الخلفية، بينما يتم حجب أو تقليل وزن مناطق الأفعال الصغيرة والحرجة.
2. ضعف الإشراف على التطور الحركي: يركز إعادة البناء المقنع التقليدي على استعادة المحتوى المفقود ضمن الجزء المرصود، وهو ما يعتمد على المظهر المحلي والنعومة قصيرة المدى، مما يفشل في التقاط التطور الزمني للأفعال. علاوة على ذلك، فإن إعادة بناء المستقبل البدائية في التصوير الجوي تهيمن عليها حركة الكاميرا (ego-motion) وتحركات الخلفية بدلاً من الحركة الدقيقة للأهداف الصغيرة.

الهدف هو تطوير هدف تدريب مسبق يركز صراحةً على المناطق الحاملة للفعل وديناميكياتها الزمنية دون الحاجة إلى بيانات موسومة مكلفة أو كواشف معقدة أثناء الاستنتاج.

2. المنهجية: FALCON

FALCON هو إطار عمل موحد للتدريب المسبق الخاضع للإشراف الذاتي، يدمج المشفر التلقائي الواعي بالأجسام مع إعادة بناء المستقبل المتمحورة حول الأجسام عبر أفق مزدوج. يستخدم النموذج كواشف أجسام جاهزة (off-the-shelf) فقط خلال مرحلة التدريب المسبق لتوليد الأولويات؛ بينما يقوم النموذج النهائي بعملية الاستنتاج بشكل كامل (end-to-end) على صور RGB الخام دون أي كواشف.

يتكون خط العمل من ثلاثة مكونات رئيسية:

أ. إعادة البناء المقنع الواعي بالأجسام (الجزء المرصود)

لمواجهة عدم التوازن المكاني، يعدل FALCON نهج MAE القياسي لمقطع الفيديو المرصود ($V_o$):

• أولوية الجسم (Objectness Prior): يتم تجميع عمليات الكشف من إطارات التدريب المسبق في خريطة حرارية على مستوى البكسل ($H_o$) وتُسقط على درجات الرقع (patch scores) ($S_o$).
• الرؤية الطبقية (الحجب المتوازن): بدلاً من الحجب العشوائي، يتم فرز الرقع حسب درجة "الأهمية للجسم" وتقسيمها إلى فئات. يقوم النموذج باختيار رقعة مرئية واحدة لكل فئة. يضمن هذا عدم استبعاد مناطق الأفعال الصغيرة وعالية القيمة بشكل منهجي من مدخلات المشفر، مما يحافظ على الإشارات السياقية مع ضمان رؤية الأهداف.
• تخصيص الإشراف المتمحور حول الجسم: أثناء إعادة البناء، يتم وزن الخسارة بواسطة درجات أهمية الجسم. تحصل المناطق ذات الأهمية العالية على أوزان إعادة بناء أعلى، مما يجبر النموذج على إعطاء الأولوية لتعلم ميزات الأفعال على أنسجة الخلفية.

ب. إعادة بناء المستقبل المتمحورة حول الأجسام عبر أفق مزدوج (الجزء المستقبلي)

لتعلم الديناميكيات الزمنية، يقوم النموذج بإعادة بناء الإطارات المستقبلية ($V_f$) من السياق المرصود، مقسمة إلى آفاق قصيرة ($t+1 \dots t+n$) وطويلة ($t+n+1 \dots t+2n$):

• تقييد المنطقة السياقية: يتم إنشاء خريطة حرارية مستقبلية للأجسام ($H_f$). يتم حساب صندوق محيط حول المناطق ذات الاستجابة العالية وتوسيعها لتشكيل كتلة سياقية ($R_f$). يتم تقييد الإشراف على إعادة البناء فقط داخل هذه المنطقة. هذا يمنع النموذج من إضاعة القدرة على حركة الكاميرا أو تغيرات الخلفية التي تهيمن على الإطار الكامل.
• خسارة الأفق المزدوج: يقلل النموذج أخطاء إعادة البناء لكل من الآفاق القصيرة والطويلة داخل المنطقة المتمحورة حول الجسم. هذا يشجع النموذج على تعلم كل من الحركة الفورية والتطور الحركي طويل الأمد.
• اتساق الأفق: يتم تطبيق خسارة اتساق ($L_{cons}$) بين متوسط ميزات تنبؤات الأفق القصير والطويل لضمان التماسك الزمني.

ج. الهدف الموحد

تجمع دالة الخسارة الإجمالية بين إعادة البناء المرصود، وإعادة بناء الأفق القصير، وإعادة بناء الأفق الطويل، وتنظيم الاتساق:
$$\mathcal{L}_{FALCON} = \mathcal{L}_{obs} + \mathcal{L}_{short} + \mathcal{L}_{long} + \mathcal{L}_{cons}$$

3. المساهمات الرئيسية

1. تشخيص الهدف: تحديد أن أهداف SSL القياسية غير متوافقة مع بيانات الطائرات بدون طيار بسبب هيمنة الخلفية وعدم كفاية الضغط الزمني للأهداف الصغيرة.
2. الحجب الواعي بالأجسام: تقديم استراتيجية حجب طبقية وإشراف موزون يضمن أن مناطق الأفعال الصغيرة مرئية وذات أولوية أثناء التدريب المسبق.
3. نمذجة المستقبل عبر أفق مزدوج: اقتراح هدف إعادة بناء مستقبلي مقيد بالمناطق المتمحورة حول الأجسام، مما يسمح بتعلم ديناميكيات الحركة الاستباقية القوية تجاه حركة الكاميرا والازدحام.
4. الكفاءة: لا يتطلب هذا الأسلوب أي كواشف، أو صناديق محيطة، أو معالجة للمناطق أثناء الاستنتاج، مما يجعله أسرع بكثير وأكثر قابلية للنشر من الطرق السابقة الخاصة بالطائرات بدون طيار.

4. النتائج التجريبية

تم تقييم FALCON على اثنين من معايير الطائرات بدون طيار (NEC-Drone و UAV-Human) واثنين من المعايير القياسية من منظور الأرض (UCF101 و HMDB51).

• أداء رائد (State-of-the-Art):
  • في NEC-Drone، حقق FALON (ببنية ViT-B) دقة 85.4% (Top-1)، بزيادة قدرها +2.9% عن نموذج VideoMAE القوي.
  • في UAV-Human، حقق 67.9%، بزيادة قدرها +5.8% عن VideoMAE.
  • تفوق على الطرق المخصصة للطائرات بدون طيار التي تعتمد على الإشراف الكامل (مثل DiffFAR و MITFAS) رغم عدم استخدامه لأي تسميات (labels) أثناء التدريب المسبق.
• القابلية للنقل (Transferability):
  • أظهر FALON قدرة فائقة على النقل عبر مجموعات البيانات (مثل NEC-Drone $\to$ UAV-Human)، حيث حسن الدقة بنسبة +4.7% مقارنة بـ VideoMAE، مما يشير إلى قوة أكبر تجاه تغير النطاق (domain shifts).
  • حقق أيضاً نتائج تنافسية أو متفوقة على مجموعات بيانات منظور الأرض (UCF101/HMDB51)، مما يثبت أن الطريقة تتجاوز نطاق البيانات الجوية.
• كفاءة الاستنتاج:
  • يعمل FALON بسرعة 18.7 مللي ثانية/فيديو على وحدة معالجة رسومات RTX A5000.
  • هذا أسرع بنحو 2$\times$ من AZTR وأسرع بنحو 5$\times$ من MITFAS، ويرجع ذلك أساساً إلى تجنب عمليات تعزيز الاختبار (test-time augmentation) الثقيلة والكشف عبر الإنترنت.

5. الأهمية

يمثل FALON تحولاً كبيراً في تمييز أفعال الطائرات بدون طيار من خلال إثبات أن الأولويات المتمحورة حول الأجسام أثناء التدريب المسبق يمكن أن تحل بفعالية مشكلة "الهدف الصغير والخلفية الكبيرة" دون المساس بكفاءة الاستنتاج.

• الأثر العملي: من خلال إزالة الحاجة إلى الكواشف أثناء الاستنتاج، يتيح FALON تشغيلاً في الوقت الفعلي وبزمن انتقال منخفض على أجهزة الحافة (edge devices)، وهو أمر بالغ الأهمية لتطبيقات الروبوتات مثل البحث والإنقاذ أو المراقبة.
• الرؤية النظرية: يسلط العمل الضوء على أن أهداف SSL القياسية غير كافية لحالات عدم التوازن الشديد بين المقدمة والخلفية، وأن إعادة هيكلة إشارة التعلم صراحةً (عبر الحجب الطبقي والتنبؤ بالمستقبل المقيد بالمنطقة) أمر ضروري لتعلم تمثيلات حركية ذات مغزى في المجالات الجوية.