ملخص تقني: AnyThermal و TartanRGBT

1. بيان المشكلة

توفر الصور الحرارية متانة ضد ظروف الإضاءة والطقس، مما يجعلها بالغة الأهمية للاستقلالية المرنة في عمليات البحث والإنقاذ، والقيادة الذاتية، والمراقبة. ومع ذلك، وعلى عكس بيانات RGB، تعاني البيانات الحرارية من ندرة شديدة في مجموعات البيانات الضخمة والمتنوعة. تعتمد مستخلصات الميزات الحرارية الحالية عادةً على تدريب مخصص لمهام معينة باستخدام بيانات صغيرة النطاق أو تكييف هياكل (backbones) RGB سابقة التدريب. تؤدي هذه النهج إلى نماذج محدودة ببيئات ومهام محددة. علاوة على ذلك، بينما تم استكشاف نقل المعرفة (knowledge distillation) من النماذج البصرية التأسيسية (مثل DINOv2) إلى المجالات الحرارية، فقد كان العمل السابق مقيداً بنقص تنوع بيانات التدريب، حيث اعتمد غالباً على مجموعات بيانات أحادية البيئة، مما يحد من قدرة المشفرات الحرارية الناتجة على التعميم.

2. المنهجية

أ. AnyThermal: مشفر حراري غير مرتبط بمهمة محددة

المساهمة الجوهرية هي AnyThermal، وهو هيكل خلفي حراري مصمم لالتقاط ميزات قوية وغير مرتبطة بمهمة محددة.

• البنية: يعتمد AnyThermal على نموذج DINOv2 Vision Transformer (ViT-B/14).
• استراتيجية التدريب (نقل المعرفة): يستخدم المؤلفون إطار عمل لنقل المعرفة بين "معلم" و"طالب".
  • المعلم (Teacher): شبكة DINOv2 مجمدة تم تهيئتها بأوزان سابقة التدريب، تعالج صور RGB.
  • الطالب (Student): شبكة DINOv2 قابلة للتدريب (AnyThermal)، مهيأة بنفس الأوزان، تعالج صوراً حرارية (محولة من التدرج الرمادي إلى 3 قنوات).
  • دالة الخسارة (Loss Function): يتم تطبيق خسارة تباينية (contrastive loss) على ميزات رمز CLS في الطبقة النهائية. يعمل هذا على محاذاة الدلالات العالمية لأزواج RGB-الحرارية المتقابلة دون الحاجة إلى ميزات منخفضة المستوى مثل اللون. يقلل هذا النهج من القيود المفروضة على المحاذاة الدقيقة للصور أو التزامن، مما يجعله مناسباً لمجموعات البيانات التي لا يتوفر فيها تسجيل (registration) مثالي.
• بيانات التدريب: يستخدم نقل المعرفة مزيجاً من خمس مجموعات بيانات تغطي أربعة بيئات متميزة: حضرية (ViVID++، STheReO، Freiburg)، جوية (Boson Nighttime)، داخلية، وخارج الطريق (Off-road).

ب. منصة ومجموعة بيانات TartanRGBT

لمعالجة فجوة التنوع في بيانات RGB-Thermal (RGB-T) الموجودة، طور المؤلفون:

• منصة TartanRGBT: منصة مفتوحة المصدر لجمع البيانات عبر حمولة متزامنة الأجهزة. تدمج كاميرا ZEDx ستيريو RGB وكاميرتين حراريتين من نوع FLIR Boson 640+ ستيريو، وجميعها متزامنة زمنياً عبر نبضة تشغيل (trigger pulse) من بطاقة التقاط. يعمل النظام على وحدة NVIDIA Jetson AGX Orin وهو موضوع داخل هيكل مطبوع بتقنية ثلاثية الأبعاد مع تبريد نشط.
• مجموعة بيانات TartanRGBT: مجموعة بيانات متنوعة ومتوازنة تحتوي على 16,943 زوجاً متزامناً من RGB-T تم جمعها عبر أربع بيئات: سكنية/حرم جامعي (حضرية)، داخلية، خارج الطريق، ومسارات/منتزهات.
• معالجة البيانات: تتضمن مجموعة البيانات صور ستيريو RGB، وستيريو حرارية، وبيانات IMU. للتدريب، يقوم المؤلفون بإنشاء أزواج RGB-T مسجلة باستخدام FoundationStereo لتقدير العمق الكثيف من RGB، والذي يُستخدم بعد ذلك لإعادة إسقاط ومحاذاة البكسلات الحرارية.

ج. التكيف مع المهام اللاحقة

يتم تقييم AnyThermal كمستخلص ميزات مدمج مع رؤوس مهام محددة:

• التعرف على الأماكن عبر الوسائط المتقاطعة (VPR): يستخدم رأس SALAD مدرباً بخسارة الهامش الثلاثي (triplet margin loss).
• التقطيع الحراري (Thermal Segmentation): يستخدم رأس MLP غير خطي بطبقتين مدرباً بخسارة Dice.
• تقدير العمق الأحادي الحراري: يكيف إطار عمل MiDaS، باستبدال هيكل EfficientNet بـ AnyThermal واستخدام ميزات الرقع متعددة المقاييس.

3. المساهمات الرئيسية

1. AnyThermal: مستخلص ميزات حرارية غير مرتبط بمهمة محددة يحقق أداءً رائعاً (state-of-the-art) عبر بيئات ومهام متنوعة دون الحاجة لتدريب مسبق للهيكل الخلفي على مهمة معينة.
2. منصة TartanRGBT: أول منصة مفتوحة المصدر لجمع البيانات لالتقاط صور ستيريو RGB وستيريو حرارية متزامنة في آن واحد.
3. مجموعة بيانات TartanRGBT: مجموعة بيانات متنوعة ومتوازنة تغطي البيئات الداخلية، والجوية، وخارج الطريق، والحضرية، مصممة لسد فجوة تنوع البيانات في الأبحاث الحرارية.

4. النتائج

يقيم المؤلفون AnyThermal على اختبارات معيارية (benchmarks) صفرية القدرة (zero-shot) وتلك الخاصة بالمهام، مما يظهر تحسينات كبيرة مقارنة بالنماذج المرجعية الحالية:

• التعرف على الأماكن عبر الوسائط المتقاطعة (VPR): على مجموعات بيانات متنوعة (CART, MS2, OdomBeyondVision)، يتفوق AnyThermal مع رأس VPR على جميع النماذج المرجعية، بما في ذلك DINOv2 المجمد، وImageBind، وSGM. والجدير بالذكر أنه يحقق تحسناً يصل إلى 36% في Recall@1 مقارنة بالنماذج المرجعية في بيئات معينة. تسلط النتائج الضوء على أن المستخلصات المعتمدة على RGB المجمدة تكون دون المستوى الأمثل للاستعلامات الحرارية، وأن نقل المعرفة على بيانات متنوعة أمر بالغ الأهمية.
• التقطيع الحراري: على مجموعة بيانات MF-Net، يحقق AnyThermal دقة mIoU تصل إلى 53.47%، متفوقاً على أفضل النتائج السابقة (MCNET بنسبة 51.95%) بينما يعمل بسرعة أكبر بـ 3.6 مرة (6.79 إطار في الثانية مقابل 1.88 إطار في الثانية) على وحدة NVIDIA ORIN AGX.
• تقدير العمق الأحادي: على مجموعة بيانات MS2، يحقق AnyThermal أدنى مقاييس الخطأ (AbsRel: 0.0883) مقارنة بهياكل EfficientNet-lite3 وDINOv2 المجمدة.
• تنوع البيانات مقابل الحجم: تكشف دراسة استئصال (ablation study) حول توسيع بيانات التدريب المسبق أن مجرد إضافة المزيد من البيانات من مجالات مماثلة (مثل المزيد من البيانات الحضرية) يعطي عوائد متناقصة. في المقابل، فإن إضافة بيانات TartanRGBT المتنوعة يحسن الأداء باستمرار عبر جميع المهام والبيئات، مما يؤكد أن تنوع البيانات أكثر أهمية من حجمها لبناء مستخلصات ميزات حرارية قوية.

5. الأهمية والادعاءات

يزعم البحث أن AnyThermal نجح في جسر الفجوة بين وفرة نماذج RGB التأسيسية وندرة البيانات الحرارية. ومن خلال الاستفادة من نقل المعرفة عبر مجموعة متنوعة من البيئات، يوضح المؤلفون أن هيكلاً حرارياً واحداً يمكنه التعميم بفعالية على مهام مثل التعرف على الأماكن، والتقطيع، وتقدير العمق دون الحاجة لتدريب الهيكل الخلفي على مهام محددة.

يُقدم تقديم منصة ومجموعة بيانات TartanRGBT كخطوة تأسيسية لخفض العوائق أمام المجتمع البحثي لجمع بيانات RGB-T عالية الجودة ومتزامنة. ويؤكد المؤلفون أن عملهم يضع معياراً جديداً للإدراك الحراري، منتقلاً من النماذج الضيقة المرتبطة ببيئة معينة نحو تمثيلات عالمية وقوية. ويخلصون إلى أنه بينما توجد مكاسب في الأداء من خلال توسيع نطاق البيانات، فإن المحرك الرئيسي للتعميم هو تنوع بيئات التدريب، وهو مبدأ تم التحقق منه من خلال الأداء المتفوق للنماذج المدربة على المجموعة المتنوعة التي تتضمن TartanRGBT.