ملخص تقني: Thermo-VL

بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) نجاحاً كبيراً في الفهم المفتوح للصور والإجابة على الأسئلة البصرية (VQA) من خلال الضبط الدقيق للتعليمات على مجموعات بيانات RGB واسعة النطاق. ومع ذلك، فإن هذه النماذج ترث أوجه القصور في الاستشعار ضمن الطيف المرئي. ففي حالات الإضاءة المنخفضة، أو التوهج، أو الضباب، أو الدخان، غالباً ما تفقد صور RGB الأدلة الحيوية للمشهد، مما يجعل نماذج VLMs القياسية هشة في السيناريوهات الحرجة للسلامة مثل القيادة الليلية، والبحث والإنقاذ، والفحص في ظروف الرؤية المنخفضة.

بينما تحافظ الصور الحرارية بالأشعة تحت الحمراء (IR) على بنية مشهد مكملة (مثل البشر، الحيوانات، المركبات الدافئة) عندما تتدهور الإشارات المرئية، فإن الأساليب الحالية لدمج البيانات الحرارية في نماذج VLMs غير مثالية. وتتضمن الحلول البديلة الشائعة ترجمة الصور الحرارية إلى صور "RGB زيفة" قبل تغذيتها في نماذج VLMs المدربة على RGB. تؤدي عملية الترجمة هذه إلى خلق عنق زجاجة توليدي، وتخاطر بتوليد تفاصيل بأسلوب RGB (هلوسة)، وتثبط المعلومات الخاصة بالنمط (modality-specific) التي لا تُمثل بشكل طبيعي في فضاء RGB. علاوة على ذلك، فإن مجموعات بيانات RGB-thermal الحالية (مثل KAIST، FLFLIR-ADAS) مصممة أساساً للكشف أو التتبع، وتفتقر إلى الإشراف الموجه باللغة المطلوب للضبط الدقيق للتعليمات والاستدلال المفتوح.

المنهجية

يقدم المؤلفون Thermo-VL، وهو نموذج VLM مدرك للطول الموجي مبني على هيكل Molmo-7B-D. تم تصميم البنية لدمج مدخلات RGB والحرارية المتوافقة دون زعزعة استقرار واجهة (RGB–اللغة) المدربة مسبقاً أو الحاجة إلى إعادة تدريب مكلفة للهيكل بأكمله.

البنية

1. أجهزة تشفير بصرية مزدوجة:

   • مسار RGB: يستخدم برج الرؤية المدرب مسبقاً الخاص بـ Molmo ($\phi_R$).
   • المسار الحراري: يستخدم مشفر ViT-L/14 مستوحى من مشفر (MAE) مدرب مسبقاً على مجموعة بيانات متعددة النطاقات للأشعة تحت الحمراء (KAIST, FLIR-ADAS, OSU/OTCBVS, NIRSCENE). وللحفاظ على التوافق مع توقعات مدخلات Molmo المكونة من 3 قنوات، يتم تكرار صور الأشعة تحت الحمراء أحادية القناة عبر ثلاث قنوات.
   • كفاءة المعلمات: أثناء التدريب، يظل مشفر RGB والنموذج اللغوي (LLM) مجمدين. يتم تحديث آخر $N_\ell=4$ من كتل المحول (transformer blocks) للمشفر الحراري، وطبقة الـ LayerNorm الحرارية، ووحدة الدمج فقط.

2. وحدة دمج الانتباه المزدوج الموجه بالنص:
   الابتكار الجوهري هو كتلة دمج تعمل على تكييف الميزات الحرارية بناءً على كل من المطالبة النصية (prompt) وسياق RGB قبل حقنها في مسار RGB المجمد.

   • المدخلات: توكنات RGB المتوافقة ($R$)، توكنات حرارية ($T$)، وتضمينات المطالبة ($P$).
   • الانتباه المزدوج: يتم تنقيح التوكنات الحرارية عبر مسارين متوازيين للانتباه:
     • المسار الموجه بالنص: $T_{txt} = \text{MHA}(\bar{T}, \bar{P}, \bar{P})$
     • المسار الموجه بـ RGB: $T_{rgb} = \text{MHA}(\bar{T}, \bar{R}, \bar{R})$
   • التنقية: يتم دمج هذه المسارات مع الميزات الحرارية الأصلية لإنتاج تمثيل منقح $\hat{T}$.
   • الحقن المتبقي المبوب (Gated Residual Injection): بدلاً من استبدال توكنات RGB، يتنبأ النموذج بـ متبقي $\Delta R$ من $\hat{T}$ ويقوم بتعديله باستخدام بوابات لكل توكن $\alpha$. يتم حساب التوكنات المدمجة النهائية كالتالي:
     $$R^\dagger = R + \alpha \odot \Delta R$$
     يضمن هذا التصميم أن يكون الدمج مدركاً للاستعلام (query-aware) ويحافظ على واجهة (RGB–اللغة) المدربة مسبقاً مع السماح بحقن الأدلة الحرارية المستهدفة.

هدف التدريب

يتم تحسين النموذج باستخدام دالة خسارة مركبة:
$$L = L_{LM} + \lambda_{align}L_{align} + \lambda_{contr}L_{contr} + \lambda_{gate}L_{gate}$$

• $L_{LM}$: خسارة التقاطع المتقاطع التلقائي القياسية لمهمة نمذجة اللغة.
• $L_{align}$: محاذاة L2 على مستوى التوكن بين ميزات RGB والميزات الحرارية لفرض الاتساق عبر الأنماط.
• $L_{contr}$: خسارة التباين (InfoNCE) لمحاذاة التمثيلات الدلالية العالمية لـ RGB والحراري والنص.
• $L_{gate}$: تنظيم الإنتروبيا على آلية البوابة لمنع تشبع البوابة (أي منع النموذج من تجاهل أحد الأنماط تماماً).
• التعزيز (Augmentation): يتم استخدام استراتيجية حجب RGB قائمة على الكتل أثناء التدريب، حيث يتم حجب 10% من مساحة صورة RGB عشوائياً لتقليل الاعتماد المفرط على الطيف المرئي.

المساهمات الرئيسية

1. VLM مدرك للطول الموجي: تقديم Thermo-VL، الذي يدمج مدخلات RGB والحرارية المزدوجة عبر وحدة دمج انتباه مزدوج موجهة بالنص مع حقن متبقي مبوب لكل توكن، مع إبقاء برج RGB والنموذج اللغوي مجمدين.
2. التكيف عالي الكفاءة في المعلمات: استراتيجية ضبط دقيق تقوم بتحديث الكتل القليلة الأخيرة من المشفر الحراري ومعلمات الدمج فقط، مع تنظيم بواسطة المحاذاة على مستوى التوكن، والإشراف التبايني، وإنتروبيا البوابة.
3. إشراف لغوي موحد لـ RGB-Thermal:
   • مجموعة البيانات: مجموعة بيانات ضبط دقيق للتعليمات لـ RGB-thermal متوافقة مكانياً تحتوي على حوالي 19,500 زوج من الصور وحوالي 54,000 زوج من الأسئلة والأجوبة، تم إنشاؤها من مجموعات بيانات عامة وتعزيز حراري اصطناعي (باستخدام F-ViTA) على بيانات PixMo-cap-qa.
   • الاختبار المرجعي: Thermo-VL-Bench، وهو اختبار مرجعي للأسئلة والأجوبة الثنائية (binary VQA) تم فحصها يدوياً، يحتوي على حوالي 3,148 زوجاً من الصور وحوالي 15,000 زوج من الأسئلة والأجوبة، مصمم للاستدلال في الإضاءة المنخفضة وعبر الأطياف.

النتائج التجريبية

أُجريت التجارب على Thermo-VL-Bench وعلى الاختبار الخارجي RGB-Th Bench.

• Thermo-VL-Bench:

  • RGB+Thermal: حقق Thermo-VL دقة قدرها 88.96%، وهو تحسن كبير عن نموذج Molmo الأساسي (75.79%) عند توفير كلا النمطين.
  • الحراري فقط: تحسن من 81.20% (Molmo) إلى 82.23%.
  • RGB فقط: تم الحفاظ على الأداء عند 88.67%، وهو ما يطابق النموذج الأساسي، مما يثبت أن آلية الدمج لا تضعف قدرات RGB الموجودة.
  • الإجمالي: حقق Thermo-VL أعلى درجة مجمعة (86.37%) بين جميع النماذج المقارنة (بما في ذلك InternVL و Qwen2.5-VL و LLaVA-Next).

• RGB-Th Bench:

  • طابق Thermo-VL نموذج Molmo الأساسي في مهام النصوص الخاصة بـ RGB فقط (77.25%) ولكنه حسن الأداء بشكل كبير في مهام نصوص RGB-Thermal، حيث ارتفع من 60.84% إلى 69.15%.

• دراسات الاستئصال (Ablation Studies):

  • أدى إزالة الانتباه الموجه بالنص إلى أكبر انخفاض في الأداء (88.96% $\leftarrow$ 82.34%)، مما يؤكد أهمية الدمج المدرك للاستعلام.
  • كما أدت إزالة المتبقي المبوب أو الانتباه الموجه بـ RGB إلى تدهور الأداء، مما يؤكد دور التصميم في الحفاظ على واجهة RGB مع دمج البيانات الحرارية.
  • أظهرت الخسائر المساعدة ($L_{contr}$ و $L_{gate}$) أنها حاسمة لضمان الاتساق عبر الأنماط ومنع انهيار النمط (modality collapse).

الأهمية والادعاءات

يدعي البحث أن الدمج متعدد الأطياف الصريح والمشروط بالمطالبة يسمح للملامح الحرارية بتكملة بيانات RGB بفعالية عند دمجها داخل النموذج، بدلاً من إلحاقها عند مستوى المدخلات أو ترجمتها إلى RGB زيفة. يوضح Thermo-VL أنه من الممكن توسيع نماذج VLMs القوية المدربة مسبقاً لتشمل الإدراك الحراري دون زعزعة استقرار واجهة (RGB–اللغة) المدربة مسبقاً.

يصنف المؤلفون Thermo-VL كـ نموذج بحثي أولي وليس كنظام جاهز للنشر. وهم يقرون بالقيود، بما في ذلك افتراض المدخلات المتوافقة مكانياً، واستخدام الإشراف المولد بالنماذج (QA) الذي قد يدخل بعض العيوب، وحقيقة أن Thermo-VL-Bench هو اختبار مرجعي تم فحصه يدوياً ومولد بواسطة نماذج وليس مؤلفاً بالكامل من قبل البشر. العمل مخصص لدعم الأبحاث في تعلم الرؤية واللغة متعددة الأطياف والضبط الدقيق للتعليمات في ظروف الإضاءة المنخفضة، وليس ليكون أساساً مستقلاً لاتخاذ القرارات في السيناريوهات الحرجة للسلامة.