ملخص تقني: تعزيز تقنية "تشتت غاوس الحراري" (Thermal Gaussian Splatting) باستخدام تقدير العمق

بيان المشكلة

يعد التمثيل الفعال والقوي للمشاهد ثلاثية الأبعاد أمراً بالغ الأهمية لتطبيقات القيادة الذاتية، والروبوتات، والمراقبة. وبينما حققت تقنية "تشتت غاوس ثلاثي الأبعاد" (3D Gaussian Splatting - GS) أداءً فائقاً في مجال تخليق المناظر من زوايا رؤية جديدة (NVS) باستخدام بيانات RGB، فإن اعتمادها على الضوء المرئي يجعلها عرضة للضعف في البيئات المتدهورة (مثل الإضاءة المنخفضة، الضباب، أو الدخان). تحاول المنهجيات متعددة الوسائط الحالية دمج البيانات الحرارية لتحسين المتانة، لكن هذه الطرق تعتمد غالباً على دمج وسائط RGB والحرارية معاً، مما يفرض تحديات كبيرة:

1. التعقيد والسرعة: يؤدي الجمع بين البيانات متعددة الوسائط إلى إبطاء عملية التدريب وتعقيد مسار العمل.
2. مشكلات المحاذاة: تتطلب الكاميرات الحرارية وكاميرات RGB تسجيلًا مشتركًا (co-registration) دقيقًا، وهو أمر يصعب تحقيقه.
3. التبعية: لا تزال أطر عمل GS القائمة على الحرارة تعتمد غالباً على صور RGB للإشراف أو التحسين المشترك، مما يفشل في إنشاء نظام تمثيل حراري مستقل تماماً.
4. خصائص البيانات: تعاني الصور الحرارية بطبيعتها من انخفاض التباين، والنسيج المتناثر، والسطوع غير المنتظم، مما يجعل الإشراف الحراري الصرف غير مستقر دون قيود هندسية.

حدد المؤلفون فجوة في الأدبيات العلمية: لا يوجد إطار عمل حالي ينجح في إجراء إعادة بناء ثلاثية الأبعاد باستخدام البيانات الحرارية بالأشعة تحت الحمراء فقط (وسيط واحد) مع الحفاظ على الجودة والكفاءة العالية.

المنهجية: تشتت غاوس من الحراري إلى العمق (TDg)

يقترح البحث إطار عمل TDg، وهو إطار عمل مكتفٍ ذاتياً يستمد حقول الإشعاع باستخدام الصور الحرارية وتقدير العمق فقط، مما يلغي الاعتماد على الضوء المرئي. الابتكار الجوهري هو تمثيل "غاوس" ثلاثي الأبعاد موحد يتم تحسينه عبر التشتت المزدوج (dual rasterization).

البنية الأساسية

بدلاً من الاحتفاظ بنماذج منفصلة لمختلف الوسائط، يستخدم TDg مجموعة واحدة من "غاوس" ثلاثية الأبعاد $G = \{\mu_i, \Sigma_i, \alpha_i, c_i\}$ لتمثيل المشهد.

• التمثيل الموحد: يتم تحديد كل "غاوس" بواسطة الموقع ($\mu$)، والتباين ($\Sigma$)، والعتامة ($\alpha$)، وسمة الإشعاع الحراري ($c$).
• الرندرة المزدوجة (Dual Rendering): أثناء عملية التحسين، يتم رندرة النموذج الموحد إلى مخرجين:
  1. الصور الحرارية: باستخدام سمة الإشعاع $c_i$.
  2. خرائط العمق: باستخدام إحداثي Z لمراكز "غاوس" في فضاء الكاميرا.

المكونات الرئيسية

1. تقدير العمق من الحراري إلى العمق:

   • يقوم مُقدر عمق موجه حرارياً ($f_\theta$)، وتحديداً نموذج Marigold، بالتنبؤ بخرائط عمق كثيفة ($D$) مباشرة من الصور الحرارية المدخلة ($I_{Th}$).
   • يوفر هذا "أولوية هندسية" لتقييد التوزيع ثلاثي الأبعاد لحقل الإشعاع الحراري، مما يعالج عدم الاستقرار في الإشراف الحراري الصرف في المناطق ذات النسيج المنخفض.

2. دوال الخسارة (Loss Functions):

   • خسارة الحرارة ($L_{thermal}$): تجمع بين دقة البكسل ($L_1$)، والتشابه الهيكلي (SSIM)، وحد النعومة ($L_{smooth}$). يعمل حد النعومة على معاقبة التغيرات المفاجئة غير الطبيعية في درجة الحرارة، مستفيداً من الخاصية الفيزيائية التي تشير إلى أن معظم المشاهد الحرارية تظهر تدرجات حرارية تدريجية.
   • خسارة العمق ($L_{depth}$): نظراً لأن تقدير العمق أحادي العدسة يعاني من غموض المقياس والإزاحة، يتم تطبيع كل من العمق المتوقع والعمق المُرندر (rendered) باستخدام (Min-Max normalization) إلى النطاق $[0, 1]$. وتكون الخسارة مزيجاً من مسافة $L_1$ والتشابه الهيكلي (SSIM) بين الخرائط الموحدة.

3. التحسين المشترك التدريجي:

   • للتعامل مع عدم استقرار التدريب الناتج عن الأنسجة الحرارية المتناثرة، يستخدم المؤلفون استراتيجية تدريجية.
   • مرحلة التدريب المبكرة: يكون وزن خسارة العمق مرتفعاً لفرض الدقة الهيكلية بناءً على أولوية العمق المقدرة.
   • مرحلة التدريب المتأخرة: يتناقص وزن خسارة العمق خطياً ($w_{decay}$)، مما يسمح للنموذج بالتركيز على الدقة الفوتومترية والتفاصيل الحرارية الدقيقة.
   • تُصاغ الخسارة الإجمالية كالتالي: $L_{total} = L_{thermal} + w_{decay}(t) \cdot \lambda_{depth} \cdot L_{depth}$.

ملاحظة حول التهيئة (Initialization)

بينما تعتمد الرندرة والتحسين الجوهريان حصرياً على البيانات الحرارية، يقر المؤلفون بأن سحابة النقاط المتفرقة الأولية مشتقة حالياً من صور RGB باستخدام تقنية (Structure-from-Motion/COLOMP). وهذا ضروري لأن الصور الحرارية تفتقر إلى الميزات عالية التردد المطلوبة لاستخراج الميزات القياسية في SfM. ومع ذلك، فإن عملية التحسين واشتقاق حقل الإشعاع تظلان حراريتين بحتتين.

المساهمات الرئيسية

1. تشتت غاوس من الحراري إلى العمق (TDg): نهج جديد لـ GS يعتمد على الحرارة فقط، يدمج تقدير العمق مباشرة في البنية.
2. وحدة العمق الموجهة حرارياً: وحدة مدمجة داخل GS تستخدم العمق المقدر من الصور الحرارية لتقييد التوزيع الهندسي، مما يلغي الحاجة إلى إشراف RGB خلال مرحلة التحسين الرئيسية.
3. تقييم شامل: اختبار صارم لـ TDg مقابل خط الأساس MSMG (النماذج متعددة الغاوس أحادية الوسيط) على مجموعتي بيانات متطورتين هما: RGBT-Scenes و ThermalMix.

النتائج التجريبية

قام المؤلفون بتقييم TDg على 14 مشهداً عبر مجموعتي بيانات RGBT-Scenes و ThermalMix، ومقارنة أدائه مقابل خط الأساس MSMG.

• جودة الرندرة (Rendering Quality):

  • PSNR: حقق TDg متوسط 27.42، متفوقاً على خط الأساس (27.18) بنسبة 0.01%.
  • SSIM: حقق TDg نسبة 0.8899، وهو تحسن بنسبة 0.034% عن خط الأساس.
  • LPIPS: حقق TDg نسبة 0.175، وهو تحسن بنسبة 1.12% (الأقل هو الأفضل) عن خط الأساس.
  • أظهرت النتائج النوعية دقة أفضل وآثاراً (artifacts) أقل، خاصة في ظروف الإضاءة المنخفضة ("المشاهد المظلمة").

• كفاءة التدريب:

  • قلل TDg وقت التدريب بشكل كبير بمقدار 12 دقيقة و47 ثانية لكل مشهد في المتوسط.
  • يمثل هذا تحسناً في السرعة بنسبة 55% مقارنة بخط الأساس.
  • يُعزى مكسب الكفاءة إلى الإشراف الموجه بالعمق، الذي يمنع ظهور "العوامات" (floaters) (التكثيف المفرط وغير الفعال في المساحات الفارغة) الشائع في خط الأساس من خلال توفير تدرجات مكانية صريحة.

• حالات الفشل:

  • التهيئة العشوائية: بدون الأولوية الهندسية المستمدة من COLMAP، يفشل النموذج في التعميم على زوايا الرؤية الجديدة، مما يؤدي إلى فرط تخصيص (overfitting) شديد (ينخفض PSNR إلى حوالي 9.6).
  • المناطق المحجوبة: يواجه الأسلوب صعوبة في التعامل مع الهياكل واسعة النطاق (مثل المباني) حيث يكون الالتقاط الحراري بزاوية 360 درجة غير ممكن، مما يؤدي إلى إعادة بناء ضعيفة للواجهات الخلفية غير المرصودة.

الأهمية والادعاءات

يدعي البحث أن TDg ينجح في سد الفجوة بين التصوير الحراري وإعادة البناء ثلاثي الأبعاد الفعال من خلال إزالة التبعية لبيانات RGB في اشتقاق حقل الإشعاع الأساسي.

• المتانة: تتيح الطريقة تمثيلاً للمشاهد ثلاثية الأبعاد مستقلاً عن الضوء المرئي، مما يجعلها مناسبة للمراقبة، والبحث والإنقاذ، والفحص الصناعي حيث تكون ظروف الإضاءة سيئة أو متغيرة.
• الكفاءة: من خلال الاستفادة من وسيط واحد وتحسين موجه بالعمق، تسرع الطريقة عملية التقارب وتبسط مسار المعالجة مقارنة بنهج الدمج متعدد الوسائط.
• إمكانات التطبيق: يمكن أن تعمل حقول الإشعاع الحرارية الناتجة كتوائم رقمية (digital twins) أو تُثري التوائم الموجودة، مما يسمح بتحديد مصادر الحرارة (الأشخاص، الآلات) وتحليل سلوكيات انتقال الحرارة من زوايا رؤية جديدة دون الحاجة إلى مزامنة أجهزة متعددة الوسائط.

يخلص المؤلفون إلى أنه بينما توفر الصور الحرارية وحدها إشارات هيكلية قوية، فإن دمج العمق المقدر يعد أمراً حاسماً لتوجيه عملية التحسين، مما يوازن بفعالية بين الدقة الهندسية والدقة الفوتومترية في إطار عمل أحادي الوسيط.