AdaFuse: a cross-modal image fusion algorithm based on negative value calibration and adaptive hierarchical activation
تعد AdaFuse خوارزمية لدمج الصور متعددة الوسائط تعالج عدم توازن الميزات وعدم كفاءة الحوسبة من خلال دمج معايرة القيم السالبة لاختيار الانتباه الدقيق مع استراتيجية تنشيط هرمية تكيفية لتخصيص الموارد الديناميكي، محققةً جودة دمج وكفاءة فائقتين في مهام دمج الصور المرئية وتحت الحمراء.
في عالم الرؤية الحاسوبية، غالبًا ما تجد الآلات صعوبة في رؤية العالم كما يراه البشر، لا سيما عندما يخبو الضوء أو تسوء الأحوال الجوية. ولحل هذه المشكلة، دمج العلماء منذ فترة طويلة نوعين مختلفين من مستشعرات الكاميرا: أحدهما يرى العالم المرئي بالألوان والنسيج، والآخر يكتشف الحرارة غير المرئية المنبعثة من الأجسام. والهدف هو دمج هذين المنظورين في صورة واحدة تقدم أفضل ما في العالمين: التفاصيل الغنية للصورة النهارية والقدرة على رصد جسم دافئ في الظلام الدامس. ومع ذلك، فإن مجرد دمج هاتين الصورتين أمر صعب؛ فعندما تحاول الحواسيب دمجهما، غالبًا ما تتسرب حرارة شخص أو سيارة إلى الخلفية المحيطة، مما يخلق هالة ضبابية متوهجة تحجب التفاصيل. علاوة على على ذلك، فإن الرياضيات المعقدة المطلوبة لإصلاح هذه المشكلات تتطلب قدرًا كبيرًا من القوة الحوسبية، مما يبطئ التطبيقات التي تعمل في الوقت الفعلي، ويجعل هذه التكنولوجيا غير عملية للعديد من الاستخدامات.
لقد طور الباحثون في جامعة هاربين للعلوم والتكنولوجيا طريقة جديدة تسمى "AdaFuse" لمعالجة هذه المشكلات المحددة. يركز نهجهم على طريقة أكثر ذكاءً للتعامل مع البيانات حتى قبل دمجها. فبدلاً من معاملة كل جزء من الصورة بنفس الجهد الحوسبي الثقيل، يقوم النظام الجديد أولاً بتحليل الصورة المرئية لمعرفة أي أجزائها بسيطة وأيها معقدة. فإذا كان القسم من الصورة بسيطًا، يعالجه النظام بسرعة عبر مسار ضحل. أما إذا كان القسم يحتوي على تفاصيل معقدة أو تغيرات كبيرة في الألوان، فيتم توجيهه إلى مسار معالجة أعمق وأكثر كثافة. وتسمح هذه الاستراتيجية التكيفية للكمبيوتر بتوفير الطاقة عبر عدم الإفراط في العمل على الأجزاء البسيطة من الصورة، مع تخصيص الموارد اللازمة للمناطق المعقدة التي تحتاج إلى عناية دقيقة.
يعد أسلوب المعايرة الذي يعمل كحد فاصل دقيق أحد الابتكارات الرئيسية في هذا العمل؛ حيث يحدد الأجزاء الأكثر سخونة في الصورة ثم يثبط الإشارة عمدًا في المنطقة المجاورة لها مباشرة. ومن خلال القيام بذلك، يضمن النظام بقاء الهدف الحراري ساطعًا ومتميزًا، بينما تظل الخلفية حادة وحقيقية لمظهرها الأصلي. وهذا يمنع الهالات الاصطناعية التي غالبًا ما تجعل الصور المدمجة تبدو غير طبيعية أو ضبابية.
ولضمان أن تبدو النتيجة النهائية جيدة لكل من الآلات والبشر، قام الباحثون أيضًا ببناء نظام تدريب متخصص. يعمل هذا النظام كحكم صارم، حيث يتحقق من الصورة المدمجة مقابل المصادر الأصلية للتأكد من عدم فقدان أو تشويه أي تفاصيل مهمة. وهو يولي اهتمامًا وثيقًا للحواف والنسيج، مما يضمن بقاء خطوط المبنى أو أوراق الأشجار حادة وواضحة. وقد اختبر الفريق طريقتهم على مجموعات بيانات عامة تحتوي على آلاف أزواج الصور الملتقطة في ظروف متنوعة، من الأيام الصافية إلى الليالي الضبابية. وأظهرت النتائج أن نهجهم لم ينتج صورًا أكثر وضوحًا وتحسنًا في التباين فحسب، بل فعل ذلك أيضًا بسرعة أكبر بكثير من العديد من الطرق الموجودة. وفي المتوسط، عالج النظام الجديد صورة في غضون 0.0065 ثانية فقط، وهي سرعة تجعل استخدامه ممكنًا في الوقت الفعلي.
وكشفت التجارب أن هذه الطريقة بارعة بشكل خاص في موازنة نوعي المعلومات. ففي الاختبارات التي عانت فيها الطرق الأخرى مع توازن الألوان أو تسببت في الكثير من الضجيج، حافظت "AdaFuse" على مظهر طبيعي مع إبراز الأهداف الحرارية. فعلى سبيل المثال، في المشاهد التي تحتوي على دخان أو إضاءة منخفضة، نجح النظام في إبراز المشاة والمركبات دون فقدان التفاصيل الهيكلية للبيئة. ووجد الباحثون أنهم من خلال التحكم بعناية في كيفية انتشار معلومات الحرارة، تمكنوا من تحقيق مستوى من التفاصيل والوضوح لا تستطيع الطرق السابقة مضاهاته. ويشير هذا العمل إلى أنه من خلال كوننا أكثر انتقائية بشأن كيفية وأين نطبق القوة الحوسبية، ومن خلال التحكم الصارم في كيفية تفاعل البصمات الحرارية مع الخلفية، يمكننا إنشاء صور مدمجة تكون غنية بالمعلومات وموثوقة بصريًا في آن واحد.
ملخص تقني: AdaFuse
1. بيان المشكلة
تواجه عملية دمج الصور عبر الأنماط، وخاصة بين الصور تحت الحمراء (IR) والمرئية (VIS)، تحديين رئيسيين:
عدم توازن مساهمات الميزات: غالبًا ما تعاني الصور المدمجة من هيمنة أحد الأنماط (عادةً الأشعة تحت الحمراء عالية الطاقة) على العملية، مما يؤدي إلى تشوه الألوان، والتشبع المفرط، وفقدان تفاصيل الأنسجة المرئية.
عد ใน كفاءة الحوسبة: تؤدي الأساليب الحالية للتعلم العميق، مثل تلك التي تستخدم الاتصالات المتبقية (residual connections) أو التكاثف الكثيف (dense concatenation)، إلى زيادة كبيرة في أبعاد التنسورات (tensors) الوسيطة. يؤدي هذا إلى تكاليف حوسبة عالية وعمليات تكاثف قنوات معقدة، مما يعيق الكفاءة دون تحسين جودة الدمج بالضرورة.
بالإضافة إلى ذلك، تعاني الطرق التقليدية من مشكلة "تلوث السطوع" (highlight contamination)، حيث تنتشر الطاقة الحرارية من المناطق ذات الحرارة العالية بشكل عشوائي في المناطق غير الحرارية المحيطة، مما يخلق آثار هالة زائفة (pseudo-halo artifacts) ويضعف بروز الهدف.
2. المنهجية: AdaFuse
يقترح المؤلفون AdaFuse، وهو خوارزمية لدمج الصور عبر الأنماط تعتمد على معايرة القيم السالبة والتنشيط الهرمي التكيفي. تم تصميم الإطار لتخصيص الموارد الحوسبية ديناميكيًا والتحكم بدقة في انتشار الميزات الحرارية.
2.1 التنشيط الهرمي التكيفي
بدلاً من معالجة جميع ميزات الصور عبر شبكة عميقة موحدة، يستخدم AdaFuse استراتيجية إدراك ميزات هرمية:
تحليل القنوات: تقوم الخوارزمية بتحليل انحراف متوسط الكثافة لقنوات RGB في الصورة المرئية.
التوجيه الديناميكي:
المسار العميق: يتم توجيه القنوات ذات الانحراف المتوسط العالي (التي تشير إلى معلومات رمادية كبيرة أو احتمال وجود صبغة لونية) إلى فرع شبكة عميقة لاستخراج الميزات الدلالية عالية المستوى.
المسار الضحل: تتم معالجة القنوات ذات الانحراف المنخفض بواسطة شبكة ضحلة للحفاظ على التفاصيل الأساسية.
الاتصال المتبقي: يعمل مخرج الشبكة الضحلة كطبقة ربط، متوافقة مع الميزات المعالجة بعمق. يحل هذا التصميم محل طبقات ResNet التقليدية، مما يبسط تكاثف القنوات ويقلل من عدد التنسورات الوسيطة.
2.2 معايرة القيم السالبة والتحكم في الانتشار
لمعالجة مشكلة انتشار الطاقة الحرارية (تلوث السطوع)، قدمت الورقة آلية معايرة القيم السالبة:
التقطيع الحراري: يستخرج تقطيع العتبة قناع هدف حراري (MIR) من الصورة تحت الحمراء.
المعايرة المتماثلة: بالنسبة للبكسلات ذات الحرارة العالية، تحدد الخوارما نافذة حرارية ونافذة خلفية غير حرارية متماثلة. وتطبق تعديل اضمحلال المسافة (Distance-Decay Modulation) حيث يتم تقييد تعزيز الاستجابات الحرارية في منطقة الهدف فقط.
الكبح: تخضع البكسلات في الخلفية غير الحرارية المحيطة لاستجابة كبح متماثلة (1−β⋅FIR)، حيث β هو معامل كبح قابل للتعلم بناءً على المسافة من الحدود الحرارية. هذا يمنع تأثير "الهالة" ويحافظ على تباين التدرج الواضح بين المناطق الحرارية وغير الحرارية.
2.3 بنية الشبكة والمميزات (Discriminators)
مولد PTS: يستخدم وحدة "مصدر الحرارة الدقيق" (Precise Thermal Source - PTS) وحدة انتباه كتلية (CBAM) خفيفة الوزن داخل نافذة محلية لتوليد قناع بروز حراري، مما يوجه عملية الدمج.
تعمل ميزات التدرج الرمادي المرئية كاستعلام (Query - Q)، بينما تعمل الميزات تحت الحمراء كمفتاح (Key - K) وقيمة (Value - V).
يسمح هذا للمميز بوزن قيود التدرج بشكل تكيفي في المناطق التي تسودها الأشعة تحت الحمراء (مثل الحواف الحرارية) مع الحفاظ على تفاصيل الأنسجة في المناطق التي تسودها الميزات المرئية.
2.4 دالات الخسارة (Loss Functions)
يتم توجيه هدف التدريب بواسطة نظام خسارة شامل:
خسارة التنشيط التكيفي (LAAM): توازن ديناميكيًا بين مخرجات الأشعة تحت الحمراء والميزات المرئية بناءً على أوزان المحتوى المحلي (α). ما يلي:
خسارة تقطيع مصدر الحرارة الدقيق (Lmod): تتكون من ثلاثة حدود:
قيد المركز: يضمن بقاء الأهداف الحرارية متوافقة مع استجابات الأشعة تحت الحمراء.
قيد الجوار: يدير هيكل الانتقال حول الأهداف لمنع التغيرات المفاجئة.
قيد الخلفية: يضمن اعتماد مناطق الخلفية البعيدة بشكل أساسي على الميزات المرئية لمنع التعتيم غير الطبيعي أو التعزيز المفرط.
خسارة الحواف: تعزز صراحةً تباين التدرج عند الحدود الحرارية.
3. المساهمات الرئيسية
التخصيص التكيفي للحوسبة: تقديم استراتيجية تنشيط هرمية توجه الميزات بناءً على كثافة المعلومات، مما يقلل بشكل كبير من الحمل الحوسبي (FLOPs) مقارنة بالطرق التي تعالج جميع القنوات بشكل موحد.
معايرة القيم السالبة: آلية مبتكرة لقمع الانتشار غير المنضبط للطاقة الحرارية، مما يقضي بفعالية على آثار الهالة الزائفة ويحافظ على دقة الخلفية.
المميز عبر الأنماط (CA-Net): تصميم مميز يستخدم الانتباه عبر الأنماط لتوفير إشراف خاص بكل نمط، مما يعزز كل من الدقة الهيكلية والحفاظ على الأنسجة.
إطار عمل شامل للخسارة: دالة خسارة متعددة الحدود تعمل معًا لتحسين البروز الحراري، والحفاظ على التدرج، وتوازن الألوان.
4. النتائج التجريبية
تم تقييم الطريقة على مجموعتي بيانات MSRS و M3FD، ومقارنتها مع أحدث الأساليب بما في ذلك DDcGAN و SwinFusion و CrossFusion و DenseFusion و FreeFusion.
الأداء الكمي:
في مجموعة بيانات MSRS، حقق AdaFuse زيادة بنسبة 7.83% في الإنتروبيا (EN) مقارنة بأفضل خط أساس.
تحسنت التشابه الهيكلي (SSIM) بنسبة 4.23%، وتحسن أداء الدمج القائم على التدرج (QAB/F) بنسبة 14.96%.
في مجموعة بيانات M3FD، أظهرت الطريقة قدرة فائقة على التعميم. شملت النتائج المحددة لصور فردية SSIM قدره 0.8916 (الصورة 04037) و 0.8932 (الصورة 01443)، مع درجات VIF بلغت 0.8463 و 0.8584 على التوالي.
الأداء النوعي:
تظهر النتائج المرئية توازنًا أفضل بين تعزيز الهدف الحراري والحفاظ على التفاصيل المرئية.
نجحت الطريقة في تقليل الصبغات اللونية (مثل هيمنة القناة الخضراء المفرطة) ومنعت آثار "الهالة" التي تظهر في الطرق الأخرى.
في سيناريوهات الدخان والإضاءة المنخفضة، حافظ AdaFuse على إمكانية تمييز الهدف مع الحفاظ على التفاصيل الهيكلية للخلفية بشكل أفضل من المنافسين.
الكفاءة:
تسمح آلية التوجيه التكيفي بتفاوت التكلفة الحوسبية بناءً على تعقيد المدخلات. بالنسبة للصور ذات الانحراف المنخفض بين القنوات، تكون التكلفة أقل بكثير.
بلغ متوسط وقت الاستدلال 0.0065 ثانية لكل صورة، متفوقًا على العديد من الخطوط الأساسية الثقيلة مثل SwinFusion (0.0344 ثانية).
5. الأهمية والادعاءات
تدعي الورقة أن AdaFuse يوفر مرجعًا منهجيًا لمهام أوسع، مثل دمج الصور الطيفية وفوق الطيفية والصور الطبية، نظرًا لإطار عملها القائم على الإدراك الهرمي والتحكم الدقيق.
يؤكد المؤلفون أن نهجهم:
يتفوق بشكل كبير على الأساليب الموجودة في كل من الكفاءة الحوسبية وجودة الدمج.
يحل المشكلة المحددة المتمثلة في عدم توازن مساهمات الأنماط وتضخم التنسورات الوسيطة.
يقدم حلاً قويًا لـ البيئات المعقدة (الليل، الضباب، المطر) من خلال التعامل بفعالية مع انتشار الهدف الحراري دون التضحية بالنسيج المرئي.
يوفر توازنًا إيجابيًا بين تعزيز البروز الحراري والحفاظ على النسيج المرئي، مما يجعله مناسبًا لمهام الرؤية اللاحقة مثل اكتشاف الأشياء حيث تعد حدود الهدف الواضحة ودقة الخلفية أمرًا بالغ الأهمية.
تخلص الدراسة إلى أن إطار العمل المقترح يحسن بفعالية الوضوح الهيكلي والجودة المرئية، مما يوفر دعمًا قويًا للتطبيقات العملية في أنظمة الإدراك الذكي.