DBDNet: Frequency-Constrained Dual-Branch Decoupling Network for Multi-Modality Image Fusion via Wavelet Transform

ترى الكاميرات العالم بطرق مختلفة، كل منها محدود بفيزياء مستشعراتها. تلتقط الكاميرا القياسية الأنسجة والألوان الغنية لمشهد مرئي، لكنها تعاني في الظلام أو وسط الدخان. أما الكاميرا التي تعمل بالأشعة تحت الحمراء، والتي تستشعر الحرارة بدلاً من الضوء، فيمكنها رصد جسم دافئ في ظلام دامس، ومع ذلك غالباً ما تصور ذلك المشهد كطيف ضبابي منخفض التفاصيل. ويتمثل التحدي الذي يواجه العلماء في دمج هذين المنظورين غير المكتملين في صورة واحدة مثالية تجمع بين التفاصيل الحادة للعالم المرئي والوضوح الحراري لعالم الأشعة تحت الحمراء. هذه العملية، المعروفة باسم "دمج الصور"، حيوية لمهام مثل مساعدة السيارات ذاتية القيادة على رؤية المشاة ليلاً أو مساعدة الأطباء في تشخيص الأمراض من خلال الجمع بين المسحات التشريحية والتمثيل الغذائي. لسنوات، ركزت برامج الكمبيوتر التي تحاول القيام بهذه المهمة بشكل شبه كامل على الترتيب المكاني للبكسلات، مما أدى غالباً إلى تفويت الأنماط الأعمق المخفية داخل ترددات بيانات الصورة.

لقد قدم فريق من الباحثين الآن نهجاً جديداً يغير كيفية دمج هذه الصور. فبدلاً من التعامل مع الصورة كصورة مسطحة، يعاملونها كمجموعة من الترددات المختلفة، تماماً كما تتكون الوتر الموسيقي من نوتات متميزة. ويقترحون أن الخلفية العالمية الناعمة للمشهد تنتمي إلى الترددات المنخفضة، بينما تنتمي الحواف الحادة والأنسجة الدقيقة إلى الترددات العالية. ومن خلال فصل هذين النوعين من المعلومات منذ البداية، يمكن لنظامهم الجديد، المسمى DBDNet، التعامل مع عملية الدمج بدقة أكبر بكيز. ووجد الباحثون أنه من خلال فرض هذا الفصل بصرامة، استطاعوا إنشاء صور مدمجة ليست متفوقة بصرياً فحسب، بل هي أيضاً أكثر فائدة بشكل كبير للآلات التي تحتاج إلى اكتشاف الأجسام، مثل السيارات أو الأشخاص، في الظروف الصعبة.

يكمن جوهر هذه الطريقة الجديدة في قاعدة فيزيائية محددة قرر الباحثون اتباعها: المكونات ذات التردد المنخفض تمثل الخلفية المشتركة لكلا الصورتين، بينما تحمل المكونات ذات التردد العالي التفاصيل الفريدة الخاصة بكل مستشعر. كانت الأساليب السابقة تخلط هذه العناصر معاً، مما يؤدي إلى صور تُفقد فيها الأهداف الحرارية الهامة أو تصبح فيها الأنسجة الدقيقة ضبابية. ولإصلاح ذلك، بنى الفريق شبكة ثنائية المسار؛ حيث صُمم أحد المسارين لالتقاط الهيكل العالمي، باستخدام أداة رياضية تسمى "تحويل المويجات" (wavelet transform) لعزل الأجزاء الناعمة منخفضة التردد، بينما يركز المسار الآخر على التفاصيل المحلية، ملتقطاً الحواف والأنسجة عالية التردد. يسمح هذا الفصل للنظام بفهم أن الخلفية يجب أن تكون مشتركة بين المصدرين، بينما يجب الحفاظ على التفاصيل المحددة — مثل حرارة شخص ما أو ملمس جدار من الطوب — من مصدرها الأصلي.

ولضمان عدم اختلاط معلومات هذين المسارين عن طريق الخطأ، قدم الباحثون قاعدة تدريب جديدة. فقد صمموا نظاماً يتحقق باستمرار من الميزات المفصولة للتأكد من أن مسار "الهيكل" لا يحتوي على أي ضجيج غريب من الترددات العالية، وأن مسار "التفاصيل" لا يحتوي على أي ضباب خلفية من الترددات المنخفضة. وإذا وجد النظام أن المسارات قد تلوثت بنوع خاطئ من المعلومات، فإنه يعاقبها، مما يجبرها على البقاء نقية. تعمل هذه العملية كمرشح صارم، مما يضمن أنه عند دمج هذين المسارين أخيراً، تكون النتيجة صورة نظيفة ومتوازنة حيث تكون الخلفية ناعمة والتفاصيل حادة. اختبر الباحثون ذلك على آلاف الصور، بما في ذلك مشاهد بها دخان كثيف وإضاءة منخفضة، ووجدوا أن طريقتهم تتفوق باستمرار على التقنيات الموجودة.

إن نتائج هذا العمل لا تتعلق فقط بجعل الصور تبدو أجمل؛ بل لها تأثير مباشر على كيفية رؤية الآلات للعالم. فعندما اختبر الباحثون صورهم المدمجة باستخدام نظام اكتشاف الأجسام، تمكنت الآلة من تحديد الأشخاص والمركبات بدقة أعلى بكثير مما كانت عليه عند استخدام صور من طرق دمج أخرى. وفي المشاهد التي يحجب فيها الدخان حاوية أو مشاة، كانت الأساليب القديمة إما تفشل في رصد الهدف تماماً أو تطلق إنذارات كاذبة، بينما نجح النظام الجديد في إبراز الجسم مع الحفاظ على وضوح التفاصيل المحيطة. لوحظ هذا التحسن عبر مجموعات بيانات متعددة، بما في ذلك المسحات الطبية حيث يكون الهدف هو الجمع بين الرؤية الهيكلية لصور الرنين المغناطيسي (MRI) والبيانات الوظيفية لصور التصوير المقطعي بالإصدار البوزيتروني (PET). في هذه الاختبارات الطبية، حافظت الطريقة الجديدة على الحدود الدقيقة للأنسجة مع إظهار النشاط الأيضي بوضوح، وهو مزيج ضروري للتشخيص الدقيق.

وما يجعل هذا الاكتشاف مهماً بشكل خاص هو أن النظام تعلم القيام بذلك دون الحاجة إلى صورة "صحيحة" مثالية للمقارنة بها، وهو أمر غالباً ما يكون من المستحيل الحصول عليه في السيناريوهات الواقعية. وبدلاً من ذلك، اعتمد على المنطق الداخلي لفصل الترددات لتوجيه تعلمه. وقد أثبت الباحثون أنه من خلال الالتزام بهذا المبدأ الفيزيائي، يمكن للنظام التعميم على أنواع جديدة من الصور، مثل المسحات الطبية، دون أي تدريب إضافي. وهذا يشير إلى أن الطريقة قوية وقابلة للتكيف، وقادرة على التعامل مع الطبيعة غير المتوقعة للبيئات الواقعية. ويؤكد هذا العمل أنه من خلال احترام الخصائص الأساسية لكيفية تكوين الصور، يمكننا بناء أنظمة ترى بوضوح أكبر، مما يساعد البشر والآلات على التنقل في عالم معقد بثقة أكبر.