DA-MSRNet: A Dual-Branch CNN-Mamba Network with Deformable Alignment and Multi-Scale Feature Reconstruction for Crack Segmentation
تعد DA-MSRNet شبكة (CNN-Mamba) ثنائية المسار تعالج تحديات تقسيم الشقوق من خلال دمج وحدة محاذاة تشكيلية ودمج مسارات توجيهية، ووحدة إعادة بناء الميزات متعددة المقاييس، والإشراف التعاوني للحدود والطوبولوجيا لتحقيق دقة فائقة واستمرارية هيكلية على مجموعات البيانات المرجعية.
إن الشقوق في الطرق والجسور والمباني هي أكثر من مجرد عيوب تجميلية؛ فهي علامات مرئية للإجهاد الهيكلي الذي، إذا تُرك دون معالجة، يمكن أن يؤدي إلى فشل كارثي. لعقود من الزمن، اعتمد المهندسون على عمليات التفتيش البصري للعثور على هذه الكسور، وهي عملية بطيئة وذاتية، وغالبًا ما تغفل عن أصغر الشقوق وأكثرها خطورة والمختبئة في الظلال أو الأنسجة المعقدة. وفي السنوات الأخيرة، بدأت الحواسيب في تولي هذه المهمة، باستخدام الذكاء الاصطناعي لمسح الصور وتحديد الأضرار بكسل تلو الآخر. ومع ذلك، فإن تعليم الكمبيوتر كيفية رؤية الشق أمر صعب بشكل مفاجئ. فالشقوق نادرًا ما تكون خطوطًا مستقيمة ومنتظمة؛ بل غالبًا ما تكون رقيقة ومتعرجة ومتقطعة، وتختفي في الخلفية أو تتفرع بطرق غير متوقعة. وتواجه أدوات الرؤية الحاسوبية القياسية، الممتازة في التعرف على الأجسام الصلبة مثل السيارات أو الأشجار، صعوبة في التعامل مع هذه الأنماط الهشة وغير المتصلة، حيث تخطئ كثيرًا في اعتبار الظل شقًا أو تغفل تمامًا عن وجود صدع شعري دقيق.
ولحل هذه المشكلة، طور فريق من الباحثين في جامعة تشينغدو للتكنولوجيا نظامًا جديدًا يسمى DA-MSRNet، مصممًا خصيصًا لتعقب هذه الكسور المراوغة. يعمل النظام وفق استراتيجية ذات فرعين، مما يعني أنه يستخدم "عينين" مختلفتين للنظر إلى نفس الصورة في آن واحد. تركز إحدى العينين على التفاصيل الدقيقة والمباشرة للسطح، مثل الحواف الحادة للشق ونسيج الخرسانة. بينما تتراجع العين الأخرى للوراء لفهم السياق الأوسع، متتبعة المسار الطويل والمتعرج للشق عبر الصورة لترى كيف تتصل الأجزاء المختلفة ببعضها البعض. وكان التحدي دائمًا يتمثل في أن هذين المنظورين غالبًا ما يختلفان حول الموقع الدقيق للشق. فقد ترى الرؤية التفصيلية حافة حادة، بينما ترى الرؤية الواسعة اتجاهًا عامًا، مما يتسبب في وضع الكمبيوتر للشق في المكان الخاطئ أو تقسيم الخط المستمر إلى أجزاء منفصلة.
وقد عالج الباحثون هذا عدم التطابق عبر تقديم آلية محاذاة ذكية تعمل كمترجم بين المنظورين. فقبل أن يدمج الكمبيوتر المعلومات من عينه التفصيلية وعينه الواسعة، يقوم بحساب إزاحة ديناميكية صغيرة لدفع الرؤية الواسعة لتتطابق تمامًا مع الرؤية التفصيلية. وهذا يضمن أنه عندما يقرر النظام وجود شق، فإنه يحدد الموقع الدقيق نفسه في كلا المنظورين. وبمجرد محاذاة الرؤى، ينتقل النظام إلى مرحلة إعادة البناء. وهنا، يعمل على إعادة بناء صورة الشق، لضمان استعادة حتى الأجزاء الأكثر دقة أو خفوتًا أو انقطاعًا بوضوح. كما يولى اهتمامًا خاصًا بحواف الشق، حيث يعمل على شحذها حتى لا تندمج في الخلفية، ويتحقق من الشكل العام للتأكد من أن الشق يشكل مسارًا مستمرًا ومنطقيًا بدلاً من كونه مجرد مجموعة مبعثرة من النقاط.
ولتطريب هذا النظام، لم يعتمد الباحثون فقط على طرق الاختبار القياسية، بل أنشأوا مجموعة شاملة من القواعد التي توجه عملية تعلم الكمبيوتر، مع التركيز ليس فقط على ما إذا كان الكمبيوتر قد وجد العدد الصحيح من بكسلات الشق، بل أيضًا على ما إذا كانت الحدود حادة وهل ظل الهيكل متصلًا. هذا النهج يجبر النظام على إعطاء الأولوية لسلامة شكل الشق، مما يمنعه من إنشاء اتصالات وهمية أو تفويت الفروع الصغيرة. وقد اختبر الفريق نظامهم الجديد على ثلاث مجموعات عامة من صور الشقوق، تتراوح من الشقوق الخطية البسيطة إلى الشبكات المعقدة الشبيهة بخيوط العنكبوت. وفي كل اختبار، تفوق النظام الجديد على سبع طرق رائدة أخرى؛ حيث نجح في تحديد نسبة أعلى من الشقوق الفعلية، بما في ذلك الشقوق الباهتة والمتقطعة التي أغفلتها الأنظمة الأخرى، مع الحفاظ على مستوى عالٍ من الدقة في تحديد حدود الشق.
كانت النتائج متسقة عبر جميع مجموعات البيانات التي فحصها الباحثون. ففي مجموعة من الصور التي تتميز بشقوق شبكية معقدة، حقق النظام درجة 88.11 بالمائة في قياس مدى مطابقة تنبؤاته للحقيقة الأرضية. وفي مجموعة أخرى تحتوي على شقوق متطاولة ومتفرعة، سجل 85.97 بالمائة، وفي مجموعة ثالثة مع تداخلات خلفية صعبة، وصل إلى 82.26 بالمائ percent. وتشير هذه الأرقام إلى أن النظام أفضل بكثير في إيجاد المدى الكامل للشق مقارنة بالأدوات السابقة، مما يقلل من عدد حالات الكشف المفقودة أو الانكسارات الهيكلية في الصورة النهائية. وبينما يعد النظام حاليًا أكثر تعقيدًا ويتطلب قدرة حوسبة أكبر من النماذج الأبسط، يشير الباحثون إلى أن قدرته على إعادة بناء الطبوغرافيا الدقيقة للشقوق تجعل منه أداة قوية لمراقبة البنية التحتية. ويظهر هذا العمل أنه من خلال المحاذاة الدقيقة لأنواع مختلفة من المعلومات المرئية والإشراف الصارم على إعادة بناء التفاصيل الدقيقة، يمكن تعليم الحواسيب كيفية رؤية الخطوط الضعيفة والمتقطعة التي تنذر بصحة بيئتنا العمرانية.
ملخص تقني: DA-MSRNet
بيان المشكلة
يعد تقسيم الشقوق (Crack segmentation) أمراً بالغ الأهمية لمراقبة سلامة البنية التحتية، ومع ذلك فإنه يواجه تحديات كبيرة بسبب الخصائص المتأصلة في الشقوق: فهي غالباً ما تكون مستطيلة، ومتباعدة، وغير متصلة، ومتعددة المقاييس، مع تباين منخفض وحدود ضبابية. وبينما يوفر الاتجاه الذي تتبعه البنى ثنائية المسار التي تجمع بين الشبكات العصبية الالتفافية (CNNs) للملامح المحلية ونماذج Mamba للسياق العالمي مساراً واعداً، إلا أن الأساليب الحالية تعاني من ثلاث قيود رئيسية:
عدم المحاذاة المكانية: غالباً ما تظهر المسارات غير المتجانسة (CNN و Mamba) عدم محاذاة مكانية بسبب الاختلافات في مجالات الاستقبال وتوزيعات الاستجابة، مما يؤدي إلى إزاحة الحدود وانقطاع الهيكل عند الدمج.
إعادة البناء غير المكتملة: غالباً ما تفشل أجهزة فك التشفير (Decoders) في استعادة الهياكل متعددة المقاييس المستمرة وتفاصيل الحدود الدقيقة في آن واحد، مما يؤدي إلى فقدان الشقوق الدقيقة وانقطاع خطوط المنتصف.
الإشراف غير الكافي: يوفر الإشراف القائم على المناطق وحده قيوداً محدودة على إزاحة الحدود، وانقطاع خطوط المنتصف، وفقدان الكشف، مما يفشل في معالجة الحساسية الطوبولوجية لهياكل الشقوق.
المنهجية
يقترح المؤلفون DA-MSRNet، وهو شبكة ثنائية المسار (CNN-Mamba) مصممة لمعالجة هذه القيود من خلال المحاذاة المكانية، وإعادة البناء متعدد المقاييس، والإشراف التعاوني.
1. بنية الشبكة
تتكون الشبكة من مشفر ثنائي المسار، ووحدة دمج، وجهاز فك تشفير لإعادة البناء:
مسار التفاصيل المكانية (SDB): يستخدم وحدات CrossBlock (التي تحتوي على مسارات تلافيفية أفقية وعمودية ومربعة مع أوزان تكيفية) لاستخراج الأنسجة المحلية، والحدود، والميزات الهندسية دقيقة التفاصيل.
مسار سياق CNN-Mamba (CMCB): يجمع بين وحدات CrossBlock في المراحل الضحلة ووحدات VSSBlock (المستندة إلى نموذج الحالة البصرية - Visual State-Space) في المراحل الأعمق لنمذجة التبعيات طويلة المدى ومسارات الشقوق.
وحدة المحاذاة القابلة للتشوه وتوجيه دمج المسارات (DA-BFGM): تعالج هذه الوحدة عدم المحاذاة المكانية بين المسارات. فهي تتنبأ بحقل إزاحة ديناميكي من التمثيل المشترك للميزات المكانية والسياقية. يتم تطبيق هذه الإزاحات عبر التلافيف القابل للتشوه (deformable convolution) لمعايرة الميزات السياقية قبل دمجها مع الميزات المكانية، مما يضمن وجود تطابق دقيق عند مواقع الشقوق.
وحدة إعادة بناء الميزات متعددة المقاييس (MSFRM): تقع في جهاز فك التشفير، وتقوم هذه الوحدة بإعادة بناء هياكل الشقوق تدريجياً. وهي تدمج:
رزمة الكتل التلافيفية متعددة المسارات (MBC): تستخدم تلافيف محلية، ومتوسعة (dilated)، واتجاهية (غير متماثلة) لالتقاط ميزات متعددة المقاييس ومتعددة الاتجاهات.
الانتباه القنوي-المكاني (CSA): يعيد معايرة استجابات الميزات للتركيز على مناطق الشقوق.
فرع تعزيز الحواف (EGB): يكمل معلومات الحدود المحلية.
الدمج المتبقي الموزون (WRF): يجمع الميزات المدخلة مع المسارات المعززة للحفاظ على التفاصيل المكانية مع تقوية إعادة البناء.
2. استراتيجية الإشراف
يقدم المؤلفون الإشراف التعاوني للحدود والطوبولوجيا (BTCS)، وهو دالة خسارة موحدة تعمل على تحسين أربعة جوانب بشكل مشترك:
الاتساق الإقليمي: يتم فرضه عبر خسائر Binary Cross-Entropy (BCE) و Dice.
تحديد موقع الحدود: يتم معالجته عبر خسارة Boundary-region IoU، والتي تركز الإشراف على المناطق القريبة من حدود الحقيقة الأرضية (ground-truth).
الاتصال الطوبولوجي: يتم الحفاظ عليه عبر خسارة clDice الناعمة، والتي تفرض الاتفاق بين الهياكل العظمية المتوقعة والحقيقة الأرضية للحفاظ على استمرارية خط المنتصف.
قمع الكشف المفقود: يتم التعامل معه عبر خسارة Tversky، التي تعاقب النتائج السلبية الكاذبة بشكل غير متماثل لتحسين استدعاء (recall) الشقوق الدقيقة ومنخفضة التباين.
المساهمات الرئيسية
DA-BFGM: وحدة تتنبأ بإزاحات ديناميكية لمعايرة الميزات السياقية قبل الدمج، مما يخفف من تباينات الاستجابة المكانية بين مسارات CNN و Mamba غير المتجانسة.
MSFRM: وحدة في جهاز فك التشفير تستخدم التلافيف متعدد المسارات، وإعادة المعايرة القنوية-المكانية، وتعزيز الحواف، والدمج المتبقي الموزون لاستعادة هياكل الشقوق الدقيقة وغير المتصلة وضعيفة الاستجابة تدريجياً.
BTCS: استراتيجية إشراف تعاونية تفرض قيوداً مشتركة على التداخل الإقليمي، وتحديد موقع الحدود، واتصال الهيكل العظمي، والكشف المفقود لتحقيق التوازن بين الاستعادة الإقليمية والسلامة الهيكلية.
تقييم شامل: تم إجراء تجارب واسعة ودراسات استئصال (ablation studies) على ثلاث مجموعات بيانات عامة (DeepCrack، و CrackTree260، و CFD) للتحقق من فعالية المكونات المقترحة.
النتائج التجريبية
تم تقييم أداء DA-MSRNet مقابل سبعة نماذج مقارنة (بما في ذلك U-Net و DeepCrack و DBCNet) عبر ثلاث مجموعات بيانات:
DeepCrack: حققت DA-MSRNet نسبة mIoU بلغت 88.11%، واستدعاء (Recall) بنسبة 87.98%، ودرجة F1 بلغت 88.02%، متفوقة على ثاني أفضل نموذج (DBCNet) بنسبة 1.29% في mIoU.
CrackTree260: حقق النموذج mIoU بنسبة 85.97% واستدعاء بنسبة 87.14%، مما أظهر أداءً متفوقاً في التعامل مع الهياكل المستطيلة والمتفرعة.
مجموعة بيانات غابة الشقوق (CFD): حققت DA-MSRNet نسبة mIolu بلغت 82.26% واستدعاء بنسبة 85.04%، مما أظهر قوة في ظل بيانات تدريب محدودة وخلفيات معقدة.
دراسات الاستئصال: أكدت التجارب أن كل مكون (DA-BFGM، و MSFRM، و BTCS) والوحدات الفرعية الخاصة بها (مثل المحاذاة القابلة للتشوه، و clDice الناعمة، وخسارة Tversky) تساهم إيجاباً في الأداء النهائي، حيث يحقق النموذج الكامل أفضل توازن بين الدقة والاستدعاء.
الأهمية والادعاءات
يزعم البحث أن DA-MSRNet تعالج بفعالية التحديات المحددة لتقسيم الشقوق من خلال دمج المحاذاة المكانية الصريحة (عبر DA-BFGM)، وإعادة البناء الهيكلي الموجه لجهاز فك التشفير (عبر MSFRM)، والإشراف التعاوني للحدود والطوبولوجيا (عبر BTCS). وتشير النتائج إلى أن هذا النهج المتكامل يحسن استعادة الهياكل دقيقة التفاصيل ويحافظ على الاستمرارية الطوبولوجية بشكل أفضل من بنيات CNN-Mamba الهجينة الحالية.
يقر المؤلفون بأنه بينما يحقق النموذج دقة عالية، فإن تكلفته الحسابية (45.96 مليون معلمة، و 93.61 GFLOPs) تفرض تحديات للنشر على الحافة (edge deployment). ويشيرون إلى أن العمل المستقبلي سيركز على تخفيف وزن النموذج والتحقق في بيئات ميدانية عملية مع ظروف تصوير متنوعة. وتخلص الدراسة إلى أن الطريقة المقترحة تقدم حلاً قوياً لتقسيم الشقوق دقيقة التفاصيل، لا سيما عندما تكون الاستمرارية الهيكلية ودقة الحدود ذات أهمية قصوى.