A Multimodal Deep Learning Approach for Robust Structural Health Monitoring of Bridges Using Sensor and Visual Data Fusion

تُعد الجسور الشرايين الصامتة للحياة الحديثة، فهي تحمل ثقل التنقلات اليومية والتجارة عبر الأنهار والوديان. ومع ذلك، وكحال جميع البنى التحتية المتقادمة، فإنها عرضة لعملية التحلل البطيئة وغير المرئية في كثير من الأحيان. لعقود من الزمن، اعتمد المهندسون على طريقتين رئيسيتين لفحص سلامة الجسور؛ الأولى هي الفحص البصري، حيث تقوم العيون البشرية أو الكاميرات بمسح السطح الخرساني بحثاً عن الشقوق، بحثاً عن العلامات الدالة على التضرر. أما الطريقة الثانية فتتضمن أجهزة استشعار، وهي أجهزة صغيرة تُثبت على الهيكل لتقيس كيفية حركته واهتزازه وتمدده تحت ضغط حركة المرور والطقس. وبينما تمتلك كلتا الطريقتين مزاياهما، إلا أن لكل منهما نقطة ضعف؛ فالكاميرات يمكن أن تخدعها الظلال أو الأوساخ أو الأنسجة المعقدة، بينما يمكن لأجهزة الاستشعار اكتشاف وجود خطب ما دون القدرة على تحديد مكان الضرر بدقة على الس سطح. إن التحدي الذي يواجه مستقبل المدن الآمنة يكمن في إيجاد وسيلة لدمج هاتين الطريقتين المتمايزتين للرؤية، لخلق نظام يتسم بالموثوقية والذكاء في آن واحد.

في دراسة حديثة، عالج باحثون في جامعة نبراسكا-لينكولن هذه المشكلة من خلال بناء نوع جديد من الذكاء الاصطناعي الذي يتعلم من الصور وبيانات المستشعرات في وقت واحد. اقترح الفريق، بقيادة محمد هاشم كاشف، نظاماً لا يعتمد على نوع واحد فقط من المعلومات، بل يدمجها معاً لإصدار حكم واحد أكثر ثقة بشأن سلامة الجسر. يستخدم هذا النهج برنامجين حاسوبيين متخصصين يعملان جنباً إلى جنب؛ صُمم أحد البرنامجين للنظر في صور سطح الجسر، ليتعلم التعرف على الأشكال والأنماط المحددة للشقوق، بينما تم تدريب البرنامج الآخر على "الاستماع" إلى القصة التي ترويها البيانات الزمنية من أجهزة الاستشعار، وفهم كيفية تغير اهتزازات الجسر وإجهاداته بمرور الوقت. ومن خلال دمج الرؤى المستمدة من "أعين" الكاميرا مع "إحساس" أجهزة الاستشعار، أنشأ الباحثون نموذجاً أكثر قوة بكثير مما قد يكون عليه أي من الطريقتين بمفرده.

لاختبار فكرتهم، استخدم الباحثون مجموعتين مختلفتين من البيانات. بالنسبة للمكون البصري، استعانوا بمجموعة ضخمة تضم أكثر من 56,000 صورة لأسطح خرسانية، تتراوح بين الأسطح والجدران والأرصفة، والتي تم تصنيفها بعناقة لتوضيح ما إذا كانت مشققة أم سليمة. أما بالنسبة لمكون المستشعرات، فقد استخدموا بيانات ناتجة عن "توأم رقمي" لجسر، وهو نموذج افتراضي يحاكي ظروف العالم الحقيقي. تضمنت هذه المجموعة آلاف التسلسلات من القياسات التي تتبع الاهتزاز، والإجهاد، والإزاحة، ودرجة الحرارة. قام الباحثون بتدريب ذكائهم الاصطناعي على معالجة هذه الصور وقراءات المستشعرات بشكل منفصل أولاً، ثم دمجها في مرحلة محددة بعد أن يكون الحاسوب قد تعلم بالفعل السمات الأكثر أهمية لكل منهما. سمح هذا الدمج للنظام بالتحقق المتبادل من نتائجها، مستخدماً البيانات المستمرة والثابتة من أجهزة الاستشعار لتأكيد أو تصحيح ما رأته الكاميرا.

كانت نتائج هذه التجربة كاشفة؛ فعندما اختبر الباحثون النموذج المعتمد على الصور فقط، أدى أداءً جيداً في البيئات المنضبطة، لكنه عانى عند مواجهة الواقع الفوضوي لظروف الإضاءة المختلفة وأنسجة الأسطح. انخفضت دقته بشكل كبير عندما تغيرت البيئة، وكان يخطئ أحياناً في تمييز الشقوق الدقيقة أو يخلط بين الظلال والضرر. وفي المقابل، أثبت النموذج المعتمد على المستشعرات فقط أنه مستقر للغاية، حيث حدد سلامة الهيكل بشكل صحيح بنسبة تقارب 96 بالمائة عبر سيناريوهات اختبار مختلفة. ومع ذلك، برزت القوة الحقيقية عند الجمع بينهما؛ فقد حقق النموذج المدمج دقة إجمالية بلغت 94 بالمائة، وهو رقم قد يبدو أقل قليلاً من درجة النموذج المعتمد على المستشعرات فقط، ولكنه جاء مع ميزة حاسمة: كان أفضل بكثير في رصد الحالات الخطيرة.

إن المقياس الأهم لنظام السلامة ليس فقط مدى صحة قراراته، بل مدى تكرار إخفاقه في رصد المشكلة. في عالم مراقبة الجسور، يعد تفويت شق أخطر بكثير من إطلاق إنذار كاذب. أظهر النموذج المدمج قدرة استثنائية على اكتشاف الهياكل المتضررة، حيث حدد الحالات المتشققة بدقة بلغت 99 بالمائة. هذا الاستدعاء شبه المثالي يعني أن النظام من غير المرجح تماماً أن يتغافل عن تهديد حقيقي. علاوة على ذلك، استخدم الباحثون تقنية تسمى (Grad-CAM) للنظر داخل "عقل" الذكاء الاصطناعي. أظهر هذا التصور أن النموذج كان يركز بالفعل على الشقوق الفعلية في الصور ولا يتشتت بالضوضاء الخلفية أو الأنسجة العشوائية. وقد أكد ذلك أن النظام يتعلم الأشياء الصحيحة، وينتبه للعيوب الهيكلية التي تهم أكثر من غيرها.

كما استكشفت الدراسة مدى قدرة هذا النظام على الصمود إذا ما طُبق على جسور أو بيئات مختلفة، وهو مفهوم يُعرف بالتعميم. أظهر النموذج القائم على المستشعرات مرونة كبيرة، محافظاً على أدائه العالي حتى عندما تم تقسيم البيانات إلى مجموعات مختلفة للاختبار. وقد ورث النموذج المدمج هذه الاستقرار مع إضافة القدرة على تحديد موقع الضرر بدقة. وأشار الباحثون إلى أنه بينما وفرت بيانات المستشعرات أساساً قوياً للكشف عن وجود مشكلة، ساعدت البيانات البصرية في تحديد مكان الضرر بالضبط. سمحت هذه الشراكة للنظام بالتعامل مع حالات الغموض التي غالباً ما تربك الكاميرا، مثل عندما يكون الشق رفيعاً أو مخفياً في الظل. كانت النتيجة النهائية نظاماً يمكنه اتخاذ قرار بثقة عالية، موازناً بين الحاجة إلى الدقة والحاجة إلى السلامة.

يشير هذا العمل إلى مسار واضح للمستقبل فيما يتعلق بصيانة البنية التحتية الحضرية. فمن خلال دمج التفاصيل المكانية للفحص البصري مع الموثوقية الزمنية لمراقبة المستشعرات، يمكن للمهندسين إنشاء نظام مراقبة يتسم بالحساسية والاستقرار. لا تدعي هذه الدراسة أنها حلت كل المشكلات في سلامة الجسور، ولا تقترح أن هذا النموذج المحدد جاهز للنشر الفوري على كل جسر في العالم. فقد جاءت البيانات المستخدمة من مستودعات عامة ومحاكاة رقمية بدلاً من نشر مستمر وحقيقي على جسر واحد. ومع ذلك، توفر النتائج دليلاً قوياً على أن الجمع بين هذين التدفقين من المعلومات هو استراتيجية قابلة للتطبيق وقوية. إنها تقدم وسيلة لتجاوز قيود عمليات الفحص أحادية الطريقة، وخلق شبكة أمان أقل عرضة للفشل عندما تكون الظروف صعبة. ومع استمرار نمو المدن وتقادم بنيتها التحتية، قد تصبح هذه الأساليب الذكية متعددة الحواس ضرورية لضمان بقاء الجسور التي نعتمد عليها آمنة للجميع.