Molten mark classification using multi-scale directional cross-scale attention fusion
تقترح هذه الورقة طريقة لتصنيف علامات الانصهار في تحقيقات الحرائق الكهربائية تستفيد من محول "سوین" (Swin transformer) وشبكة هرمية للميزات ثنائية الاتجاه مع دمج انتباه عبر النطاقات المقياسية الاتجاهي لتحقيق دقة فائقة ومتانة ضد تدهور الصور مقارنة بالنهج القائمة على الشبكات العصبية الالتفافية (CNN) الحالية.
المؤلفون الأصليون:Taehi Kim, Jonghwa Shim, Eenjun Hwang
تخيل أنك محقق تحاول حل لغز ما، لكن الأدلة ليست سوى كتل صغيرة ذائبة من المعدن تركت خلفها على سلك. في عالم التحقيق في الحرائق الكهربائية، يعد معرفة "كيف" بدأ الحريق أمراً بالغ الأهمية. هل كان ماساً كهربائياً مفاجئاً وعنيفاً أدى إلى إطلاق شرارة شكلت حبة من المعدن المنصهر؟ أم كان مصدراً حرارياً خارجياً بطيئاً، مثل شمعة أو مدفأة، قامت فقط بتسخين السلك حتى انصهر؟ الإجابة تحدد من هو المسؤول وكيف يمكن منع حدوث ذلك مرة أخرى. تقليدياً، كان على الخبراء قطع هذه الأسلاك، وتلميعها كأنها جواهر ثمينة، وفحصها تحت مجاهر باهظة الثمن — وهي عملية بطيئة ومكلفة ويدوية. ولكن مؤخراً، حاول العلماء تعليم الحواسيب القيام بهذه المهمة من خلال عرض صور لهذه البقع المنصهرة عليهم. التحدي يكمكم في أن هذه البقع المنصهرة مخادعة: إذ يمكن أن تبدو متشابهة جداً، و"الأدلة" مخفية في كل من التفاصيل الدقيقة (مثل لمعان السطح) والأشكال الكبيرة (مثل الحدود العامة). الأمر يشبه محاولة التمييز بين توأمين من خلال النظر إلى عين واحدة فقط مقابل النظر إلى وجههما بالكامل؛ فأنت بحاجة لرؤية كل شيء في آن واحد لتنجح في ذلك.
تقدم هذه الورقة البحثية "دماغ حاسوبي" جديد فائق الذكاء مصمم خصيصاً لحل "لغز المعدن المنصهر" هذا. لقد بنى الباحثون نظاماً يعمل كفريق من المحققين، حيث ينظر كل منهم إلى السلك من مسافة مختلفة. بعض المحققين يقتربون جداً لرؤية الخدوش الصغيرة واللمعان (التفاصيل المحلية)، بينما يتراجع آخرون للخلف لرؤية الصورة الكبيرة والشكل العام (السياق العالمي). "الخلطة السرية" لاختراعهم هي آلية "انتباه" خاصة تسمى الانتباه المتقاطع الاتجاهي متعدد المقاييس (DCSA). فكر في هذا كأنه نظارات سحرية لا تسمح للمحققين بالرؤية فحسب، بل تساعدهم على التحدث مع بعضهم البعض. إذا رأى المحقق "القريب" بقعة لامعة تشبه الماس الكهربائي، يمكنه أن يهمس للمحقق "واسع الزاوية": "مهلاً، تحقق مما إذا كان الشكل العام يتوافق مع الماس الكهربائي أيضاً!". هذا الحوار يحدث في كلا الاتجاهين، مما يسمح للنظام بدمج أفضل الأدلة من كل مستوى تكبير.
وجدت الورقة أن هذه الطريقة الجديدة أفضل بكثير من الأدوات الحالية. فعند اختبارها على مجموعة ضخمة تضم أكثر من 18,000 صورة (بما في ذلك بعض الصور الملتقطة في مشاهد حريق حقيقية وفوضوية)، حقق النظام الجديد درجة F1 بلغت 0.9613 ومعامل ارتباط ماثيوز (MCC) بلغ 0.9257. ولو وضعت ذلك في الاعتبار، فقد تفوق على النموذج الأفضل أداءً سابقاً بمقدار 2.26 نقطة مئوية في درجة F1 و4.02 نقطة مئوية في معامل MCC. لكن السحر الحقيقي حدث عندما كانت الصور فوضوية. في العالم الحقيقي، غالباً ما تكون مشاهد الحرائق مليئة بالدخان أو الضبابية أو الإضاءة الضعيفة. وعندما اختبر الباحثون النماذج على صور "متدهورة" (ضبابية ومليئة بالضجيج)، انهارت نماذج الحاسوب القديمة (القائمة على الشبكات العصبية الالتفافية القياسية - CNNs)، حيث فقدت حوالي 15.75% من دقتها في المتوسط. أما النظام الجديد، فلم يفقد سوى 2.88% من دقته؛ فقد ظل هادئاً ودقيقاً حتى عندما كانت الأدلة صعبة الرؤية.
كما أجرى المؤلفون تجارب لإثبات أن خيارات التصميم المحددة الخاصة بهم هي السبب وراء هذا النجاح. فقد أظهروا أن مجرد إضافة "انتباه" قياسي (مثل تسليط ضوء عام) لم يكن كافياً؛ بل كان النظام بحاجة إلى ذلك "الحوار المتقاطع بين المقاييس" حيث يساعد كل مستوى تكبير الآخر. كما أثبتوا أن النظر إلى السلك من كلا الاتجاهين، من الأعلى إلى الأسفل (من العام إلى المحلي) ومن الأسفل إلى الأعلى (من المحلي إلى العام)، كان أمراً ضرورياً؛ فقيام النظام بواحد منهما فقط جعل الدقة أقل. ومن خلال تصور المكان الذي كان الحاسوب "ينظر" إليه، أكدوا أن نموذجهم ركز بدقة على المعدن المنصهر، متجاهلاً الضوضاء الخلفية المشتتة مثل السخام أو خطوط الشبكة، بينما ارتبكت النماذج القديمة غالباً بسبب الخلفية. وفي النهاية، تشير الورقة إلى أنه من خلال السماح لمستويات التفاصيل المختلفة بالتحدث مع بعضها البعض، يمكننا بناء محققين في الحرائق ليسوا فقط أسرع وأرخص، بل أيضاً أقوياء للغاية، وقادرين على حل الألغاز حتى عندما تكون الأدلة ضبابية بعض الشيء.
ملخص تقني: تصنيف العلامات المنصهرة باستخدام الانتباه المتقاطع متعدد المقاييس ذو الاتجاهات
بيان المشكلة في تحقيقات الحرائق الكهربائية، يعد التمييز بين حبيبات الدائرة القصيرة (الناتجة عن الأقواس الكهربائية) وعلامات الحرارة (الناتجة عن اللهب الخارجي) أمراً بالغ الأهمية لتحديد أصول الحريق وتحديد المسؤولية. تعتمد الطرق التقليدية على التحليل الميتالورجي للمقاطع العرضية للأسلاك، وهو ما يتطلب معدات باهظة الثمن، وجهداً يدوياً كبيراً في المعالجة الأولية (القطع، الصقل)، وتحليلاً يستغرق وقتاً طويلاً. وبينما أظهرت أساليب التعلم العميق الحديثة باستخدام الشبكات العصبية الالتفافية (CNNs) نتائج واعدة، إلا أنها تواجه قيوداً جوهرية. تستخدم الشبكات الالتفافية نوى التفاف ذات حجم ثابت ومجالات استقبال محلية، مما يجعلها أقل فعالية في التقاط التفاعل المعقد بين الأنسجة المحلية (مثل لمعان السطح) والميزات المورفولوجية العالمية (مثل حدة الحدود) المطلوبة للتصنيف الدقيق. علاوة على ذلك، غالباً ما تعاني صور مسرح الحريق في العالم الحقيقي من التدهور (الضبابية، الضوضاء، التلوث)، حيث تكافح النماذج ذات مجال الاستقبال الثابت للحفاظ على الأداء.
المنهجية يقترح المؤلفون بنية تصنيف مبتكرة تدمج عموداً فقرياً من نوع (Swin Transformer) مع "عنق" معدل من شبكة (BiFPN) ثنائية الاتجاه، معزز بوحدة الانتباه المتقاطع ذو الاتجاهات متعدد المقاييس (DCSA).
العمود الفقري (استخراج متعدد المقاييس): يستخدم النظام (Swin Transformer) لاستخراج ميزات بصرية هرمية عند أربعة مستويات دقة متميزة (C1 إلى C4). يسمح هذا للنموذج بالتقاط تفاصيل الأنسجة المحلية الدقيقة عند الدقات العالية والسياق المورفولوجي العالمي عند الدقات المنخفضة. ويتم إسقاط هذه الميزات إلى بُعد قنوات مشترك (d=256) عبر عمليات التفاف 1×1.
العنق (BiFPN المعزز بـ DCSA): بدلاً من استخدام الجمع الموزون القياسي في عقد دمج (BiFPN)، قدم المؤلفون وحدة (DCSA). تقوم هذه الوحدة بعملية دمج ميزات ثنائي الاتجاه (من الأعلى إلى الأسفل ومن الأسفل إلى الأعلى) مع إعادة معايرة الميزات تكيفياً بناءً على التبعيات المتقاطعة للمقاييس:
مسار من الأعلى إلى الأسفل (Top-Down Pathway): ينشر السياق العالمي من المقاييس الخشنة إلى الدقيقة. تطبق وحدة (DCSA) المسماة (DCSAtd) انتباه القنوات (بناءً على التجميع المتوسط العالمي للمدخلات المتصلة) وانتباه المكان (بناءً على التشابه عبر المقاييس ومولد الخرائط المكانية) على ميزة المقياس الحالي. ثم تقوم آلية بقايا البوابة (gated residual mechanism) بدمج الميزة المنتبه إليها تكيفياً مع الميزة الخشنة المرفوعة (upsampled)، مما يتحكم في شدة انتشار السياق العالمي.
مسار من الأسفل إلى الأعلى (Bottom-Up Pathway): ينشر التفاصيل المحلية من المقايس الدقيقة إلى الخشنة. تعالج وحدة (DCSAbu) ثلاثة مدخلات: الميزة الصاعدة من الأسفل التي تم خفض دقتها، وميزة العمود الفقري للمقياس الحالي، والميزة الوسيطة القادمة من مسار الأعلى إلى الأسفل. وتستخدم شبكة (FC) مشتركة لانتباه القنوات وآلية انتباه مكاني معيرة بـ (SoftMax) لاختيار المدخل الأكثر معلوماتية في كل موقع مكاني، مما يمنع تراكم الميزات غير الضرورية.
رأس التصنيف: يتم تجميع الميزات المدمجة من جميع المقايسات الأربعة عبر التجميع المتوسط العالمي (GAP)، ثم دمجها وتمريرها عبر شبكة دمج من الطبقات المتصلة بالكامل (1024 ← 512 ← 256) مع تسوية الطبقة (layer normalization)، ووظيفة (ReLU)، والإسقاط (dropout)، متبوعة بمصنف خطي للمخرجات الثنائية.
المساهمات الرئيسية
بنية مبتكرة: تعد هذه الدراسة الأولى التي تطبق دمج الميزات متعدد المقاييس باستخدام (Swin Transformer) و(BiFPN) خصيصاً لتصنيف العلامات المنصهرة.
وحدة DCSA: يقترح المؤلفون وحدة (DCSA)، والتي تستبدل الوزن القياسي في عقد (BiFPN) بانتباه مكاني وقنوات ذي اتجاه. يسمح هذا للشبكة بالتركيز بشكل انتقائي على القنوات والمناطق المكانية ذات الصلة بالتصنيف المشروطة بالميزات من مستويات دقة مختلفة، مما يعالج قصور نماذج (BiFPN) الحالية التي تعامل جميع القنوات والمواقع المكانية بالتساوي.
مجموعة بيانات قوية: تعزز الدراسة الجانب العملي من خلال تعزيز العينات المختبرية بمجموعة بيانات من العلامات المنصهرة التي جُمعت من مشاهد حريق كهربائي حقيقية، والتي غالباً ما تكون ملوثة ومتدهورة.
تحقق شامل: تم التحقق من المنهج من خلال تجارب مقارنة واسعة، ودراسات الاستئصال (ablation studies)، والتحليلات النوعية (GradCAM و t-SNE).
النتائج التجريبية تم تقييم الطريقة المقترحة على مجموعة بيانات تضم 18,750 صورة تدريب و4,905 صورة اختبار (تشمل كلاً من البيانات المختبرية وبيانات حريق الحريق الحقيقية).
الأداء على مجموعة البيانات القياسية: حقق النموذج المقترح درجة (F1-score) بلغت 0.9613 ومعامل ارتباط ماثيوز (MCC) بلغ 0.9257. ويمثل هذا تحسناً قدره 2.26 و4.02 نقطة مئوية، على التوالي، عن أفضل نموذج أساسي (Swin Transformer). حافظ النموذج على توازن بين الدقة (0.9633) والاستدعاء (0.9593)، متفوقاً على النماذج القائمة على (CNN) مثل (VGG16, EfficientNet) ومتغيرات (Transformer) الأخرى (ViT, DeiT).
القوة تجاه التدهور: في مجموعة اختبار متدهورة (تحاكي الضبابية، الضوضاء، والضغط)، أظهر النموذج المقترح متانة فائقة، حيث انخفضت الدقة بنسبة 2.88% فقط. في المقابل، عانت النماذج القائمة على (CNN) من انخفاضات في الدقة بمتوسط 15.75%، وغالباً ما انهارت في الدقة بسبب اعتمادها على الأنسجة الدقيقة. حافظ النموذج المقترح على معامل (MCC) قدره 0.8681، متفوقاً بشكل كبير على النماذج الأساسية.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي من مساري (DCSA) (من الأعلى إلى الأسفل أو من الأسفل إلى الأعلى)، أو عزل انتباه القنوات/المكاني، إلى انخفاض في الأداء، مما يؤكد أن التكامل الكامل للشرط المتقاطع للمقاييس والتدفق ثنائي الاتجاه ضروري للأداء الأمثل.
التحليل النوعي: أظهرت تصورات (GradCAM) أن النموذج المقترح يركز حصرياً على مناطق العلامات المنصهرة، مما يثبط بفعالية تداخل الخلفية (مثل خطوط الشبكة، السخام) حيث فشلت النماذج الأساسية. كما كشفت تصورات (t-SNE) أن النموذج يتعلم مجموعات فرعية دقيقة داخل الفئات، مما يميز بين أنواع الأسلاك والمورفولوجيا المتنوعة.
الأهمية تزعم الورقة أن الطريقة المقترحة تعالج القيود الحرجة للنهج الحالي القائم على (CNN) من خلال الاستفادة بفعالية من الميزات المحلية والعالمية عبر دمج متعدد المقاييس. ومن خلال تقديم وحدة (DCSA)، تسمح الطريقة للشبكة بالتركيز انتقائياً على الإشارات المميزة التي قد تكون بارزة في مقياس ما ولكنها خفية في مقياس آخر. وتثبت النتائج أن هذا النهج لا يحقق دقة هي الأفضل حالياً فحسب، بل يوفر أيضاً المتانة اللازمة لسيناريوهات التحقيق في الحرائق الواقعية حيث تكون جودة الصور غالباً متدنية. وتشير الدراسة إلى أن هذه البنية توفر بديلاً مؤتمتاً قابلاً للتطبيق للتحليل الميتالورجي الذي يتطلب جهداً يدوياً، مما قد يحسن كفاءة وموثوقية تحديد أسباب الحرائق الكهربائية.