💻 computer science

DeltaSeg: Tiered Attention and Deep Delta Learning for Multi-Class Structural Defect Segmentation

تُعد DeltaSeg بنية مشفر-وفك تشفير على شكل حرف U مبتكرة، تستفيد من استراتيجية انتباه متعددة المستويات وآلية انتباه دلتا العميقة لتحقيق تقسيم فائق للعيوب الهيكلية متعددة الفئات، وذلك عبر المعالجة الفعالة لعدم توازن الفئات، وأنواع الأضرار المتنوعة، وتحديد دقيق للحدود عبر مجموعات بيانات مرجعية متعددة.

المؤلفون الأصليون: Enrique Hernandez Noguera, Md Meftahul Ferdaus, Elias Ioup, Mahdi Abdelguerfi

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Enrique Hernandez Noguera, Md Meftahul Ferdaus, Elias Ioup, Mahdi Abdelguerfi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مفتش مباني. مهمتك هي النظر في صور الجسور، والجدران، والأنابيب للبحث عن الشقوق، أو الصدأ، أو الثقوب. القيام بذلك يدوياً هو أمر بطيء، ومرهق، وخطير أحياناً. أنت بحاجة إلى مساعد روبوت يمكنه النظر إلى صورة وتحديد مكان الضرر بدقة، بكسل تلو الآخر.

تقدم هذه الورقة البحثية DeltaSeg، وهو "دماغ روبوت" جديد صُمم خصيصاً ليكون أفضل مفتش مباني ممكن. إليك كيف يعمل، مشروحاً بدون المصطلحات الرياضية المعقدة.

المشكلة: لماذا يعد هذا صعباً للغاية؟

تخيل أنك تحاول العثين على شق شعري واحد في جدار ضخم، بينما تحاول أيضاً رصد بقعة صدأ كبيرة، وكل ذلك في نفس الصورة.

مشكلة "الإبرة في كومة القش": الجدار (الخلفية) يشغل 9% من الصورة. الضرر (الإبرة) صغير جداً. معظم برامج الكمبيوتر تصاب بالارتباك وتقول ببساطة: "إنه مجرد جدار".
مشكلة "مغير الشكل": الشقوق طويلة ونحيفة؛ الصدأ كتلة كبيرة؛ والنباتات عبارة عن شجيرة فوضوية. جميعها تبدو مختلفة.
مشكلة "الخط الضبابي": لا يكفي أن تقول "هناك صدأ". أنت بحاجة لمعرفة الحافة الدقيقة للصدأ حتى تعرف مقدار ما يجب إصلاحه.

الحل: استراتيجية "الطبقات" لـ DeltaSeg

معظم نماذج الرؤية الحاسوبية تشبه خط تجميع في مصنع حيث يقوم كل عامل بنفس الوظيفة تماماً. لكن DeltaSeg مختلف؛ فهو يستخدم استراتيجية انتباه متعددة الطبقات، وهي تشبه توظيف فريق من المتخصصين، لكل منهم "قوة خارقة" محددة لجزء معين من المهمة.

يتخذ النموذج شكل حرف "U" (مُشفّر-مُفكك/encoder-decoder). فكر فيه كقمع يضغط الصورة ليفهم الصورة الكلية، ثم يوسعها مرة أخرى ليرسم التفاصيل.

1. المُشفّر (مرحلة "المحقق")

المهمة: النظر في الصورة ومعرفة ماهية الأشياء (الحواف، الأنسجة، الألوان).
الأداة الخاصة: انتباه الضغط والتحفيز (SE Attention).
التشبيه: تخيل محققاً ينظر إلى مسرح جريمة. هناك آلاف الأدلة (البكسلات). أداة SE هي بمثابة عدسة مكبرة تقول: "تجاهل الغبار على الأرض؛ ركز على أثر القدم الملطخ بالطين". إنها تصفّي الضجيج وتبرز الميزات الأكثر أهمية (مثل ملمس الشق) قبل الانتقال للمرحلة التالية.

2. عنق الزجاجة (مرحلة "المهندس المعماري")

المهمة: هذا هو الجزء الأضيق في حرف الـ "U". يجب على النموذج فهم سياق المبنى بأكمله.
الأداة الخاصة: انتباه الإحداثيات (Coordinate Attention).
التشبيه: تخيل أنك تحاول العثور على غرفة محددة في فندق ضخم. أنت لا تنظر إلى الغرفة فحسب، بل تنظر إلى الخريطة. انتباه الإحداثيات يعطي النموذج حساً بالاتجاه. فهو يقول: "الشق طويل وأفقي"، أو "الصدأ في الزاوية العلوية اليسرى". إنه يساعد النموذج على فهم أين توجد الأشياء، وليس فقط ما هي.

3. روابط التخطي (مرحلة "المراسل")

المهمة: في هذه النماذج التي تتخذ شكل حرف "U"، يحتاج "المُفكك" (الجزء الذي يرسم الخريطة النهائية) للتحدث مع "المُشفّر" (الجزء الذي رأى التفاصيل). عادةً، يقومان فقط بإرسال البيانات الخام ذهاباً وإياباً، مما يسبب الارتباك.
الأداة الخاصة: انتباه دلتا العميق (DDA). وهذا هو أعظم ابتكارات الورقة البحثية.
التشبيه: تخيل أن المُشفّر هو مراسل يرسل موجزاً إخبارياً، والمُفكك هو المحرر الذي يحاول كتابة العنوان الرئيسي.
- الطريقة القديمة: يرسل المراسل كل شيء (الطقس، حركة المرور، نتائج الرياضة). يصاب المحرر بالارتباك.
- طريقة DeltaSeg: تعمل وحدة DDA مثل محرر ذكي. لديها خدعتان:
  1. مرشح "دلتا": يقوم بحساب الفرق بين ما رآه المراسل وما يحتاجه المحرر. إذا أرسل المراسل صورة لسماء زرقاء صافية (ضجيج الخلفية)، فإن مرشح دلتا يقول: "احذف هذا، نحن لا نحتاجه". إنه يعمل بنشاط على كبت الأشياء المملة.
  2. إشارة "البوابة": يرسل المحرر (المُفكك) ملاحظة تقول: "أنا أكتب حالياً عن السقف". عندها، تسمح وحدة DDA للمراسل بإرسال التفاصيل المتعلقة بالسقف فقط.
- النتيجة: يحصل المحرر على تدفق نظيف ومثالي للمعلومات في الوقت الذي يحتاجها فيه تماماً.

4. المُفكك (مرحلة "الفنان")

المهمة: أخذ المعلومات المنقحة ورسم الخريطة النهائية للضرر.
الأداة الخاصة: يستخدم انتباه الإحداثيات مرة أخرى.
التشبيه: الآن بعد أن حصل الفنان على الملاحظات المثالية، يستخدم حسه الاتجاهي لرسم الخطوط. ولأن لديه معرفة دقيقة بالحواف (بفضل انتباه الإحداثيات)، يمكنه رسم مخطط مثالي حول شق صغير، بدلاً من رسم بقعة ضبابية.

لماذا هذا أفضل من غيره؟

اختبر المؤلفون DeltaSeg مقابل 12 نموذجاً شهيراً آخر (مثل U-Net و SegFormer وغيرها) على مجموعتي بيانات مختلفتين تماماً:

S2DS: صور لجدران المباني (أسطح مستوية).
CSDD: صور لأنابيب الصرف الصحي (أسطح منحنية وأسطوانية).

النتائج:
فاز DeltaSeg في كل الفئات تقريباً.

كان أفضل في العثور على الشقوق الصغيرة (الـ "إبر").
كان أفضل في رسم الحواف الدقيقة للضرر.
عمل بشكل جيد على كل من الجدران المسطحة والأنابيب المستديرة دون الحاجة إلى إعادة تدريبه.

الخلاية

DeltaSeg يشبه مفتش مباني فائق الذكاء يعرف بالضبط أي الأدلة يتجاهلها، ويعرف بالضبط أين ينظر، ويمتلك نظاماً مثالياً لنقل المعلومات بين جزء "التفكير" في الدماغ وجزء "الرسم".

من خلال استخدام أدوات مختلفة لأجزاء مختلفة من المهمة (نهج "الطبقات") واستخدام مرشح "دلتا" الخاص لإزالة الضجيج، فإنه ينشئ خرائط ضرر أكثر دقة مما رأيناه حتى الآن. وهذا يعني إصلاحات أسرع، ومبانٍ أكثر أماناً، وهدراً أقل للمال في عمليات التفتيش اليدوية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "DeltaSeg: الانتباه المتدرج والتعلم الدلتا العميق لتجزئة العيوب الهيكلية متعددة الفئات."

1. بيان المشكلة

تتناول الورقة تحدي التجزئة الدلالية المؤتمتة للعيوب الهيكلية (مثل الشقوق، والتقشر، والتآكل) في صور البنية التحتية المدنية. وبينما حقق التعلم العميق تقدماً في هذا المجال، إلا أن الطرق الحالية تعاني مع ثلاث خصائص محددة لبيانات العيوب الهيكلية:

عدم التوازن الشديد بين الفئات: تهيمن بكسلات الخلفية على الصور، بينما تشغل فئات العيوب الحرجة (مثل الشقوق الشعرية أو التزهير) غالباً أقل من 1% من مساحة الصورة.
تنوع المورفولوجيا (الشكل الظاهري): تختلف العيوب بشكل هائل في الحجم، ونسبة العرض إلى الارتفاع، والملمس (مثل الشقوق الطويلة والنحيفة مقابل مناطق التقشر الكبيرة وغير المنتظمة).
الفجوة الدلالية في وصلات التخطي (Skip Connections): تقوم بنيات U-Net القياسية بدمج ميزات المشفر (Encoder) مع ميزات فك التشفير (Decoder) بشكل بدائي. وهذا يفشل في جسر الفجوة الدلالية بين ميزات الحواف منخفضة المستوى (المشفر) وأهداف إعادة البناء عالية المستوى (فك التشفير)، مما يؤدي إلى ضعف تحديد الحدود واختلاط الفئات.
التعميم: غالباً ما تفشل النماذج في التعميم عبر أنواع الهياكل المختلفة (مثل واجهات المباني المسطحة مقابل العبارات الأسطوانية) وظروف التصوير دون إعادة تدريب.

2. المنهجية: بنية DeltaSeg

DeltaSeg هي بنية مشفر-فك تشفير على شكل حرف U مصممة بـ استراتيجية انتباه متدرجة، حيث يتم تخصيص آليات انتباه محددة لمراحل الشبكة التي تكون فيها أكثر فعالية.

أ. المشفر: التلافات القابلة للفصل عميقاً وانتباه SE

العمود الفقري (Backbone): يستخدم التلافات القابلة للفصل عميقاً (DSC) لتقليل التكلفة الحسابية مع الحفاظ على الكفاءة.
التقليل الهجين (Hybrid Downsampling): تستخدم المراحل 1-3 عملية التجميع الأقصى (Max-pooling) القياسية. أما المراحل 4-5 فتستبدل التجميع بـ تلافات متسعة (Dilated Convolutions) (بمعدلات $d=2$ و $d=4$ ) لتوسيع مجال الاستقبال دون فقدان الدقة المكانية (الحفاظ على دقة $32 \times 32$ ).
الانتباه: يدمج وحدات Squeeze-and-Excitation (SE). تقوم وحدة SE بإعادة معايرة استجابات القنوات لتحديد الميزات ذات الصلة بالمهمة (الحواف، الملامس) مع تأجيل التحديد المكاني إلى فك التشفير.

ب. عنق الزجاجة (Bottleneck): ASPP وانتباه الإحداثيات

ASPP: تعمل وحدة ASPP (تجميع الهرم المكاني المتسع) على التقاط السياق متعدد المقاييس باستخدام فروع متوازية بمعدلات اتساع مختلفة.
انتباه الإحداثيات (CA): على عكس SE، التي تسبب انهيار الأبعاد المكانية، يقوم CA بتفكيك الانتباه إلى اتجاهات أفقية ورأسية. وهذا يحافظ على المعلومات الموضعية، وهو أمر بالغ الأهمية للانتقال من استخراج الميزات إلى إعادة البناء المكاني.

ج. وصلات التخطي: انتباه الدلتا العميق (DDA)

هذا هو الابتكار الجوهري في الورقة. بدلاً من الدمج البسيط، تقوم DDA بتنقية وصلات التخطي عبر آلية ثنائية المسار:

مسار تعلم الدلتا العميق (DDL): يتعلم كيفية كبح "الميزات المزعجة" (مثل ملامس الخلفية المهيمنة) التي تعيق اكتشاف العيوب. ويقوم بحساب متجه وحدة يحدد محور الإزعاج في فضاء القنوات وقيمة عددية لتعديل مقدار الكبح.
مسار بوابة الانتباه: يستخدم ميزات فك التشفير كإشارة بوابة لتحديد المواقع المكانية في ميزات المشفر ذات الصلة بمرحلة إعادة البناء الحالية.

الدمج: يتم دمج مخرجات كلا المسارين وإسقاطهما لتنقية ميزة التخطي قبل دخولها إلى فك التشفير.

د. فك التشفير والإشراف العميق

فك التشفير: يعيد بناء الدقة المكانية باستخدام التلافات المنقولة (Transposed Convolutions). ويستخدم انتباه الإحداثيات (بدلاً من SE) لضمان تحديد دقيق للحدود.
الإشراف العميق: يتم إرفاق أربعة رؤوس تنبؤ مساعدة بمراحل فك التشفير المتوسطة. وتكون الخسارة الإجمالية عبارة عن مجموع مرجح لخسائر Cross-Entropy و Dice و Focal، مما يشجع على تكوين ميزات ذات معنى دلالي في جميع المستويات.

3. المساهمات الرئيسية

استراتيجية الانتباه المتدرج: تصميم مبتكر يضع استراتيجياً انتباه SE في المشفر (معايرة القنوات)، وانتباه الإحداثيات في عنق الزجاجة/فك التشفير (التنقية المكانية)، وانتباه الدلتا العميق المخصص في وصلات التخطي.
وحدة انتباه الدلتا العميق (DDA): آلية تجسر الفجوة الدلالية من خلال الجمع بين كبح الميزات المزعجة المكتسبة وبوابة مكانية مشروطة بفك التشفير.
مشفر هجين فعال: مشفر يستخدم التلافات القابلة للفصل عميقاً لضبط التوازن بين الكفاءة الحسابية ومجال الاستقبال الواسع.
تحقق شامل: تقييم صارم على مجموعتي بيانات متميزتين (S2DS و CSDD) تغطي 7 و 9 فئات على التوالي، مما يثبت القوة عبر مختلف الهندسات الهيكلية المختلفة.

4. النتائج التجريبية

تم تقييم النموذج مقابل 12 بنية منافسة (بما في ذلك U-Net، و SA-UNet، و SegFormer، و Swin-UNet، و Mobile-UNETR) على مجموعتي بيانات:

S2DS المعززة (واجهات المباني، 7 فئات):
- حقق DeltaSeg أعلى Defect mIoU بنسبة 70.46% و F1-score بنسبة 83.99%.
- تفوق على ثاني أفضل طريقة (SA-UNet) وتجاوز بشكل كبير النماذج القائمة على المحولات (على سبيل المثال، سجل Swin-UNet نسبة 18.13% فقط بسبب الفشل في التعامل مع الفئات النادرة).
- لوحظت تحسينات ملحوظة في الفئات النادرة مثل النباتات (Vegetation) بنسبة (63.22% IoU) ونقاط التحكم (Control Points).
CSDD (العبارات/المجاري، 9 فئات):
- حقق DeltaSeg أعلى Defect mIoU بنسبة 76.75% و F1-score بنسبة 87.61%.
- تفوق على UNet3+ و SA-UNet بفوارق واضحة، خاصة في العيوب المعقدة هندسياً مثل تغلغل الجذور والتشوه.
دراسة الاستئصال (Ablation Study):
- أدى إزالة وحدة DDA الكاملة (DeltaSeg-V1) إلى انخفاض الأداء بشكل كبير، مما يؤكد أن DDA هو المحرك الرئيسي للنجاح.
- استبدال SE بانتباه الإحداثيات في فك التشفير (V2 $\to$ Full) وفر أكبر مكسب، مما يسلط الضوء على أهمية الوعي المكاني الاتجاهي لدقة الحدود.
الكفاءة: رغم الدقة العالية، فإن DeltaSeg خفيف الوزن (7.14 مليون معلمة)، وهو أصغر بكثير من U-Net (31.04 مليون) و UNet3+ (25.59 مليون).

5. الأهمية

يمثل DeltaSeg تقدماً كبيراً في مراقبة الصحة الهيكلية (SHM) من خلال معالجة القيود المحددة لنماذج التجزئة العامة عند تطبيقها على البنية التحتية.

التعميم: يثبت أنه يمكن لبنية واحدة التعامل بفعالية مع مختلف الهندسات الهيكلية (المسطحة مقابل الأسطوانية) وظروف التصوير دون إعادة تدريب.
الدقة: تحل وحدة DDA تحديداً مشكلة "الفجوة الدلالية" في وصلات التخطي، مما يؤدي إلى تحديد حدود متفوق للعيوب النحيفة وغير المنتظمة.
العملية: كفاءة النموذج (عدد قليل من المعلمات) تجعله مناسباً للنشر على الأجهزة الطرفية (الطائرات بدون طيار، الروبوتات) للفحص الميداني في الوقت الفعلي، وهو مطلب حيوي لصيانة البنية التحتية القابلة للتوسع.

في الختام، توضح الورقة أن مطابقة آليات الانتباه المحددة لمراحل الشبكة المحددة و تنقية وصلات التخطي باستخدام مؤثرات دلتا المكتسبة يحقق أداءً يضاهي أحدث ما توصل إليه العلم في تجزئة العيوب الهيكلية متعددة الفئات.