Compass: Degradation-Simulated Reciprocal Learning with Lightweight Needle RWKV for Multimodal Crack Segmentation under Missing Modalities
تقدم هذه الورقة البحثية Compass، وهو إطار عمل خفيف الوزن لتجزئة الشقوق متعدد الوسائط يستخدم تقنية تقطير محاكاة التدهور (Degradation Simulation Distillation)، وهيكل Needle RWKV، ودمج الأدلة الحافظ للطبولوجيا (Evidential Topology-Preserving Fusion) لتحقيق أداء رائد في ظل ظروف فقدان الوسائط التعسفية مع الحفاظ على تكلفة حوسبة منخفضة.
تخيل أنك محقق تحاول حل لغز ما، لكن فريقك يفتقد بعض الأدلة الحاسمة. ربما تكون عدسة الكاميرا مشروخة، أو الميكروفون معطلاً، أو مستشعر الحرارة ضبابياً. في عالم الذكاء الاصطناعي، هذه مشكلة شائعة تُعرف باسم "الأنماط المفقودة" (missing modalities). تعتمد أنظمة الذكاء الاصطناعي غالباً على أنواع متعددة من البيانات — مثل صورة عادية (RGB)، أو خريطة حرارية (الأشعة تحت الحمراء)، أو مسح ثلاثي الأبعاد للعمق. وعندما يختفي أحد تدفقات البيانات أو يتعرض للتلف، يصاب العديد من أنظمة الذكاء الاصطناعي بالارتباك ويفشل في أداء مهمته. وهذا أمر بالغ الأهمية للسلامة، خاصة عندما نتحدث عن اكتشاف الشقوق الصغيرة في الجسور أو الطرق أو المباني. فإذا فات نظام الذكاء الاصطناعي رصد شق بسبب تعطل أحد المستشعرات، فقد تكون العواقب خطيرة. والهدف إذن هو بناء ذكاء اصطناعي يتسم بصلابة المحقق المخضرم: واحد يمكنه حل القضية حتى لو فُقد نصف أدلته، ولا يحتاج إلى حاسوب خارق للقيام بذلك.
هنا يأتي دور نظام جديد يسمى Compass. فكر في Compass كإنسان آلي ذكي وخفيف الوزن، مصمم خصيصاً للعثور على الشقوق في الهياكل الصناعية، حتى عندما تتعطل مستشعراته. أدرك الباحثون وراء Compass أن معظم نماذج الذكاء الاصطناعي تشبه الطلاب الذين لا يدرسون للاختبار إلا إذا كانت جميع كتبهم المدرسية متوفرة؛ فإذا سحبت منهم نصف الكتب، يصابون بالذعر. أما Compass، فقد تم تدريبه بشكل مختلف. فهو يستخدم حيلة ذكية تسمى "التعلم التبادلي المحاكي للتدهور" (Degradation-Simulated Reciprocal Learning). تخيل طالباً يتدرب للاختبار عبر محاولة رمي ملاحظاته عمداً ومحاولة حل المسائل من الذاكرة، بينما يساعده صديق يمتلك الملاحظات. يتبادل الاثنان الأدوار، حيث يعلم كل منهما الآخر كيفية التعامل مع المعلومات المفقودة. وبهذه الطريقة، عندما يأتي الاختبار الحقيقي ويفشل أحد المستشعرات، لا يتجمد الذكاء الاصطناعي؛ بل يعرف تماماً كيفية ملء الفجوات.
يقدم البحث Compass كشبكة "خفيفة الوزن"، مما يعني أنها صغيرة وسريعة بما يكفي لتعمل على الأجهزة المحمولة، مثل الحواسيب الموجودة داخل طائرة بدون طيار (درون) أو سيارة ذاتية القيادة. وهو يستخدم هيكلاً أساسياً خاصاً يسمى "Needle RWKV". إذا تخيلت أن الذكاء الاصطناعي القياسي يحاول رؤية الشق كأنه ينظر إلى غرفة كاملة دفعة واحدة، فإن Needle يشبه آلة لضم الخيط تركز تحديداً على المسارات الطويلة والنحيفة والمتعرجة للشقوق، متجاهلة بقية الخلفية. لقد صُمم ليفهم أن للشقوق اتجاهاً وشكلاً، وهو يتبعها مثل الخيط.
ولدمج كل قطع المعلومات المختلفة معاً، يستخدم Compass ما يسمى "الدمج الحفاظ على الطبوغرافيا المدعوم بالأدلة" (Evidential Topology-Preserving Fusion). فكر في هذا كاجتماع فريق حيث يبلغ كل مستشعر عما يراه، لكنهم يحددون أيضاً مدى ثقتهم في ذلك. إذا كان مستشعر العمق ضبابياً (بيانات مفقودة)، فإنه يقول: "أنا لست متأكداً"، وبالتالي يستمع النظام أكثر إلى كاميرا الأشعة تحت الحمراء الواضحة. لكنه لا يختار فقط الصوت الأعلى؛ بل يستخدم قاعدة رياضية (نظرية ديمبستر-شيفر) لدمج آرائهم بطريقة تحافظ على الشق كخط مستمر، وليس كمجموعة قطع متقطعة.
النتائج مثيرة للإعجاب حقاً. اختبر الباحثون Compass على ثلاثة مجموعات بيانات تحتوي على صور للشقوق. وفي أحد الاختبارات القصوى، قاموا بإزالة 90% من بيانات العمق (أي جعل مستشعر ثلاثي الأبعاد غير مفيد تقريباً). وحتى مع هذا العجز الهائل، تمكن Compass من العثور على الشقوق بدرجة F1 بلغت 0.8216 ومتوسط تقاطع فوق الاتحاد (mIoU) قدره 0.8434. ولو وضعت هذا في الاعتباره، ستجد أن الطرق الرائدة الأخرى واجهت صعوبات كبيرة تحت نفس الظروف، وغالباً ما كانت تُجزئ الشقوق إلى قطع صغيرة غير قابلة للتمييز. لقد فعل Compass كل هذا باستخدام 2.58 مليون معلمة فقط، مما يجعله فعالاً للغاية مقارنة بنماذج أخرى أكبر بمئات المرات.
يجادل البحث صراحة ضد الأساليب التي تحاول "توليد" البيانات المفقودة من الصفر أو استخدام نماذجه الضخمة والثقيلة التي تتطلب خوادم ضخمة. ويرى المؤلفون أن هذه النهج بطيئة جداً للاستخدام في العالم الحقيقي، وغالباً ما تفشل عندما تكون البيانات المفقودة شديدة. بدلاً من ذلك، يوضحون أنه من خلال محاكاة أسوأ السيناريوهات أثناء التدريب واستخدام هيكل أساسي ذكي مدرك للاتجاه، يمكنك بناء نظام يتسم بالمتانة والسرعة في آن واحد. لم يكتفوا بالتخمين بأن هذا سينجح، بل قاموا بقياس ذلك بدقة عبر مجموعات بيانات مختلفة ونسب فقدان متفاوتة، مما أظهر أن Compass يتفوق باستمرار على أحدث الأساليب الحالية مع استخدام جزء ضئيل من قدرة الحوسبة. إنها خطوة نحو جعل الذكاء الاصطناعي قادراً بالفعل على النجاة في العالم الحقيقي الفوضوي وغير المثالي.
ملخص تقني: Compass: التعلم المتبادل المحاكي للتدهور باستخدام RWKV خفيف الوزن لتقسيم الشقوق متعدد الوسائط تحت ظروف فقدان الوسائط
بيان المشكلة يعد تقسيم الشقوق البصري متعدد الوسائط أمراً بالغ الأهمية لمراقبة الصحة الهيكلية في المنشآت الصناعية والمدنية، حيث يوفر متانة ضد تغيرات الإضاءة والتداخل في الخلفية من خلال دمج البيانات من أجهزة الاستشعار الحرارية بالأشعة تحت الحمراء، والاستقطاب، والعمق. ومع ذلك، تفترض الطرق الحالية عموماً توافر الوسائط بالكامل. وفي عمليات النشر في العالم الحقيقي، تتسبب أعطال المستشعرات وانقطاعات الإرسال في فقدان عشوائي جزئي أو كامل للوسائط. وتكافح النهج الحالية هذا الواقع: فالطرق القائمة على التوليد (generation-based) تفرض عبئاً حسابياً باهظاً يمنع نشرها عند الحافة (edge deployment)، بينما تعاني الاستراتيجيات غير التوليدية غالباً من انهيار التمثيل (representation collapse) في سيناريوهات الفقدان الشديدة. علاوة على ذلك، تربط الطرق الموجودة عادةً بين التعلم الدلالي والتكيف مع التدهور في تدفق تدريبي واحد، مما يؤدي إلى صراعات في التدرج (gradient conflicts) تحد من الأداء تحت نسب الفقدان الشديدة. بالإضافة إلى ذلك، تفشل تصميمات العمود الفقي (backbone) الفعالة غالباً في نمذجة الأنسجة متباينة الخواص (anisotropic textures) للشقوق (التي لها اتجاهات عشوائية وتفرعات غير منتظمة) في ظل ميزات حسابية صارمة، كما تفتقر آليات دمج الوسائط المتعددة غالباً إلى التكميم الصريح لعدم اليقين والحفاظ على الاتصال الطوبولوجي.
المنهجية يقترح المؤلفون Compass، وهو شبكة خفيفة الوزن مصممة لتقسيم الشقوق القوي تحت ظروف فقدان الوسائط التعسفي. تدمج البنية ثلاثة مكونات أساسية:
التقطير المحاكي للتدهور (DSD): لفصل الإدراك الكامل عن التكيف مع التدهور، يستخدم Compass إطار تعلم متبادل ثنائي المسار.
المسار الأصلي: يعالج الميزات المتاحة ويستكمل الوسائط المفقودة باستخدام ناقل النماذج الأولية المدرك للميزات (FAPT).
مسار محاكاة التدهور: يقوم بتعمد حجب وسيط إضافي متاح لمحاكاة ظروف فقدان أكثر شدة.
التعلم المتبادل: يشترك المساران في عملية تقطير متبادل؛ حيث يوجه المسار الأصلي مسار التدهور عبر الملصقات الناعمة (soft labels)، بينما يعمل مسار التدهور على تنظيم المسار الأصلي لمنع الإفراط في التخصيص (overfitting) لمجموعات محددة من الوسائط.
FAPT: يستخدم نماذج أولية دلالية قابلة للتعلم ومستقلة عن الوسائط لإجراء استكمال للميزات موجه بالنماذج الأولية، مما يضمن السلامة الدلالية حتى عند غياب وسيط معين تماماً.
كتلة الإبرة (Needle Block - العمود الفقري خفيف الوزن): بناءً على بنية RWKV، تم تصميم كتلة Needle لنمذجة هيكلية الشقوق.
التعديل المشروط بالهندسة (GCM): يحقن إشارات اتجاه الشقوق في تعديل مفتاح WKV، حيث يقدر اتجاه الشق ويعدل متجه المفتاح (Key vector) لتعزيز انتشار المعلومات على طول اتجاهات الشقوق مع الحفاظ على الاضمحلال القياسي للمناطق الخلفية، مما يخلق فعلياً مجال استقبال متباين الخواص (anisotropic receptive field).
بوابة الوعي بالاتصال (CohGate): تطبق بوابة واعية بالهيكل فوق جوار محلي لتشجيع التنشيط المشترك في مناطق الشقوق المتصلة وتثبيط الضوضاء المعزولة.
المسبار الموجه متباين الخواص (AGP): يستخدم اختيار سياق مكاني متعدد المقاييس موجه بالتباين الموضعي لالتقاط هياكل الشقوق ذات العروض المتفاوتة بشكل تكيفي.
الدمج الطوبولوجي القائم على الأدلة (ETPF): يعالج دمج الميزات غير المتجانسة تحت حالة عدم اليقين.
نظرية أدلة دمبستر-شيفر (Dempster-Shafer): تقوم بخرائط الميزات الوسيطية إلى معاملات أدلة ديريكليه (Dirichlet) لاستخلاص الاعتقاد وعدم اليقين. يتم دمج الأدلة متعددة الوسائط باستخدام قاعدة دمبستر-شيفر، مع بوابة مزج قابلة للتعلم لتثبيت التدريب.
انتشار الأدلة متباين الخواص: ينشر الاعتقاد على طول اتجاهات الشقوق باستخدام تلافيف (convolutions) اتجاهية للحفاظ على الاتصال الطوبولوجي.
فك التشفير الموجه بعدم اليقين: يعمل على تثبيط الميزات غير الموثوقة من الوسائط المتدهورة أثناء عملية فك التشفير من خلال تعديل وصلات التخطي (skip connections) بتقديرات عدم اليقين.
المساهمات الرئيسية
بنية Compass: شبكة Needle RWKV خفيفة الوزن مصممة خصيصاً لتقسيم الشقوق متعدد الوسائط تحقق دقة عالية مع عبء حسابي منخفض للغاية.
التعلم المتبادل المحاكي للتدهر: نموذج تدريبي مبتكر يتكيف استباقياً مع الوسائط المفقودة من خلال التقطير ثنائي المسار وFAPT، متجنباً صراعات التدرج في النهج أحادية المسار.
النمذجة الواعية بالهيكل: تقدم كتلة Needle تقنية GCM لحقن إشارات اتجاه الشقوق في نمذجة التسلسل، مما يسمح بانتشار متكيف مع الاتجاه دون تغيير التعقيد الخطي للعمود الفقري.
الدمج الواعي بعدم اليقين: يجمع ETPF بين نظرية دمبستر-شيفر والانتشار متباين الخواص وبوابة عدم اليقين للحفاظ على طوبولوجيا الشقوق مع تثبيط الإشارات غير الموثوقة من الوسائط المفقودة.
النتائج التجريبية أُجريت التجارب على ثلاثة مجموعات بيانات: IRTCrack (RGB-حراري)، وCrackDepth (RGB-عمق)، وCrackPolar (RGB-استقطاب)، تغطي مدخلات ثنائية، ثلاثية، وسباعية الوسائط.
الأداء تحت فقدان الوسائط: يتفوق Compass باستمرار على الطرق الرائدة (مثل CMX، CMNeXT، LIDAR، VRWﺐ) عبر مختلف نسب الفقدان. بشكل ملحوظ، في مجموعة بيانات CrackDepth مع فقدان 90% من وسيط العمق، حقق Compass قيمة F1 قدرها 0.8216 وmIoU قدرها 0.8434. وفي سيناريوهات فقدان الوسائط الثلاثية المتطرفة (معدلات فقدان 90%، 30%، 70%)، حقق Compass تحسناً في F1 بنسبة 67.93% عن LIDAR.
الكفاءة: يظهر Compass كفاءة حسابية فائقة. بالنسبة للمدخلات ثنائية الوسائط، يستخدم 2.58 مليون معلمة فقط و29.38 جيجا فلوب (FLOPs)، وهو أقل بكثير من المنافسين مثل PrimKD (615.64 مليون معلمة) وLIDAR (5.35 مليون معلمة). وحتى مع المدخلات سباعية الوسائط، يظل حجم النموذج ثابتاً عند 58 ميجابايت.
أداء الوسيط الواحد: عندما يتوفر مدخل RGB فقط، لا يزال Compass يتفوق على طرق الوسيط الواحد الرائدة (مثل SCSegamba) مع الحفاظ على تكاليف حسابية أقل.
النشر في العالم الحقيقي: سجلت الورقة نجاح النشر على منصة حوسبة حافة (NVIDIA Jetson Orin NX) متكاملة مع نظام طائرة بدون طيار (UAV)، مما أظهر قدرات استدلال في الوقت الفعلي ومتانة في البيئات الخارجية الديناميكية مع فقدان 90% من العمق.
الأهمية والادعاءات تدعي الورقة أن Compass يعالج الفجوة الحرجة في التقسيم متعدد الوسائط حيث تكون بيانات المستشعرات غير مكتملة. ومن خلال التحول من التعويض السلبي إلى التكيف النشط عبر محاكاة التدهور، يحقق النموذج المتانة دون التكلفة الحسابية الثقيلة للنماذج التوليدية. ويؤكد المؤلفون أن دمج النماذج الأولية المستقلة عن الوسائط (FAPT) ونمذجة التسلسل الموجهة بالاتجاه (Needle) يسمح للنظام بإعادة بناء السلامة الدلالية والحفاظ على الاتصال الطوبولوجي حتى عند فقدان ما يصل إلى 90% من الوسيط. يضع هذا العمل Compass كحل قابل للتطبيق لعمليات النشر عند الحافة في الصناعات محدودة الموارد، حيث يوفر توازناً بين الدقة العالية، والنزاهة الهيكلية، وزمن الانتقال المنخفض. وقد تمت الإشارة إلى أن العمل المستقبلي سيركز على دمج تقدير عدم اليقين من ETPF في أطر التعلم النشط لتقليل الاعتماد على مجموعات البيانات الكبيرة الموسومة.