Multi-Modal Building Inspection via Perceiver IO Fusion of Satellite and Street-Level Imagery

ملخص تقني: فحص المباني متعدد الوسائط عبر دمج صور الأقمار الصناعية وصور مستوى الشارع باستخدام Perceiver IO

بيان المشكلة
تتطلب عملية صيانة وتأمين البيئة العمرانية على نطاق وطني معرفة تفصيلية بخصائص المباني الفردية، مثل مواد الأسطح أو العناصر الهيكلية. وتعد عمليات الفحص اليدوي التقليدية مكلفة وبطيئة وتنتج انبعاثات كربونية كبيرة. وبينما توفر الاستشعار عن بُعد بديلاً قابلاً للتوسع، إلا أن الاعتماد حصرياً على صور الأقمار الصناعية يحد من التحليل بالخصائص المرئية من الأعلى فقط، مما يؤدي إلى فقدان التفاصيل الحرجة للواجهات. وعلى العكس من ذلك، توفر صور مستوى الشارع رؤى قريبة للواجهات والمواد، لكنها تعاني من مشكلات الحجب، وتغطية متغيرة، وزوايا كاميرا غير متسقة. ويكمن التحدي الجوهري في دمج هذه الوسائط المتباينة (صور الأقمار الصناعية وصور مستوى الشارع) في إطار عمل موحد يمكنه التعامل مع عدد متغير من مدخلات مستوى الشارع لكل مبنى، وعزل الهيكل المستهدف عن محيطه دون فقدان الإشارات السياقية، والتنبؤ المشترك بخصائص السقف متعددة الملصقات.

المنهجية
يقترح المؤلفون إطار عمل للتصنيف متعدد الوسائط يرتكز على بنية Perceiver IO التي تعمل على توكنات الرقع المكانية (spatial patch tokens) المستمدة من نموذج أساسي مشترك هو DINOv2.

• بناء مجموعة البيانات: تم بناء مجموعة بيانات واسعة النطاق تضم 32,135 مبنى (61,672 جزءاً من الأسطح) عبر عشر دول. كل جزء مقترن بصورة قمر صناعي واحدة وعدد متغير من مشاهد مستوى الشارع (بمتوسط 4.54 لكل جزء، وبحد أقصى 8 عينات أثناء التدريب). تدعم مجموعة البيانات مهمتين متعددتي الملصقات: تحديد ستة عناصر للسقف (مثل الألواح الشمسية، والعلّيات/dormers) وسبع مواد للأسطح (مثل الأردواز، والبيتومين).
• استراتيجيات الحجب (Masking): لعزل المبنى المستهدف، تم تقييم أربع استراتيجيات: (1) الصورة الكاملة، (2) القص القاسي (تصفير الخلفية)، (3) القص المعكوس (تصفير المبنى)، و(4) RGB-M، حيث يتم إلحاق قناع بصمة المبنى الثنائي كقناة رابعة للمدخلات. وُجد أن استراتيجية RGB-M توفر "أولوية مكانية ناعمة" (soft spatial prior)، مما يسمح للنموذج بالتركيز على المبنى مع الاحتفاظ بالسياق البيئي، وهي تتفوق على القص القاسي الذي يخل بإحصائيات الرقعة (patch statistics) المدربة مسبقاً.
• النموذج الأساسي والضبط الدقيق: تقارن الدراسة بين ResNet-50 وDINOv2-S. وتشير النتائج إلى أن الضبط الدقيق الكامل لـ DINOv2-S يتفوق بشكل كبير على الاختبار الخطي (linear probing) والضبط الدقيق الجزئي، مما يشير إلى أن التحول في النطاق (domain shift) من الصور الطبيعية إلى صور المباني الجوية/مستوى الشارع يتطلب تحديث طبقات الميزات المبكرة.
• بنية الدمج: تمت مقارنة ثلاث استراتيجيات للدمج:
  1. التسلسل (Concatenation): دمج ناقلات الميزات العالمية من صور الأقمار الصناعية ومشاهد مستوى الشارع المجمعة بالحد الأقصى (max-pooled).
  2. محول ناقل الميزات (Feature Vector Transformer): معالجة تسلسل من الناقلات العالمية باستخدام مشفر المحول (transformer encoder).
  3. Perceiver IO: تعالج الطريقة المقترحة توكنات الرقع المكانية الخام من كلا الوسيطين. تستخدم آلية الانتباه المتقاطع (cross-attention) لضغط تسلسل متغير الطول (من صورة قمر صناعي واحدة و $N$ من صور مستوى الشارع) إلى تمثيل كامن ثابت الحجم. يحافظ هذا على المعلومات الدقيقة على مستوى الرقعة ويتعامل طبيعياً مع أعداد المدخلات المتغيرة دون الحاجة للحشو (padding) أو الاقتطاع (truncation).

النتائج الرئيسية

• الحجب: حققت استراتيجية RGB-M أفضل أداء باستمرار عبر كلا الوسيطين والنموذجين الأساسيين، حيث حققت 0.939 mAP لعناصر السقف و0.729 لمواد السقف على صور الأقمار الصناعية باستخدام DINOv2-S.
• أداء الدمج: تفوق نموذج دمج Perceived IO على كل من نماذج التسلسل (Concatenation) ونماذج Feature Vector Transformer المرجعية. وبينما احتفظ النموذج المرجعي المعتمد على الأقمار الصناعية فقط بميزة طفيفة في متوسط mAP الكلي (بسبب الفئات مثل المناور والبيتومين التي تُرى بشكل أفضل من الأعلى)، إلا أن نموذج Perceiver IO قدم تحسينات ملحوظة لكل فئة للخصائص المرئية من الشارع. شملت التحسينات البارزة +11.3 AP للأردواز (slate)، و**+4.5 AP للزجاج (glass)، و+1.3 AP للعلّيات (dormers)**.
• حساسية البنية: وُجد أن أداء Perceiver IO أكثر حساسية لأبعاد المتجه الكامن ($D_z$) منه لعدد المتجهات الكامنة ($N_z$). وقد وفر التكوين $N_z=128$ و $D_z=512$ أفضل توازن.
• تحليل الانتباه: أكدت تصورات Grad-CAM أن استراتيجية RGB-M تنتج أنماط انتباه متوازنة، حيث تركز على المبنى مع استخدام سياق الحدود. وعلى العكس من ذلك، بالنسبة لفئات مثل المداخن، كان الانتباه أحياناً مشتتاً، مما يشير إلى أن النموذج قد يعتمد على اختصارات سياقية بدلاً من التحديد المباشي للموقع.

الأهمية والادعاءات
تؤسس الورقة لبنية متعددة الوسائط قابلة للتوسع ومرنة لفحص المباني، قادرة على استيعاب مدخلات متباينة ومهام متعددة المخرجات. ويدعي المؤلفون أن عملهم يختلف عن الأعمال السابقة من خلال الدمج عند مستوى التوكن المكاني بدلاً من مستوى ناقل الميزات، مما يحافظ على التفاصيل الدقيقة. علاوة على ذلك، يسمح استخدام Perceiver IO بالتعامل الطبيعي مع الأعداد المتغيرة من مشاهد مستوى الشارع دون تدهور في الأداء.

تخلص الدراسة إلى أن الدمج متعدد الوسائط يكون أكثر قيمة عندما توفر الوسائط رؤى متكاملة حقاً. وبينما يظل نموذج الأقمار الصناعية فقط متفوقاً في المقاييس المتوسطة الكلية (بسبب انتشار الفئات التي تُرى من الأعلى)، فإن نهج الدمج يعزز بشكل كبير اكتشاف الخصائص المحددة لمستوى الشارع. ويقترح المؤلفون أن العمل المستقبلي يمكن أن يتضمن تشفير البيانات الوصفية للكاميرا كتمثيلات هندسية، واستخدام البنية القائمة على التوكنات لعمليات الحجب على مستوى الرقعة، وتوسيع الإطار ليشمل التعلم متعدد المهام (التقطيع والانحدار).