💻 computer science

Joint Instance Segmentation and Geometric Attribute Regression for Roof Structures in Aerial Imagery

تقدم هذه الورقة طريقة توسع نموذج Mask R-CNN للقيام بشكل مشترك بتجزئة الأسطح على مستوى المثيل وتراجع الخصائص الهندسية (الارتفاع، والميل، والسمت) من صور جوية فردية، وذلك باستخدام فقدان سمت شرطي وتمثيل ارتفاع لوغاريتمي طبيعي لتحقيق إعادة بناء دقيقة لنماذج المباني ثلاثية الأبعاد دون الحاجة إلى بيانات ثلاثية الأبعاد وقت الاستدلال.

المؤلفون الأصليون: Luuk Versteeg, Rob G. J. Wijnhoven, Martin R. Oswald

نُشر 2026-05-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Luuk Versteeg, Rob G. J. Wijnhoven, Martin R. Oswald

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة عالية الدقة لمدينة التُقطت من مروحية. الآن، تخيل أنك تريد معرفة الشكل الدقيق، والارتفاع، وميل كل سقف من أسقف المباني في تلك الصورة دون أن تغادر مقعدك أو تزور الموقع أبدًا. هذا هو بالضبط ما تصفه هذه الورقة البحثية: برنامج حاسوبي ذكي ينظر إلى صورة جوية واحدة و"يقيس" المباني التي يراها فورًا.

إليك شرح مبسط لكيفية قيامهم بذلك، باستخدام بعض التشبيهات من الحياة اليومية.

الفكرة الكبرى: "المهندس المعماري ذو الخطوة الواحدة"

عادةً، لبناء نموذج ثلاثي الأبعاد لمدينة ما، تحتاج إلى ماسحات ضوئية ليزرية باهظة الثمن (LiDAR) تُحلق فوق المنطقة، أو تحتاج إلى زيارة كل مبنى واستخدام شريط قياس. تقول هذه الورقة: "لا حاجة لكل تلك المعدات المكلفة".

لقد بنوا نظامًا يتعلم من عدد قليل من الخرائط ثلاثية الأبعاد المكلفة (تحديدًا من هولندا) ثم يطبق تلك المعرفة على صور ثنائية الأبعاد عادية. فكر في الأمر كطالب يدرس بعض المخططات التفصيلية في مكتبة، ثم عندما يُعرض عليه رسم بسيط لمنزل، يمكنه تخمين ارتفاعه ومدى انحدار سقفه بدقة. بمجرد أن يتعلم الطالب الدرس، لا يحتاج إلى المخططات بعد الآن؛ بل يحتاج فقط إلى الرسم البسيط.

كيف يعمل النظام

أخذ الباحثون أداة رؤية حاسوبية قياسية (تسمى Mask R-CNN، وهي جيدة في إيجاد وتحديد الأجسام) ومنحوها "قوة خارقة": فرعًا دماغيًا جديدًا مخصصًا لتخمين الأرقام.

التحديد (Segmentation): أولاً، يرسم النظام "قناعًا" حول كل سقف يراه، ليفصل كل منزل عن جاره.
القياسات (Regression): بعد ذلك، لكل سقف قام بتحديده، يتنبأ بثلاثة أشياء:
- الارتفاع: ما هو ارتفاع المبنى؟
- الميل (Slope): ما مدى انحدار السقف؟ (هل هو مسطح مثل الفطيرة أم شديد الانحدار مثل المنزلق؟)
- الاتجاه (Azimuth): في أي اتجاه يواجه السقف؟ (شمال، جنوب، شرق، أو غرب؟)

"الخدعتان الذكيتان" اللتان ابتكراهما

تسلط الورقة الضوء على حيلتين ذكيتين استخدمتا لجعل النظام أكثر ذكاءً بكثير من المحاولات السابقة.

1. خدعة "تجاهل السقف المسطح" (Conditional Azimuth Loss)

المشكلة: إذا نظرت إلى سقف مسطح من الأعلى، فإنه لا يمتلك "اتجاهًا". إنه مجرد سطح مستوٍ. ومع ذلك، فإن البيانات التي استخدموها لتدريب الذكاء الاصطناعي (تسمى 3DBAG) أعطت هذه الأسقف المسطحة بالخطأ اتجاهات بوصلة عشوائية (مثل "شمال" أو "جنوب") لمجرد أن الكمبيوتر كان عليه اختيار شيء ما.
التشبيه: تخيل أنك تحاول تعليم كلب أن يشير إلى الشمال. إذا قلت للكلب "أشر إلى الشمال" وهو يجلس على طاولة مسطحة، ثم قلت له "أشر إلى الجنوب" وهو على نفس الطاولة بعد خمس دقائق، فسيصاب الكلب بالارتباك.
الحل: أخبر الباحثون الذكاء الاصطناعي: "إذا كان السقف مسطحًا، فتجاهل اتجاه البوصلة تمامًا". ومن خلال منع الذكاء الاصطنانا من محاولة التعلم من هذه الاتجاهات العشوائية والمربكة، انخفض الخطأ في تخمين اتجاه السقف بنسبة تقارب النصف.

2. خدعة "سجل الملاحظات" (Log-Normalized Height)

المشكلة: معظم المنازل قصيرة (ربما من 3 إلى 9 أمتار)، لكن هناك بعض ناطحات السحاب أو أبراج الكنائس (أكثر من 100 متر). إذا طلبت من الكمبيوتر تعلم الارتفاعات بشكل طبيعي، فسيصبح مهووسًا بالأبراج العملاية القليلة وينسى آلاف المنازل الصغيرة. الأمر يشبه معلمًا يصحح اختبارًا لفصل دراسي حيث حصل طالب واحد على 1000 والبقية حصلوا على 5؛ سيركز المعلم فقط على الـ 1000.
التشبيه: بدلًا من قياس الارتفاع بالأمتر المستقيمة، استخدموا مقياسًا "لوغاريتميًا". فكر في الأمر مثل مقياس ريختر للزلازل: القفزة الصغيرة في الرقم تمثل قفزة هائلة في الواقع. هذا يضغط الأرقام الضخمة بحيث يعطي الكمبيوتر اهتمامًا متساويًا للمنازل الصغيرة والبيوت الكبيرة.
النتيجة: جعل هذا توقعات الارتفاع أكثر دقة بنسبة 17%.

ما مدى جودة النتائج؟

تم اختبار النظام على أكثر من 17,000 صورة جوية لمدن هولندية. وإليك كيف كان أداؤه:

اتجاه السقف: خمن اتجاه البوصلة بدقة تصل إلى حوالي 7 درجات (تقريبًا عرض إصبعك الصغير عند مد ذراعك بالكامل).
ميل السقف: خمن الزاوية بدقة تصل إلى حوالي 4 درجات.
الارتفاع: خمن الارتفاع بدقة تصل إلى حوالي متر واحد (تقريبًا طول شخص بالغ طويل القامة).
إيجاد الأسقف: نجح في تحديد حوالي 56% من الأسقف بشكل مثالي (وهي درجة قوية جدًا لهذا النوع من المهام المعقدة).

العيوب (القيود)

الورقة البحثية صريحة بشأن المواضع التي يعاني فيها النظام:

الأشكال المربكة: إذا كان السقف ينحدر للداخل من جميع الجوانب (مثل الهرم)، فقد يرتبك النظام أحيانًا بشأن الاتجاه الذي يواجهه لأنه يمتلك صورة واحدة فقط.
البيانات القديمة: أحيانًا تظهر الصورة منزلًا جديدًا، لكن بيانات التدريب تقول إن هناك حظيرة قديمة في ذلك المكان. قد يتم معاقبة النظام لأنه كان على حق لأن "الحقيقة الأرضية" (البيانات المرجعية) كانت خاطئة.
غياب العمل الجماعي: يعامل النظام كل سقف كجزيرة مستقلة. فهو لا يدرك أن منزلين بجانب بعضهما البعض عادة ما يكون لهما ارتفاعات متشابهة؛ بل يخمنهما بشكل مستقل، مما قد يؤدي إلى عدم اتساق غريب.

الخلاصة

تثبت هذه الورقة البحثية أنك لست بحاجة إلى ليزرات ثلاثية الأبعاد باهظة الثمن للحصول على فهم ثلاثي الأبعاد جيد للمدينة. إذا كان لديك صورة جوية عالية الجودة، يمكن لهذا الذكاء الاصطناعي بناء نموذج ثلاثي الأبعاد مبسط للمباني، مع الارتفاع وزوايا السقف. وهذا أمر بالغ الأهمية لأن الصور الجوية متاحة في كل مكان، مما يجعل من الممكن تحليل هندسة المباني لأشياء مثل تخطيط الطاقة الشمسية أو مخاطر التأمين على نطاق واسع.

ملخص تقني: التجزئة الفورية للنماذج والارتباط الهندسي للسمات في هياكل الأسطح ضمن الصور الجوية

بيان المشكلة
تعد المعرفة الهندسية الدقيقة للبيئة العمرانية — وتحديداً ارتفاع المباني، وميل السقف، والاتجاه (السمت/الأزيموث) — أمراً بالغ الأهمية للتخطيط المستدام، وتقييم الطاقة، وتقييم مخاطر التأمين، وإدارة المساكن. ومع ذلك، فإن الحصول على هذه البيانات على نطاق وطني يعد تحدياً كبيراً. وبينما يوفر تقنية "ليدار" (LiDAR) نماذج ثلاثية الأبعاد دقيقة، إلا أنها مكلفة وغير متكررة. كما أن الفحص اليدوي لا يمكن توسيعه ليشمل نطاقات واسعة. وتعتبر الطرق الحالية القائمة على التعلم تركز غالباً على سمة واحدة (مثل الارتفاع فقط) أو تعمل على المستوى الدلالي بدلاً من مستوى "النماذج الفردية" (instance level)، مما يؤدي إلى الفشل في تمييز أجزاء متعددة من الأسطح في مبنى واحد. علاوة على على ذلك، تتطلب العديد من النهج صوراً متعددة الزوايا أو ظروف استحواذ محددة مما يحد من قابليتها للتطبيق.

المنهجية
يقترح المؤلفون طريقة للتنبؤ المشترك بأقنعة نماذج أجزاء الأسطح (instance-level roof segment masks) وثلاث سمات هندسية مستمرة (ارتفاع المبنى، ميل السقف، وسمت السقف) من صورة جوية أورثوفوتوغرافية واحدة.

البنية الهندسية: تمدد المنهج إطار عمل Mask R-CNN عبر فرع مخصص لـ ارتباط السمات (Attribute Regression Branch).
- العمود الفقري (Backbone): يستخدم النموذج عموداً فقرياً من نوع DINOv3 ConvNeXt-Base، والذي يستفيد من التدريب المسبق ذاتي الإشراف عبر تقنية "تقطير المعرفة". وقد وُجد أن هذا يتفوق بشكل كبير على ResNet-50 و EfficientNetV2-M، لا سيما في توليد حدود دقيقة للأقنعة.
- استخراج الميزات: تقوم شبكة الهرم الميزاتي (FPN) باستخراج الميزات. ويشارك فرع السمات ميزات 7×7 المتوافقة مع المنطقة المقترنة (RoI-aligned) مع فروع التصنيف وصندوق الإحاطة.
- المخرجات: لكل جزء سطح مكتشف، تخرج الشبكة قناعاً ثنائياً، وصندوق إحاطة، وثلاث سمات: الارتفاع ( $h$ )، وزاوية الميل ( $\alpha$ )، والسمت ( $\phi$ ). يتم ترميز السمت كمتجه وحدة ثنائي الأبعاد $(\cos \phi, \sin \phi)$ للتعامل مع الانقطاع الدائري.
مجموعة البيانات: تم تدريب النموذج وتقييمه على مجموعة بيانات ضخمة مكونة من 17,353 صورة جوية هولندية (بدقة 8 سم/بكسل). تم استخلاص الحقيقة الأرضية تلقائياً من 3DBAG، وهو مجموعة بيانات وطنية لإعادة بناء المباني بمستوى تفصيل LoD2.2 تجمع بين المساقط العقارية والرفع الجوي بالليدار (AHN). تحتوي مجموعة البيانات على أكثر من مليوني تسمية للنماذج الفردية.
الابتكارات التقنية الرئيسية:
1. خسارة السمت الشرطية (Conditional Azimuth Loss): الأسطح المسطحة (ميل $\le 15^\circ$ ) في الحقيقة الأرضية لـ 3DBAG يتم تخصيص قيم سمت عشوائية لها لأن السطح الأفقي ليس له اتجاه بوصلة ذي معنى. قدم المؤلفون آلية بوابية (gating mechanism) تعمل على كبح خسارة السمت لهذه الأجزاء المسطحة، مما يمنع النموذج من تعلم تسميات مشوشة ويقلل خطأ التنبؤ بالسمت بشكل كبير.
2. تمثيل الارتفاع الموحد لوغاريتمياً (Log-Normalized Height Representation): تعاني ارتفاعات المباني في مجموعة البيانات من انحراف جهة اليمين بشكل كبير (معظمها أقل من 20 متراً، مع وجود ذيل طويل للمباني الشاهقة). التراجع المباشر يؤدي إلى هيمنة المباني الطويلة على إشارة التدرج. طبق المؤلفون تحويلاً للتوحيد اللوغاريتمي ( $h_{norm} = (\log h - \mu)/\sigma$ ) لإعادة تشكيل توزيع الهدف إلى شكل قريب من التوزيع الطبيعي (Gaussian)، مما يوازن إشارة التدرج عبر جميع نطاقات الارتفاع.
3. التدريب على مرحلتين: يتم تدريب النموذج على مرحلتين. أولاً، يتم تدريب مكونات Mask R-CNN فقط (الكشف والتقسيم) لضمان مطابقة النماذج الفردية بشكل موثوق. ثانياً، يتم تجميد العمود الفقري، ويتم تدريب فرع ارتباط السمات بشكل مشترك مع الفروع الأخرى.

النتائج
عند التقييم على مجموعة اختبار معزولة جغرافياً بصرامة، حققت المنهجية مقاييس الأداء التالية:

تجزئة النماذج الفردية (Instance Segmentation): حققت AP50 قدرها 0.566 ومتوسط دقة متوسطة (mAP) قدره 0.298.
ارتباط السمات (متوسط الخطأ المطلق):
- ميل السقف: ~4.08 درجة.
- السمت: ~6.96 درجة (تحسن إلى ~7 درجات مع الخسارة الشرطية).
- ارتفاع المبنى: ~1.03 متر.

دراسات الاستئصال والتحليل:

العمود الفقري: تفوق DINOv3 ConvNeXt-Base على الأعمدة الفقريّة الأخرى، محققاً mAP قدره 0.204 في مرحلة الكشف فقط مقارنة بـ 0.129 لـ ResNet-50.
تصميم الخسارة: قللت خسارة السمت الشرطية من متوسط الخطأ المطلق للسمت بنسبة 41% (من ~21.8° إلى ~12.9°) دون التأثير على السمات الأخرى.
تمثيل الارتفاع: حسن التمثيل الموحد لوغاريتمياً من ارتباط الارتفاع بنسبة 17% مقارنة بالتراجع المباشر على الارتفاعات الخام (مقللاً متوسط الخطأ المطلق من 1.878م إلى 1.556م في الاستئصال، وإلى ~1.03م في النموذج النهائي مع دقة أعلى).
الدقة (Resolution): أدى رفع دقة المدخلات من 512×512 إلى 768×768 إلى تحسين جميع المقاييس باستمرار.
الأداء حسب العنقود (Per-Cluster): يعمل النموذج بشكل أفضل على الأسطح متوسطة إلى عالية الميل (معدلات مطابقة >69%). يتدهور الأداء للمباني الشاهقة جداً والأسطح منخفضة الميل، حيث تكون الإشارات البصرية أضعف أو المحيط أكثر تعقيداً.

الأهمية والادعاءات
يزعم البحث أن هذا العمل هو الأول الذي يتنبأ بشكل مشترك بنماذج المباني الفردية مع الارتباط المستمر للارتفاع والميل والسمت من صورة جوية ثنائية الأبعاد واحدة.

تكمن الأهمية الأساسية في قابلية التوسع التي توفرها المنهجية. فمن خلال استخدام بيانات مرجعية ثلاثية الأبعاد باهظة الثمن (المستمدة من ليدار 3DBAG) فقط لأغراض التدريب، يمكن نشر النموذج الناتج في أي مكان تتوفر فيه الصور الجوية لاستنتاج السمات الهندسية ثلاثية الأبعاد. وهذا يتيح إعادة بناء نماذج مبانٍ ثلاثية الأبعاد مبسطة (LoD2) دون الحاجة إلى مدخلات متعددة الزوايا أو تقنية ليدار وقت الاستنتاج. ويؤكد المؤلفون أن هذا يوفر أساساً قابلاً للتوسع لتطبيقات مثل تخطيط الطاقة، وتقييم مخاطر التأمين، وإدارة المباني المستدامة، مما يعالج الفجوة حيث تفتقر الأصول الوطنية للمباني حالياً إلى البيانات الهندسية الدقيقة على هذا النطاق.

كما أشار المؤلفون إلى وجود قيود، لا سيية فيما يتعلق بدقة التفاصيل في بيانات 3DBAG (والتي يمكن أن تقسم الأسطح المتماسلة بصرياً إلى مضلعات متعددة) وعدم التوافق الزمني بين الصور والبيانات ثلاثية الأبعاد، مما قد يجعل المقاييس الكمية لا تعبر تماماً عن الأداء النوعي الفعلي للنموذج.