Robust Global Structure-from-Motion via View Graph Pruning
تقترح هذه الورقة إطار عمل متين لـ "بنية من الحركة" (Structure-from-Motion) عالمي، يعمل على تعزيز دقة إعادة البناء من خلال تقسيم مخطط الرؤية إلى مخططات فرعية متسقة لتحديد وتقليم الحواف الخاطئة، مما يؤدي إلى تحسين تقدير وضعية الكاميرا وتوليد مناظر رؤية جديدة في ظل الظروف الصعبة.
تخيل محاولة إعادة بناء عالم ثلاثي الأبعاد من كومة مبعثرة من الصور الفوتوغرافية. هذا هو التحدي الجوهري لتقنية في الرؤية الحاسوبية تُعرف باسم "البناء من الحركة" (Structure-from-Motion). الهدف هو معرفة أين كان يقف الكاميرا بالضبط لكل صورة على حدٍ، واستخدام تلك المواقع لبناء نموذج رقمي ثلاثي الأبعاد للمشهد. لسنوات، اعتمد الباحثون على طريقتين رئيستين لحل هذا اللغز. إحدى الطريقتين، وتسمى "التزايدية" (incremental)، تبني النموذج قطعة بقطة، عبر إضافة صورة واحدة في كل مرة وتعديل الهيكل بأكم له باستمرار ليتناسب معها. ورغم دقتها، إلا أن هذا النهج بطيء ويعاني عندما يزداد حجم مجموعة البيانات بشكل كبير. أما الطريقة الأخرى، والمعروفة باسم "الكلية" (global)، فتحاول إيجاد حل لموقع كل كاميرا دفعة واحدة. هذه الطريقة أسرع بكثير وتتوسع بشكل أفضل لتشمل مجموعات ضخمة من الصور، لكن لديها نقطة ضعف كبيرة: فهي تضل بسهولة بسبب الخدع البصرية. فإذا احتوى المشهد على أنماط متكررة، مثل جدار طويل من النوافذ المتطابقة أو صف من الأعمدة المتشابهة، فقد يخطئ الكمبيوتر في مطابقة نافذة في صورة ما مع نافذة خاطية في صورة أخرى. هذه الروابط الزائفة تعمل كتعليمات سيئة، مما يؤدي بالطريقة الكلية إلى بناء نموذج مشوه أو منهار.
لقد طور فريق من الباحثين استراتيجية جديدة لمساعدة الطرق الكلية على التنقل في هذه البيئات المربكة. يركز نهجهم، الذي فُصّلت تفاصيله في دراسة حديثة، على تنظيف خريطة الروابط بين الصور قبل بناء النموذج ثلاثي الأبعاد النهائي. فبدلاً من محاولة فرض حل واحد لمجموعة الصور الفوضوية بأكملها، يقوم الباحثون أولاً بتفكيك المشكلة إلى مجموعات أصغر يمكن إدارتها. إنهم يبحثون عن عناقيد من الصور التي تنتمي بوضوح إلى بعضها البعض وتتسق داخلياً، بمعنى أن الصور داخل المجموعة الواحدة تتفق على شكل وموضع الأشياء التي تصورها. ومن خلال عزل هذه المجموعات الموثوقة، يمكن للنظام إنشاء أساس محلي صلب لكل قسم من أقسام المشهد.
بمجرد تحديد هذه المجموعات الأصغر والموثوقة، يتصدى الباحثون للروابط الصعبة بينها. وهنا تكمن النقطة التي يسبب فيها الغموض البصري أكبر قدر من المشاكل عادةً. يستخدم الفريق عملية اختبار صارمة لفحص الروابط بين المجموعات المختلفة؛ حيث يتحققون مما إذا كانت المواضع النسبية للكاميرات في مجموعة ما تبدو منطقية عند النظر إليها من منظور مجموعة مجاورة. إذا كان الرابط يشير إلى أن الكاميرا في مكان يتعارض مع هندسة الصور المحيطة، فإنه يتم وسم هذا الرابط على أنه غير موثوق. ثم يقوم النظام بإزالة هذه الروابط المشبوهة، مما يؤدي فعلياً إلى تقليم الأغصان السيئة من شجرة العلاقات بين الصور. وتتكرر هذه العملية بشكل دوري، مما يضمن بقاء الروابط الأكثر اتساقاً وسلامة من الناحية الهندسية فقط.
النتائج التي حققتها هذه الطريقة مذهلة، لا سيما في المشاهد التي هزمت الخوارزميات الأخرى تاريخياً. فعند اختبارها على مجموعات بيانات تحتوي على هياكل متكررة، مثل الكتب على الرف، أو مكتب يحتوي على أشياء متشابهة، أو كوب ذي أنماط متماثلة، نجح النهج الجديد في إعادة بناء المشاهد التي فشلت فيها الطرق السابقة أو أنتجت نتائج مشوهة. وفي اختبار محدد يتعلق بكوب، ربطت الطرق الكلية القديمة بشكل خاطئ بين الوجه الأمامي والخلفي للكوب لأنهما يبدوان متشابهين جداً، مما أدى إلى نموذج مكسور. وقد تجنب النهج الجديد هذا الخطأ، حيث ميز بدقة بين الجانبين المختلفين. وقاس الباحثون دقة مواضع الكاميرا الخاصة بهم مقابل "الحقيقة الأرضية" المعروفة، ووجدوا أن تقنيتهم تفوقت بشكل كبير على الأساليب الحالية المتطورة، محققة دقة تقترب من المثالية في كثير من الحالات.
وبعيداً عن ضبط مواضع الكاميرا فحسب، بحثت الدراسة أيضاً في جودة النماذج ثلاثية الأبعاد النهائية. وباستخدام تقنية رندر (rendering) حديثة تنشئ صوراً واقعية من البيانات ثلاثية الأبعاد، أظهر الباحثون أن تقديرات الكاميرا الأكثر نظافة أدت إلى إنشاء مشاهد جديدة عالية الجودة. فعندما قاموا بتوليد صور من زوايا لم تكن موجودة في الصور الأصلية، كانت النتائج أكثر حدة وتماسكاً مما أنتجته الطرق الأخرى. وهذا يثبت أن إصلاح الهيكل الأساسي للبيانات يحسن مباشرة من المخرج البصري. كما لاحظ الفريق أنه بينما تضيف طريقتهم قدراً صغيراً من وقت المعالجة الإضافي مقارنة بأسرع الطرق الكلية، إلا أنها تظل أسرع بكثير من الطرق التقليدية التي تعمل قطعة بقطعة، مما يوفر توازناً قوياً بين السرعة والموثوقية.
يقر الباحثون بأن طريقتهم ليست حلاً مثالياً لكل السيناريوهات الممكنة. فإذا احتوى المشهد على مناطق واسعة للغاية من الأنماط المتكررة التي تكون كثيفة أو ممتدة جداً، فقد يواجه النظام صعوبات. علاوة على ذلك، يعتمد النهج على عدة إعدادات تتطلب الضبط، ويقترح الفريق أن العمل المستقبلي يمكن أن يدمج التقنيات القائمة على التعلم لجعل العملية أكثر قوة. ومع ذلك، بالنسبة للغالبية العظمى من المشاهد الصعبة ذات الهياكل المتكررة، توفر استراتيجية "التقليم الموجه بالرسم البيعي الفرعي" أداة قوية جديدة. فهي تسمح للحواسيب بالرؤية من خلال الارتباك البصري، وفصل الإشارة عن الضجيج لبناء عوالم ثلاثية الأبعاد دقيقة ومستقرة ومفصلة من مجرد صور فوتوغرافية بسيطة.
تعد عملية "بنية من الصور" (Structure-from-Motion - SfM) تقنية أساسية لتقدير وضعيات الكاميرا وإعادة بناء الهياكل ثلاثية الأبعاد من صور غير مرتبة. وبينما توفر طرق الـ SfM العالمية (Global SfM) قابلية توسع وكفاءة فائقة مقارنة بالطرق التزايدية (Incremental) من خلال التقدير المشترك لمعلمات الكاميرا، إلا أنها حساسة للغاية للحواف الخاطئة في "مخطط الرؤية" (View Graph). تنشأ هذه الأخطاء عادةً من المطابقات الغامضة بصرياً في المشاهد ذات الهياكل المتكررة (مثل واجهات المباني أو الأنماط الزخرفية)، مما يؤدي إلى تسجيل خاطئ للكاميرا وتشويهات في إعادة البناء.
تفشل الاستراتيجيات الحالية لتصفية هذه الأخطاء، مثل استخدام خوارزمية RANSAC للتحقق مما إذا كانت حافة ما تتوافق مع المسارات الأخرى في المخطط، بسبب "الإجماع الزائف" (False Consensus). في مثل هذه الحالات، قد يتم استبعاد حافة صحيحة عن طريق الخطأ لأن المسارات البديلة تحتوي أيضاً على حواف زائفة، مما يتسبب في تقارب الخوارزمية نحو إجماع هندسي غير صحيح. علاوة على ذلك، بينما تقوم بعض الطرق بتقسيم المشاهد لإعادة بناء المكونات بشكل مستقل قبل دمجها، فإن هذا النهج قد يؤدي إلى انتشار الخطأ أثناء مرحلة الدمج.
المنهجية
يقترح المؤلفون إطار عمل لتقليم مخطط الرؤية بتوجيه من المخططات الفرعية (Subgraph-guided view graph pruning)، مصمم لتحديد وإزالة الاتصالات غير الموثوقة قبل التحسين العالمي. يتكون خط الإنتاج، المبني على إطار عمل GLOMAP، من أربع مراحل رئيسية:
بناء مخطط الرؤية الأولي: تبدأ العملية باستخراج الميزات القياسي، والمطابقة، والتحقق من هندسة المشهد بين زوج من الصور لبناء مخطط رؤية G={V,E}، حيث تمثل العقد الصور وتمثل الحواف الوضعيات النسبية المتبادلة.
التقسيم المتكرر للمخططات الفرعية: يتم تقسيم مخطط الرؤية تكرارياً إلى مخططات فرعية متسقة محلياً (G1,…,GK) باستخدام خوارزمية Louvain لكشف المجتمعات. تقوم هذه الخوارزمية بتحسين "النمطية" (Modularity) بشكل جشع لتجميع الصور ذات الاتصالات الكثيفة داخل المجتمع الواحد.
فحص الاتساق: بعد كل عملية تقسيم، يتم إجراء SfM عالمي (متوسط الدوران، التمركز العالمي، وضبط الحزمة - Bundle Adjustment) داخل كل مخطط فرعي.
معايير الإنهاء: تستمر عملية التقسيم تكرارياً حتى يتم استيفاء اتساق الوضعية داخل المخطط الفرعي. يتم تقييم الاتساق باستخدام مقياسين:
اتساق الحلقة (Loop Consistency): التحقق مما إذا كان حاصل ضرب الدورات النسبية في حلقة ما ينحرف بشكل كبير عن دوران الوحدة (Identity Rotation).
الاتساق النسبي-المطلق (Relative-to-Absolute Consistency): مقارنة الوضعيات النسبية من هندسة ثنائية الصور مع الوضعيات المطلقة المستمدة من التقدير العالمي للمخطط الفرعي. إذا تجاوزت الأخطاء العتبات (على سبيل المثال، 10∘ للدوران)، يتم تقسيم المخطط الفرعي أكثر.
تقليم الحواف بين المخططات الفرعية: بمجرد تحديد المخططات الفرعية المستقرة، يقوم النهج بتقليم الحواف التي تربط بين المخططات الفرعية المختلفة (Gk1 و Gk2) لإزالة الروابط غير المتسقة هندسياً.
محاذاة المقياس: بما أن المخططات الفرعية تُعاد بناؤها في أطر إحداثيات محلية ذات مقاييس مختلفة محتملاً، يتم استخدام خوارزمية النقاط المتعددة من منظور واحد (PnP) لتقدير الوضعيات النسبية. يتم تقدير عامل المقياس النسبي (β) عبر تقليل المربعات الصغرى لمحاذاة مقاييس المخططين الفرعيين.
تصفية RANSAC: يتم تطبيق نهج قائم على RANSAC عبر الحواف بين المخططات الفرعية. تقوم الخوارزمية بأخذ عينات من الحواف لإيجاد إجماع حول الوضعية النسبية والمقياس. يتم استبعاد الحواف التي تنتهك عتبات الاتساق الخاصة بالدوران (5∘) أو الإزاحة (0.05× متوسط الإزاحة).
التقدير العالمي النهائي: يخضع مخطط الرؤية المنقح، الذي أصبح الآن خالياً من الاتصالات الزائفة بين المخططات الفرعية، لعملية تحسين SfM عالمية نهائية لإنتاج إعادة البناء ثلاثي الأبعاد النهائي.
المساهمات الرئيسية
يوضح البحث ثلاث مساهمات رئيسية:
إطار عمل التقليم بتوجيه المخططات الفرعية: نهج مبتكر يحسن متانة Global SfM في ظروف الغموض البصري من خلال تصفية الاتصالات غير الموثوقة قبل التحسين العالمي، بدلاً من دمج عمليات إعادة البناء الجزئية.
التقسيم المتكرر للمخططات الفرعية: استراتيجية تعتمد على اتساق الوضعية داخل المخطط الفرعي (فحوصات الحلقة والاتساق النسبي-المطلق) والتي تعزل بفعالية الهياكل الهندسية المحلية الموثوقة عن مخططات الرؤية الفاسدة.
تقليم الحواف بين المخططات الفرعية: آلية قائمة على RANSAC تزيل الاتصالات غير المتسقة بين المخططات الفرعية مع الحفاظ على العلاقات الهندسية الصالحة، وتحل غموض المقياس باستخدام PnP وتقدير الوضعية النسبية.
النتائج التجريبية
تم تقييم الطريقة على أربعة أنواع من مجموعات البيانات: مجموعات الصور الغامضة، مجموعات الصور المتسلسلة، مجموعات صور الإنترنت غير المرتبة، ومجموعة بيانات مخصصة.
مجموعات البيانات الغامضة: في الاختبارات المرجعية مثل "Books"، "Desk"، "Street"، و"Cup"، حققت الطភាព المقترحة أداءً هو الأفضل في فئتها (State-of-the-art) من حيث المساحة تحت المنحنى (AUC) لأخطاء الدوران والإزاحة. على سبيل المثال، في مجموعة بيانات "Books"، حققت درجات AUC بلغت 98.7، 99.3، و99.4 عند عتبات 3∘ و 5∘ و 10∘ على التوالي، متفوقة بشكل كبير على ثاني أفضل طريقة (Doppelgangers++).
مجموعات البيانات المتسلسلة والإنترنت: أظهرت الطريقة متانة فائقة في المشاهد ذات الهياكل المتكررة (مثل "Campus" و"Library") حيث فشلت الأساليب المرجعية مثل GLOMAP في إعادة بناء المسارات الكاملة. لقد تفوقت باستمرار على الطرق التزايدية (COLOMAP) والطرق العالمية الأخرى في مقاييس AUC.
توليد المشاهد الجديدة (Novel View Synthesis): أظهر التقييم باستخدام تقنية 3D Gaussian Splatting (3DGS) أن تحسين تقدير وضعية الكاميرا أدى إلى نتائج أعلى جودة في توليد المشاهد الجديدة (PSNR أعلى) مقارنة بطرق SfM الأخرى.
الكفاءة: على الرغم من كونها أبطأ قليلاً من GLOMAP الأصلي بسبب خطوات التقسيم والتقليم، إلا أن الطريقة تظل أسرع بكثير (مثلاً 5 أضعاف أسرع) من النهج التزايدي مثل COLOMAP والأساليب القائمة على التعلم مثل Doppelgangers.
الأهمية والادعاءات
يزعم المؤلفون أن عملهم يعالج اختناقاً حرجاً في Global SfM: الحساسية تجاه الحواف الخاطئة الناتجة عن الغموض البصري. ومن خلال تغيير النموذج من "أعد البناء ثم ادمج" إلى "قسم، ثم قَلّم، ثم أعد البناء"، تمنع الطريقة انتشار الخطأ خلال مراحل متوسط الدوران ومتوسط الإزاحة.
يؤكد البحث أن هذا النهج يحقق توازناً مثالياً بين الكفاءة والمتانة. فهو يتيح استعادة وضعيات الكاميرا المتسقة عالمياً في السيناريوهات الصعبة حيث تتسبب الهياكل المتكررة عادةً في حالات الفشل، مما يسهل التطبيقات النهائية عالية الجودة مثل الرندرة العصبية (Neural Rendering). ويقر المؤلفون بوجود قيود، مشيرين إلى أن المناطق المتكررة شديدة الضخامة أو الموزعة بكثافة قد تظل تشكل تحديات، وأن العمل المستقبلي قد يتضمن دمج التقنيات القائمة على التعلم لزيادة تحسين استراتيجيات المطابقة.