DisCo-FLoc: Using Dual-Level Visual-Geometric Contrasts to Disambiguate Depth-Aware Visual Floorplan Localization
يعالج DisCo-FLoc مشكلة الغموض ومحدودية التوسيم في تحديد المواقع المرئي للمخططات الأرضية من خلال تقديم متنبئ انحدار الأشعة وإطار عمل تعلم تبايني جديد ثنائي المستوى يطابق الميزات المرئية المدركة للعمق مع الهياكل الهندسية دون الحاجة إلى تسميات دلالية إضافية.
المؤلفون الأصليون:Shiyong Meng, Tao Zou, Bolei Chen, Chaoxu Mu, Jianxin Wang
تخيل أنك تسير داخل مبنى مكاتب حديث وضخم. الجدران كلها بيضاء، والأرضيات كلها رمادية، وكل الممرات تبدو تماماً مثل بعضها البعض. تخرج هاتفك لتسأل: "أين أنا؟"
إذا اعتمدت على نظام GPS قياسي، فلن يعمل في الداخل. وإذا اعتمدت على خريطة تعرض فقط شكل الغرف (مخطط طابق)، فسيظل الأمر صعباً لأن الخريطة لا تُظهر ماكينة القهوة، أو النبتة الموجودة في الزاوية، أو الزاوية المحددة التي تقف عندها. قد تنظر إلى زاوية ما وتظن: "هذه هي غرفة الاستراحة"، لكنها قد تكون في الواقع غرفة الاجتماعات في نهاية الممر لأن شكلهما متطابق. هذه هي مشكلة التحديد البصري للموقع داخل مخطط الطابق (Visual Floorplan Localization): وهو معرفة مكان الكاميرا بالضبط داخل المبنى بمجرد النظر إلى صورة ورسم خطي بسيط للطابق.
الورقة البحثية التي شاركتَها تقدم حلاً جديداً يسمى DisCo-FLoc. وإليك كيف يعمل، مقسماً إلى مفاهيم وأمثلة بسيطة.
المشكلة: تأثير "قاعة المرايا"
تحاول الطرق الحالية مطابقة الصورة التي تلتقطها مع مخطط الطابق. وهي تفعل ذلك عن طريق إطلاق "أشعة" (ليزر) غير مرئية من موقع الكاميرا نحو الجدران لقياس المسافات.
المشكلة: في مبنى يحتوي على غرف متكررة (مثل فندق به 50 غرفة متطابقة)، قد تصطدم الأشعة بجدار على بعد 5 أمتار في الغرفة (أ)، وتصطدم أيضاً بجدار على بعد 5 أمتار في الغرفة (ب). هنا يرتبك الكمبيوتر، ويقول: "يمكنني أن أكون في الغرفة (أ) أو الغرفة (ب)". وهذا ما يسمى بـ الغموض (Ambiguity).
الحل القديم: حاولت بعض الطرق السابقة استخدام "تسميات دلالية" (إخبار الكمبيوتر: "هذا باب"، "هذه نافذة"). لكن جعل البشر يضعون تسميات لكل باب ونافذة على كل طابق هو أمر مكلف، بطيء، وغالباً ما يكون مستحيلاً.
الحل: DisCo-FLoc
يقترح المؤلفون عملية مكونة من خطوتين تعمل مثل محقق ذكي، يحل اللغز دون الحاجة إلى إنسان ليضع تسميات للأبواب.
الخطوة 1: التخمين "الخبير بالعمق" (متنبئ ريجريشن الأشعة - The Ray Regression Predictor)
أولاً، يستخدم النظام خبيراً مدرباً مسبقاً في تقدير العمق (Depth Estimation) (وهو ذكاء اصطناعي بارع جداً في تقدير مدى بُعد الأشياء في الصورة).
المثال التشبيهي: تخيل أنك معصوب العينين ولكن لديك حاسة لمس فائقة الحساسية. تمد يدك لتشعر بالمسافة إلى أقرب جدار أمامك، وإلى يسارك، وإلى يمينك.
ماذا يفعل: ينظر الذكاء الاصطناعي إلى صورتك ويتنبأ بسلسلة من "تخمينات المسافة". إنه ينشئ خريطة احتمالية (Probability Map). بدلاً من قول "أنت هنا"، يقول: "من المحتمل أن تكون في هذه المواقع الـ 100، لكني لست متأكداً بنسبة 100% بعد".
النتيجة: يولد قائمة من المرشحين الأوائل (على سبيل المثال: "ربما أنت في الممر، وربما أنت في الردهة").
هذا هو الجزء السحري. الآن أصبح لدى النظام قائمة من 100 تخمين، وهو بحاجة لاختيار الإجابة الصحيحة الوحيدة. يقوم بذلك باستخدام تقنية تسمى التعلم التبايني (Contrastive Learning).
المثال التشبيهي: تخيل أنك تحاول العث de مفاتيحك المفقودة في غرفة فوضوية. لديك قائمة بـ 100 مكان قد تكون فيها.
المطابقة "الإيجابية": تنظر إلى المكان الذي تعتقد أن المفاتيح موجودة فيه وتقارنه بصورة ذهنية لشكل مفاتيحك في ذلك المكان تحديداً. "نعم، هذا يتطابق!"
المطابقات "السلبية" (الجزء الصعب): لكي تتأكد، تنظر أيضاً إلى أماكن مشابهة ولكنها خاطئة.
فحص الموقع: "هل هذا هو المكان بالضبط، أم هو المكان الذي يبعد 3 أقدام إلى اليسار؟" (هذا يساعد في التمييز بين زاويتين متطابقتين تماماً).
فحص الاتجاه: "هل أنا أواجه الشمال، أم أواجه الجنوب؟" (هذا يساعد في التمييز بين غرفة تبدو متشابهة من زاويتين مختلفتين).
كيف يفعل DisCo-FLoc ذلك: يأخذ الصورة ومخطط الطابق. ثم ينشئ إجابات خاطئة "مزيفة" عن طريق إزاحة الموقع قليلاً أو تدوير الزاوية. ثم يعلم الذكاء الاصطناعي: "هذه الصورة تتطابق مع مخطط الطابق هنا، ولكنها بالتأكيد لا تتطابق مع المخطط هناك أو وهي تواجه ذلك الاتجاه".
النتيجة: من خلال تعلم ما لا يناسب، يصبح الذكاء الاصطناعي بارعاً للغاية في اكتشاف ما يناسب. إنه يستبعد المواقع التي كانت "ربما"، ويختار الموقع الأفضل والوحيد.
لماذا يعد هذا أمراً هاماً؟
لا حاجة للتسميات: لا يحتاج إلى إنسان ليرسم مربعات حول الأبواب أو النوافف. إنه يتعلم فقط من الهندسة (الأشكال والخطوط) الخاصة بمخطط الطابق.
يتفوق على الخبراء: تُظهر الورقة البحثية أن هذه الطريقة تعمل بشكل أفضل من الطرق الحالية المتطورة، حتى تلك التي تستخدم تسميات مكلفة.
الاتجاه مهم: النظام جيد بشكل مدهش ليس فقط في معرفة أين أنت، بل وأيضاً أي اتجاه تسلك. لقد أدرك أن معرفة الاتجاه (الشمال مقابل الجنوب) هو غالباً مفتاح حل اللغز.
الملخص
فكر في DisCo-FLoc كنظام ملاحة لا يحتاج إلى خريطة مفصلة بأسماء الشوارع. بدلاً من ذلك، يستخدم حساً فائق الدقة للمسافة لإنشاء قائمة من الاحتمالات، ثم يستخدم "عملية الاستبعاد" (المقارنة بين المكان الصحيح والمواقع الخاطئة قليلاً) للعثور على الموقع الحقيقي الوحيد. إنه يشبه حل المتاهة من خلال إدراك أنه بينما قد تبدو العديد من المسارات متشابهة، إلا أن مساراً واحداً فقط يتناسب مع الزاوية المحددة التي تسير فيها.
إليك ملخص تقني مفصل للورقة البحثية بعنوان: "DisCo-FLoc: استخدام التباينات البصرية-الهندسية ثنائية المستوى لفك غموض تحديد الموقع المعتمد على العمق في المخططات الطابقية المرئية."
1. بيان المشكلة
يهدف تحديد الموقع في المخطط الطابقي المرئي (FLoc) إلى تحديد موقع الكاميرا ثنائي الأبعاد (x,y) والاتجاه θ داخل مبنى ما، بناءً على صورة RGB أحادية العدسة ومخطط طابقي ثنائي الأبعاد مقابل. وبينما تُعد المخططات الطابقية قوية، ومستمرة، ومتوفرة بسهولة، تواجه الطرق الحالية تحديين حرجين:
الغموض الناتج عن الهياكل المتكررة: تحتوي المخططات الطابقية البسيطة غالبًا على أنماط هندسية متكررة (مثل غرف أو ممرات متطابقة). وتواجه طرق المطابقة الهندسية التقليدية (مثل إسقاط الأشعة - ray-casting) صعوبة في التمييز بين هذه الهياكل المتشابهة، مما يؤدي إلى توزيعات احتمالية متعددة الأنماط وأخطاء في تحديد الموقع.
محدودية الاعتماد على الدلالات (Semantics): تحاول بعض الطرق المتطورة (SOTA) حل الغموض باستخدام التسميات الدلالية (مثل "باب"، "نافذة"، "نوع الغرفة"). ومع ذلك، غالبًا ما تكون هذه التسميات غير متوفرة في المخططات الطابقية القياسية أو تتطلب ترميزًا يدويًا مكلفًا، مما يحد من قابلية توسع وتطبيق هذه الطرق.
المشكلة الجوهرية هي كيفية فك غموض التحديد المرئي للموقع في البيئات المتكررة دون الاعتماد على تسميات دلالية إضافية.
2. المنهجية: DisCo-FLoc
يقترح المؤلفون إطار عمل هرمي مكون من مرحلتين يسمى DisCo-FLoc (فك الغموض عبر التعلم التبايني لـ FLoc).
المرحلة 1: متنبئ انحدار الأشعة المعتمد على العمق (RRP)
بدلاً من استخدام مصنفات صور عامة، تعامل هذه الطريقة عملية إسقاط الأشعة ثنائية الأبعاد كمهمة تقدير عمق متخصصة.
البنية: تستخدم مشفرًا مدركًا للعمق (تحديدًا DINO V2 من Depth Anything V2) تم تدريبه مسبقًا على مهام تقدير العمق الأحادي الكثيفة. يسمح هذا للنموذج بالاستفيد من ميزات العمق الخبيرة دون الحاجة للتدريب من الصفر.
الآلية: يستخرج المشفر الميزات المرئية، والتي تتم معالجتها عبر طبقة تلافيفية (convolutional layer) وجمع أوزان رأسي لتكوين الاستعلامات (queries). تقوم هذه الاستعلامات بالتنبؤ بتوزيع احتمالي للمسافات إلى أقرب جدار على طول أشعة محددة.
المخرجات: ينتج الـ RRP خريطة احتمالية لـ FLoc مدركة للعمق (DAFPM). توفر هذه الخريطة مجموعة من المرشحين المحتملين ذوي الاحتمالية العالية لوضعيات التموضع، ولكنها لا تزال تعاني من الغموض بسبب الهياكل المتكررة.
المرحلة 2: التعلم التبايني البصري-الهندسي (CL) لفك الغموض
لحل الغموض في DAFPM، تم تقديم إطار عمل تعلم تبايني مبتكر يهدف إلى مطابقة الميزات المرئية مع الهياكل الهندسية بدقة.
القيود ثنائية المستوى: يستخدم الأسلوب نوعين من العينات السلبية لفرض مطابقة صارمة:
السلبيات على مستوى الموقع (Position-Level Negatives): عينات يتم فيها تغيير موقع الملاحظة (إما داخل نفس المخطط أو عبر مخططات مختلفة). هذا يجبر النموذج على تمييز الهندسة الصحيحة عن الهياكل المماثلة الأخرى في مواقع مختلفة.
السلبيات على مستوى الاتجاه (Orientation-Level Negatives): عينات يتم فيها تدوير اتجاه الملاحظة. هذا يعزز حساسية النموذج للاتجاه، ويميز الوضعية الصحيحة عن الاتجاهات الخاطئة.
عملية التدريب: تتكون الأزواج الإيجابية من صورة RGB وقصّة (crop) المخطط الطابقي المقابلة لها (المقيدة بوضعية فريدة). أما الأزواج السلبية فتُبنى عن طريق تغيير المواقع والاتجاهات. تُستخدم خسارة PointInfoNCE لتعظيم التشابه بين الأزواج الإيجابية وتقليل التشابه مع السلبيات.
استدلال فك الغموض:
يقوم الـ RRP بتوليد أفضل X من الوضعيات المرشحة (على سبيل المثال X=100) من DAFPM.
لكل مرشح، يتم قص الهيكل المحلي للمخطط الطابقي المقابل.
يقوم مشفر مدرك للعمق مجمد (frozen) وResNet-18 مدرب مسبقًا بترميز الصورة المرئية وقصص المخطط الطابقي على التوالي.
يتم اختيار الوضعية النهائية عن طريق دمج DPM و DAFPM باستخدام مجموع مرجح، واختيار المرشح الذي يحقق أعلى درجة إجمالية.
3. المساهمات الرئيسية
إطار عمل هرمي: مسار مبتكر يولد أولاً المرشحين باستخدام RRP معزز بخبرة العمق، ثم يفك غموضهم باستخدام التعلم التبايني، متجنبًا الحاجة إلى تسميات دلالية.
التعلم التبايني ثنائي المستوى: إدخال عينات سلبية على مستوى الموقع ومستوى الاتجاه لتقييد المطابقة بين الميزات المرئية والهياكل الهندسية بصرامة، مما يقضي بفعالية على الارتباطات الزائفة الناتجة عن التخطيطات المتكررة.
أداء رائد (SOTA) خالٍ من الدلالات: حققت الطريقة أداءً متفوقًا مقارنة بالطرق الحالية المتطورة، بما في ذلك تلك التي تستخدم التسميات الدلالية (مثل SemRayLoc)، مما يثبت أن التباينات الهندسية وحدها يمكنها حل غموض تحديد الموقع.
تكامل المشفر المدرك للعمق: النجاح في تطويع نماذج تقدير العمق المدربة مسبقًا (DINO V2) لتحديد الموقع في المخططات الطابقية المرئية، مما يسد الفجوة بين تقدير العمق وإسقاط الأشعة ثنائي الأبعاد.
4. النتائج التجريبية
تم تقييم الطريقة على مجموعتي بيانات قياسيتين: Gibson (الحركات الأمامية والعامة) و Structured3D(full) (بيئات واقعية، مليئة بالأثاث، وتعتبر صعبة للغاية).
الأداء على Gibson: تفوق DisCo-FLoc على خط الأساس القوي "3DP & RSK" (الذي يجمع بين الأولويات الهندسية وتعلم نمط الغرفة غير الخاضع للإشراف) بفارق كبير (على سبيل المثال، تحسن بنسبة +8.8% في R@1m على Gibson(f)).
الأداء على Structured3D(full): تعد مجموعة البيانات هذه أكثر صعوبة بسبب وجود الأثاث والعوائق. حقق DisCo-FLoc نسبة استدعاء (recall) بلغت 67.0% عند دقة 1 متر، متفوقًا بشكل ملحوظ على:
أفضل خط أساس غير دلالي (3DP & RSK) بنسبة 12.3%.
أفضل خط أساس يعتمد على الدلالات (SemRayLocs + 3DP & RSK) بنسبة 5.5%.
ومن الجدير بالذكر أنها قلصت الفجوة في الأداء بين دقة الموقع (R@1m) ودقة الاتجاه (R@1m 30°)، مما يشير إلى دقة عالية في تقدير الاتجاه دون مؤشرات دلالية.
دراسات الاستئصال (Ablation Studies):
ساهمت كل من السلبيات على مستوى الموقع والسلبيات على مستوى الاتجاه في الأداء، حيث ثبت أن القيود على مستوى الاتجاه أكثر أهمية لفك الغموض.
ساهم استخدام رمز CLS (ميزات العمق العالمية) واضطرابات الوضعية (pose perturbations) أثناء التدريب في تعزيز المتانة بشكل كبير.
تم العثور على المعلمات المثلى عند عدد مرشحين X=100 ووزن دمج w=0.5.
5. الأهمية
القابلية للتطبيق العملي: من خلال إلغاء الاعتماد على التسميات الدلالية، يمكن نشر DisCo-FLoc في سيناريوهات العالم الحقيقي حيث تتوفر المخططات الطابقية ولكنها تفتقر إلى التسميات الدلالية التفصيلية (مثل خرائط المباني القديمة).
المتانة: تظهر الطريقة متانة فائقة تجاه الهياكل المتكررة والعوائق البصرية مقارنة بالطرق الهندسية البحتة أو المعتمدة على الدلالات.
تحول في النموذج المعرفي: تثبت أن التعلم التبايني البصري-الهندسي هو بديل قوي للإشراف الدلالي لحل غموض تحديد الموقع، مما يوفر اتجاهًا جديدًا لتحديد الموقع المرئي في البيئات الداخلية.
الكفاءة: يسمح النهج المكون من مرحلتين باستخراج الميزات بالتوازي خلال مرحلة فك الغموض، مما يحافظ على القدرات في الوقت الفعلي رغم عملية المطابقة المعقدة.