ملخص تقني: الكاميرات الخارجية الثابتة كخرائط سابقة مشتركة لتوليد المخططات المشهدية ثلاثية الأبعاد النشطة

بيان المشكلة

تتطلب الأنظمة الروبوتية الحديثة التي تعمل في بيئات بشرية غير منظمة (مثل المنازل أو المستشفيات) فهماً بصرياً غنياً بالسياق لإدراك القرارات والعمل بشكل مستقل. غالباً ما تفشل مسارات الإدراك التقليدية في توفير ذلك، حيث تنتج إما خرائط متريّة كثيفة تفتقر إلى المحتوى الدلالي، أو مخرجات تركز على الأشياء وتفتقر إلى البنية العلاقاتية. وبينما توفر المخططات المشهدية ثلاثية الأبعاد (3DSGs) تمثيلاً مهيكلاً يلتقط الكيانات، ومواقعها ثلاثية الأبعاد، والعلاقات بين الأشياء، فإن بناءها بشكل قوي في سيناريوهات العالم الحقيقي لا يزال يمثل تحدياً، خاصة عندما تكون المعرفة المسبقة غير مكتملة.

علاوة على ذلك، تعتمد أنظمة الإدراك الدلالي النشط (ASP) الحالية عادةً على مستشعرات ذاتية المركز (على متن الروبوت) وغالباً ما تعتمد على بيانات العمق (RGB-D) أو نماذج لغوية كبيرة (LLMs) مملوكة لجهات معينة لاستنتاج العلاقات. هناك نقص في الأطر التي يمكنها دمج البنية التحتية للكاميرات الخارجية الثابتة بسلاسة — المنتشرة بالفعل في العديد من المباني لأغراض المراقبة — كمصدر للمعرفة المسبقة لتعزيز فهم المشهد، وتحديداً في بيئة تعتمد على الصور الملونة (RGB) فقط.

المنهجية

يقترح المؤلفون إطار عمل يعتمد على الصور الملونة فقط (RGB-only) لتوليد مخطط مشهدي ثلاثي الأبعاد نشط وتزايدي، يعامل الملاحظات من الكاميرات الخارجية الثابتة كـ خرائط سابقة مشتركة (CPMs). يعمل النظام ضمن مسار موحد ومستقل عن الأجهزة، يعالج صور الكاميرات الموجودة على متن الروبوت والكاميرات الخارجية الثابتة بنفس الطريقة.

بنية النظام

يعمل النظام كحلقة إدراك-فعل تزايدية:

1. التهيئة (t=0): تُستخدم الملاحظات الملونة (RGB) من كاميرا خارجية ثابتة واحدة أو أكثر كخريطة سابقة مشتركة (CPM). تتم معالجة هذه الملاحظات لتهيئة سحابة النقاط والمخطط المشهدي ثلاثي الأبعاد (3DSG)، مما يوفر بنية دلالية وهندسية قبل تحرك الروبوت.
2. الاستكشاف النشط (t>0): يكتسب الروبوت صور RGB جديدة من وجهة نظره الحالية. يقوم المسار نفسه بتحديث سحابة النقاط والمخطط المشهدي. ثم تقوم وحدة الاستكشاف النشط باختيار أفضل وجهة نظر تالية (NBV) لتعظيم كسب المعلومات، مما يوجه الروبوت إلى المناطق ذات عدم اليقين الدلالي العالي.

المكونات الأساسية

1. توليد المخطط المشهدي ثلاثي الأبعاد (3DSG) باستخدام RGB فقط

• تقدير الهندسة: يستخدم المسار نموذج MapAnything [8] لاستنتاج هندسة المشهد من صور RGB. في تمريرة أمامية واحدة، يتنبأ النموذج باتجاهات الأشعة لكل عرض، وخرائط عمق نسبية، ووضعيات الكاميرا، وعامل مقياس متري عالمي. يسمح هذا للنظام بإسقاط بكسلات 2D إلى سحابة نقاط ثلاثية الأبعاد ذات مقياس متري دون الحاجة لمستشعرات عمق فيزيائية.
• بناء المخطط المشهدي: يكيف النظام نموذج ConceptGraphs [12]. يستخدم النظام SAM [21] للأقنعة الفردية و CLIP [22] للتضمينات الدلالية. والأهم من ذلك، بدلاً من استعلام النماذج اللغوية الكبيرة المملوكة لاستنتاج العلاقات، يستخدم المؤلفون إجراءً حتمياً يعتمد على الهندسة فقط. تُشتق الحواف المكانية من صناديق الإحاطة ثلاثية الأبعاد الموجهة باستخدام محددات ذات أولوية ثابتة (مثل: فوق، مدعوم بواسطة، داخل، بجانب) بناءً على التلامس الرأسي، والاحتواء، والتقارب.

2. الإدراك الدلالي النشط (ASP)
يدمج الإطار نظام ASP [18] لتوجيه الاستكشاف. يقوم نموذج لغوي كبير (تحديداً gemini-2.5-pro في التجارب) بأخذ عينات من التكملات المحتملة للمشهد غير المرصود بناءً على المخطط الحالي. يحسب النظام كسب المعلومات المتوقع لوجهات النظر المرشحة باستخدام المعلومات المتبادلة بين الملاحظات المتوقعة والمخطط الحالي:
$$I(Y_{k+1}; G_k | x) = H(Y_{k+1} | x) - H(Y_{k+1} | x, G_k)$$
يتحرك الروبوت إلى وجهة النظر التي تعظم هذا الكسب، مع إعطاء الأولوية لحل حالات الغموض الدلالي.

3. الخرائط السابقة المشتركة (CPMs)
تتم معالجة ملاحظات الكاميرات الخارجية (RGB) بنفس طريقة الصور الموجودة على متن الروبوت. عند استخدامها كخريطة سابقة مشتركة (CPM)، فإنها توفر بنية دلالية وهندسية جزئية قبل بدء التشغيل، مما يسمح لوحدة ASP باستغلال سياق أولي أغنى واختيار وجهات نظر أكثر إفادة منذ الخطوة الأولى.

المساهمات الرئيسية

1. مسار يعتمد على RGB فقط: مسار متكامل لتوليد المخططات المشهدية ثلاثية الأبعاد يتيح الدمج السلس للكاميرات الخارجية الثابتة دون الحاجة لمستشعرات عمق أو تعديلات في الأجهزة.
2. حلقة استكشاف نشطة: آلية استكشاف دلالية تستخدم المخطط المشهدي المولد لاختيار وجهات نظر معلوماتية، مما يعمل على تنقيح الخريطة السابقة بشكل نشط.
3. التحقق التجريبي: أدلة تجريبية تثبت أن مقدمات البنية التحتية للكاميرات تزيد بشكل كبير من اكتمال المخطط المشهدي وكفاءة الاستكشاف.

النتائج التجريبية

تم تقييم الطريقة في ثلاث إعدادات باستخدام مجموعات بيانات Replica و ReplicaCAD:

1. التحقق من المسار الساكن
أظهرت مقارنة نموذج ConceptGraphs الأصلي (باستخدام العمق والوضعيات الحقيقية) مقابل النسخة المقترحة المعتمدة على RGB فقط (باستخدام تنبؤات MapAnything) على مجموعة بيانات Replica تطابقاً قوياً.

• درجة F1: متطابقة تقريباً (0.499 لـ CG و 0.500 لـ CG-RGB).
• الاستدعاء (Recall): حقق المتغير المعتمد على RGB تحسناً طفيفاً في الاستدعاء (0.436 مقابل 0.401)، ويرجع ذلك على الأرجح إلى أن تنبؤات العمق الأكثر ضجيجاً منعت الدمج المفرط للأجسام المتقاربة.

2. الاستكشاف النشط مع تهيئة CPM
قارنت التجارب في محاكي Habitat (شقق ReplicaCAD) بين نظام ASP الذي يعمل على الملاحظات الموجودة على متن الروبوت فقط، وبين نظام ASP المهيأ بكاميرا خارجية واحدة.

• التأثير الأولي: أدت التهيئة بكاميرا خارجية واحدة إلى زيادة عدد العقد الأولي بنسبة +74% (من ~23 إلى ~40) وزيادة الاستدعاء الأولي بنسبة +79% (من ~0.15 إلى ~0.26).
• الأداء المستدام: بحلول الخطوة 30، حافظ النظام المهيأ بـ CPM على مسار أعلى، حيث وصل إلى ~107 عقدة واستدعاء قدره ~0.56، مقارنة بـ ~98 عقدة واستدعاء قدره ~0.47 للنموذج المرجعي الذي يعتمد على الروبوت فقط.

3. قيمة الـ CPM المستقلة
تقييم النظام باستخدام الكاميرات الخارجية الثابتة فقط (1-3 كاميرات) بدون روبوت متحرك:

• الشقق المعقدة: حققت ثلاث كاميرات استدعاءً قدره 0.301.
• الغرف المفروشة: حققت ثلاث كاميرات استدعاءً قدره 0.555.
• الاستنتاج: رغم أن الكاميرات الثابتة لا يمكنها مضاهاة تغطية الاستكشاف الروبوتي النشط، إلا أنها تنجح في إنشاء الهيكل المهيمن للبيئة، وتعمل كمعلومات سابقة عالية الجودة حتى بدون وجود روبوت متحرك.

الأهمية والادعاءات

يدعي البحث أن معاملة الكاميرات الخارجية الثابتة كخرائط سابقة مشتركة (CPMs) يوفر طريقة عملية ومنخفضة التكلفة لتعزيز الاستقلالية الروبوتية. من خلال الاستففاد من البنية التحتية الموجودة للمراقبة، يوفر النظام تمثيلاً دلالياً وهندسياً مهيكلاً يمكن صقله بشكل تزايدي.

يؤكد المؤلفون أن هذا النهج:

• يعزز الاستكشاف: حتى كاميرا خارجية واحدة تزيد بشكل كبير من استدعاء الأجسام الأولي وتوفر سياقاً أغنى للاستكشاف النشط اللاحق.
• مستقل عن الأجهزة: يزيل الاعتماد على مستشعرات العمق والنماذج اللغوية الكبيرة المملوكة لاستنتاج العلاقات، معتمداً بدلاً من ذلك على إعادة البناء ثلاثي الأبعاد الأمامي والقواعد الهندسية الحتمية.
• يحسن المتانة: تساعد الرؤى واسعة المجال من الكاميرات الخارجية في تثبيت إعادة البناء في إطار مرجعي عالمي ثابت، مما قد يحسن الاستقرار في تحديد الموقع ورسم الخرائط عبر الغرف.

يضع هذا العمل النظام كأول نظام يتيح توليد المخططات المشهدية ثلاثية الأبعاد في بيئة تعتمد على RGB فقط مع دمج مدخلات الكاميرات الخارجية، مما يفتح آفاقاً جديدة للاستقلالية الروبوتية القابلة للتوسع والمعززة بالبنية التحتية.