💻 computer science

RADIO-ViPE: Online Tightly Coupled Multi-Modal Fusion for Open-Vocabulary Semantic SLAM in Dynamic Environments

إنَّ RADIO-ViPE هو نظام تقدير موقع ورسم خرائط متزامن (SLAM) متعدد الوسائط، يعمل عبر الإنترنت، ومترابط وثيقاً، يتيح التأسيس الدلالي مفتوح المفردات والمدرك للهندسة في البيئات الديناميكية من خلال العمل مباشرة على فيديو RGB أحادي العدسة خام دون الحاجة إلى مدخلات مُعايرة، أو مستشعرات عمق، أو تهيئة مسبقة للوضعية.

المؤلفون الأصليون: Zaid Nasser, Mikhail Iumanov, Tianhao Li, Maxim Popov, Jaafar Mahmoud, Sergey Kolyubin

نُشر 2026-04-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zaid Nasser, Mikhail Iumanov, Tianhao Li, Maxim Popov, Jaafar Mahmoud, Sergey Kolyubin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسير في غرفة مزدحمة ومتغيرة باستمرار مع صديق لك. تريد بناء خريطة ذهنية للغرفة لا تكتفي فقط بمعرفة أماكن الجدران والكراسي، بل تفهم أيضاً ماهية هذه الأشياء (على سبيل المثال: "هذا كرسي أحمر"، "هذه طاولة قهوة")، ويمكنها الإجابة على أسئلة مثل: "أين الكوب الأزرق؟".

الآن، تخيل القيام بذلك بينما:

لم يعطك أحد مخططاً هندسياً: أنت لا تعرف كيف تشكلت عيناك (الكاميرا) أو مدى بُعد الأشياء عنك.
الغرفة فوضوية: الناس يمرون من حولك، وشخص ما قام بنقل أريكة من الزاوية إلى منتصف الغرفة.
عليك القيام بذلك في الوقت الفعلي: لا يمكنك التوقف للتفكير لساعات؛ يجب أن تستمر في الحركة ورسم الخرائط أثناء سيرك.

هذا هو بالضبط ما يفعله RADIO-ViPE. إنه "عقل" روبوت يبني خريطة ثلاثية الأبعاد للعالم من خلال كاميرا فيديو بسيطة، ويفهم ماهية الأشياء باستخدام اللغة الطبيعية، ويتجاهل الفوضى الناتجة عن الأشياء المتحركة.

إليك كيف يعمل، مقسماً عبر تشبيهات بسيطة:

1. "النظارات السحرية" (لا حاجة للمعايرة)

معظم أنظمة الروبوتات تشبه شخصاً يحتاج لارتداء نظارات مضبوطة بدقة قبل أن يتمكن من الرؤية. إذا كانت النظارات غير مضبوطة قليلاً، فسيضيع الروبوت. RADIO-ViPE مختلف؛ فهو يرتدي "نظارات ذكية" تكتشف شكلها وتركيزها بنفسها أثناء النظر حولها. لا يحتاج إلى خريطة مقاسة مسبقاً أو مستشعرات خاصة (مثل ليزر قياس العمق)؛ هو فقط يحتاج إلى كاميرا فيديو عادية. إنه يتعلم هندسة الغرفة بمجرد مشاهدة حركة الفيديو.

2. "أمين المكتبة فائق الذكاء" (المفردات المفتوحة)

كانت خرائط الروبوتات القديمة تشبه مكتبة بكتب لا تحمل سوى تسميات مثل "كرسي 1"، "كرسي 2"، "طاولة 1". إذا سألت عن "الكرسي المكسور"، فلن يعرف الروبوت ما تقصده.

يستخدم RADIO-ViPE "أمين مكتبة فائق الذكاء" (يعتمد على نماذج الذكاء الاصطناعي التأسيسية الضخمة). هذا الأمين قد قرأ الإنترنت بأكمله؛ فهو لا يرى الأشكال فحسب، بل يفهم المفاهيم. يمكنك أن تسأل: "أرني المصباح العتيق"، وسيعرف الروبوت تماماً كيف يبدو ذلك، حتى لو لم يتم تعليمه خصيصاً على ذلك المصباح المحدد من قبل. إنه يربط كلماتك مباشرة بالأشياء ثلاثية الأبعاد في الخريطة.

3. "فلتر أرضية الرقص" (التعامل مع البيئات الديناميكية)

هذه هي الحيلة الأكبر في الورقة البحثية. تخيل أنك تحاول التقاط صورة جماعية لغرفة، ولكن الناس يدخلون ويخرجون، وشخص ما أعاد ترتيب الأثاث. إذا حاولت دمج هذه الصور معاً، فستكون النتيجة مشوشة وغير واضحة.

يمتلك RADIO-ViPE "فلتر أرضية الرقص" الخاص به. فهو يراقب الغرفة بمرور الوقت ويسأل:

"هل هذا الشيء ثابت؟" (مثل جدار أو طاولة ثابتة).
"هل هذا الشيء يتحرك لأن شخصاً مر بجانبه؟" (مثل إنسان).
"هل هذا الشيء يتحرك لأنني أنا من حركه؟" (مثل كرسي دفعه شخص ما).

إذا رأى النظام شيئاً يتحرك أو يتغير بطريقة لا تتوافق مع نمط "الغرفة الثابتة"، فإنه يقول ضمنياً: "تجاهل ذلك بالنسبة للخريطة"، حتى لا تتعرض الخريطة للفساد. إنه يستخدم "شبكة أمان" رياضية خاصة (تسمى النواة القوية التكيفية - adaptive robust kernel) ليقرر أي أجزاء من الفيديو موثوقة وأيها مجرد ضجيج.

4. "الفريق المتماسك" (الدمج المترابط بقوة)

عادةً، تقوم الروبوتات بالأشياء في خطوات: أولاً تحدد مكانك، ثم تحدد ماهية الأشياء، ثم تدمجها. هذا يشبه سباق التتابع حيث قد يسقط الشبل (العصا).

RADIO-ViPE يشبه أكثر فرقة جاز حيث يعزف الجميع معاً في نفس الوقت. فهو يدمج:

الهندسة: أين توجد الأشياء في الفضاء ثلاثي الأبعاد.
الرؤية: كيف تبدو الأشياء.
اللغة: ماذا تسمى الأشياء.

إنه يعدل الثلاثة جميعاً في وقت واحد. إذا كانت البيانات البصرية غير واضحة، فإن الدليل اللغوي يساعد في إصلاح الهندسة. وإذا كانت الهندسة مهتزة، فإن البيانات البصرية تساعد في تثبيتها. إنهم جميعاً يساعدون بعضهم البعض في الوقت الفعلي.

النتائج: ماذا أثبتوا؟

اختبر المؤلفون هذا النظام بطريقتين رئيسيتين:

اختبار "الغرفة المتحركة" (TUM-RGBD): اختبروه على فيديوهات لغرف حيث كان الناس يسيرون والأشياء تتحرك. تفوق RADIO-ViPE على أي نظام موجود آخر في الحفاظ على دقة الخريطة وعدم الارتباك بسبب الناس المتحركين.
اختبار "محرك البحث" (Replica): اختبروا ما إذا كان بإمكان الروبوت بناء خريطة ثم الإجابة على أسئلة نصية حولها (مثل: "أين الأريكة؟"). على الرغم من أنه لم يمتلك مستشعرات عمق مثالية أو كاميرات معايرة مسبقاً، إلا أنه قدم أداءً يقارب الأنظمة التي تمتلك تلك المزايا المكلفة. لقد احتل المرتبة الثلاث الأولى مقارنة بالأنظمة الأكثر تعقيداً والتي تعمل خارج الوقت الفعلي (offline).

باخت-اختصار

RADIO-ViPE هو نظام يسمح للروبوت بالنظر إلى فيديو خام غير معاير لغرفة فوضوية ومتحركة، ويبني فوراً خريطة ثلاثية الأبعاد تفهم اللغة الإنجليزية. إنه يتجاهل الناس المتحركين والأثاث المعاد ترتيبه للحفاظ على نظافة الخريطة، مما يسمح للإنسان بأن يسأل: "أين القهوة؟" ويحصل على إجابة ثلاثية الأبعاد دقيقة، كل ذلك دون الحاجة إلى مستشعرات باهظة الثمن أو قواعد محددة مسبقاً.

إليك ملخص تقني مفصل لورقة البحث RADIO-ViPE: دمج متعدد الوسائط وثيق الترابط عبر الإنترنت للـ SLAM الدلالي مفتوح المفردات في البيئات الديناميكية.

1. بيان المشكلة

تعالج ورقة البحث فجوة حرجة في الإدراك الروبوتي: الافتقار إلى أنظمة SLAM دلالي، مفتوحة المفردات، تعمل عبر الإنترنت، ولا تتطلب معايرة، وتكون قادرة على العمل في البيئات الديناميكية.

القيود الحالية: تتطلب أنظمة الـ SLAM الدلالية الحالية عادةً:
- مستشعرات معايرة (RGB-D أو خصائص داخلية معروفة).
- افتراضات المشاهد الثابتة (تفشل عند تحرك الأشياء أو إعادة ترتيب الأثاث).
- فئات كائنات محددة مسبقاً (مجموعة مغلقة)، مما يحد من المرونة.
- معالجة غير متصلة بالإنترنت (Offline)، مما يجعلها غير مناسبة للروبوتات التي تعمل في الوقت الفعلي.
التحدي: تتضمن البيئات الواقعية فيديوهات أحادية اللون (monocular) غير معايرة، وعناصر ديناميكية (بشر)، وتغيرات شبه ثابتة (أثاث تم نقله). وتكافح الطرق الحالية للتمييز بين الهندسة الثابتة والاضطرابات الديناميكية مع ربط الاستعلامات اللغوية الطبيعية بالحيز ثلاثي الأبعاد في آن واحد.

2. المنهجية

نظام RADIO-ViPE (تقليل جميع المجالات في نموذج واحد — محرك وضع الفيديو) هو نظام يعمل عبر الإنترنت يعالج تدفقات فيديو RGB أحادية اللون خام وغير معايرة. يقوم بتوحيد الرؤية، واللغة، والهندسة ضمن إطار عمل تحسين مخطط عامل (factor graph optimization) بنوافذ منزلقة.

أ. مسار النظام (Pipeline)

التهيئة (Initialization): يتم استنباط الخصائص الداخلية للكاميرا من إطارات مأخوذة بالعينات المنتظمة باستخدام GeoCalib، دون الحاجة لأهداف معايرة.
اختيار الإطارات الرئيسية (Keyframe Selection): يتم اختيار الإطارات بناءً على التدفق البصري الكثيف الموزون.
استخراج الميزات متعددة الوسائط:
- يستخدم RADSeg (المعتمد على النموذج التأسيسي التجميعي RADIO) لاستخراج تضمينات بصرية كثيفة متوافقة لغوياً.
- يتم ضغط الميزات عبر PCA (إلى 256 بُعداً) لرفع كفاءة الذاكرة.
- يتم تقدير العمق باستخدام نماذج العمق التأسيسية أحادية اللون وتحويله إلى عمق عكسي (disparity).
تهيئة التدفق الدلالي: للتعامل مع الأسطح الخالية من الملمس (textureless)، يدمج النظام أولويات التدفق البصري الهندسي مع مصطلح توافق دلالي مشتق من ميزات RADIO. وهذا يخلق مجال تدفق أولي قوي.
ضبط الحزمة الوثيق الترابط (Tightly Coupled Bundle Adjustment - BA):
- يقوم بتحسين وضعيات الكاميرا ( $T_i$ )، والخصائص الداخلية ( $K_q$ )، وخرائط العمق العكسي الكثيفة ( $d_i$ ) بشكل مشترك.
- يقلل دالة طاقة موزونة تجمع بين التدفق الضوئي (photometric flow) وتشابه التضمين الدلالي (semantic embedding similarity).
- اتصال مخطط العامل (Factor Graph Connectivity): بالإضافة إلى القرب الهندسي، تُضاف الحواف بناءً على الرؤية المشتركة القائمة على التضمين (مطابقة الواصفات العالمية للإطارات الرئيسية عبر تشابه جيب التمام).

ب. الابتكارات التقنية الجوهرية

الدمج بين الرؤية واللغة والهندسة:
- يقدم النظام مصطلح تشابه التضمين (Embedding Similarity Term) الجديد في عملية ضبط الحزمة (BA). حيث يفرض محاذاة الميزات عبر الرؤى من خلال إسقاط التضمينات المصدرية على الإطارات المستهدفة وتقليل مسافة جيب التمام بينهما.
- يسمًح هذا للتحسين الهندسي بأن يكون موجهاً بالاتساق الدلالي، مما يضمن بقاء الخريطة ثلاثية الأبعاد متسقة مع ميزات اللغة البصرية.
النواة المتينة التكيفية المتسقة زمنياً (Temporally Consistent Adaptive Robust Kernel):
- للتعامل مع البيئات الديناميكية، يميز النظام بين الأسطح الثابتة، الأشياء القابلة للنقل (مثل الأثاث المنقول)، والعناصر المتحركة بنشاط (مثل البشر).
- يقوم بحساب مجال الاستقرار الزمني ( $S_i(u)$ ) من خلال تحليل متوسط وتباين تشابهات التضمين عبر حواف زمنية متعددة.
- يرتبط هذا المجال بمعامل شكل خسارة Barron ( $\alpha$ ):
  - $\alpha \approx 2$ (خسارة $\ell_2$ ) للأسطح الثابتة.
  - $\alpha \approx 1$ (خسارة Huber) للأشياء القابلة للنقل.
  - $\alpha \to 0$ (خسارة Cauchy) للعناصر المتحركة بنشاط.
- تقوم هذه النواة التكيفية بتقليل وزن المناطق الديناميكية أثناء التحسين، مما يمنعها من إفساد الخريطة.
الربط مفتوح المفردات (Open-Vocabulary Grounding):
- يتم فك تشفير النقاط ثلاثية الأبعاد من ميزات Radio المضغوطة وإسقاطها في فضاء كامن لـ SigLip.
- يتيح ذلك للنظام مطابقة الاستعلامات اللغوية الطبيعية التعسفية بالمناطق ثلاثية الأبعاد الموضعية في الوقت الفعلي دون الحاجة لإشراف خاص بالفئات.

3. المساهمات الرئيسية

دمج الرؤية واللغة والهندسة عبر ضبط الحزمة الكثيف: إطار عمل وثيق الترابط يدمج ميزات النماذج التأسيسية عالية المستوى مباشرة في حلقة التحسين الهندسي، مما يضمن اتساق الخريطة عبر الوسائط المختلفة.
النواة المتينة التكيفية المتسقة زمنياً: مخطط تحسين مدرك للديناميكيات يستخدم تحليل الاستقرار الزمني للاختيار التلقائي لدالة الخسارة المناسبة ( $\ell_2$ أو Huber أو Cauchy) لمختلف عناصر المشهد، مما يؤدي بفعالية إلى كبح الضجيج الديناميكي.
الـ SLAM مفتوح المفردات عبر الإنترنت وبدون معايرة: أول نظام يوحد هذه القدرات في مسار واحد يعمل عبر الإنترنت لا يتطلب مستشعرات عمق، ولا أولويات وضع، ولا معايرة كاميرا، ويعمل مباشرة على فيديوهات أحادية اللون خام.

4. النتائج التجريبية

تم تقييم النظام على معيارين: TUM-RGBD (للـ SLAM الديناميكي) و Replica (للتقسيم الدلالي مفتوح المفردات).

أداء الـ SLAM (على TUM-RGBD):
- حقق RADIO-ViPE نتائج الأفضل في فئته (SOTA) في اختبار TUM-RGBD الديناميكي.
- حقق المتغير المزود بالنواة المتينة التكيفية (RADIO-ViPE $^{ark}$ ) متوسط خطأ المسار المطلق (ATE) قدره 1.63 سم، متفوقاً على طرق الـ SLAM الديناميكي المتخصصة مثل Dyna-SLAM (2.00 سم) و ViPE (2.17 سم).
- أظهر قدرة فائقة على الصمود أمام الأجسام المتحركة وتغييرات المشهد مقارنة بالطرق الحالية.
التقسيم الدلالي (على Replica):
- تم التقييم بناءً على التقسيم الدلالي مفتوح المفردات (mIoU، f-mIoU، والدقة).
- احتل RADIO-ViPE أفضل 3 مراكز بين جميع الطرق المقارنة، بما في ذلك الطرق غير المتصلة بالإنترنت مثل ConceptGraphs و RayFronts.
- الكفاءة: رغم استخدام ميزات مضغوطة بـ PCA (256 بُعداً) والافتقار إلى العمق/الوضع الحقيقي، حافظ على أداء ضمن نطاق 1-2% من النسخة التي تمتلك بيانات حقيقية (RADIO-ViPE $^{GT}$ )، مما يثبت فعالية التعلم الهندسي ذاتي الإشراف الخاص به.
- على عكس المنافسين، يعمل النظام عبر الإنترنت وبدون معايرة.

5. الأهمية والأثر

الانتشار في العالم الحقيقي: يسد RADIO-ViPE الفجوة بين النماذج التأسيسية النظرية والروبوتات العملية. ومن خلال إلغاء الحاجة إلى المعايرة ومستشعرات العمق، فإنه يتيح استخدام فيديوهات "في البرية" (in-the-wild) غير مقيدة (مثل تلك القادمة من الهواتف الذكية أو الكاميرات الشخصية) لرسم الخرائط ثلاثية الأبعاد.
المتانة الديناميكية: توفر آلية النواة التكيفية حلاً قوياً لمشكلة "المشهد الدينماكي"، مما يسمح للروبوتات بالتنقل ورسم خرائط للبيئات حيث يتم نقل الأثاث أو حركة الناس، دون حدوث فشل في النظام.
مرونة المفردات المفتوحة: من خلال ربط الاستعلامات اللغوية الطبيعية بالحيز ثلاثي الأبعاد، فإنه يمكن للروبوتات العامة فهم البيئات والتفاعل معها بناءً على تعليمات لغوية بدلاً من التصنيفات الجامدة للأشياء.
كفاءة الموارد: يعمل النظام بسرعة 8-10 إطارات في الثانية على أجهزة قياسية (Intel Xeon + RTX 4090)، مما يجعله مناسباً للتطبيقات في الوقت الفعلي في مجالات الواقع المعزز/الافتراضي (AR/VR) والملاحة المستقلة.

باختصار، يمثل RADIO-ViPE قفزة نوعية في الـ SLAM الدلالي، حيث نجح في دمج قدرات النماذج التأسيسية مع التحسين الهندسي القوي لإنشاء نظام إدراك ثلاثي الأبعاد مرن، لا يتطلب معايرة، ومدرك للديناميكيات.