💻 computer science

MUSE: Multimodal Uncertainty Quantification of State Estimation

تقدم هذه الورقة MUSE، وهو إطار عمل جديد للتعلم في الوقت الفعلي يعتمد على بنية Mamba لتقدير عدم اليقين متعدد الوسائط بفعالية في تقدير الحالة البصرية-القصورية، مما يظهر موثوقية ومتانة فائقتين مقارنة بالطرق الحالية.

المؤلفون الأصليون: Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Minkyung Kim, Henry Che, Bhargav Chandaka, Bhumsitt Pramuanpornsatid, Chengyu Yang, Sheng Cheng, Xiaofeng Wang, Naira Hovakimyan, Shenlong Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقود سيارة في ضباب كثيف. يمكنك رؤية الطريق أمامك مباشرة، ولكن كلما نظرت بعيداً، يصبح كل شيء ضبابياً. لديك نظام تحديد مواقع (GPS)، لكنه يتعطل قليلاً. أنت تعلم أنك تتحرك، لكنك لست متأكداً بنسبة 100% من مكانك بالضبط أو سرعتك.

في عالم الروبوتات والسيارات ذاتية القيادة، يسمى هذا تقدير الحالة (State Estimation). وهي طريقة الروبوت لمعرفة موقعه واتجاهه. لسنوات، أصبح الروبوتات جيدة جداً في تخمين موقعها باستخدام الكاميرات وأجهزة استشعار الحركة. ولكن هناك مشكلة كبيرة: فهي لا تعرف متى تكون مخطئة.

قد تكون متأكدة بنسبة 99% أنها في المكان الصحيح، ولكن إذا كانت مخطئة بنسبة 100%، فقد تصطدم. هي بحاجة إلى وسيلة لتقول: "أنا شبه متأكدة"، أو "ليس لدي أدنى فكرة، يرجى توخي الحذر".

المشكلة: الروبوت "المفرط في الثقة"

الروبوتات الحالية تشبه طالباً يجيب على سؤال بشكل خاطئ، ومع ذلك يضع بجانبه علامة "أ" بكل ثقة.

التقدير البصري للمسافة (Visual Odometry - VO): يشبه نظر الروبوت إلى الصور لتخمين مكانه.
التقدير بالقصور الذاتي (Inertial Odometry): يشبه شعور الروبوت بحركته الخاصة (مثل شعور الإنسان بالدوار بعد الدوران حول نفسه).

عندما يختلف هذان النظامان، أو عندما ترى الكاميرا صورة ضبابية (مثل بقعة على العدسة) أو عندما يتوقف مستشعر الحركة عن العمل، يستمر الروبوت في التخمين فحسب. إنه لا يدرك أن الظروف قد تغيرت. إنه يفتقر إلى تحديد كمية عدم اليقين (Uncertainty Quantification) — أي القدرة على قياس مدى قدرته على الثقة في تخمينه.

الحل: MUSE (الرأي الثاني للروبوت)

ابتكر مؤلفو هذه الورقة نظاماً جديداً يسمى MUSE (تحديد كمية عدم اليقين متعدد الوسائط لتقدير الحالة).

فكر في MUSE كـ مساعد طيار ذكي للغاية يجلس بجانب نظام الملاحة الرئيسي للروبوت.

يراقب كل شيء: بينما قد يكتفي نظام الروبوت الرئيسي بالنظر إلى الكاميرا، يراقب MUSE كل شيء في وقت واحد: صور الكاميرا، مستشعرات الحركة (IMU)، وبيانات عداد السرعة الخاصة بالروبوت.
يرصد المشاكل: إذا رأت الكاميرا صورة ضبابية (مثل بقعة) بينما يقول مستشعر الحركة: "مهلاً، لقد توقفنا عن الحركة للتو"، فإن MUSE يلاحظ هذا التعارض. إنه مثل محقق يلاحظ أن رواية الشاهد لا تتطابق مع الأدلة المادية.
يعطي درجة ثقة: بدلاً من إعطاء موقع فقط، يقول MUSE: "إليك أين أنت، وإليك أيضاً 'مقياس ثقة' يوضح مدى قدرتك على الثقة في هذا الرقم".
يصلح الخطأ: إذا انحرف الروبوت عن مساره، لا يكتفي MUSE بالتحذير فقط؛ بل يقوم فعلياً بتعديل موقع الروبوت ليعيده إلى حيث ينبغي أن يكون.

كيف يعمل: عقل "مامبا" (Mamba)

للقيام بذلك في الوقت الفعلي (دون إبطاء الروبوت)، يستخدم MUSE نوعاً خاصاً من عقول الذكاء الاصطناعي يسمى Mamba.

الطريقة القديمة (المحولات - Transformers): تخيل أنك تحاول تذكر قصة طويلة عبر قراءة الكتاب بأكمله في كل مرة تريد فيها استرجاع جملة واحدة. إنها دقيقة ولكنها بطيئة وثقيلة جداً.
طريقة مامبا (Mamba): مامبا تشبه أمين مكتبة يمكنه مسح رف طويل من الكتب فوراً، وتذكر الأجزاء المهمة ونسيان الأجزاء غير ذات الصلة. إنها سريعة وفعالة للغاية في معالجة تدفقات البيانات الطويلة (مثل بث الفيديو من طائرة بدون طيار).

يسمح هذا لـ MUSE بالنظر إلى سلسلة من الأحداث عبر الزمن. يمكنه القول: "كانت الكاميرا تعمل جيداً قبل 5 ثوانٍ، ولكن قبل ثانيتين تعطل مستشعر IMU، والآن الصورة ضبابية. لذلك، يجب أن تنخفض درجة ثقتي في الموقع الحالي".

النتائج: ملاح أفضل

اختبر الباحثون MUSE على نوعين من البيانات:

الاختبارات القياسية: باستخدام مجموعات بيانات عامة حيث طارت الروبوتات في ساحات داخلية.
الوضع الصعب: باستخدام مجموعة بيانات جديدة خاصة بهم تسمى UnCal-Flight، والتي تضمنت مواقف صعبة مثل الحركات المفاجئة، وتغير الإضاءة، وحركة الأشخاص أمام المستشعرات.

كانت النتائج واضحة:

دقة أفضل: صحح MUSE موقع الروبوت بشكل أفضل من الطرق السابقة، خاصة عندما كان الروبوت مرتبكاً.
ثقة صادقة: عندما كان الروبوت في موقف صعب (مثل صورة ضبابية)، قام MUSE بخفض درجة الثقة بشكل صحيح. أما الطرق الأخرى فاستمرت في إظهار ثقة مفرطة حتى عندما كانت مخطئة.
السرعة: يعمل بسرعة كافية ليتم استخدامه كـ "إضافة" (Plugin) لأنظمة الروبوتات الحالية دون الحاجة إلى حاسوب خارق.

الخلاصة

MUSE يشبه منح الروبوت "حدساً" بشأن ملاحتها. فهو يجمع بين جميع حواس الروبوت للكشف عن متى تسوء الأمور، ويصحح مسار الروبوت، ويخبر الروبوت بصدق متى ينبغي أن يقلق. وهذا يجعل الروبوتات أكثر أماناً وموثوقية، خاصة في العالم الحقيقي الفوضوي وغير المتوقع.

ملخص تقني: MUSE (التقدير متعدد الأنماط لعدم اليقين في تقدير الحالة)

1. بيان المشكلة

يعد التقدير الدقيق للحالة البصرية أمراً بالغ الأهمية لتطبيقات الروبوتات مثل القيادة الذاتية، والملاحة بالطائرات بدون طيار، والعمل في البيئات التي تفتقر إلى نظام تحديد المواقع العالمي (GPS). وبينما أدت التطورات الأخيرة في تقدير الموضع البصري (VO) وتقدير الموضع البصري-القصوري (VIO) إلى تحسين دقة تقدير الوضعية، لا يزال هناك تحدٍ جوهري قائم: وهو تحديد ومعايرة دقة هذه التقديرات.

تعاني الطرق الحالية من صعوبة في تحديد عدم اليقين بسبب الطبيعة غير المتجانسة للتباين (حيث يعتمد التباين على المدخلات) والطبيعة متعددة الأنماط لأخطاء تقدير الموضع.

الطرق القائمة على المرشحات (Filters): (مثل مرشحات كالمان) غالباً ما تعاني من عدم الاتساق بسبب أخطاء التخطي الخطي وعدم تطابق النموذج، مما يؤدي إلى تباينات إما مفرطة في الثقة أو متحفظة للغاية.
الطرق القائمة على الأمثلة (Optimization-based): تقوم بتقدير عدم اليقين بشكل لاحق (post-hoc)، مما يعطي مقاييس محلية وغير معايرة بشكل جيد.
الطرق القائمة على التعلم: تحقق دقة عالية ولكنها غالباً ما تظل مفرطة في الثقة، مما يوفر تقديرات غير موثوقة لعدم اليقين.
نهج عدم اليقين القائم على التعلم المسبق: (مثل DICE وD-DICE) تعتمد عادةً على مدخلات بصرية لحظية، وتفشل في استغلال المعلومات الزمنية أو الإشارات متعددة الأنماط (مثل شذوذ وحدة قياس القصور الذاتي IMU أو تدهور المستشعرات) التي تعد حاسمة للتنبؤ بالانحراف والفشل.

2. المنهجية: إطار عمل MUSE

يقدم البحث إطار عمل MUSE، وهو إطار عمل يعتمد على التعلم في الوقت الفعلي، مصمم لتصحيح الوضعيات وتوقع عدم اليقين غير المتجانس من تدفقات متعددة المستشعرات غير متزامنة.

البنية الأساسية

العمود الفقري (Backbone): يعتمد MUSE على نموذج Mamba، وهو نموذج حالة بنيوي (SSM)، لالتقاط العلاقات التسلسلية والاعتمادات طويلة المدى في بيانات المستشعرات بكفاءة. يعالج هذا القصور الحسابي لنماذج Transformer مع الحفاظ على القدرة على معالجة التسلسلات الطويلة.
أنماط المدخلات (Input Modalities): يستقبل النظام ثلاثة تدفقات غير متزامنة:
1. البصري: صور ستيريو مشفرة عبر مشفر SuperPoint مدرب مسبقاً.
2. القصوري: بيانات IMU (التسارع الخطي والسرعة الزاوية) مشفرة عبر مشفر RONIN مدرب مسبقاً.
3. تقدير الموضع (Odometry): تقديرات الوضعية الخام والتباينات المرتبطة بها من وحدة VO/VIO الصاعدة، مشفرة عبر شبكة متصلة بالكامل.
المخرجات: يتنبأ النموذج بتوزيع غاوسي غير ذي متوسط صفري فوق خطأ الوضعية في $SE(3)$ $S E (3)$ ، ويُمثل بـ $\xi_i \sim \mathcal{N}(\mu_i, \Sigma_i)$ $ξ_{i} \sim N (μ_{i}, Σ_{i})$ .
- المتوسط ( $\mu_i$ ): يُستخدم لتصحيح الوضعية المقدرة ( $\hat{T}'_i = \exp(\mu_i^\wedge)\hat{T}_i$ ).
- التباين ( $\Sigma_i$ ): يوفر مقياساً معايراً لعدم اليقين.

التنفيذ التقني

نمذجة الخطأ: يتم رسم خطأ الوضعية إلى جبر لي (Lie algebra $\mathfrak{se}(3)$ ) عبر خريطة اللوغاريتم. يتم إعادة بناء مصفوفة التباين $\Sigma_i$ باستخدام تحليل LDL ( $\Sigma_i = L_i D_i L_i^T$ ) لضمان شبه التحديد الموجب واستقرار التدريب.
هدف التدريب: يتم تدريب النموذج من البداية إلى النهاية باستخدام خسارتين منفصلتين:
1. خسارة المسافة الجيوديسية ( $L_{geo}$ ): تقلل المسافة بين التقدير المصحح بالانحياز والحقيقة الأرضية، بما في ذلك عقوبة السلاسة لاتساق المسار.
2. اللوغاريتم السالب للاحتمالية (Negative Log-Likelihood - $L_{nll}$ ): تعاير عدم اليقين من خلال تقليل التفاوت بين الأخطاء المرصودة والتوزيع الغاوسي المتوقع.

3. المساهمات الرئيسية

يلخص المؤلفون مساهماتهم كما يلي:

بنية مبتكرة: إطار عمل يتعلم عدم اليقين متعدد الأنماط وغير المتجانس في تقدير الموضع، ويعالج صراحةً قيود النهج أحادي النمط القائم على الإطارات.
مجموعة بيانات UnCal-Flight: إصدار مجموعة بيانات مفتوحة المصدر وتنافسية لملاحة الطائرات بدون طيار تتميز بأنماط حركة معقدة، وإضاءة متغيرة، وعوائق ديناميكية لتقييم قوة VO/VIO.
إضافة (Plugin) تعمل في الوقت الفعلي: إثبات الفعالية كإضافة قابلة للنشر لأنظمة VO/VIO الحالية (مثل VINS-Fusion، وMSCKF، وORB-SLAM 3، وDPVO) عبر مجموعات بيانات متنوعة، مما يحسن الدقة والموثوقية معاً.

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات EuRoC ومجموعة بيانات المؤلفين UnCal-Flight.

تصحيح الوضعية: قلل MUSE أخطاء الوضعية بشكل كبير مقارنة بالنماذج المرجعية. في مجموعة بيانات EuRoC، قلل من جذر متوسط مربع الخطأ (RMSE) لـ VINS-Fusion بنسبة 45.7% (من 0.164 م إلى 0.089 م)، متفوقاً على D-DICE وDPC-Net، اللذين أظهرا تحسناً طفيفاً أو تراجعاً.
معايرة عدم اليقين:
- إعداد المتوسط الصفري: حقق MUSE تفوقاً في خطأ المعايرة المتوقع (ENCE) عبر جميع طرق تقدير الموضع المختبرة (على سبيل المثال، ENCE قدره 0.300 لـ VINS-Fusion مقابل 0.765 لـ DICE)، مما يشير إلى ثقة معايرة بشكل أفضل.
- إعداد المتوسط غير الصفري: تفوق MUSE على D-DICE في كل من مقاييس اللوغاريتم الاحتمالي (LL) وENCE، مما يثبت قدرته على تصحيح الانحيازات المنهجية مع تحديد عدم اليقين.
المتانة: في مجموعة بيانات UnCal-Flight الصعبة، حسن MUSE من قيمة RMSE بنسبة 22.2% و38.4% مقارنة بتقدير الموضع الخام في مجموعات فرعية مختلفة من المسارات.
دراسات الاستئصال (Ablation Studies): أكدت النتائج أن دمج جميع الأنماط (الكاميرا + IMU + تقدير الموضع) يعطي أفضل أداء، مما يؤكد ضرورة التكامل متعدد الأنماط لالتقاط الانحراف وعدم اليقين.
الكفاءة: يحقق النظام زمن استدلال يقل عن 3 مللي ثانية لكل نافذة على وحدة معالجة رسومات واحدة من نوع NVIDIA RTX 6000.

5. الأهمية والادعاءات

يدعي البحث أن MUSE يمثل أول إطار عمل يعالج بشكل مشترك الطبيعة متعددة الأنماط، والزمنية، وغير المتجانسة لعدم اليقين في تقدير الموضع. ومن خلال استخدام Mamba للنمذجة التسلسلية الفعالة، يتغلب MUSE على قيود نماذج عدم اليقين السابقة التي تعتمد على الرؤية فقط أو اللحظية.

يضع المؤلفون MUSE ليس مجرد مقدر مستقل، بل كإضافة متعددة الاستخدامات وتعمل في الوقت الفعلي قادرة على تعزيز اتخاذ القرارات المتعلقة بالسلامة في البيئات الديناميكية والمحدودة الموارد. يجسد هذا العمل الفجوة بين تقدير الحالة عالي الدقة وتحديد عدم اليقين الموثوق، مما يمكن المخططين في المراحل اللاحقة من التفكير في مدى ثقة تقديرات الحالة الخاصة بهم. ويخلص البحث إلى أن التكامل متعدد الأنماط ضروري للتنبؤ القوي بعدم اليقين، وهو استنتاج تدعمه دراسات الاستئصال المكثفة.