💻 computer science

LEGS-POMDP: Language and Gesture-Guided Object Search in Partially Observable Environments

تقدم الورقة البحثية إطار عمل LEGS-POMDP، وهو إطار عمل معياري يدمج الملاحظات اللغوية والإيمائية والبصرية ضمن عملية ماركوف لاتخاذ القرار تحت حالة عدم اليقين (POMDP) للتعامل بفعالية مع عدم اليقين في هوية الكائن وموقعه من أجل بحث روبوتي قوي في العالم المفتوح.

المؤلفون الأصليون: Ivy Xiao He, Stefanie Tellex, Jason Xinyu Liu

نُشر 2026-03-06

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ivy Xiao He, Stefanie Tellex, Jason Xinyu Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك في مستودع ضخم مليء بالضباب، مليء بمئات الصناديق المتطابقة تماماً. صديقك، الذي يقف بعيداً، يصرخ: "أحضر لي الصندوق الأحمر!" ويشير بيده بشكل غامض باتجاهك.

إليك المشكلة:

الضباب: لا يمكنك رؤية كل شيء بوضوح (إدراك جزئي).
الصوت الغامض: "الصندوق الأحمر" قد يكون أي صندوق من بين 50 صندوقاً أحمر.
الإشارة المهتزة: يد صديقك ترتجف، أو ربما يشير إلى صندوق أحمر ليس هو المقصود.

إذا خمنت فقط، فقد تمسك بالصندوق الخطأ. وإذا طلبت توضيحاً فقط، فسيستغرق الأمر وقتاً طويلاً. أنت بحاجة إلى طريقة لدمج الصوت، وإيماءة اليد، وعينيك لتكتشف بالضبط أي صندوق يجب أن تمسك به، حتى عندما لا تكون متأكداً بنسبة 100%.

هذا هو بالضبط ما يتحدث عنه بحث LEGS-POMDP. إنه "عقل" جديد للروبوتات يساعدها على العثين على الأشياء في العوالم الفوضوية وغير المؤكدة من خلال الاستماع إلى لغة البشر ومراقبة إيماءاتهم في آن واحد.

إليك شرح لكيفية عمل ذلك، باستخدام تشبيهات بسيطة:

1. "شعور الروبوت الداخلي" (الـ POMDP)

معظم الروبوتات اليوم تشبه الطلاب الذين يحفظون الإجابات. إذا رأوا نمطاً معيناً، يقومون بفعل محدد. لكن في عالم فوضوي، تتغير الأنماط.

روبوت LEGS-POMDP يشبه المحقق. بدلاً من معرفة الإجابة فوراً، فإنه يحتفظ بـ "خريطة اعتقاد".

تخيل خريطة للمستودع حيث يوجد فوق كل صندوق نسبة مئوية صغيرة مكتوبة (مثلاً: "الصندوق أ: احتمال 10% أن يكون هو المطلوب"، "الصندوق ب: احتمال 80% أن يكون هو المطلوب").
هذا يسمى POMDP (عملية ماركوف لاتخاذ القرار تحت الملاحظة الجزئية). وهي طريقة رياضية لقول: "أنا لا أعرف بالتأكيد، ولكن هذا هو أفضل تخمين لدي بناءً على ما رأيته حتى الآن".

2. القرائن الثلاث (دمج الوسائط المتعددة)

يحصل الروبوت على قرائن من ثلاثة مصادر، ويتعامل معها كقطع من أحجية (بازل):

الصوت (اللغة): يقول الإنسان: "الكوب ذو الخط الأزرق".
اليد (الإيماءة): يشير الإنسان نحو زاوية ما.
العين (الرؤية): يرى الروبوت مجموعة من الأشياء.

الخدعة السحرية:
الروبوتات القديمة قد تحاول استخدام الصوت فقط أو اليد فقط. إذا كان الصوت غامضاً ("الكوب") وكانت اليد مهتزة، يصاب الروبوت بالارتباك.
LEGS-POMDP يجمع بينهم. الأمر يشبه امتلاك فريق من ثلاثة خبراء في غرفة:

خبير الصوت يقول: "أعتقد أنه الكوب ذو الخط الأزرق، لكنني متأكد بنسبة 60% فقط".
خبير اليد يقول: "أنا أشير إلى الجانب الأيسر، لكن يدي تهتز، لذا يمكن أن يكون في أي مكان داخل هذا المخروط. أنا متأكد بنسبة 70% أنه في ذلك المخروط".
خبير العين يقول: "أرى كوباً ذا خط أزرق في ذلك المخروط".

يقوم عقل الروبوت بضرب هذه الاحتمالات معاً. فجأة، يتحول "الكوب ذو الخط الأزرق في المخروط الأيسر" من مجرد تخمين بنسبة 10% إلى يقين بنسبة 90%. وهذا ما يسمى دمج الوسائط المتعددة (Multimodal Fusion).

3. "المروحة" و"المخروط"

يقدم البحث طريقتين ذكيتين لنمذجة عدم اليقين البشري:

مروحة الرؤية: يعرف الروبوت أن كاميرته تشبه المصباح اليدوي. فهو يرى الأشياء بوضوح في المركز، لكنها تصبح مشوشة عند الحواف وبعيداً. وهو ينمذج هذا كشكل "مروحة" حيث المنتصف ساطع (ثقة عالية) والحواف باهتة (ثقة منخفضة).
مخروط الإيماءة: عندما يشير الإنسان، فإنه لا يشير بدقة الليزر. بل يستخدم ذراعه بالكامل، وعينيه، وكتفه. ينمذج الروبوت هذا كـ مخروط (مثل مخروط الآيس كريم) يخرج من معصم الإنسان. قمة المخروط هي المكان الأكثر احتمالاً، لكن الفتحة الواسعة تعترف بأن الإنسان قد يكون غير دقيق تماماً.

4. صانع القرار (المحلل)

بمجرد أن يقوم الروبوت بتحديث "خريطة الاعتقاد" الخاصة به بهذه القرائن الجديدة، يجب عليه أن يقرر ماذا يفعل بعد ذلك. هل يمشي للأمام؟ هل ينظر عن قرب؟ هل يمسك بالشيء؟

يستخدم البحث خوارزمية ذكية تسمى PO-UCT. فكر في هذا كـ محاكي فائق السرعة.

قبل أن يتحرك الروبوت فعلياً، يقوم بتشغيل آلاف السيناريوهات "ماذا لو" في رأسه في جزء من الثانية.
السيناريو أ: "إذا مشيت يساراً، قد أرى الهدف".
السيناريو ب: "إذا نظرت عن قرب، قد أتأكد من وجود الخط الأزود".
هو يختار المسار الذي يعطيه أعلى فرصة للنجاح بأقل قدر من الطاقة الضائعة.

5. النتائج: لماذا هذا مهم؟

اختبر الباحثون هذا على روبوت حقيقي (روبوت يشبه الكلب رباعي الأرجل يسمى "Spot") وفي عمليات المحاكاة.

النتيجة: عندما استخدم الروبوت كلاً من الصوت والإيماءات، وجد الشيء بنسبة 89% من المرات.
المقارنة: إذا استخدم الصوت فقط، أو الإيماءات فقط، فقد فشل في كثير من الأحيان.
القرائن "الخاطئة": حتى عندما قدم الإنسان معلومات خاطئة (على سبيل المثال، أشار إلى كوب أحمر وقال "كوب أزرق")، كانت رياضيات الروبوت ذكية بما يكفي لإدراك أن القرائن متضاربة ولم يتبع القرينة الخاطئة بشكل أعمى. ظل هادئاً واستمر في البحث.

الصورة الكبيرة

في الماضي، كانت الروبوتات تشبه الببغاوات: تكرر ما يُقال لها أو تتبع قواعد صارمة. وإذا لم تتناسب القواعد مع العالم الحقيقي الفوضوي، فإنها تتعطل.

LEGS-POMDP يجعل الروبوت أكثر مثل شريك بشري. إنه يفهم أن البشر فوضويون، وأن اللغة غامضة، وأن الإيماءات غير دقيقة. ومن خلال الجمع الرياضي لهذه القرائن غير الكاملة، يمكنه التنقل في عالم فوضوي، وفهم ما تريده حقاً، وإحضاره لك.

إنه الفرق بين روبوت يقول: "أنا لا أفهم، يرجى التكرار"، وروبوت يقول: "لقد أشرت إلى اليس وقلت 'كوب أحمر'، لذا أنا متأكد من أنك تقصد ذلك الكوب الأحمر هناك. دعني أذهب لإحضاره".

إليك ملخص تقني مفصل لورقة البحث بعنوان "LEGS-POMDP: البحث عن الأشياء الموجه باللغة والإيماءات في البيئات ذات الرؤية الجزئية."

1. بيان المشكلة

تتناول الورقة تحدي البحث عن الأشياء بناءً على تعليمات بشرية في بيئات غير منظمة ومفتوحة. يجب على الروبوتات تحديد موقع الكائن المستهدف بناءً على تعليمات بشرية غامضة تتضمن غالباً:

لغة ناقصة التحديد: يمكن أن تكون اللغة الطبيعية مبهمة (مثل "الكوب" في حين توجد أكواب متعددة).
إيماءات غير دقيقة: قد تشير إيماءات التأشير إلى منطقة تحتوي على عدة مرشحين، أو قد تعاني من ضوضاء المستشعرات.
الرؤية الجزئية: لا يستطيع الروبوت رؤية البيئة بأكملها في وقت واحد، كما أن موقع الهدف يكون مخفياً.

تواجه الأساليب الحالية قيوداً:

الأسالب القائمة على النماذج التأسيسية (Foundation Models): تتفوق في الربط متعدد الوسائط ولكنها تفتقر إلى آليات منهجية لنمذجة عدم اليقين في المهام طويلة الأمد وتفتقر إلى التفسير المحدود.
نماذج POMDP التقليدية: توفر إطار عمل للتخطيط تحت ظروف عدم اليقين، لكنها غالباً ما تقتصر على بيئات الطاولات، وتعتمد فقط على اللغة، أو تضع افتراضات بيئية جامدة.

المشكلة الجوهرية هي كيفية التفكير المشترك في عدم اليقين في القصد البشري (أي كائن هو المستهدف؟) وعدم اليقين في البيئة (أين يقع الكائن؟) باستخدام إطار عمل موحد يدمج اللغة، والإيماءات، والرؤية.

2. المنهجية: LEGS-POMDP

يقترح المؤلفون LEGS-POMDP (البحث عن الأشياء الموجه باللغة والإيماءات في البيئات ذات الرؤية الجزئية)، وهو إطار عمل معياري يصيغ المهمة كـ عملية ماركوف لاتخاذ القرار تحت الرؤية الجزئية (POMDP).

أ. صياغة الـ POMDP

يتم تعريف النظام عبر المجموعة $(S, A, T, O, Z, R, \gamma)$ :

فضاء الحالة ( $S$ ): يُعرف بـ $s = (s_r, s_o)$ ، حيث $s_r$ هو وضعية الروبوت و $s_o$ هو الموقع الكامن للهدف. يستخدم الإطار تمثيلاً مستقلاً عن نوع الكائن (هدف مقابل مشتت) بدلاً من الفئات المحددة للتركيز على الاستدلال بشأن عدم اليقين.
فضاء الإجراءات ( $A$ ): يتضمن بدائيات الحركة ( $a_{move}$ )، وجمع الملاحظات ( $a_{look}$ )، والإنهاء ( $a_{find}$ ).
فضاء الملاحظات ( $O$ ): إشارات متعددة الوسائط $(o_v, o_g, o_l)$ من الرؤية، والإيماءات، واللغة.
نموذج الملاحظة ( $Z$ ): هو الابتكار الأساسي. يقوم بنمذجة احتمالية الملاحظات بناءً على الحالة من خلال دمج ثلاثة وسائط في المجال اللوغاريتمي:
$\log Z(o|s) = w_v \log P_v(o_v|s) + w_g \log P_g(o_g|s) + w_l \log P_l(o_l|s)$
وهذا يسمح بالتكامل الموزون للاحتمالات من مصادر مختلفة.
المكافأة ( $R$ ): مكافأة إيجابية لتحديد الهوية الصحيحة، وتكاليف سلبية لخطوات الحركة والملاحظة لتشجيع الكفاءة.

ب. نماذج الملاحظة متعددة الوسائط

النموذج البصري ( $P_v$ ): يتم نمذجته كمستشعر على شكل مروحة متناقصة. تنخفض احتمالية الكشف بناءً على الانحراف الزاوِي عن محور الكاميرا والمسافة من الروبوت.
النموذج اللغوي ( $P_l$ ): يستخدم دالة تشابه $\kappa$ بين التعليمات وحالة الهدف المفترضة. يتم تحويل ذلك إلى احتمالية باستخدام معدلات الإيجاب الكاذب ( $\epsilon^-$ ) والإيجاب الصحيح ( $\epsilon^+$ ) للتعامل مع الثقة المتدرجة بدلاً من المطابقة الثنائية.
نموذج الإيماءات ( $P_g$ ): بدلاً من متجه واحد، ينمذج النظام التأشير كـ مخروط احتمالي. محور المخروط هو متوسط عدة متجهات تشريحية (من العين إلى المعصم، ومن الكتف إلى المعصم، إلخ)، وتلتقط زاوية الفتح مدى الانتشار. وهذا يأخذ في الاعتبار التباين البشري والضوضاء.

ج. حلّال التخطيط (Planning Solver)

يستخدم النظام PO-UCT (خوارزمية البحث في شجرة مونت كارلو تحت الرؤية الجزئية)، وهي خوارزمية للبحث في شجرة مونت كارلو. توازن الخوارزمية بين الاستكشاف والاستغلال من خلال محاكاة المسارات من حالة الاعتقاد الحالية، مما يسمح للروبوت بتخطيط تسلسلات من الإجراءات التي تزيد من احتمالية العثور على الهدف مع تقليل الخطوات.

3. المساهمات الرئيسية

صياغة POMDP مزدوجة عدم اليقين: أول إطار عمل ينمذج صراحة مصدرين متميزين للرؤية الجزئية في آن واحد: عدم اليقين في هوية الهدف (القصد البشري) والموقع المكاني (حالة البيئة).
نموذج ملاحظة متعدد الوسائط معياري: نهج بايزي منضبط يدمج اللغة والإيماءات والرؤية كاحتمالات. يسمح هذا التصميم باستبدال وحدات الإدراك بمرونة (مثل استبدال الكواشف) مع الحفاظ على القابلية للتفسير والتحديث الدقيق للاعتقاد.
تقييم شامل: تحقق التحقق الموسع عبر اختبارات معيارية مجزأة، وعوالم شبكية محاكاتية ذات تعقيدات متفاوتة، والنشر في العالم الحقيقي على روبوت Boston Dynamics Spot (روبوت رباعي الأرجل مع ذراع آلية).

4. النتائج

يُظهر التقييم تفوق النهج متعدد الوسائط على النماذج المرجعية أحادية الوسائط.

الربط المعياري (Modular Grounding):
- الإيماءات: تفوق التمثيل المخروطي الاحتمالي (متوسط عدة متجهات هيكلية) على النماذج المرجعية ذات المتجه الواحد، محققاً تغطية بنسبة 89.0% وخطأ زاوي قدره 14.4 درجة مقارنة بـ 86.5% و17.0 درجة لأفضل متجه منفرد.
- الربط البصري: حقق خط إنتاج مجموعة العلامات (SoM) (تقسيم SAM2 + استدلال GPT-4o) دقة ربط أعلى (91.4%) من الطرق القائمة على الكواشف (62.4%)، خاصة في حل الاستعلامات المكانية أو الصفات الغامضة، رغم ارتفاع وقت الاستنتاج.
أداء النظام (المحاكاة):
- مقارنة الحلّال: حقق PO-UCT نسبة نجاح 96% باستخدام تمثيل اعتقاد الهيستوغرام، متفوقاً بشكل كبير على نماذج Greedy (63%) وHeuristic (68%).
- دمج الوسائط: حقق المدخل متعدد الوسائط (الإيماءات + اللغة) نسبة نجاح 88.8% مع أقل عدد من الخطوات (76.8) وأسرع وقت (16.7 ثانية). في المقابل، تسببت المدخلات المتعددة الوسائط "المتضاربة" (إشارات متناقضة) في انخفاض نسب النجاح إلى ما يقارب الصفر (2.4%)، مما يسلط الضوء على حساسية النظام للضوضاء.
- التعقيد: مع زيادة حجم البيئة والغموض، تدهور أداء الوسيط الواحد بشكل حاد، بينما حافظ دمج الوسائط المتعددة على نسب نجاح عالية.
النشر في العالم الحقيقي:
- تم الاختبار على روبوت رباعي الأرجل في شبكة 10×10.
- تقليل الإنتروبيا: قللت المدخلات متعددة الوسائط من إنتروبيا الاعتقاد بنسبة 60.8%، متفوقة بشكل كبير على المدخلات المعتمدة على الإيماءات فقط (40.6%) واللغة فقط (34.2%)، مما يثبت سرعة فك الغموض في الإعدادات الفيزيائية.

5. الأهمية

القوة في العوالم المفتوحة: يثبت LEGS-POMDP أن الروبوتات يمكنها العمل بفعالية في بيئات كبيرة وغير منظمة حيث تكون التعليمات غامضة بطبيعتها، وهو سيناريو تفشل فيه التعلم من الطرف إلى الطرف (End-to-end learning) غالباً بسبب نقص البيانات ونقص نمذجة عدم اليقين الصريحة.
القابلية للتفسير: من خلال استخدام إطار عمل احتمالي معياري، يوفر النظام اتخاذ قرار قابلاً للتفسير. يمكن للمستخدمين فهم لماذا اختار الروبوت مساراً معيناً (على سبيل المثال: "أنا أتحرك هنا لأن مخروط الإيماءة والوصف اللغوي كلاهما يزيد من احتمالية وجود الهدف هناك").
تكامل الوسائط: تثبت الورقة تجريبياً أن اللغة والإيماءات يكملان بعضهما البعض؛ فالإيماءات تزيل غموض اللغة، واللغة توضح عدم دقة الإيماءات.
القابلية للتوسع: يسمح التصميم المعياري للنظام بالتكيف مع مستشعرات أو نماذج إدراك جديدة دون الحاجة لإعادة تدريب خط التخطيط بالكامل، مما يسهل الانتقال من المحاكاة إلى الأجهزة الحقيقية.

في الختام، يقدم LEGS-POMDP حلاً صارماً، وقابلاً للتفسير، وفعالاً للغاية للتعاون بين الإنسان والروبوت في مهام البحث، مما يسد الفجوة بين مرونة النماذج التأسيسية وموثوقية التخطيط الاحتمالي.