🤖 AI

Large-Language-Model-Guided State Estimation for Partially Observable Task and Motion Planning

تقدم هذه الورقة CoCo-TAMP، وهو إطار عمل هرمي لتقدير الحالة يستفيد من النماذج اللغوية الكبيرة لدمج المعرفة القائمة على المنطق السليم حول مواقع الأشياء والارتباط المشترك، مما يقلل بشكل كبير من وقت التخطيط والتنفيذ للروبوتات التي تعمل في بيئات ذات إدراك جزئي.

المؤلفون الأصليون: Yoonwoo Kim, Raghav Arora, Roberto Martín-Martín, Peter Stone, Ben Abbatematteo, Yoonchang Sung

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yoonwoo Kim, Raghav Arora, Roberto Martín-Martín, Peter Stone, Ben Abbatematteo, Yoonchang Sung

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك روبوت مُكلف بالعثور على عنصر معين، مثل محمصة خبز (توستر)، في منزل لم تره من قبل. التحدي هو أنك لا تستطيع رؤية المنزل بأكمله في وقت واحد؛ يمكنك فقط رؤية ما هو أمام عينيك مباشرة، والعديد من الأشياء مخفية خلف الأبواب، أو داخل الخزائن، أو ببساطة خارج نطاق رؤيتك.

هذه هي مشكلة التخطيط للمهام والحركة مع الإدراك الجزئي (PO-TAMP). الأمر يشبه لعب لعبة الغميضة حيث يتعين عليك تخطيط مسارك بالكامل حتى قبل أن تعرف أين يختبئ الجميع. إذا أخطأت في التخمين، فستضيع الوقت في الذهاب إلى الغرفة الخطأ، وتتعثر، وتضطر إلى بدء خطتك من جديد.

يقدم البحث نظامًا جديدًا يسمى CoCo-TAMP (التخطيط للمهام والحركة القائم على الموقع المشترك) والذي يحل هذه المشكلة عبر منح الروبوت ترقية لـ "عقل المنطق السليم" باستخدام نموذج لغوي كبير (LLM) — وهو نفس نوع الذكاء الاصطناعي الذي يشغل برامج الدردشة مثلي.

إليك كيف يعمل CoCo-TAMP، مشروحًا من خلال تشبيهات بسيطة:

1. "الحدس" (الاعتقادات الأولية)

بدون مساعدة، قد يعتقد الروبوت أن احتمال وجود محمصة خبز في الحمام مساوٍ لاحتمال وجودها في المطبخ. إنه يبدأ بلوحة بيضاء فارغة.

يسأل CoCo-TAMP النموذج اللغوي الكبير: "أين من المرجح أن توجد محمصة خببة؟"
يستخدم النموذج اللغوي الكبير تدريبه على اللغة والثقافة البشرية ليقول: "من المؤكد تقريبًا أنها في المطبخ، وربما في غرفة الطعام، ولكن بالتأكيد ليست في الحمام."

التشبيه: تخيل أنك تبحث عن مفاتيحك المفقودة. الروبوت الذي يفتقر إلى المنطق السليم سيفحص كل درج في المنزل باحتمالية متساوية. أما CoCo-TAMP فهو يشبه صديقًا يقول لك: "أنت دائمًا تترك مفاتيحك على طاولة المطبخ أو بجانب الباب الأمامي. لنفحص هناك أولاً". هذا "الحدس" يساعد الروبوت على تخطي عمليات البحث غير المجدية فورًا.

2. "الدائرة الاجتماعية" (الموقع المشترك)

يستخدم النظام أيضًا نوعًا ثانيًا من المنطق السليم: التشابه.
إذا وجد الروبوت كوب قهوة على طاولة المطبح، يمكنه التخمين أن وعاء القهوة من المرجح أن يكون قريبًا. إذا وجد مفكًا، فقد يخمن أن مطرقة موجودة في نفس صندوق الأدوات. وعلى العكس من ذلك، إذا وجد فرشاة أسنان، فإنه يعرف أن محمصة الخبز من غير المرجح أن تكون في نفس ذلك المكان.

التشبيه: فكر في الأمر كأنه مقصف مدرسة ثانوية. إذا رأيت مجموعة من لاعبي كرة القدم يجلسون عند طاولة، يمكنك التخمين أن لاعبي كرة القدم الآخرين من المرجح أن يكونوا عند نفس الطاولة، بينما أعضاء نادي الشطرنج من المرجح أن يكونوا عند طاولة أخرى. يستخدم CoCo-TAMP "الدائرة الاجتماعية" للأشياء لتحديث خريطته. فالعثور على عنصر واحد يحدث فورًا اعتقاد الروبوت حول مكان اختباء العناصر المشابهة.

3. "المحقق الذكي" (تقدير الحالة الهرمي)

الروبوت لا يخمن فحسب؛ بل يحتفظ بنتيجة جارية ("اعتقاد") حول مكان الأشياء.

الخطوة 1: يستخدم النموذج اللغوي الكبير لتقديم تخمين مدروس حول الغرفة والسطح (مثل: "المطبخ، الطاولة").
الخطوة 2: ينتقل للمعاينة. إذا رأى الشيء، فهذا رائع!
الخطوة 3: إذا لم يره، فهو لا يستسلم ببساية. بل يسأل: "هل بحثت بجدية كافية؟ هل كانت الرؤية محجوبة؟"
الخطوة 4: إذا وجد عنصرًا مختلفًا (مثل محمصة خبز)، فإنه يستخدم قاعدة "الدائرة الاجتماعية" لتحديث تخمينه حول العنصر الأصلي (وعاء القهوة).
التشبيه: هذا يشبه محققًا يحل لغزًا.
- المحقق السيئ: "لم أرَ المشتبه به في المطبخ، إذًا لا بد أنه في المرآب". (يستسلم بسرعة كبيرة).
- محقق CoCo-TAMP: "لم أرَ المشتبه به في المطبخ، لكن المطبخ كان مظلمًا ولم أنظر سوى إلى الطاولة. وأيضًا، لقد وجدت قبعته المفضلة في غرفة المعيشة للتو. وبما أنه يحب قبعته، فمن المرجح أنه في غرفة المعيشة أيضًا. لنذهب إلى هناك".

لماذا يعد هذا أمرًا مهمًا؟

اختبر الباحثون هذا النظام على روبوت حقيقي (Toyota HSR) وفي محاكاة حاسوبية ضخمة.

بدون CoCo-TAMP: يتجول الروبوت بلا هدف، يفحص الغرف الخاطئة، يصاب بالارتباك، ويضطر لإعادة تشغيل خطته مرات عديدة. إنه بطيء ومحبط.
مع CoCo-TAMP: يتصرف الروبوت كإنسان ذي خبرة. يعرف أين يبحث أولاً ويستخدم الأدلة من عنصر واحد للعثور على عنصر آخر.

النتائج:

في المحاكاة، كان أسرع بنسبة 62%.
في العالم الحقيقي، كان أسرع بنسبة 72%.

الخلاصة

يعلم CoCo-TAMP الروبوتات التوقف عن التفكير كآلات عمياء والبدء في التفكير كبشر يفهمون العالم. من خلال الجمع بين قدرة الروبوت على الحركة وقدرة الذكاء الاصطناعي على "معرفة" كيف يعمل العالم (أين تنتمي الأشياء وما الذي يتناسب مع بعضه البعض)، يمكن للروبوتات حل المهام المعقدة بشكل أسرع بكثير وبأخطاء أقل.

إنه الفرق بين روبوت يبحث عشوائيًا في كل خزانة في المنزل، وروبوت يمشي مباشرة إلى المطبخ لأنه يعرف أن محمصة الخبز تعيش هناك.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقدير الحالة الموجه بنماذج اللغات الكبيرة للتخطيط للمهام والحركة في ظل الرؤية الجزئية" (COCO-TAMP).

1. تعريف المشكلة

تتناول الورقة مشكلة التخطيط للمهام والحركة تحت الرؤية الجزئية (PO-TAMP). في البيئات الروبوتية الواقعية، غالبًا ما يواجه الروبوت عدم يقين بشأن مواضع الأشياء، وحالات الحجب (الاحتجاب)، ووجود أشياء غير مرئية بشكل مباشر.

التحدي: تعتمد حلول (TAMP) التقليدية غالبًا على افتراض الرؤية الكاملة أو الاعتماد على خطط حتمية. عندما ينفذ الروبوت خطة في بيئة ذات رؤية جزئية، قد يواجه أشياء غير ذات صلة بالمهمة أو يفشل في العثور على الأشياء ذات الصلة بالمهمة لأن مواقعها غير معروفة.
الهدف: تمكين الروبوتات من التخطيط والتنفيذ بكفاءة لمهام المناولة طويلة الأمد من خلال الحفاظ على حالات اعتقاد (belief states) دقيقة (تقديرات احتمالية لمواقع الأشياء ومواضعها) تحت ظروف الرؤية الجزئية، وذلك عبر الاستفادة من المعرفة القائمة على المنطق السليم (common-sense) لتوجيه عملية البحث.

2. المنهجية: COCO-TAMP

يقترح المؤلفون COCO-TAMP، وهو إطار عمل هرمي للتخطيط والتنفيذ يدمج نماذج اللغات الكبيرة (LLMs) كمصدر للمعلومات السابقة (priors) والقرائن المكانية المشتركة. يعمل النظام ضمن مرشح بايزي هرمي ويستخدم PDDLStream كمخطط (TAMP) أساسي.

أ. المكونات الأساسية

توليد الاعتقاد الأولي الموجه بنموذج اللغة الكبيرة (LLM):
- بدلاً من افتراض توزيع موحد على المواقع المحتملة للأشياء، يستخدم COCO-TAMP نموذج لغة كبيرة لتوليد اعتقادات سابقة ( $bel(x_{r,0}, x_{s,0})$ ) فيما يتعلق بالغرف والأسطح التي يُحتمل أن يشغلها الشيء.
- الآلية: يتم استعلام نموذج اللغة الكبيرة عبر الإجابة على أسئلة متعددة الخيارات (MCQA). يسأل الروبوت النموذج: "أين من المرجح أن يوجد المحمص (toaster)؟ أ: المطبخ، ب: الحمام..."، ليختار النموذج الموقع الأكثر احتمالاً من قائمة الخيارات.
- اشتقاق الاحتمالية: يتم تحويل احتمالات توقع الرمز التالي (next-token prediction probabilities/logits) لخيارات الإجابة إلى توزيعات احتمالية صالحة باستخدام دالة (softmax).
تقدير الحالة الهرمي (تحديث الاعتقاد):
- يحافظ النظام على اعتقادات عبر ثلاثة مستويات: الغرفة ( $x_r$ )، السطح ( $x_s$ )، والموضع ( $x_p$ ).
- نموذج الملاحظة المدرك للرؤية: يأخذ النظام في الاعتبار الرؤية الجزئية (الاحتجاب/مجال الرؤية المحدود). يقوم بحساب مقياس "الرؤية" ( $v \in [0,1]$ ) بناءً على نسبة الجسيمات (التي تمثل مواضع الأشياء المحتملة) المرئية فعليًا. الفشل في الملاحظة لا يعني بالضرورة استبعاد وجود الشيء إذا لم تكن المنطقة مرئية بالكامل.
- نموذج الموقع المشترك (Co-Location Model): هذا هو المساهمة المبتكرة لتحديث الاعتقادات أثناء التنفيذ.
  - المفهوم: تميل الأشياء المتشابهة إلى التواجد في نفس الموقع (مثل الملعقة والشوكة)، بينما لا يحدث ذلك مع الأشياء غير المتشابهة.
  - التنفيذ: يقوم النظام بتوليد أوصاف نصية للأشياء باستخدام نموذج اللغة الكبيرة، وينشئ تضمينات (embeddings)، ثم يحسب تشابه جيب التمام ($sim(j, k)$).
  - منطق التحديث: إذا لوحظ الشيء $j$ في غرفة معينة، فإن الاعتقاد بأن الشيء المشابه $k$ موجود في نفس الغرفة يزداد. وإذا كانا غير متشابهين، ينخفض هذا الاعتقاد.
  - مبدل الموقع المشترك (Co-Location Toggler): للتعامل مع الأشياء التي تتوزع طبيعيًا (مثل مفاتيح الإضاءة في كل غرفة)، يحدد استعلام نموذج اللغة الكبيرة ما إذا كان سيتم تفعيل نموذج الموقع المشترك لنوع معين من الأشياء.
حلقة التخطيط والتنفيذ:
- يستخدم النظام حلقة "التوليد والتحقق"؛ حيث يوفر نموذج اللغة الكبيرة المعلومات السابقة، بينما يقوم مخطط (belief-space planner) وهو (PDDLStream)، بحساب المسار الأمثل.
- دالة التكلفة: تتناسب تكلفة إجراء "الكشف" (detect) عكسيًا مع كتلة الاعتقاد الحالية والرؤية. هذا يوجه المخطط نحو "الرؤى المعلوماتية" (المواقع التي يُحتمل فيها العثور على الشيء بشكل أكبر).
- إعادة التخطيط: إذا فشل التنفيذ (على سبيل المثال، لم يتم العثور على الشيء في المكان المتوقع)، يقوم النظام بتحديث حالة الاعتقاد باستخدام نموذج الملاحظة ويقوم بتحفيز إعادة التخطيط.

3. المساهمات الرئيسية

إطار عمل متداخل: يقترح إطار عمل (PO-TAMP) يدمج التخطيط والتنفيذ، مستخدمًا نماذج اللغات الكبيرة لتوفير معلومات سابقة معلوماتية وتوجيه تحديثات الاعتقاد، مما يجعل التخطيط طويل الأمد عمليًا في ظل عدم اليقين.
نمذجة الموقع المشترك: يقدم طريقة لاستغلال تضمينات نماذج اللغات الكبيرة لنمذجة الموقع المشترك الدلالي، مما يسم يسمح للروبوت باستنتاج الموقع المرجح للأشياء غير المرصودة بناءً على ملاحظة الأشياء ذات الصلة.
المتانة تجاه الظروف العدائية: يوضح أنه بينما تكون المعلومات السابقة من نماذج اللغات الكبيرة مفيدة، فإن الاعتماد فقط عليها لتحديث الاعتقاد (بدون المرشح البايزي) غير كافٍ للمتانة. النهج الهجين (المعلومات السابقة للنماذج الكبيرة + تحديثات بايز) يحافظ على الأداء حتى عند انتهاك الافتراضات القائمة على المنطق السليم.
الكفاءة: يقلل بشكل كبير من العبء الحسابي لـ (PO-TAMP) عن طريق تضييق نطاق البحث عن مواقع الأشياء في وقت مبكر من العملية.

4. النتائج التجريبية

قيم المؤلفون (COCO-TAMP) في كل من المحاكاة واسعة النطاق (باستخدام مجموعة بيانات Housekeep) والتجارب الواقعية (باستخدام روبوت Toyota HSR).

المقاييس: وقت التخطيط/التنفيذ التراكمي، وعدد تكرارات إعادة التخطيط.
نتائج المحاكاة:
- مقارنة بالنموذج المرجعي الذي يفتقر للمعرفة القائمة على المنطق السليم، حقق COCO-TAMP انخفاضًا متوسطًا بنسبة 62.7% في وقت التخطيط والتنفيذ.
- قلل بشكل كبير من عدد تكرارات إعادة التخطيط، مما يشير إلى انخفاض حالات فشل التنفيذ.
- دراسة الاستئصال (Ablation Study): حقق الجمع بين MCQA (المعلومات السابقة للنماذج الكبيرة) ونموذج الموقع المشترك أفضل أداء.
  - استخدام المعلومات السابقة فقط (MCQA) حسن الكفاءة مقارنة بالنموذج المرجعي.
  - استخدام نموذج الموقع المشترك فقط حسن المتانة.
  - استخدام LGBU (تحديثات الاعتقاد المولدة بواسطة LLM دون المرشح البايزي) كان أداؤه ضعيفًا في الظروف العدائية، حيث فشل في 3 من أصل 5 حالات عندما تم تغيير أماكن الأشياء عشوائيًا لتعطيل المنطق السليم.
النتائج الواقعية:
- في بيئة شقة تجريبية، استغرق النموذج المرجعي 365 ثانية.
- استغرق متغير "النموذج المشترك" (Co-Model) 112 ثانية.
- استغرق نظام COCO-TAMP الكامل (MCQA + Co-Model) نحو 100 ثانية، مما يمثل انخفاضًا بنسبة 72.6% في الوقت مقارنة بالنموذج المرجعي.

5. الأهمية والخاتمة

يجسر هذا العمل الفجوة بين قدرات الاستدلال الدلالي لنماذج اللغات الكبيرة وبين المتطلبات الاحتمالية الصارمة للتخطيط الروبوتي.

الأثر العملي: يثبت أن الروبوتات يمكنها العمل بكفاءة أكبر في البيئات المنزلية المزدحمة وذات الرؤية الجزئية من خلال "التفكير" مثل البشر (استخدام المنطق السليم) مع الالتزام في الوقت نفسه بالضمانات الرياضية (الترشيح البايزي).
الاتجاهات المستقبلية: يشير المؤلفون إلى أنه بينما يعمل النظام جيدًا في المجالات المنزلية، فإن العمل المستقبلي سيستكشف تطبيق هذه المعلومات السابقة في مجالات غير منزلية (المصانع، المستشفيات) والتعامل مع السيناريوهات التي يكون فيها التخطيط الدلالي للبيئة نفسها غير معروف.

باختصار، يثبت COCO-TAMP أن دمج المنطق السليم المستمد من نماذج اللغات الكبيرة في مخطط يعتمد على مساحة الاعتقاد (belief-space planner) يخلق نظامًا قويًا وفعالًا لحل مهام المناولة الروبوتية المعقدة وطويلة الأمد تحت ظروف عدم اليقين.