💻 computer science

Enabling Extensible Embodied Capabilities with Tools

تقترح هذه الورقة بروتوكول الأدوات المتجسدة (ETP) وقاعدة أدوات مقابلة لفك الارتباط بين القدرات المتجسدة غير المتجانسة وتحويلها إلى أدوات مستقلة التحسين، مما يثبت من خلال (EmbodiedToolBench) أنه في حين أن هذا التعهيد الخارجي يعزز أداء الإدراك والإدراك المعرفي بشكل كبير، فإنه يواجه تحديات في التنفيذ وإدارة استدعاء الأدوات.

المؤلفون الأصليون: Xueyang Zhou, Zijia Wang, Qianjiang Li, Yibo Hu, Guiyao Tie, Li Wan, Yidan Liu, Pan Zhou, Lichao Sun, Yongchao Chen

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xueyang Zhou, Zijia Wang, Qianjiang Li, Yibo Hu, Guiyao Tie, Li Wan, Yidan Liu, Pan Zhou, Lichao Sun, Yongchao Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت القيام بالأعمال المنزلية، مثل تنظيف غرفة فوضوية أو صنع شطيرة.

الطريقة القديمة: مشكلة "العقل الخارق"
تقليديًا، حاول العلماء بناء عقل روبوت واحد عملاق وعليم بكل شيء. أرادوا لهذا العقل الواحد أن يفعل كل شيء: يرى ما هو موجود على الطاولة، ويحدد أفضل خطة، ويتذكر أين توجد المفاتيح، ويحرك ذراع الروبوت بالفعل لالتقاطها.

تجادل الورقة البحثية بأن هذا يشبه محاولة تعليم طالب واحد ليكون جراحًا عالميًا، وطباخًا محترفًا، ونجارًا ماهرًا، وملاح نظام تحديد المواقع (GPS) في آن واحد. هذا كثير جدًا! العقل يصاب بالارتباك، وتتشابك المهارات المختلفة، وعندما يحاول الروبوت تعلم شيء ما (مثل كيفية الإمساك بكوب)، فقد ينسى بالخطأ كيفية المشي.

الطريقة الجديدة: نهج "صندوق الأدوات"
يقترح المؤلفون فكرة أكثر ذكاءً: لا تبنِ عقلًا واحدًا عملاقًا؛ بل ابنِ مديرًا ذكيًا مع صندوق أدوات.

بدلاً من إجبار الروبوت على تعلم كل مهارة بنفسه، فإنهم يمنحونه مجموعة من "الأدوات" المتخصصة (برامج حاسوبية) التي يمكنه الاستعانة بها عند الحاجة.

المدير (عقل الروبوت): وظيفته الوحيدة هي النظر إلى الموقف وتحديد أي أداة يجب استخدامها. لا يحتاج المدير لمعرفة كيفية حساب العمق أو تتبع الأشياء؛ يحتاج فقط أن يعرف: "مهلًا، أحتاج لمعرفة مدى بعد ذلك الكوب. دعني أسأل أداة العمق".
الأدوات: هي خبراء متخصصون جاهزون. هناك أداة بارعة في العثور على الأشياء (مثل العدسة المكبرة). وأخرى بارعة في تخطيط مسار (مثل نظام تحديد المواقع GPS). وأخرى بارعة في تذكر أين كانت الأشياء (مثل دفتر الملاحظات).

بروتوكول الأدوات المجسدة (ETP): المهايئ العالمي
تقدم الورقة البحثية قاعدة معيارية تسمى بروتوكول الأدوات المجسدة (ETP). فكر في هذا كوصلة كهربائية عالمية أو منفذ USB قياسي.

في السابق، كانت كل أداة تتحدث لغة مختلفة. "أداة الرؤية" قد تتحدث الفرنسية، و"أداة التخطيط" قد تتحدث الإسبانية. لم يكن بإمكان الروبوت استخدامها معًا.
يجبر بروتوكول (ETP) جميع الأدوات على التحدث بنفس اللغة. الآن، يمكن لمدير الروبوت توصيل أي أداة، وطرح سؤال عليها، والحصول على إجابة واضحة، بغض النظر عن الجهة التي صنعت الأداة.

مجموعة "صندوق الأدوات"
لم يكتفِ الباحثون بالحديث عن هذا فحسب؛ بل قاموا ببنائه بالفعل. لقد جمعوا مكتبة ضخمة تضم أكثر من 100 أداة تم التحقق من صحتها.

بعض الأدوات تساعد الروبوت على الرؤية (إيجاد كوب أحمر محدد في مطبخ فوضوي).
بعضها يساعده على التفكير (إدراك أن الكوب موجود فوق كتاب).
بعضها يساعده على التخطيط (تقرير تحريك الكتاب قبل التقاط الكوب).
وبعضها يساعده على التنفيذ (حساب الزاوية الدقيقة للإمساك بالكوب دون إسقاطه).

الاختبار: "EmbodiedToolBench"
للتأكد من نجاح ذلك، أنشأوا اختبارًا ضخمًا يسمى EmbodiedToolBench. إنه يشبه اختبار القيادة للروبوتات، ولكن بدلاً من مجرد القيادة، يتعين على الروبوت أن يقرر:

هل أحتاج للمساعدة؟ (هل يجب أن أستدعي أداة، أم يمكنني القيام بذلك بنفسي؟)
أي أداة؟ (هل أحتاج إلى نظام تحديد المواقع أم الخريطة؟)
هل يمكنني استخدامها؟ (هل سألت الأداة السؤال الصحيح؟)
هل يمكنني الجمع بينها؟ (هل يمكنني استخدام نظام تحديد المواقع، ثم الخريطة، ثم البوصلة بالترتيب الصحيح؟)

ما وجدوه

الأخبار الجيدة: منح الروبوتات صندوق الأدوات هذا جعلها أفضل بكثير في المهام التي تتطلب التفكير والرؤية. على سبيل المثال، في المهام المتعلقة بالملاحة واتباع التعليمات المعقدة، تحسنت أداء الروبوتات بنسبة 30-36% تقريبًا بمجرد استخدام الأدوات. كان الأمر كما لو أنك أعطيت طالبًا آلة حاسبة وقاموسًا؛ فقد حلوا المشكلات بشكل أسرع وأكثر دقة.
مفاجأة "المصدر المفتوح": العقول الروبوتية الأصغر والأرخص (النماذج مفتوحة المصدر) استفادت بشكل أكبر. مع الأدوات، استطاع عقل روبوت صغير أن يتفوق فعليًا على عقل ضخم وغالي الثمن لا يمتلك أدوات.
القصور: لم يكن صندوق الأدوات عصا سحرية لكل شيء. عندما يتعلق الأمر بالتفاصيل الفيزيائية الدقيقة لتحريك ذراع الروبوت (مثل التقاط بيضة رقيقة دون سحقها)، لم تساعد الأدوات كثيرًا. ظل الروبوت يعاني في جزء "العضلات" الفيزيائي من المهمة.
التحدي الحقيقي: لم تكن المشكلة الكبرى في الأدوات نفسها؛ بل في قدرة الروبوت على معرفة متى يستخدمها. لا تزال العديد من الروبوتات تنسى طلب المساعدة عندما تحتاج إليها، أو تختار الأداة الخاطئة (مثل استخدام مطرقة لإصلاح ساعة يد).

باخت-صار
تقول هذه الورقة البحثية: توقفوا عن محاولة جعل عقل روبوت واحد يفعل كل شيء. بدلاً من ذلك، امنحوا الروبوت مديرًا ذكيًا وصندوق أدوات معياريًا من المساعدين المتخصصين. هذا يجعل الروبوتات أكثر ذكاءً، ومرونة، وقدرة على أداء المهام المعقدة، طالما يمكننا تعليمهم متى يمدون أيديهم للأداة الصحيحة.

ملخص تقني: تمكين القدرات المتجسدة القابلة للتوسع باستخدام الأدوات

بيان المشكلة

تعتمد طرق الذكاء المتجسد الحالية بشكل أساسي على سياسات موحدة ومعلمية (مثل نماذج الرؤية واللغة والعمل - VLAs) للتعامل مع الإدراك، والاستدلال، والتخطيط، والتحكم في آن واحد. ويجادل المؤلفون بأن هذه البنية الأحادية تواجه قيودًا هيكلية متأصلة لأن اتخاذ القرار المتجسد هو بطبيعته عملية هرمية وغير متجانسة. فالتخطيط عالي المستوى والتحكم منخفض المستوى يختلفان بشكل كبير في أدوارهما الوظيفية وأهداف التحسين الخاصة بهما. إن ترميز هذه القدرات المتنوعة ضمن مجموعة معاملات واحدة يؤدي إلى ثلاث مشكلات حرجة:

الاقتران الغامض: يتم ترميز القدرات بشكل مشترك دون إسناد واضح، مما يمنع الاستدعاء الانتقائي أو تشخيص حالات الفشل.
عزل القدرات: تظل الكفاءات التي تعلمها نموذج واحد معزولة ولا يمكن نقلها أو إعادة استخدامها عبر أنظمة مختلفة.
التحسين المتشابك: يؤدي تحسين قدرة واحدة إلى خطر تدهور القدرات الأخرى بسبب إشارات التدرج المتضاربة عبر المعاملات المشتركة.

بينما أدت التطورات الأخيرة إلى تحسين التمركز المكاني والاستدلال، لا تزال هذه النماذج الأحادية ضعيفة الأداء في المهام طويلة المدى، والتركيبية، والحرجة من حيث السلامة. ويفترض البحث أن الفجوة هي فجوة هيكلية وليست نقصًا في السعة، مما يستوجب التحول نحو الذكاء المتجسد القائم على الأدوات حيث يتم إخراج قدرات محددة كأدوات خارجية قابلة للتحسين بشكل مستقل.

المنهجية

1. بروتوكول الأداة المتجسدة (ETP)

لمعالجة الافتقار إلى إطار عمل موحد، قدم المؤلفون بروتوكول الأداة المتجسدة (ETP). هذا البروتوكول المعياري يفصل تمثيل القدرة عن التنفيذ، مما يسمح بتسجيل، واكتشاف، واستدعاء، وتنفيذ الأدوات.

الأداة كوحدة قدرة: تُعرف كل أداة $z_m$ بمساحات المدخلات والمخرجات $(X_m, Y_m)$ ، ومجموعة فرعية من القدرات المحققة، ودالة تنفيذ $f_m$ . يمكن أن يكون التنفيذ نموذجًا متعلمًا، أو خوارزمية كلاسيكية، أو هجينًا، لكن الواجهة تظل ثابتة.
الاكتشاف القائم على السجل: يتم الاحتفاظ بالأدوات في سجل قدرات $R$ مع أوصاف ( $\rho_m$ ) وقيود المخطط ( $\kappa_m$ ). تستعلم الوكلاء من السجل بناءً على احتياجات القدرة بدلاً من اتفاقيات الاستدعاء المحددة.
التنفيذ المعزول: تعمل الأدوات في جلسات معزولة مع تغذية راجعة وقت التشغيل، مما يدعم الاستدعاءات المتزامنة والتنفيذ عن بُعد دون ربط تنفيذ الأداة بسياسة الوكيل.

2. بناء قاعدة الأدوات

استنادًا إلى ETP، قام المؤلفون بتنسيق قاعدة أدوات تضم أكثر من 100 أداة تم التحقق منها تغطي أربعة أبعاد أساسية للقدرة:

الإدراك والتمركز: كشف الأشياء، التجزئة، التمركز المكاني، وفهم المشهد.
الإدراك ونمذجة الحالة: تقدير الحالة، النمذجة العلاقاتية، فهم الإمكانات (affordance)، واسترجاع الذاكرة.
الاستدلال والتخطيط: تفكيك الأهداف، الاستدلال السببي، والتخطيط طويل المدى.
التنفيذ والتحكم: توليد المسارات، تخطيط الإمساك، والتحكم في الحركة منخفض المستوى.

تم اختيار كل أداة بناءً على كونها خفيفة الوزن، سهلة النشر، ومتينة بيئيًا، ثم تم تغليفها بواجهة برمجة تطبيقات (API) مهيكلة وبطاقة أداة.

3. EmbodiedToolBench

أنشأ المؤلفون EmbodiedToolBench لتقييم كفاءة استخدام الأدوات للنماذج الحالية بشكل منهجي. يتكون الاختبار من أربع مهام:

التعرف على الحاجة للأداة: تحديد ما إذا كانت الأدوات الخارجية ضرورية لحالة قرار معينة.
اختيار الأداة: تحديد الأداة الأكثر ملاءمة من بين مجموعة مرشحة (بما في ذلك المشتتات المتشابهة دلاليًا).
تنفيذ الأداة: بناء استعلامات صالحة للأداة (المرحلة 1) والعمل بشكل صحيح بناءً على مخرجات الأداة (المرحلة 2).
تركيب سلسلة الأدوات: اختيار الحد الأدنى من الأدوات المطلوبة وترتيبها في ترتيب الاعتماد الصحيح.

4. إطار التقييم

أُجريت التجارب على كل من منصات المحاكاة (EB-ALFRED, EB-Habitat, EB-Navigation, EB-Manipulation) والمنصات الروبوتية في العالم الحقيقي. درست الدراسة ثمانية نماذج ممثلة مفتوحة المصدر ومغلقة المصدر، وقارنت الأداء مع وبدون تعزيز الأدوات.

النتائج الرئيسية

تحسينات الأداء

مكاسب مستمرة: أدى تعزيز الأدوات إلى تحسين أداء المهام المتجسدة باستمرار عبر جميع الاختبارات.
- EB-ALFRED: متوسط زيادة قدره 31%. شهدت النماذج مفتوحة المصدر مثل Qwen3-8B تحسينات هائلة (0.20 $\leftarrow$ 0.72).
- EB-Navigation: متوسط زيادة قدره 36%، مع مكاسب قوية بشكل خاص في المهام الفرعية البصرية (+0.40) وطويلة المدى (+0.54).
- العالم الحقيقي: في المهام الروبوتية في العالم الحقيقي (تنظيف المكتب، الميزان، بناء المكعبات)، حققت النماذج بدون أدوات 0/10 نجاح، بينما حققت الوكلاء المعززون بالأدوات معدلات نجاح كبيرة (على سبيل المثال، 8/10 إلى 9/10).
تضييق الفجوة: أدى تعزيز الأدوات إلى تحسين تنافسية النماذج مفتوحة المصدر بشكل كبير، مما سمح لها بالتفوق على النماذج القوية مغلقة المصدر التي تفتقر إلى الوصول للأدوات (على سبيل المثال، Qwen3-8B مع الأدوات تفوق على GPT-4o بدون أدوات في EB-ALFRED).

حدود القدرة

كشفت الدراسة عن حدود واضحة فيما يتعلق بالقدرات التي تستفيد من الإخراج الخارجي:

فائدة عالية: أظهرت مهام الإدراك والتعرف أكبر المكاسب (حتى +0.34 للنماذج مفتوحة المصدر). تدعم الأدوات بفعالية التحليل البصري والمهام القائمة على المعرفة.
فائدة متوسطة: أظهرت مهام الاستدلال تحسينات ثابتة.
فائدة محدودة: أظهرت قدرات التنفيذ مكاسب أصغر وأكثر تباينًا (+0.03 إلى +0.19). يشير المؤلفون إلى أن المهام التي تتطلب تمركزًا مكانيًا دقيقًا، وتفاعلًا غنيًا بالاتصال، وتحكمًا فيزيائيًا منخفض المستوى، أقل دعمًا من قبل واجهات الأدوات الحالية.

اختناقات الكفاءة

رغم تحسينات الأداء، حدد التحليل اختناقات مستمرة في كيفية استخدام النماذج للأدوات:

التعرف على الحاجة للأداة: غالبًا ما تفشل النماذج في إدراك متى تكون الأدوات ضرورية، حيث ينخفض الاستدعاء (recall) إلى 0.13 لبعض النماذج مفتوحة المصدر.
اختيار الأداة: لا يزال اختيار الأداة الصحيحة من بين المرشحين المتشابهين دلاليًا يمثل تحديًا (أفضل CSR ~0.74).
تنفيذ الأداة: بينما يكون بناء المدخلات مرتفعًا بشكل عام، فإن استخدام النتائج يمثل اختناقًا رئيسيًا. غالبًا ما تجد النماذج صعوبة في تفسير والعمل بناءً على مخرجات الأدوات العائدة بفعالية.
تركيب سلسلة الأدوات: تميل النماذج إلى "التركيب الزائد"، حيث تدرج أدوات غير ضرورية بدلاً من اختيار الحد الأدنى من المجموعة، مما يشير إلى صعوبة في التنسيق الدقيق متعدد الأدوات.

الأهمية والادعاءات

يزعم البحث أن إخراج القدرة (capability externalization) هو نهج قابل للتطبيق وفعال للتغلب على القيود الهيكلية للسياسات المتجسدة الأحادية. ومن خلال فصل القدرات غير المتجانسة إلى أدوات مستقلة التحسين، يسمح الإطار بـ:

إعادة الاستخدام النمطية: يمكن تسجيل القدرات المتخصصة وإعادة استخدامها عبر وكلاء ومهام مختلفة.
التحسين المستهدف: يمكن تحسين الأدوات بشكل مستقل دون التداخل مع القدرات الأخرى.
القابلية للتوسع: يمكن للنظام التوسع إلى مجموعات أدوات كبيرة وغير متجانسة دون إعادة تدريب سياسة الوكيل الأساسية.

ومع ذلك، يخلص المؤلفون بتواضع إلى أن كفاءة الأداة — وتحديدًا القدرة على معرفة متى وأي وكيف يتم استدعاء الأدوات — تظل هي الاختناق المركزي للوكلاء المتجسدين ذوي القدرة الحقيقية. يسلط البحث الضوء على أنه بينما يحسن توفر الأدوات الأداء، فإن التنسيق الذاتي لهذه الأدوات من قبل النماذج الحالية ليس موثوقًا به تمامًا بعد، خاصة في السيناريوهات كثيفة التنفيذ. وهذا يحدد كفاءة الأدوات المتجسدة كاتجاه حاسم للبحوث المستقبلية.