🤖 AI

Self-Supervised Bootstrapping of Action-Predictive Embodied Reasoning

تقدم الورقة البحثية R&B-EnCoRe، وهو إطار عمل للتعلم الذاتي غير الخاضع للإشراف، يقوم بتعزيز الاستدلال المجسد من خلال اعتباره متغيرًا كامنًا لاستخلاص استراتيجيات التنبؤ بالأفعال من المعرفة ذات النطاق الواسع المتاحة على الإنترنت، مما يحسن بشكل كبير أداء عمليات المناولة، والملاحة، والقيادة عبر مختلف نماذج الـ VLA دون الاعتماد على قوالب جامدة أو مكافآت خارجية.

المؤلفون الأصليون: Milan Ganai, Katie Luo, Jonas Frey, Clark Barrett, Marco Pavone

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Milan Ganai, Katie Luo, Jonas Frey, Clark Barrett, Marco Pavone

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية أداء مهمة، مثل وضع فلفل أحمر في سلة صفراء. في الماضي، حاول الباحثون مساعدة الروبوت على "التفكير" عبر إجباره على اتباع سيناريو صارم ومكتوب مسبقاً. كانوا يخبرون الروبوت: "أولاً، انظر إلى كل شيء في الغرفة. ثانياً، اذكر كل جسم تراه. ثالثاً، فكر في حالة الطقس. رابعاً، خطط لحركتك".

المشكلة في هذا السيناريو "الموحد للجميع" هي أنه غالباً ما يكون مليئاً بالضجيج. قد يهدر الروبوت طاقته الذهنية في ذكر طبق وملعقة لا علاقة لهما بالفلفل، أو القلق بشأن الطقس بينما هو في الداخل. هذا يشتت انتباه الروبوت عن الهدف الفعلي، مما يجعله أبطأ وأكثر عرضة للفشل.

الحل: R&B-EnCoRe

تقدم الورقة البحثية طريقة جديدة تسمى R&B-EnCoRe (صقل وتعزيز سلسلة التفكير المنطقي الخاص بالتجسيد). فكر في هذه الطريقة كـ محرر ذكي يساعد الروبوت على تعلم ماذا يفكر فيه، بد rather من إخباره بما يجب أن يفكر فيه بالضبط.

إليك كيف تعمل، باستخدام تشبيه بسيط:

1. مرحلة "العصف الذهني" (التمهيد - Warmstarting)

تخيل أنك تحاول كتابة وصفة مثالية لطبق ما. بدلاً من إعطائك وصفة واحدة ثابتة، يتم إعطاؤك حقيبة ضخمة من المكونات (أفكار الاستدلال) مثل "قائمة بجميع الأجسام"، "تخطيط الخطوات"، "التحقق من وضعية القابض"، أو "التفكير في الطقس".

تبدأ R&B-EnCoRe بخلط هذه المكونات عشوائياً. أحياناً تعطي الروبوت وصفة تحتوي على الخطوات فقط. وأحياناً تعطي وصفة تحتوي على قائمة بكل الأجسام. وأحياناً تتضمن الطق، وأحياناً لا تتضمنه. هذا يسمى الاستبعاد الاستدلالي (Reasoning Dropout). إنه يشبه الطاهي الذي يجرب آلاف التوليفات المختلفة من المكونات ليرى أي منها يجعل الطبق مذاقه جيداً بالفعل.

2. "اختبار التذوق" (الصقل ذاتي الإشراف - Self-Supervised Refinement)

الآن، كيف يعرف الروبوت أي وصفة هي الأفضل؟ عادةً، ستحتاج إلى متذوق بشري يقول لك: "هذه جيدة، وتلك سيئة". ولكن في مجال الروبوتات، غالباً لا نملك بشراً يراقب كل حركة.

تستخدم R&B-EnCoRe حيلة ذكية تسمى الاستدلال التبايني الموزون بالأهمية (Importance Weighted Variational Inference).

التشبيه: تخيل أن الروبوت محقق يحاول حل جريمة (المهمة). إنه يولد عدة "نظريات" (مسارات استدلالية) مختلفة حول ما حدث.
الاختبار: ثم يسأل الروبوت نفسه: "إذا استخدمت النظرية (أ)، ما مدى احتمالية إمساكي بالمجرم (أداء الحركة بشكل صحيح)؟ إذا استخدمت النظرية (ب)، ما مدى احتمالية ذلك؟"
النتيجة: تقوم الطريقة تلقائياً بحساب "درجة" لكل نظرية. النظريات التي تساعد الروبوت على التنبؤ بالإجراء الصحيح تحصل على درجة عالية. أما النظريات التي هي مجرد ضجيج (مثل ذكر أجسام غير ذات صلة أو التحدث عن الطقس) فتحصل على درجة منخفضة.

3. "القائمة النهائية" (التعزيز - Bootstrapping)

بمجرد أن يختبر الروبوت آلاف هذه "النظريات"، فإنه ينشئ مجموعة بيانات جديدة ومنقحة. يقوم برمي الأفكار المشتتة ذات الدرجات المنخفضة ويحتفظ فقط بالأفكاء عالية الدرجات والمفيدة.

بالنسبة لذراع الروبوت: يتعلم أن التفكير في "أين يوجد القابض" و"ما هي الخطوة التالية" أمر بالغ الأهمية، لكن سرد كل جسم في الغرفة هو مضيعة للوقت.
بالنسبة لروبوت يمشي: يتعلم أن التفكير في "الجليد المنزلق" (الإمكانيات/Affordances) أمر حيوي، لكن التفكير في "الأعراف الاجتماعية" أو "الطقس" غير ذي صلة.

ثم يعيد الروبوت تدريب نفسه باستخدام هذه "القائمة" الجديدة والنظيفة من الأفكار. يتعلم التفكير فقط فيما يهم بالنسبة لجسمه المحدد ومهمته.

النتائج: ضجيج أقل، نجاح أكبر

اختبرت الورقة البحثية هذا على ثلاثة أنواع مختلفة تماماً من الروبوتات:

أذرع الروبوت (المناولة): أصبح الروبوت أفضل بنسبة 28% في إكمال المهام. توقف عن إضاعة الوقت في سرد الأجسام غير ذات الصلة وركز على الفلفل والسلة.
الروبوتات التي تمشي (الملاحة بالسيقان): تحسنت درجات الملاحة لدى الروبوتات بنسبة 101%. لقد تعلموا التركيز على التضاريس (هل هي زلقة؟) بدلاً من التفاصيل غير ذات الصلة.
السيارات ذاتية القيادة: قللت السيارات من معدل الاصطدام بنسبة 21%. لقد تعلمت تجاهل الأفكار المشتتة والتركيز على الطريق والسيارات الأخرى.

الخلاصة الكبرى

تدعي الورقة أنه من خلال معاملة "الاستدلال" كمتغير خفي يمكن للروبوت اكتشافه وتحسينه لنفسه، يمكننا بناء روبوتات أكثر ذكاءً وسرعة وكفاءة. هم لا يحتاجون إلى بشر لكتابة سيناريوهات مثالية لهم. بدلاً من ذلك، يمكنهم أخذ المعرفة الهائلة والفوضوية من الإنترنت، وتصفية الضجيج، وتعلم ما يجب التفكير فيه بالضبط لإنجاز المهمة.

باختصار: R&B-EnCoRe تعلم الروبوتات التوقف عن الإفراط في التفكير والبدء في التفكير في الأشياء الصحيحة.

ملخص تقني: التمهيد ذاتي الإشراف لتعليل الاستدلال المرتبط بالفعل في الأجساد المتجسدة

بيان المشكلة

نجحت نماذج الرؤية واللغة والعمل (VLA) في الاستفادة من النماذج التأسيسية واسعة النطاق عبر الإنترنت لإنشاء سياسات روبوتية عامة. ومع ذلك، فإن دمج "سلسلة الأفكار" (Chain-of-Thought - CoT) في هذه النماذج يواجه عقبة حرجة: تعتمد الطرق الحالية على قوالب جامدة و"موحدة للجميع" لتحديد بدائيات الاستدلال (مثل سرد جميع الأشياء المرئية، أو الخطط عالية المستوى، أو الخصائص الهيكلية المتاحة للاستخدام). غالبًا ما تجبر هذه القوالب السياسات على معالجة معلومات غير ذات صلة أو مشتتة، مما يؤدي إلى تدهور التنبؤ بالأفعال.

هناك "فجوة تجذر" أساسية بين "التجسد والاستدلال": فخلافًا لنماذج الرؤية واللغة (VLMs) المدربة على مجموعات ضخمة من النصوص والصور من الإنترنت، تفتقر الروبوتات إلى بيانات واسعة النطاق تربط الرؤية واللغة بأفعال محددة. وبناءً على ذلك، تظل عملية الاستدلال الفعالة للتحكم الفيزيائي متغيرًا كامنًا غير مرصود. لا يوجد "مرجع مثالي" (Oracle) للتحقق مما إذا كان تفكير معين يساهم بفعالية في حركة ما، مما يخلق تبعية دائرية حيث يتطلب التدريب القوي استدلالًا عالي الجودة، بينما يتطلب تحديد هذا الاستدلال سياسة ناجحة. تعاني النهج الحالية من هذه المعضلة، وغالبًا ما تلجأ إلى استدلال مطول يفشل في تجذير المعرفة الواسعة من الإنترنت في سياقات روبوتية محددة.

المنهجية: R&B-EnCoRe

قدم المؤلفون إطار عمل R&B-EnCoRe (صقل وتمهيد استدلال سلسلة الأفكار الخاص بالتجسد)، وهو إطار يعامل الاستدلال المتجسد ليس كتعليق ثابت، بل كـ متغير كامن ( $Z$ ) يجب اكتشافه وتحسينه. تُمكّن هذه الطريقة النماذج من تمهيد الاستدلال من المعرفة واسعة النطاق عبر الإنترنت من خلال الصقل ذاتي الإشراف دون الحاجة إلى مكافآت خارجية، أو أدوات تحقق، أو تعليقات بشرية.

يعمل إطار العمل في ثلاث مراحل:

1. التمهيد الأولي عبر إسقاط الاستدلال (Reasoning Dropout)

لاكتشاف المزيج الأمثل من بدائيات الاستدلة لمهام محددة، أنشأ المؤلفون مجموعة بيانات "تمهيد أولي" ( $D_{warm}$ ) عبر تعريض النموذج لاستراتيجيات استدلال متنوعة.

البدائيات (Primitives): تم تحديد مجموعة من بدائيات الاستدلال المفترضة ( $\mathcal{R}$ ) (مثل: خطة، أشياء مرئية، مهمة فرعية، حركة، حالة الذات).
الإسقاط (Dropout): لكل عرض توضيحي $(C, A)$ ، يتم إنشاء مسارات اصطناعية عن طريق تضمين أو حذف كل بدائية بشكل مستقل باحتمالية ثابتة $d$ (إسقاط الاستدلال). وهذا يخلق توزيعًا متنوعًا من المسارات تتراوح من الموجزة إلى المطولة، مما يسمح للنموذج باستكشاف استراتيجيات مختلفة.

2. التدريب المشترك للنموذج القبلي والبعدي

يتم تدريب نموذج واحد ليقوم بدور مزدوج، محاكيًا هيكل المشفر-المفكك (Encoder-Decoder) في المشفرات التلقائية التباينية (VAEs):

النموذج القبلي (Prior Model) ( $p(Z, A | C)$ ): مدرب لتوليد استراتيجيات الاستدلال $Z$ والتنبؤ بالأفعال $A$ بناءً على السياق $C$ . ويمثل هذا السياسة أثناء التشغيل (Online Policy).
النموذج البعدي (Posterior Model) ( $q(Z | C, A)$ ): مدرب لتوليد مرشحات الاستدلال $Z$ مشروطة بكل من السياق $C$ والفعل الحقيقي $A$ . ويعمل هذا كنموذج اقتراح لتفسير الأفعال في سياق الماضي (In Hindsight).

3. الصقل والتمهيد عبر أخذ العينات الموزونة بالأهمية

الابتكار الجوهري يكمن في استخدام المشفرات التلقائية الموزونة بالأهمية (IWAE) لصقل توزيع الاستدلال.

أخذ العينات (Sampling): لكل عرض توضيحي، يتم أخذ $K$ من مسارات الاستدلال المرشحة من التوزيع البعدي $q(Z | C, A)$ .
الوزن (Weighting): يتم حساب أوزان الأهمية لكل مسار: $w(Z_k) = \frac{p(Z_k, A | C)}{q(Z_k | C, A)}$ .
إعادة أخذ العينات (Resampling): يتم إعادة أخذ عينة واحدة $Z^*$ من المرشحات بناءً على توزيع فئوي يتناسب مع هذه الأوزان.
الفائدة المعلوماتية (Information Benefit): نظريًا، تعمل هذه العملية على تضخيم استراتيجيات الاستدلال التي تقلل التباعد بين توزيع فعل النموذج وتوزيع الخبير (فائدة معلوماتية إيجابية) مع كبح الاستراتيجيات المشتتة.
التمهيد (Bootstrapping): يتم بعد ذلك إعادة تدريب نموذج VLA على هذه المجموعة المنقحة من مسارات الاستدلال عالية الجودة والمتنبئة بالفعل، متجاوزة بذلك الحاجة إلى الهندسة اليدوية لقوالب الاستدلال.

المساهمات الرئيسية

إطار عمل R&B-EnCoRe: طريقة تصيغ الاستدلال المتجسد كمتغير كامن، وتوفر وصفة تدريب جاهزة للاستخدام تُحسن نفسها ذاتيًا من البدائيات الاصطناعية باستخدام الاستدلال التبايني الموزون بالأهمية. وهي تلغي الحاجة إلى قواعد استدلالية "موحدة للجميع" وتعليقات بشرية مكلفة.
التصفية ذاتية الإشراف: يفلتر هذا النهج بفعالية المعلومات "المشتتة" (مثل صناديق الإحاطة للأشياء غير ذات الصلة بالمهمة) ويضخم الإشارات الحرجة (مثل الخصائص الهيكلية المتاحة للروبوتات التي تسير على أرجل) دون مكافآت خارجية. وينتج مسارات استدلال عالية الجودة وقابلة للتفسير تميز بين الإشارات الأساسية والضجيج.
التحقق عبر المجالات المختلفة: تم التحقق من فعالية الطريقة عبر مجالات المناولة (Franka Panda, WidowX)، والملاحة المتجسدة (بشرية، عجلات، دراجة، رباعية الأرجل)، والقيادة الذاتية، باستخدام بنى VLA تتراوح من 1 مليار إلى 30 مليار معلمة.

النتائج التجريبية

أبلغ المؤلفون عن مكاسب كبيرة في الأداء عبر ثلاثة مجالات:

المناولة (LIBERO-90 & Bridgev2):
- حقق زيادة بنسبة 28% في معدلات نجاح المناولة مقارنة بالنماذج التي تستخدم جميع البدائيات دون تمييز.
- قلل متوسط عدد الرموز (Tokens) المولدة إلى النصف، مما يشير إلى استدلال أكثر إيجازًا.
- حسن معدل حرجية الأشياء (نسبة المسارات التي تكون فيها الأشياء المدرجة ذات صلة بالمهمة) من 0.03% (عند سرد جميع الأشياء) إلى 25.02%.
- أظهر متانة في حالات التوزيع خارج النطاق (OOD) مع وجود مشتتات، حيث عانت النماذج المرجعية من انخفاض في الأداء.
الملاحة المتجسدة (NaviTrace):
- حقق تحسنًا بنسبة 101% في درجات الملاحة (مقياس NaviTrace) عبر الأجساد البشرية، والعجلات، والدراجات، والرباعية الأرجل.
- نجح في تنقية البدائيات غير ذات الصلة، مثل أوصاف الطقس الذاتية، مع الاحتفاظ بالاستدلال الحرج المتعلق بالعوائق والخصائص المتاحة.
القيادة الذاتية (nuScenes):
- حقق انخفاضًا بنسبة 21% في مقياس معدل التصادم مقارنة بالنماذج المرجعية.
- قلل خطأ التنبؤ بالمسار (خطأ L2) مع الحفاظ على معدلات تصادم أقل.
- أظهر أن زيادة عدد عينات التوزيع البعدي ( $K$ ) في خطوة أخذ العينات الموزونة بالأهمية تؤدي إلى تحسين الأداء بشكل رتيب، حيث تصل إلى مرحلة التشبع عند حوالي 16 عينة.

الأهمية والادعاءات

يدعي البحث أن R&B-EnCoRe يعالج التبعية الدائرية في الاستدల المتجسد من خلال السماح للنماذج بـ تقطير الاستدلال الذي يتنبأ بالتحكم الناجح. ومن خلال معاملة الاستدلال كمتغير كامن واستخدام أخذ العينات الموزونة بالأهمية ذاتيًا، تقوم هذه الطريقة بتجذير المعرفة واسعة النطلة من الإنترنت في التنفيذ الفيزيائي دون هندسة يدوية للتعليقات.

يؤكد المؤلفون أن فعالية هذا النهج تعتمد على تنوع وتغطية بدائيات التمهيد الأولي بدلاً من جودتها الفردية؛ حيث تقوم خطوة أخذ العينات الموزونة بالأهمية تلقائيًا بخفض وزن البدائيات غير المفيدة. في النهاية، يُمكّن R&B-EnCoRe من إنشاء سياسات ذاتية التحسين لا تتعلم فقط كيفية الفعل، بل تستفيد من المقدمات لـ "التفكير في الأسئلة الصحيحة" قبل التنفيذ، مما يحسن نجاح المهام وكفاءة الاستدلال بشكل كبير (تقليل زمن التأخير عبر تنقية الاستدلال المطول).