🤖 machine learning

Optimizing Neurorobot Policy under Limited Demonstration Data through Preference Regret

تقدم هذه الورقة إطار عمل "إتقان خبرتك الخاصة" (MYOE)، الذي يستخدم نموذج فضاء حالة مزيج التفضيلات القابل للاستعلام (QMoP-SSM) لحساب ندم التفضيل، مما يمكّن الروبوتات العصبية من تعلم سلوكيات معقدة من بيانات عرض محدودة مع التغلب على مشكلات ندرة البيانات وتراكم الأخطاء المتأصلة في التعلم التقليدي من العروض التوضيحية.

المؤلفون الأصليون: Viet Dung Nguyen, Yuhang Song, Anh Nguyen, Jamison Heard, Reynold Bailey, Alexander Ororbia

نُشر 2026-04-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Viet Dung Nguyen, Yuhang Song, Anh Nguyen, Jamison Heard, Reynold Bailey, Alexander Ororbia

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت أخرق كيفية إعداد كوب من القهوة. في الماضي، كان العلماء يحاولون القيام بذلك بإحدى طريقتين:

طريقة "النسخ الضوئي" (تعلم التقليد): تعرض فيديو لإنسان وهو يصنع القهوة، ويحاول الروبوت تقليد كل حركة بدقة. المشكلة هي أنه إذا ارتكب الإنسان خطأً بسيطاً (مثل اهتزاز يده قليلاً)، سيقوم الروبوت بتقليد ذلك. وبما أن الروبوت أصبح الآن بعيداً عن المركز قليلاً، فسيقوم بخطأ أكبر لتصحيح نفسه، مما يؤدي إلى خطأ أكبر فأكبر. وفي النهاية، سيسكب الروبوت القهوة في كل مكان. تسمى هذه مشكلة "الخطأ المتتالي" (Cascading Error).
طريقة "التجربة والخطأ" (التعلم التعزيزي): تخبر الروبوت، "اصنع القهوة"، وتتركه يحاول مليون مرة. إذا سكبها، يحصل على إشارة "سيئة"؛ وإذا نجح، يحصل على إشارة "جيدة". المشكلة هي أنه في العالم الحقيقي، لا يمكنك ترك الروبوت يسكب القهوة مليون مرة. يستغرق ذلك وقتاً طويلاً، ويكلف الكثير، وقد يؤدي لكسر الآلة. بالإضافة إلى ذلك، عادة ما يكون لديك قدر ضئيل جداً من البيانات "الخبير" (ربما 5 فيديوهات فقط لإنسان يقوم بالمهمة).

تقدم هذه الورقة البحثية إطار عمل جديداً يسمى MYOE ("أتقن خبرتك الخاصة"). فكر في الأمر كتعليم الروبوت كيف يكون أفضل مدرب لنفسه.

الفكرة الجوهرية: مدرب "البروفة الذهنية"

بدلاً من مجرد تقليد الإنسان أو التخمين الأعمى، يمتلك روبوت MYOE محاكياً ذهنياً داخل دماغه. إليك كيف يعمل، باستخدام تشبيه بسيط:

1. محرك "أحلام اليقظة" (QMoP-SSM)

تخيل أنك تتعلم لعب التنس. أنت لا تكتفي بمشاهدة محترف فحسب؛ بل تغمض عينيك وتتخيل نفسك تضرب الكرة بشكل مثالي. تتخيل مسارها، ودورانها، ونقطة هبوطها.

يفعل الروبوت الشيء نفسه. لديه نموذج يسمى QMoP-SSM.

ينظر إلى الهدف (مثلاً: "افتح الدرج").
يقوم بـ أحلام يقظة (محاكاة) لآلاف الطرق الممكنة لفتح هذا الدرج.
والأهم من ذلك، هو لا يحلم فقط بما حدث؛ بل يحلم بما يجب أن يحدث. إنه ينشئ "مساراً مفضلاً" في عقله.

2. درجة "الندم" (ندم التفضيل)

هذا هو المكون السحري. في الأيام الخوالي، إذا انحرف الروبوت عن فيديو الإنسان، كان يُعاقب. ولكن ماذا لو كان فيديو الإنسان غير متقن في الواقع؟

يستخدم روبوت MYOE مفهوماً يسمى ندم التفضيل (Preference Regret).

التشبيه: تخيل أنك تقود سيارة. لديك نظام GPS (بيانات الخبير) يخبرك بأن تنعطف يساراً. لكن خريطتك الداخلية (حلم اليقظة) تخبرك أن الانعطاف يساراً سيصدم حفرة، بينما الانعطاف يميناً سيكون أكثر سلاسة.
الحساب: يسأل الروبوت نفسه: "إذا اتبعت الـ GPS، كم مقدار 'الندم' الذي سأشعر به مقارنة بمساري السلس والمتخيّل؟"
النتيجة:
- إذا كان مسار الخبير جيداً، يتبعه الروبوت.
- إذا كان مسار الخبير غير متقن (أو إذا كان الروبوت في موقف جديد لم يره الخبير من قبل)، يدرك الروبوت: "مهلاً، مسار الخبير في الواقع أسوأ من مساري المتخيّل!" ثم يتجاهل الجزء غير المتقن من فيديو الخبير ويتبع مساره المتخيّل الأفضل.

إنه يقول ببساطة: "سأتعلم من الخبير، لكني سأقلد الأجزاء التي تبدو منطقية فقط. إذا ارتكب الخبير خطأً، فسأشعر بـ 'الندم' لاتباعه وسأصلح الخطأ بنفسي."

3. "خليط" من الأحلام

أحياناً، لا توجد طريقة واحدة فقط للقيام بالمهمة. يمكنك فتح الباب بالدفع، أو السحب، أو الإنزلاق.
محرك أحلام اليقظة لدى الروبوت لا يتخيل مساراً واحداً فقط؛ بل يتخيل خليطاً من العديد من المسارات الناجحة الممكنة. هذا يمنع الروبوت من الاستقرار على طريقة واحدة غريبة فقط (وهي مشكلة تسمى "انهيار النمط" أو mode collapse). إنه يبقي خياراته مفتوحة ويستكشف طرقاً مختلفة للنجاح.

لماذا يهم هذا الأمر (الاختبار في العالم الحقيقي)

اختبر الباحثون هذا على روبوتات حقيقية (مثل روبوت بـ 7 أذرع وروبوت بـ 4 أذرع) باستخدام بيانات محدودة جداً (5 فيديوهات قصيرة فقط لإنسان).

الطريقة القديمة: كانت الروبوتات تحاول تقليد الإنسان، فتصاب بالارتباك بسبب الأخطاء الصغيرة في الفيديو، وتفشل تماماً.
طريقة MYOE: شاهدت الروبوتات الفيديوهات الخمسة، واستخدمت دماغ "أحلام اليقظة" لفهم الهدف الحقيقي، ثم تدربت في عقلها. وعندما جربت المهمة في الحياة الواقعية، لم تكتفِ بالتقليد؛ بل قامت بـ التحسين. لقد أصلحت أخطاء الإنسان ووجدت المسار الأكثر سلاسة للوصول إلى الهدف.

الخلاصة

تتعلق هذه الورقة البحثية بمنح الروبات دماغاً يمكنه تخيل المستقبل. فبدلاً من أن يكون آلة نسخ صماء تنكسر عندما تكون النسخة الأصلية معيبة، يصبح الروبوت طالباً ذكياً. إنه يتعلم من المعلم (بيانات الخبير) ولكنه يستخدم حدسه الخاص (نموذج التفضيل) لتصحيح الأخطاء وإيجاد أفضل حل ممكن، حتى عندما يمتلك قدراً ضئيلاً جداً من المعلومات.

باختصار: إنها تعلم الروبوت كيف "يتقن خبرته الخاصة" عبر الحلم بالنجاح والشعور بـ "الندم" عندما يحيد عن أفضل مسار ممكن، بدلاً من مجرد التقليد الأعمى لعملية قد تكون معيبة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحسين سياسة الروبوت العصبي تحت قيود بيانات العروض التوضيحية من خلال ندم التفضيل" (Optimizing Neurorobot Policy Under Limited Demonstration Data Through Preference Regret).

1. بيان المشكلة

تعالج الورقة البحثية قصورين حرجين في التعلم المعزز للروبوتات من العروض التوضيحية (RLfD) الحالي:

ندرة البيانات: تفترض معظم خوارزميات RLfD وفرة في بيانات الخبراء، وهو أمر غير واقعي في السيناريوهات الواقعية بسبب التكاليف العالية والقيود الزمنية لجمع البيانات.
الأخطاء المتتالية (انزياح المتغيرات المساعدة/Covariate Shift): تعامل طرق التعلم بالتقليد (IL) ونسخ السلوك (BC) التقليدية البيانات كأنها مستقلة ومتماثلة التوزيع (i.i.d). أثناء التنفيذ عبر الإنترنت، تتراكم أخطاء التخطيط الصغيرة، مما يؤدي إلى انحراف الوكيل عن توزيع التدريب نحو حالات غير مرصودة، مما يؤدي إلى انهيار السياسة.
بيانات الخبراء دون المستوى الأمثل: غالبًا ما تقوم الطرق الحالية بتقليد عروض الخبراء بشكل أعمى، حتى عندما تكون بيانات الخبير مشوشة أو دون المستوى الأمثل، وتفشل في التحسين من أجل مكافأة البيئة الحقيقية.

2. المنهجية: إطار عمل MYOE

يقترح المؤلفون إطار عمل "سيطر على خبرتك الخاصة" (Master Your Own Expertise - MYOE)، وهو نهج تعلم تقليد ذاتي يجمع بين الاستدلال النشط (Active Inference - AIF)، ونماذج العالم التوليدية (Generative World Models)، وتقليل ندم التفضيل (Preference Regret).

أ. البنية الأساسية: QMoP-SSM

يستخدم إطار العمل نموذج فضاء الحالة القابل للاستعلام لمزيج التفضيلات (Queryable Mixture-of-Preferences State Space Model - QMoP-SSM). هذا نموذج عالم توليدي يفصل التعلم إلى عمليتين متوازيتين:

تعلم التمثيل: استنتاج الحالة الخفية للعالم ( $s^o_t$ ) من الملاحظات ( $o_t$ ) للتنبؤ بالحالات والمكافآت المستقبلية.
تعلم التفضيل: التنبؤ بمسارات "الحالة المفضلة" المستقبلية ( $s^p_t$ ) بناءً على الأهداف المتعلمة ( $g_\theta$ ) وعروض الخبراء التوضيحية.

يتم تدريب النموذج لتقليل الطاقة الحرة (Free Energy)، والتي تتضمن:

تقليل تباعد كولباك-ليبلر (KL divergence) بين اللاحق التقريبي والسابق (تقليل "المفاجأة").
تعظيم دقة التنبؤ بالملاحظات والمكافآت.
تقليل المسافة بين لاحق التفضيل (Preference Posterior) ولاحق التمثيل (Representation Posterior) (لضمان توافق أهداف الوكيل المتخيلة مع الحالات الناجحة).

لمنع "انهيار النمط" (حيث يتعلم النموذج مسارًا واحدًا محددًا فقط)، يستخدم نموذج فضاء الحالة (SSM) مزيجًا من التفضيلات. فهو يقدر مجموعة من توزيعات التفضيل العشوائية، مما يسمح للوكيل باستكشاف مسارات متنوعة للوصول إلى نفس الهدف مع تعظيم الإنتروبيا لتشجيع الاستكشاف.

ب. التعلم السلوكي: ندم التفضيل

الابتكار الجوهري هو تقديم ندم التفضيل (Preference Regret) كإشارة مكافأة داخلية. بدلاً من مجرد تقليد أفعال الخبراء، يقوم الوكيل بتحسين سياسته عن طريق تقليل الفرق بين المكافآت التي يتنبأ بها نموذج التفضيل ومكافآت البيئة الفعلية.

تُصاغ إشارة المكافأة الإجمالية ( $R_\tau$ ) كالتالي:
$R_\tau = \underbrace{r^o_\tau}_{\text{مكافأة البيئة}} - \underbrace{(r^p_\tau - r^o_\tau)}_{\text{ندم التفضيل}} + \alpha H[\text{Entropy}]$

حد ندم التفضيل: $(r^p_\tau - r^o_\tau)$ $(r_{τ}^{p} - r_{τ}^{o})$ يمثل الفرق بين المكافأة المقدرة بواسطة المسار المفضل ( $r^p$ $r^{p}$ ) والمكافأة الفعلية المرصودة ( $r^o$ $r^{o}$ ).
- إذا انحرف الوكيل عن تفضيل عالي الجودة، يكون الندم سالبًا (مما يعاقب على الانحراف).
- إذا كان عرض الخبير دون المستوى الأمثل (أي أن مكافأة البيئة الفعلية $r^o$ أعلى من تقدير التفضيل $r^p$ )، يصبح الندم موجبًا. هذا يحفز الوكيل على تجاهل الخبير دون المستوى ومتابعة مكافآت البيئة الأعلى، مما يحل فعليًا مشكلة "التقليد الأعمى".
حد الإنتروبيا: يشجع الاستكشاف (الفضول) عن طريق تعظيم إنتروبيا توزيع الحالة.

يتم تدريب السياسة باستخدام تحسين السياسة القريبة (Proximal Policy Optimization - PPO) مع تقدير الميزة المعممة (GAE)، باستخدام إشارة المكافأة المعززة لتحديث شبكات الممثل-الناقد (actor-critic).

3. المساهمات الرئيسية

QMoP-SSM: نموذج فضاء حالة مبتكر يتعلم بشكل مشترك تمثيلات العالم ومسارات التفضيل المشروطة بالهدف، مما يمكن الوكيل من "تخيل" الحالات والأهداف المستقبلية.
آلية ندم التفضيل: صياغة جديدة للمكافأة الداخلية تسمح للوكلاء بالتكيف والموازنة بين تقليد الخبراء وتحسين مكافآت البيئة. إنها تخفف من الأخطاء المتتالية عبر توجيه الوكيل بعيدًا عن مسارات الخبير دون المستوى عند الضرورة.
مزيج التفضيلات: امتداد لنموذج SSM يستخدم مزيجًا من التوزيعات العشوائية لمنع انهيار النمط وضمان استكشاف متنوع لفضاء الحالة.
إطار عمل MYOE: نظام كامل من البداية إلى النهاية للتعلم المعزز من العروض التوضيحية عبر الإنترنت يعمل بفعالية مع بيانات محدودة للغاية (5 حلقات من عروض الخبراء فقط).

4. النتائج التجريبية

قيم المؤلفون MYOE مقابل أفضل الطرق الحالية (DreamerV3-BC, PPO-BC, LAIfO، ومختلف متغيرات نسخ السلوك ذاتية الإشراف) عبر 32 مهمة في ثلاثة بيئات محاكاة (Franka Kitchen, Meta-World, Robosuite) ومنصتين روبوتيتين في العالم الحقيقي (7bot و PX100).

أداء المحاكاة:
- حقق MYOE معدلات نجاح (SR) أعلى بكثير من جميع الطرق المرجعية في معظم المهام.
- في المهام ذات المكافآت المتفرقة أو بيانات الخبراء دون المستوى (مثل "M Button Press Wall")، حيث فشلت الطرق المرجعية تمامًا (SR $\approx$ 0)، نجح MYOE.
- حقق MYOE تقاربًا أسرع، مما أظهر كفاءة عالية في استخدام العينات.
الأداء في العالم الحقيقي:
- أظهرت التجارب على الروبوتات الفيزيائية (7bot و PX100) مع 5 حلقات عرض فقط (10 خطوات لكل منها) تفوق MYOE على الطرق المرجعية في مهام "الوصول" (Reach) و"التقاط المكعب" (Block Picking).
- تعامل MYOE بنجاح مع الضجيج والأخطاء المتتالية الناتجة في إعداد العالم الحقيقي، بينما عانت الطرق المرجعية من تباعد السياسة.
اختبار تأثير ندم التفضيل (Ablation): أكد التحليل النظري (اللمة 1) والنتائج التجريبية أن آلية الندم تسمح للوكيل بتجاهل عروض الخبراء دون المستوى وتعظيم مكافآت البيئة الحقيقية.

5. الأهمية

يمثل هذا العمل تقدمًا كبيرًا في الروبوتات العصبية (Neurorobotics) والتعلم المعزز عالي الكفاءة في العينات.

الواقعية: يحل مشكلة "ندرة البيانات"، مما يجعل التعلم المعزز من العروض التوضيحية (RLfD) قابلًا للتطبيق في النشر الواقعي حيث يكون جمع آلاف العروض التوضيحية للخبراء أمرًا مستحيلاً.
المتانة: من خلال الانتقال لما وراء نسخ السلوك البسيط إلى التحسين القائم على "ندم التفضيل"، فإن النظام متين تجاه بيانات الخبراء المشوشة أو دون المستوى أو المحدودة.
التكامل النظري: ينجح في الربط بين الاستدلال النشط (مبدأ الطاقة الحرة) وبين التعلم المعزز العميق الحديث، مما يوفر آلية منطقية بيولوجيًا لكيفية تعلم الوكلاء من الخبرات المحدودة عبر الموازنة بين المعتقدات الداخلية (التفضيلات) والواقع الخارجي (المكافآت).

تخلص الورقة إلى أنه بينما يتفوق MYOE في معظم السيناريوهات، يجب أن يركز العمل المستقبلي على تحسين قدرة النموذج على التعامل مع التفاصيل البصرية الدقيقة للغاية (مثل الأشياء الصغيرة) واستخدام نماذج ذاتية الانحدار أكثر تقدمًا لاستخراج التبعيات الزمنية بشكل أفضل.