🤖 machine learning

Formulating Reinforcement Learning for Human-Robot Collaboration through Off-Policy Evaluation

تقترح هذه الورقة إطار عمل جديد للتعلم التعزيزي غير المتصل (offline reinforcement learning) يستخدم التقييم خارج السياسة (off-policy evaluation) على بيانات التفاعل المسجلة للاختيار التلقائي لتمثيلات الحالة المثلى ودوال المكافأة للتعاون بين الإنسان والروبوت، مما يلغي الحاجة إلى تفاعلات البيئة المكلفة في الوقت الفعلي ويعزز من قابلية توسع التعلم التعزيزي في التطبيقات الحرجة من حيث السلامة.

المؤلفون الأصليون: Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

نُشر 2026-02-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يعمل جنباً إلى جنب مع إنسان، مثل مساعد طيار في قمرة القيادة أو ممرض في مستشفى. للقيام بذلك، تحتاج إلى منح الروبوت "عقلاً" (التعلم التعزيزي - Reinforcement Learning) يتعلم من خلال التجربة والخطأ. لكن تكمن المشكلة هنا: في العالم الحقيقي، لا يمكنك السماع للروبوت بأن يتسبب في تحطم طائرة أو إيذاء مريض لمجرد معرفة ما سيحدث. هذا أمر خطير للغاية ومكلف للغاية.

عادةً، يضطر البشر لقضاء سنوات في تصميم "حواس" الروبوت يدوياً (البيانات التي ينظر إليها) و"دوافعه" (ما الذي يحصل على مكافأة بسببه). إذا فشل الروبوت، يتعين عليك التخمين لمعرفة السبب والبدء من جديد. الأمر يشبه محاولة ضبط راديو عبر تدوير القرص بعشوائية بينما تقف في غرفة عازلة للصوت.

تقترح هذه الورقة طريقة أذكى لضبط ذلك الراديو دون مغادرة الغرفة أبداً.

الفكرة الكبرى: المدرب "المسافر عبر الزمن"

قدم الباحثون طريقة تسمى التقييم خارج السياسة (Off-Policy Evaluation - OPE). فكر في هذا على أنه "مدرب مسافر عبر الزمن".

بدلاً من ترك الروبوت يتدرب في العالم الحقيقي، يأخذ الباحثون كمية هائلة من السجلات القديمة — تسجيلات لكيفية تفاعل البشر والروبوتات في الماضي. ويستخدمون هذه السجلات لمحاكاة آلاف السيناريوهات المختلفة من نوع "ماذا لو".

المشكلة: يحتاجون إلى معرفة أي مجموعة من "الحواس" (مساحة الحالة - State Space) وأي مجموعة من "قواعد المكافآت" (دالة المكافأة - Reward Function) ستجعل الروبوت الشريك الأفضل.
الحل: يستخدمون مدرب الـ OPE للنظر في السجلات القديمة وقول: "لو كنا قد علمنا الروبوت باستخدام هذه المجموعة المحددة من الحواس وهذا القاعدة المحددة للمكافآت، فإليك بالضبط كيف كان سيكون أداؤه".

يتيح لهم هذا اختيار أفضل وصفة للتدريب دون المخاطرة بأي تفاعل حقيقي واحد.

التجارب: ساحتان مختلفتان للعب

لإثبات نجاح هذه الطريقة، اختبروا "المدرب المسافر عبر الزمن" في بيئتين مختلفتين تماماً.

1. هبوط القمر (اختبار ألعاب الفيديو)

أولاً، استخدموا لعبة فيديو تسمى Lunar Lander، حيث يجب على روبوت هبوط مركبة فضائية على سطح القمر.

الاختبار: حاولوا تعليم الروبوت باستخدام "حواس" مختلفة. نسخة واحدة رأت كل شيء (الموقع، السرعة، الزاوية). نسخة أخرى رأت "ضجيجاً" إضافياً (بيانات مزيفة). نسخة ثالثة رأت أقل (بدون بيانات الموقع).
النتيجة: حدد المدرب من خلال السجلات أن "الرؤية الكاملة" كانت هي الأفضل. وعرف أن إضافة الضجيج المزيف يربك الروبوت، وأن إزالة بيانات الموقع تجعله يصطدم.
المكافأة: اختبروا أيضاً طرقاً مختلفة لمنح الروبوت نقاطاً. وجدوا أن أفضل نظام مكافآت لم يكن مجرد الهبوط بسلام؛ بل كان مزيجاً من الثبات، واستخدام الوقود بحكمة، والهبوط بلطف. اختار المدرب الفائز فوراً، مما وفر عليهم بناء روبوت جديد لاختباره.

2. ناسا MATB-II (اختبار الضغط البشري)

بعد ذلك، انتقلوا إلى سيناريو بشري حقيقي باستخدام محاكاة تسمى MATB-II. تخيل مراقب حركة جوية مشغولاً أو طياراً يدير أربع مهام في آن واحد:

التتبع: إبقاء نقطة على هدف متحرك.
المراقبة: مراقبة العدادات بحثاً عن إنذارات.
إدارة الموارد: الحفاظ على توازن خزانات الوقود.
الاتصالات: الاستماع إلى أوامر الراديو.

في هذه الدراسة، عمل البشر جنباً إلى جنب مع نظام أتمتة. أراد الباحثون معرفة: ما هي البيانات التي يجب أن يستخدمها الروبوت ليقرر متى يتدخل للمساعدة؟

البيانات: جربوا إعطاء الروبوت بيانات المهمة فقط، أو بيانات معدل ضربات القلب فقط، أو مزيجاً من بيانات المهمة، ومعدل ضربات القلب، ومستويات التوتر المقدرة.
النتيجة: حدد "المدرب المسافر عبر الزمن" أن الروبوت كان يؤدي بشكل أفضل عندما يمكنه رؤية كل شيء: ما يفعله الإنسان، ومعدل ضربات قلبه، ومستوى توتره. ومع ذلك، وجد أن مجرد النظر إلى مستويات التوتر وحده لم يكن كافياً؛ فقد كان الروبوت بحاجة لرؤية المهام الفعلية أيضاً.
المكافأة: اختبروا أيضاً طرقاً مختلفة لمكافأة الروبوت. وجدوا أن نظام المكافأة "المتوازن" (الذي يعاقب على الأفعال السيئة ويكافئ على الأفعال الجيدة) كان الأفضل لتعليم الروبوت كيف يكون شريكاً مفيداً.

الاختبار في العالم الحقيقي: وضع الروبوت في العمل

بعد استخدام المدرب لاختيار أفضل وصفة، قاموا بالفعل ببناء الروبوت ووضعه في غرفة مع 19 متطوعاً بشرياً. وقارنوا بين ثلاثة أنواع من المساعدين:

الروبوت القائم على القواعد: يتبع دليلاً صارماً (مثلاً: "إذا كان الإنسان متوتراً، تولَّ المهمة أ").
روبوت التعلم التعزيزي القياسي (Standard RL): تعلم من السجلات باستخدام أفضل وصفة وجدها المدرب.
روبوت التعلم التعزيزي المضبط بدقة (Fine-Tuned RL): تعلم من السجلات، ثم حاول تعديل سلوكه في الوقت الفعلي بناءً على الشخص المحدد الذي يعمل معه.

النتائج:

روبوت التعلم التعزيزي القياسي كان الأكثر اتساقاً. كان الأفضل في تتبع الأهداف المتحركة ومراقبة الإنذارات. جعل البشر يشعرون بأقل قدر من التوتر وبنى أكبر قدر من الثقة. كان بمثابة مساعد طيار موثوق وهادئ يعرف تماماً متى يتدخل.
الروبوت القائم على القواعد كان جيداً في المهام البسيطة لكنه واجه صعوبات عندما تصبح الأمور فوضوية.
الروبوت المضبط بدقة كان مثيراً للاهتمام. كان الأفضل في مهمة "الاتصالات" (الاستماع إلى أوامر الراديو) لأنه تكيف تماماً مع ذلك الشخص تحديداً. ومع ذلك، عندما زاد ضغط العمل، أصبح سلوكه غير متوقع بعض الشيء. كان بمثابة مساعد طيار بارع في الدردشة، لكنه قد ينسى أحياناً مراقبة عداد الوقود عندما تشتد الأمور.

الخلاصة

تخلص الورقة إلى أنك لست بحاجة لتحطيم بعض الصواريخ أو إجهاد بعض الطيارين لتعرف كيف تبني فريقاً روبوتياً جيداً. فمن خلال استخدام التقييم خارج السياسة (Off-Policy Evaluation)، يمكنك النظر في البيانات القديمة، ومحاكاة ملايين سيناريوهات التدريب، واختيار أفضل "حواس" و"دوافع" لروبوتك قبل أن تقوم بتشغيله فعلياً.

هذا يجعل بناء فرق بشرية-روبوتية آمنة وفعالة أسرع وأرخص وأكثر أماناً بكثير. إنه يحول عملية "التخمين والتحقق" إلى علم دقيق قائم على البيانات.

ملخص تقني: صياغة التعلم التعزيزي للتعاون بين الإنسان والروبوت من خلال التقييم خارج السياسة

1. بيان المشكلة

يمتلك التعلم التعزيزي (RL) إمكانات كبيرة لتحسين اتخاذ القرار المتسلسل في البيئات الديناميكية، لا سيما في التفاعل بين الإنسان والروبوت (HRI). ومع ذلك، فإن نشر التعلم التعزيزي في الإعدادات الواقعية ذات الأهمية الحرجة للسلامة (مثل الرعاية الصحية، الطيران، والقيادة الذاتية) يواجه عوائق جوهرية. تعتمد أساليب التعلم التعزيزي التقليدية بشكل كبير على التفاعلات المباشرة المكثفة، والتجربة والخطأ، والخبرة المعرفية لتحديد تمثيلات الحالة الفعالة ودوال المكافأة. هذه العملية غالبًا ما تكون مكلفة، وتستغرق وقتًا طويلاً، وغير آمنة.

بينما يقلل التعلم التعزيزي خارج السياسة (Offline RL) من الحاجة إلى التفاعل في الوقت الفعلي من خلال التدريب على بيانات مجمعة مسبقًا، لا يزال هناك تحدٍ حرج يتمثل في: اختيار مساحات الحالة المثلى ودوال المكافأة دون تجربة مباشرة عبر الإنترنت. علاوة على ذلك، فإن ضمان أن السياسات المدربة خارج السياسة آمنة وفعالة في سيناريوهات العمل الجماعي الديناميكي بين الإنسان والروبوت يتطلب طرق تقييم قوية لا تستدعي المزيد من النشر في العالم الحقيقي.

2. المنهجية

يقترح المؤلفون إطار عمل مبتكر يستفيد من التقييم خارج السياسة (Off-Policy Evaluation - OPE) لاختيار تمثيلات مساحة الحالة المثلى ودوال المكافآت بشكل منهجي باستخدام بيانات التفاعل المسجلة فقط. يلغي هذا النهج الحاجة إلى الوصول إلى البيئة في الوقت الفعلي أو الحصول على تغذية راجعة من الإنسان في الحلقة أثناء مرحلة التصميم.

2.1 اختيار مساحة الحالة عبر التقييم خارج السياسة (OPE)

يقوم إطار العمل بتقييم مساحات حالة مرشحة متعددة ( $S_1, S_2, ..., S_K$ ) مستمدة من المعرفة بالمجال أو اختيار الميزات.

التدريب خارج السياسة: يتم تدريب وكيل تعلم تعزيزي خارج السياسة (تحديدًا Q-Learning المقيد، CQL) لكل مساحة حالة مرشحة باستخدام مجموعة البيانات المسجلة.
تقدير التقييم خارج السياسة (OPE): يقوم مُقدر OPE (باستخدام طرق مثل Importance Sampling، أو Direct Method، أو Fitted Q-Evaluation) بتقدير العائد المتوقع لكل سياسة مدربة دون تفاعل مباشر.
الاختيار: يتم اختيار مساحة الحالة المثلى ( $S^*$ ) بناءً على أعلى عائد مُقدر بواسطة OPE، مما يرتب التمثيلات بفعالية حسب قدرتها على استحثاث سياسات عالية الأداء.

2.2 اختيار دالة المكافأة عبر التقييم خارج السياسة (OPE)

يعمل إطار العمل بشكل مشابه لتقييم دوال مكافأة مرشحة ( $r_1, r_2, ..., r_M$ ) من خلال تقييم قدرتها على التمييز بين السياسات عالية الأداء والسياسات منخفضة الأداء.

تقييم السياسة: يتم تقييم سياسات محددة مسبقًا عالية الأداء ( $\pi^+$ ) ومنخفضة الأداء ( $\pi^-$ ) تحت كل دالة مكافأة مرشحة باستخدام OPE.
مقاييس الفصل: يتم قياس فعالية دالة المكافأة من خلال التباعد بين العوائد المقدرة لـ $\pi^+$ $π^{+}$ و $\pi^-$ $π^{-}$ . يستخدم المؤلفون:
- فرق متوسط العائد ( $\Delta V$ ).
- تباعد كولباك - ليبلر (KL divergence).
- تباعد جينسن - شانون (JS divergence).
الاختيار: دالة المكافأة المثلى ( $r^*$ ) هي التي تعظم الفصل بين السياسات الجيدة والسيئة، مما يضمن إشارة تعلم قوية.

3. التحقق التجريبي

تم التحقق من المنهجية المقترحة في بيئتين مختلفتين:

3.1 الإعداد المنضبط: OpenAI Gym Lunar Lander

الهدف: تقييم قدرة إطار العمل على اختيار مساحات الحالة ودوال المكافأة في بيئة منضبطة.
نتائج مساحة الحالة: تم اختبار ثلاثة مرشحين: الأصلية ( $S_{orig}$ )، الموسعة بالضوضاء ( $S_{more}$ )، والمختزلة ( $S_{less}$ ). حدد OPE بشكل صحيح أن $S_{orig}$ هي التمثيل الأمثل، مما أظهر أن توسيع الميزات غير الضروري يقلل الأداء بينما يؤدي الضغط المفرط إلى فقدان معلومات حيوية.
نتائج دالة المكافأة: نجح إطار العمل في تحديد دالة مكافأة أساسية تتضمن مكافآت قائمة على الحالة، والأفعال، والنهاية باعتبارها متفوقة على البدائل (مثل المكافآت القائمة على النهاية فقط أو الأفعال فقط). أظهرت الدالة المختارة أعلى تباعد JS، مما أكد قدرتها على توفير إشارات تعلم فعالة.

3.2 الإعداد الواقعي: دراسة موضوعات بشرية NASA-MATB-II

الهدف: تقييم القابلية للتطبيق في العمل الجماعي بين الإنسان والروبوت باستخدام بيانات من محاكاة بطارية المهام متعددة السمات (MATB-II) شملت تسعة مشاركين تحت ظروف عمل متفاوتة.
اختيار مساحة الحالة: شملت المرشحات تركيبات من بيانات المهام، والبيانات الفسيولوجية (ضربات القلب، التنفس)، وحجم العمل المقدر.
- النتيجة: حققت مساحة الحالة متعددة الوسائط ( $S_{task+physio+wl}$ ) أعلى عائد لـ OPE. ومع ذلك، أشار تحليل إضافي إلى أن بيانات حجم العمل قدمت فائدة هامشية عند وجود بيانات المهام والبيانات الفسيولوجية. وبناءً على ذلك، تم اختيار $S_{task+physio}$ كتمثيل مفضل، مما يوازن بين الأداء والكفاءة الحسابية.
اختيار دالة المكافأة: تم اختبار ثلاث دوال مكافأة: معاقبة السلوك السيئ ( $r_1$ $r_{1}$ )، ومكافأة السلوك الجيد ( $r_2$ $r_{2}$ )، ومجموع موزون ( $r_3$ $r_{3}$ ).
- النتيجة: تم اختيار المجموع الموزون ( $r_3$ ) كخيار أمثل، حيث أظهر أعلى تباعدات KL و JS، مما يشير إلى أفضل فصل بين أداء السياسات.

3.3 التحقق عبر موضوعات بشرية عبر الإنترنت

دراسة لاحقة معتمدة من لجنة مراجعة المؤسسات (IRB) شارك فيها 19 مشاركًا قارنت بين ثلاثة وكلاء:

القائم على القواعد (RB): قواعد محددة مسبقًا تقوم بتنشيط الأتمتة أثناء زيادة عبء العمل.
وكيل التعلم التعزيزي (RL Agent): تم تدريبه خارج السياسة باستخدام مساحة الحالة ودالة المكافأة المختارة عبر OPE.
الضبط الدقيق للتعلم التعزيزي (RLFT): وكيل التعلم التعزيزي الذي تم ضبطه بدقة إضافية عبر التفاعل في الوقت الفعلي.

النتائج الرئيسية:

أداء المهمة: أظهر وكيل التعلم التعزيزي (RL) الأداء الأكثر اتساقًا في مهام التتبع ومراقبة النظام، متفوقًا بشكل كبير على RB و RLFT من حيث زمن الاستجابة ومعدلات الفشل تحت الأحمال المتفاوتة. تفوق وكيل RLFT في مهمة الاتصالات ولكنه أظهر عدم استقرار في إدارة الموارد ومعدلات فشل أعلى تحت ضغط العمل.
الثقة وعبء العمل: حصل وكيل RL على أعلى تقييمات الثقة وأدى إلى أقل عبء عمل مدرك وأعلى مستوى من الانسيابية. وعلى العكس من ذلك، رغم حصول RLFT على درجات ثقة عالية بعد التجربة فيما يتعلق بالموثوقية، إلا أنه تسبب في أعلى عبء عمل ذاتي وإحباط، مما يشير إلى أن الضبط الدقيق في الوقت الفعلي يمكن أن يؤدي إلى عدم القدرة على التنبؤ والإجهاد المعرفي.
تكرار الأتمتة: استخدم وكيل RL الأتمتة الانتقائية وفي أوقات مناسبة، بينما كان RLFT غالبًا ما يفرط في الأتمتة أو يقلل منها اعتمادًا على المهمة، مما أدى إلى أداء غير متسق.

4. المساهمات الرئيسية

إطار تصميم مدفوع بـ OPE: تقديم إطار عمل يستخدم التقييم خارج السياسة لاختيار مساحات الحالة ودوال المكافأة المثلى من البيانات المسجلة، متجاوزًا الحاجة إلى التفاعلات المباشرة المكلفة.
التحسين القائم على البيانات: طريقة لتحسين صياغات التعلم التعزيزي لكل من البيئات المنضبطة (Lunar Lander) وسيناريوهات التفاعل المعقدة بين الإنسان والروبوت (NASA-MATB-II) من خلال التقييم المنهجي للتكوينات المرشحة.
التحقق التجريبي: إثبات أن الاختيار القائم على OPE يؤدي إلى وكلاء تعلم تعزيزي يتفوقون على النماذج المرجعية القائمة على القواعد والمتغيرات التي خضعت للضبط الدقيق من حيث القدرة على التكيف، والموثوقية، وثقة المستخدم في البيئات متعددة المهام ذات الأهمية الحرجة للسلامة.

5. الأهمية والادعاءات

يدعي البحث أن هذا العمل يعزز جدوى وقابلية التوسع للتعلم التعزيزي خارج السياسة في البيئات الواقعية من خلال أتمتة قرارات التصميم الحرجة. ومن خلال تقليل الاعتماد على التجربة والخطأ والتفاعلات المباشرة، يوفر إطار العمل نهجًا أكثر موثوقية وفعالية واستدامة لصياغة التعلم التعزيزي لسيناريوهات التفاعل بين الإنسان والروبوت المعقدة.

يؤكد المؤلفون على مقايضة حرجة لوحظت في نتائجهم: بينما يمكن أن يؤدي التخصيص من خلال الضبط الدقيق (RLFT) إلى تحسين محاذاة مهام محددة، فإنه قد يخل باستقرار النظام ويزيد من العبء المعرفي. لذلك، يقدم النهج المقترح القائم على OPE بديلًا قويًا يوازن بين القدرة على التكيف والقدرة على التنبؤ. يشير العمل إلى أنه بالنسبة للمجالات ذات الأهمية الحرجة للسلامة، فإن ضمان تقييم السياسات القوي قبل النشر عبر OPE أمر ضروري، وأن دمج البيانات الفسيولوجية في تمثيلات الحالة يمكن أن يحسن بشكل كبير أداء التعاون بين الإنسان والروبوت دون المخاطر المرتبطة بالتجارب المباشرة المكثفة.