💻 computer science

Human Preference Modeling Using Visual Motion Prediction Improves Robot Skill Learning from Egocentric Human Video

تقترح هذه الورقة إطار عمل لتعلم الروبوتات يعمل على تحسين اكتساب المهارات من فيديوهات بشرية بمنظور الشخص الأول عبر نمذجة التفضيلات البشرية من خلال التنبؤ بالحركة البصرية لتحديد دالة مكافأة، والتي يتم تحسينها بعد ذلك باستخدام خوارزمية "Soft Actor-Critic" معدلة للتفوق على الطرق السابقة في كل من مهام المحاكاة والمهام الواقعية.

المؤلفون الأصليون: Mrinal Verghese, Christopher G. Atkeson

نُشر 2026-02-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mrinal Verghese, Christopher G. Atkeson

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد تعليم روبوت كيفية فتح ميكروويف، أو طي قميص، أو مسح طاولة. الطريقة التقليدية هي أن يقوم إنسان بالإمساك بذراع الروبوت جسديًا وتوجيهه خلال المهمة مئات المرات. هذه الطريقة بطيئة، ومكلفة، وغالبًا ما يصاب الروبوت بالارتباك عندما لا يتطابق الواقع تمامًا مع التدريب.

تقترح هذه الورقة البحثية طريقة أذكى وأسرع: علّم الروبوت من خلال مشاهدة فيديوهات يوتيوب لبشر يقومون بالمهمة، ولكن لا تطلب من الروبوت تقليد حركات أيدي البشر. بدلاً من ذلك، علّم الروبوت فهم "ما يحاول الإنسان تحقيقه" من خلال مراقبة كيفية تحرك الأشياء.

إليك تفصيل طريقتهم باستخدام تشبيهات بسيطة:

١. المشكلة: فخ "التقليد الأعمى"

تخيل أنك تحاول تعلم لعب التنس من خلال مشاهدة فيديو للاعب محترف.

الطريقة القديمة (المسافة الزمنية): أنت تحاول عد الثواني حتى تصطدم الكرة بالأرض. تفترض أن كل ثانية تقترب من الهدف هي ثانية "جيدة". ولكن ماذا لو توقف المحترف ليربط حذاءه؟ فجأة، تنخفض درجتك "الجيدة"، وتصاب بالارتباك. أيضًا، إذا حاولت لعب التنس في ملعب مختلف (بيئة الروبوت) بمضرب مختلف (جسم الروبوت)، فسيكون توقيتك خاطئًا تمامًا.
المشكلة: تعاني الروبوتات في ترجمة فيديوهات البشر مباشرة لأن البشر والروبوتات يبدون ويتحركون بشكل مختلف.

٢. الحل: "المحقق الحركي"

ابتكر المؤلفون نظامًا يعمل مثل محقق حركي. بدلًا من السؤال: "كم بقي لنا من الوقت للوصول إلى خط النهاية؟"، يسأل: "هل يتحرك الشيء بالطريقة التي ينبغي أن يتحرك بها الآن؟"

إليك كيف يعمل الأمر، خطوة بخوة:

الخطوة أ: التدريب (دراسة المحقق)

يشاهد النظام آلاف الفيديوهات البشرية (مثل أشخاص يفتحون الميكروويف). هو لا ينظر إلى الصورة بأكملها؛ بل يضع "نقاطًا لاصقة" (نقاط تتبع) على الأشياء المهمة (مثل باب الميكروويف أو المقبض).

التشبيه: تخيل أن المحقق يدرس فيلمًا إطارًا تلو الآخر. يتوقع: "إذا أمسك الإنسان بالمقبض وسحبه، يجب أن يتحرك الباب بوصتين إلى اليسار".
يتعلم النظام نموذج توقع الحركة. إنه يتعلم "قواعد الفيزياء" لهذه المهمة المحددة بناءً على الفيديوهات البشرية.

الخطب ب: المكافأة (بطاقة النقاط)

الآن، يحاول الروبوت القيام بالمهمة. يراقب النظام الروبوت ويضع نفس "النقاط اللاصقة" على رؤية الروبوت.

التشبيه: يسحب الروبوت مقبض الميكروويف. يتحقق النظام: "هل تحرك الباب بوصتين إلى اليسار كما توقع الفيديو البشري؟"
- نعم؟ رائع! يحصل الروبوت على "نجمة ذهبية" (مكافأة).
- لا؟ (ربما سحب الروبوت في الاتجاه الخاطئ، أو لم يتحرك الباب). يحصل الروبوت على لا شيء.
لماذا هذا أفضل؟ لا يهم إذا كان ذراع الروبوت يبدو مختلفًا عن ذراع الإنسان. طالما أن باب الميكروويف يتحرك بشكل صحيح، فإن الروبوت يقوم بعمل جيد. إنه يركز على النتيجة، وليس التقليد.

الخطوة ج: الممارسة (المدرب)

يبدأ الروبوت بـ "سياسة أساسية" — وهي نسخة خرقاء من المهمة تعلمها من ١٠ عروض بشرية فقط. إنه يشبه طالبًا يعرف الأساسيات ولكنه متصلب في حركته.

ثم يحاول الروبوت المهمة ١٠٠ مرة (حوالي ساعة من الوقت الفعلي).
في كل مرة يتحرك فيها، يعطيه "المحقق الحركي" درجة.
يستخدم الروبوت "مدربًا" (خوارزمية ذكاء اصطناعي تسمى SAC) لتعديل حركاته قليلًا للحصول على المزيد من النجوم الذهبية.
النتيجة: في غضون ساعة واحدة فقط، ينتقل الروبوت من كونه خرقًا إلى كونه ماهرًا للغاية، وغالبًا ما يتفوق على أداء الروبوتات المدربة بالطرق الأكثر تعقيدًا والقديمة.

٣. لماذا يتفوق هذا على المنافسين؟

تقارن الورقة طريقتهم بمنافس شهير يسمى VIP (التدريب المسبق للقيمة الضمنية).

VIP يشبه نظام الـ GPS: يحاول حساب المسافة إلى الوجهة. إذا تردد الإنسان في الفيديو أو توقف مؤقتًا، يرتبك نظام الـ GPS ويعتقد أن الروبوت يبتعد عن الهدف، حتى لو كان الروبوت يفعل الشيء الصحيح.
MPR (هذه الورقة) يشبه "المراقب": هو فقط يراقب الفعل الفوري. "هل تحرك الباب؟ نعم؟ جيد". لا يهتم بالماضي أو المستقبل، بل بالخطوة الحالية فقط.

النتيجة في العالم الحقيقي

اختبر الباحثون طريقتهم على ذراع روبوت حقيقي في مطبخ.

المهمة: فتح ميكروويف، طي قطعة قماش، مسح طاولة.
المدخلات: ١٠ عروض بشرية + ساعة واحدة من ممارسة الروبوت.
النتيجة: حسن الروبوت معدل نجاحه بنسبة ٣٠٪ أو أكثر.
مشكلة "النسيان": عند استخدام الطريقة القديمة (VIP)، كان الروبوت أحيانًا "ينسى" ما تعلمه ويبدأ في أداء الحركات دون فتح الميكروويف فعليًا (كان يسحب الهواء بجانب المقبض). طريقة (MPR) الجديدة كشفت هذا فورًا لأن باب الميكروويف لم يتحرك، فمنحته صفر مكافأة.

الملخص

تعلمنا هذه الورقة أنه لتعليم الروبوت من فيديوهات البشر، لا ينبغي أن نطلب منه تقليد حركات رقص البشر. بدلاً من ذلك، يجب أن نطلب منه مراقبة الموسيقى (حركة الأشياء). إذا تحركت الأشياء بالطريقة التي ينبغي أن تتحرك بها، فإن الروبوت هو الفائز. هذا يسمح للروبوتات بتعلم مهارات معقدة بسرعة هائلة، باستخدام بيانات قليلة جدًا ودون توجيه بشري مكلف.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "نمذجة التفضيلات البشرية باستخدام التنبؤ بالحركة البصرية لتحسين تعلم المهارات الروبوتية من فيديوهات بشرية بمنظور الشخص الأول (Egocentric)."

1. بيان المشكلة

تعالج هذه الورقة التحدي المتمثل في نقل المهارات من مجموعات بيانات الفيديوهات البشرية الضخمة وغير المنظمة بمنظور الشخص الأول (مثل Ego4D وEpic Kitchens) إلى الروبوتات.

"فجوة المهارة": الروبوتات التي تتدرب فقط على عروض توضيحية محدودة عبر التحكم عن بُعد (teleoperation) غالباً ما يكون أداؤها أقل مقارنة بالعروض البشرية، وذلك بسبب التكلفة العالية لجمع بيانات الروبوت والمساحة المحدودة لمهام العمل.
قصور الطرق الحالية: تعتمد الطرق السابقة لتعلم المكافآت من الفيديوهات البشرية عادةً على تقدير القيمة طويلة الأمد للحالة بناءً على المسافة الزمنية للهدف (أي عدد الإطارات المتبقية حتى نهاية الفيديو).
- العيوب: هذا النهج عرضة للضجيج (مثل تردد الإنسان، أو تعدد المهام، أو وتيرة العمل غير المثالية)، مما يؤدي إلى تحيز سلبي لقيمة جميع الحالات السابقة.
- انزياح التوزيع (Distribution Shift): تواجه هذه الطرق صعوبة في نقل دالات القيمة المتعلمة عبر "فجوة التجسيد" (الاختلافات بين حركية الإنسان والروبوت والبيئة) لأنها تعتمد على مقايئات زمنية عالمية بدلاً من الاتساق الفيزيائي المحلي.
الهدف: تطوير طريقة لتعلم إشارة مكافأة كثيفة وقوية من الفيديوهات البشرية تسمح للروبوت بتحسين سياسته عبر التعلم التعزيزي (RL) باستخدام الحد الأدنى من بيانات الروبوت.

2. المنهجية

يقترح المؤلفون إطار عمل يسمى مكافأة التنبؤ بالحركة (Motion Prediction Reward - MPR). بدلاً من تقدير القيمة طويلة الأمد، تقوم الطريقة بنمذجة التفضيلات البشرية قصيرة الأمد من خلال التنبؤ بحركة الأشياء ذات الصلة بالمهمة.

أ. المفهوم الجوهري: التنبؤ بالحركة كتفضيل

يفترض النظام أن مقدمي العروض البشرية يحددون ضمنياً حركة "صحيحة" للأشياء في كل خطوة.

تتبع النقاط: يقوم النظام بتتبع شبكة من النقاط على الأشياء ذات الصلة بالمهمة (والخلفية) عبر إطارات الفيديو البشري.
نموذج التنبؤ بالحركة ( $F_\theta$ ): يتم تدريب شبكة عصبية (تعتمد على بنية Diffusion Transformer معدلة مع ميزات بصرية من DinoV2) للتنبؤ بموقع هذه النقاط في الإطار التالي ( $t+1$ $t + 1$ ) بناءً على الملاحظة الحالية ( $o_t$ $o_{t}$ )، ومواقع النقاط الحالية ( $P_t$ $P_{t}$ )، والتقدم الطبيعي للمهمة ( $t/T$ $t / T$ ).
- بيانات التدريب: فيديوهات بشرية ضخمة بمنظور الشخص الأول.
- دالة الخسارة: خسارة الانحدار (Regression loss) بين المواقع المتوقعة والمواقع الفعلية للنقاط.

ب. توليد إشارة المكافأة

بالنسبة للروبوت الذي يحاول تنفيذ المهمة، يتم حساب المكافأة عند كل خطوة زمنية بناءً على التوافق بين الحركة المتوقعة (من النموذج البشري) والحركة الملاحظة (من فيديو الروبوت).

الصيغة: المكافأة $r_t$ هي مجموع تشابه جيب التمام (cosine similarities) الموجب بين تغيرات النقاط المتوقعة ( $\Delta P^{pred}$ ) وتغيرات النقاط المتتبعة ( $\Delta P^{track}$ ) لجميع النقاط الموجودة على الأشياء ذات الصلة بالمهمة.
$r_t = \sum \max\left( \frac{\Delta P^{pred}_t \cdot \Delta P^{track}_t}{\|\Delta P^{pred}_t\| \|\Delta P^{track}_t\|}, 0 \right)$
الميزة: هذا يكافئ الروبوت على تحقيق النتيجة (حركة الشيء) بدلاً من محاكاة الفعل البشري المحدد، مما يجعله قوياً تجاه اختلافات التجسيد. كما يتجنب التحيز الناتج عن تردد البشر، حيث يتم تقييم حركة الخطوة الحالية فقط.

ج. إطار التعلم: التعلم التعزيزي المتبقي (Residual Reinforcement Learning)

لتحسين سياسة الروبوت باستخدام هذه المكافأة:

السياسة الأساسية: يتم تدريب سياسة نسخ السلوك ( $\pi_{base}$ ) على مجموعة صغيرة من العروض التوضيحية للروبوت (10 حلقات).
التعلم التعزيزي المتبقي: خوارزمية Soft Actor-Critic (SAC) معدلة تتعلم سياسة متبقية ( $\pi_{RL}$ $π_{R L}$ ) تنتج إجراءات تصحيحية ( $\Delta a$ $Δ a$ ).
- السياسة النهائية: $\pi(s) = \pi_{base}(s) + \alpha \pi_{RL}(s)$ .
- آليات الاستقرار: يتم تجميد السياسة الأساسية. تُدرب شبكة الناقد (Critic) مسبقاً على البيانات غير المتصلة (offline) وتستخدم تقنيات (LayerNorm, min-Q) لمنع المبالغة في تقدير القيمة. يقوم النظام بأخذ عينات بالتساوي من العروض التوضيحية غير المتصلة ومن مخازن التفاعل المباشر (online interaction buffers).

3. المساهمات الرئيسية

صياغة مبتكرة للمكافأة: الانتقة من تقدير القيمة القائم على المسافة الزمنية إلى التنبؤ بالحركة البصرية. هذا يرمز صراحةً للتفضيلات البشرية كـ "كيف يجب أن تتحرك الأشياء"، مما يفلتر الضجيج مثل التردد أو تعدد المهام.
القوة تجاه انزياح التوزيع: من خلال التركيز على حركة الأشياء ذات الصلة بالمهمة بدلاً من تشابه الحالة العالمية، تتغلب الطريقة على فجوة التجسيد بين الفيديوهات البشرية والروبوتية بشكل أكثر فعالية.
كفاءة العينة: تثبت أن الروبوت يمكنه تحسين أدائه بشكل كبير باستخدام 10 عروض توضيحية فقط للروبوت وحوالي ساعة واحدة من التفاعل في العالم الحقيقي (100 حلقة).
التمييز بين الفشل: تكافئ المكافأة القائمة على الحركة طبيعياً المحاولات الفاشلة حيث يتحرك الروبوت ولكن الشيء لا يتحرك (مثل عدم الإمساك بالمقبض)، بينما قد تمنح طرق المسافة الزمنية مكافآت إيجابية لهذه "الحركات الفارغة".

4. النتائج التجريبية

قيم المؤلفون الطريقة في ثلاث مهام: "فتح الميكروويف" (Open Microwave)، "طي القماش" (Fold Cloth)، و**"مسح الطاولة" (Wipe Counter)**.

المحاكاة (معيار Franka Kitchen):
- تفوقت MPR على VIP (Value Implicit Pretraining، وهي طريقة متطورة تعتمد على المسافة الزمنية) وطابقت دالة مكافأة كثيفة مصممة يدوياً.
- أظهرت VIP مشاكل في التحيز والوقوع في القيم الصغرى المحلية، خاصة في مهمة "فتح الميكروويف".
الأجهزة الحقيقية (Franka Research 3):
- مكاسب الأداء:
  - فتح الميكروويف: حسنت MPR نسبة النجاح من 45% (الأساس) إلى 76.7%. بينما انخفضت VIP إلى 23.3% (حالة فقدان التعلم).
  - طي القماش: حسنت MPR النسبة من 45% إلى 73.3%. بينما انخفضت VIP إلى 8.3%.
  - مسح الطاولة: حسنت MPR النسبة من 40% إلى 56.7%.
- الاستقرار: أظهرت عمليات VIP سلوك "النسيان"، حيث يتعلم الروبوت تعظيم القيمة عبر القيام بحركات تبدو وكأنها المهمة ولكنها تفشل في تحقيق الهدف (مثل تحريك طرف الروبوت نحو الهدف دون الإمساك بالقماش). حددت MPR هذه الحالات كفشل لأن الشيء لم يتحرك.
- الكفاءة: حققت MPR هذه النتائج باستخدام حوالي 15,000 خطوة فقط (100 حلقة)، بينما احتاجت VIP إلى بيانات أكثر بكثير للتقارب (إن حدث أصلاً).

5. الأهمية والخاتمة

يمثل هذا العمل تحولاً جذرياً في التعلم من الفيديوهات البشرية. من خلال نمذجة التفضيلات الفيزيائية قصيرة الأمد (حركة الأشياء) بدلاً من التقارب الزمني طويل الأمد، أنشأ المؤلفون إشارة مكافأة تتميز بـ:

الكثافة والوضوح: توفر تغذية راجعة في كل خطوة.
الاستقلالية عن التجسيد: تركز على فيزياء المهمة بدلاً من الحركية المحددة للفاعل.
القوة: مقاومة للضجيج في العروض البشرية (التردد، تعدد المهام).

تسمح هذه الطريقة للروبوتات بتحسين المهارات ذاتياً في العالم الحقيقي بحد أدنى من التدخل البشري، مما يوفر مساراً قابلاً للتوسع لتعلم الروبوتات العامة من كميات الفيديو الهائلة المتاحة على الإنترنت. يقترح المؤلفون أن العمل المستقبلي يمكن أن يوسع ذلك ليشمل نماذج متعددة المهام مشروطة باللغة واستكشاف البحث القائم على نموذج العالم (world-model-based search) لتحسين السياسات بشكل أكبر.