💻 computer science

EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data

يُعد EgoScale إطار عمل يستفيد من أكثر من 20,854 ساعة من فيديوهات البشر من منظور الشخص الأول واسعة النطاق لتدريب نموذج رؤية ولغة وحركة (Vision Language Action)، مما يرسخ قانون قياس لوغاريتمي خطي بين حجم البيانات والأداء مع تمكين استراتيجية نقل على مرحلتين تعزز بشكل كبير معدلات نجاح التلاعب الماهر والتكيف بلقطة واحدة على نماذج روبوتية متنوعة.

المؤلفون الأصليون: Ruijie Zheng, Dantong Niu, Yuqi Xie, Jing Wang, Mengda Xu, Yunfan Jiang, Fernando Castañeda, Fengyuan Hu, You Liang Tan, Letian Fu, Trevor Darrell, Furong Huang, Yuke Zhu, Danfei Xu, Linxi Fan

نُشر 2026-02-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruijie Zheng, Dantong Niu, Yuqi Xie, Jing Wang, Mengda Xu, Yunfan Jiang, Fernando Castañeda, Fengyuan Hu, You Liang Tan, Letian Fu, Trevor Darrell, Furong Huang, Yuke Zhu, Danfei Xu, Linxi Fan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث EgoScale، مترجم إلى لغة بسيطة وعملية مع بعض التشبيهات الإبداعية.

الفكرة الكبرى: تعليم الروبوتات عبر مراقبة البشر

تخيل أنك تريد تعليم روبوت كيفية طي قميص، أو استخدام ملقط لالتقاط حبة عنب، أو فك غطاء زجاجة. تقليديًا، سيتعين عليك الجلوس هناك وتوجيه يد الروبوت يدويًا آلاف الممرات. هذا أمر بطيء، ومكلف، وممل.

EgoScale يطرح سؤالًا مختلفًا: ماذا لو جعلنا الروبوت يكتفي بمراقبة البشر وهم يقومون بهذه المهام؟

أدرك الباحثون أن البشر هم "مولدات البيانات" المثالية. فنحن نقوم بمهام معقدة وماهرة (مثل الطبخ، أو إصلاح الأشياء، أو اللعب بالألعاب) طوال اليوم. ولكن حتى الآن، لم نكن نعرف كيفية تحويل هذا الكم الهائل من بيانات الفيديو البشرية إلى "عقل روبوت" يمكنه فعليًا القيام بتلك الأشياء.

الوصفة: طريقة طبخ من خطوتين

ابتكر الفريق إطار عمل يسمى EgoScale (Ego = من وجهة نظر الشخص نفسه/منظور ذاتي). فكر في الأمر كتدريب طباخ في مرحلتين متمايزتين:

المرحلة 1: مرحلة "المكتبة الضخمة" (ما قبل التدريب)

تخيل طالبًا (روبوتًا) يجلس في مكتبة تحتوي على 20,854 ساعة من الفيديو. هذا يشبه المشاهدة على مدار الساعة لأكثر من عامين!

ماذا يشاهدون: فيديوهات لأشخاص يقومون بكل شيء، من الطبخ في المطبخ إلى إصلاح سيارة، مصورة من منظور الشخص نفسه (المنظور الأول).
السحر: الروبوت لا يكتفي بالمشاهدة فحسب؛ بل يحاول التنبؤ بما ستفعله أيدي ومعاصم البشر في الخطوة التالية.
الاكتشاف: وجد الباحثون "قانون القياس" (Scaling Law). إنه يشبه لعبة فيديو حيث كلما لعبت أكثر (كلما غذيت الروبوت ببيانات أكثر)، أصبحت أفضل. وجدوا أنه مع إضافة المزيد من الساعات البشرية، انخفض "معدل الخطأ" لدى الروبوت وفق نمط مستقيم ومتوقع تمامًا.
النتيجة: يتعلم الروبوت "الحدس الحركي". إنه يفهم مفهوم كيفية تحرك الأيدي، وكيفية قبض الأصابع، وكيفية التحكم في الأشياء، رغم أنه لم يلمس ذراعًا روبوتية حقيقية بعد.

المرحلة 2: مرحلة "المترجم" (التدريب المتوسط)

الآن، يعرف الروبوت كيف تتحرك الأيدي، لكنه لا يعرف كيف يتحرك جسده الخاص. يد الإنسان تحتوي على 22 مفصلًا؛ بينما قد تحتوي يد الروبوت على 7 أو 22. إنها آلات موسيقية مختلفة تعزف نفس الأغنية.

الحل: يعرض الفريق على الروبوت قدرًا ضئيلًا جدًا من البيانات (حوالي 54 ساعة فقط) حيث يقوم إنسان وروبوت بنفس المهمة تمامًا في نفس الوقت.
التشبيه: فكر في هذا كـ "مترجم". يقول الروبوت: "حسنًا، أنا أعرف أن البشر يلفون معاصمهم بهذا الشكل لفتح البرطمان. الآن، أرني كيف يجب أن يلف ذراعي الروبوت الخاص للقيام بنفس الشيء".
الكفاءة: لأن الروبوت تعلم بالفعل "لغة الحركة" في المرحلة الأولى، فإنه يحتاج فقط إلى قدر ضئيل من بيانات المرحلة الثانية لترجمة تلك المعرفة إلى جسده الخاص.

لماذا يعد هذا تغييرًا لقواعد اللعبة؟

1. القوة الخارقة لـ "المرة الواحدة" (One-Shot)
عادةً، إذا أردت تعليم روبوت خدعة جديدة (مثل طي نوع معين من القمصان)، فأنت بحاجة إلى مئات الأمثلة. مع EgoScale، ولأن الروبوت يفهم بالفعل "فيزياء الأيدي"، يمكنه تعلم مهمة جديدة بعد رؤية عرض توضيحي واحد فقط.

التشبيه: يشبه الأمر عازف بيانو ماهرًا تدرب على السلالم الموسيقية لسنوات. إذا عرضت عليه أغنية جديدة مرة واحدة، يمكنه عزفها فورًا لأنه يفهم بالفعل نظرية الموسيقى. أما المبتدئ فيحتاج لممارسة الأغنية 100 مرة.

2. يعمل على روبوتات مختلفة
تم تدريب الروبوت على بيانات بشرية باستخدام يد تقنية عالية (22 درجة من الحرية). ولكن عندما اختبروه على روبوت مختلف تمامًا (Unit-tree G1 بيد أبسط مكونة من 7 أصابع)، ظل يعمل بشكل رائع!

التشبيه: الأمر يشبه تعلم قيادة سيارة ذات ناقل حركة يدوي (Stick Shift). بمجرد أن تتقن مفهوم الضغط على القابض (الكلتش) وتغيير السرعات، يمكنك الانتقال إلى أي سيارة أخرى بمحرك مختلف وقيادتها بشكل جيد. المهارة الأساسية تنتقل معك.

3. مشكلة البيانات "المشوشة"
الفيديوهات البشرية لم تكن مثالية. بعضها كان مهتزًا، وبعضها ضبابيًا، وبرمجيات تتبع اليد ارتكبت أخطاءً.

الدرس المستفاد: أثبت الباحثون أن الكمية تتفوق على الجودة هنا. حتى مع وجود بيانات "مشوشة"، إذا كان لديك ما يكفي منها (أكثر من 20,000 ساعة)، فسيتعلم الروبوت الأنماط الصحيحة. الأمر يشبه محاولة تعلم لغة عبر الاستماع إلى راديو به تشويش؛ إذا استمعت لفترة طويلة بما يكفي، ستتمكن في النهاية من تجاهل التشويش وفهم الكلمات.

الخلاصة

يثبت EgoScale أن أفضل طريقة لتعليم الروبوتات المهارة اليدوية ليست بإجبارها على التدرب ملايين المرات في المختبر. بدلاً من ذلك، يجب أن نتعامل مع البشر كمصدر نهائي لبيانات التدريب.

من خلال مراقبتنا ونحن نقوم بمهام يومية لملايين الساعات، يمكن للروبوتات بناء "ذاكرة عضلية" للعالم. ثم، مع القليل من الضبط المحدد، يمكنها تطبيق تلك المعرفة على أجسادها الخاصة، وتعلم مهارات معقدة في دقائق كانت تستغرق شهورًا.

باختًا: نحن لا نعلم الروبوتات أن تكون ماهرة يدويًا عبر البرمجة، بل عبر تركها تشاهدنا ونحن نعيش حياتنا.

إليك ملخص تقني مفصل لورقة البحث بعنوان "EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data" (توسيع نطاق المعالجة الماهرة باستخدام بيانات بشرية متنوعة من منظور الشخص الأول).

1. بيان المشكلة

التحدي الجوهري الذي تعالجه الورقة هو توسيع نطاق المعالجة الماهرة للروبوتات (dexterous manipulation). وبينما تُعد السلوكيات البشرية مصدراً هائلاً وقابلاً للتوسع للبيانات الموجهة للذكاء الفيزيائي، فإن نقل هذه البيانات بفعالية إلى الروبوتات لأداء مهام معقدة ذات درجات حرية عالية (DoF) لا يزال أمراً غير واضح.

محدودية الأعمال السابقة: تعتمد طرق نقل السلوك من الإنسان إلى الروبوت الحالية عادةً على مجموعات بيانات صغيرة (عشرات إلى مئات الساعات) وتركز على مقابض ذات درجات حرية منخفضة. وهي تواجه صعوبة في دعم التمفصل الدقيق للأصابع المطلوب للمهام الماهرة.
الفجوة: من غير المعروف ما إذا كانت البيانات البشرية الضخمة والمليئة بالضجيج (in-the-wild) يمكن أن تعمل كإشارة إشراف أساسية لتدريب السياسات (policies) على أيدي روبوتية متطورة متعددة الأصابع، وما إذا كان هناك "قانون توسع" (scaling law) لهذا النقل.

2. المنهجية: إطار عمل EgoScale

يقترح المؤلفون EgoScale، وهو إطار عمل لنقل السلوك من الإنسان إلى الروبوت يتكون من مرحلتين، حيث يفصل بين حجم البيانات ومواءمة التجسيد (embodiment alignment).

أ. استراتيجية البيانات

المرحلة الأولى: التدريب المسبق البشري واسع النطاق
- النطاق: تم التدريب على 20,854 ساعة من مقاطع الفيديو البشرية المسجلة من منظور الشخص الأول والموسومة بالأفعال، وهو ما يزيد عن 20 ضعفاً من مجموعات البيانات السابقة.
- المصادر: مزيج من مجموعات البيانات "في الواقع" (منزلي، صناعي، تجاري) ومجموعة بيانات EgoDex عالية الدقة (التي تم التقاطها باستخدام Apple Vision Pro).
- تمثيل الأفعال:
  - الذراع: حركة المعصم النسبية ( $\Delta W$ ) في فضاء SE(3) لضمان عدم التأثر بحركة الكاميرا العالمية.
  - اليد: يتم إعادة توجيه (retargeting) وضعيات اليد البشرية (21 نقطة مفصلية) عبر عملية تحسين (optimization) إلى فضاء مفاصل مكون من 22 درجة حرية (DoF) ليتناسب مع يد "Sharpa". هذا يحافظ على التمفصل الدقيق للأصابع مع إنشاء فضاء أفعال موحد.
المرحلة الثانية: التدريب المتوسط الموائم بين الإنسان والروبوت
- الغرض: ترسيخ التمثيلات التي تم التدريب المسبق عليها في فضاء الاستشعار والتحكم الخاص بالروبوت.
- البيانات: مجموعة بيانات صغيرة (~50 ساعة بشرية + 4 ساعات روبوت) حيث يؤدي البشر والروبوتات مهاماً متشابهة على الطاولة مع زوايا رؤية متطابقة وحركة متزامنة (باستخدام Vive trackers وManus gloves).
- الآلية: تعمل هذه المرحلة على سد "فجوة التجسد" دون الحاجة إلى كميات ضخمة من بيانات الروبوت المقترنة.

ب. بنية النموذج

العمود الفقري (Backbone): نموذج رؤية-لغة-فعل (VLA) قائم على التدفق (flow-based) (مشابه لـ GR00T N1) مع عمود فقري لنموذج لغوي بصري (VLM) وخبير أفعال يعتمد على محول الانتشار (DiT action expert).
المدخلات: صور، تعليمات لغوية، ورمز نائب قابل للتعلم (learnable placeholder token) للحس العميق (proprioception) (بما أن البيانات البشرية تفتقر إلى حالات مفاصل الروبوت).
المهايئات (Adapters): تُستخدم طبقات MLP خفيفة الوزن ومحددة التجسد عند المدخلات والمخرجات للتعامل مع مساحات حالة الروبوت المختلفة (مثل يد بـ 22 درجة حرية مقابل يد بـ 7 درجات حرية) مع الحفاظ على الأوزان المشتركة للـ VLA والـ DiT.

ج. مسار التدريب

التدريب المسبق: إلغاء تجميد جميع المعلمات (full parameter unfreezing) على أكثر من 20 ألف ساعة من البيانات البشرية.
التدريب المتوسط: تجميد العمود الفقري للـ VLM؛ وتحديث مشفر الرؤية وخبير الـ DiT على البيانات الموائمة بين الإنسان والروبوت.
ما بعد التدريب: ضبط دقيق (fine-tuning) لمهام الروبوت النهائية المحددة (بأسلوب التعلم من لقطة واحدة أو لقطات قليلة).

3. المساهمات الرئيسية

اكتشاف قوانين التوسع: تثبت الورقة وجود قانون توسع لوغاريتمي خطي واضح بين حجم البيانات البشرية وفقدان التحقق ( $L = 0.024 - 0.003 \cdot \ln(D)$ ). والأهم من ذلك، أن فقدان التحقق (validation loss) هذا يرتبط بقوة بالأداء الفعلي للروبوت في المهام النهائية، مما يثبت أن البيانات البشرية هي مصدر إشراف يمكن التنبؤ به.
وصفة نقل فعالة: توفر وصفة بسيطة من مرحلتين (تدريب مسبق بشري واسع النطاق + تدريب متوسط موائم خفيف الوزن) تتيح معالجة ماهرة طويلة المدى بأقل قدر من بيانات الروبوت.
التعميم الناشئ: تتيح هذه المنهجية النقل من لقطة واحدة (one-shot transfer) لمهام ماهرة غير مرئية، والنقل عبر التجسدات المختلفة (cross-embodiment transfer) إلى روبوتات ذات حركية (kinematics) مختلفة تماماً (على سبيل المثال، من يد بـ 22 درجة حرية إلى يد ثلاثية الأصابع بـ 7 درجات حرية).
تصميم فضاء الأفعال: تثبت أن الإشراف القائم على إعادة توجيه فضاء المفاصل (retargeted joint-space supervision) يتفوق على التمثيلات التي تركز فقط على المعصم أو أطراف الأصابع في المهام الماهرة.

4. النتائج التجريبية

أُجريت التجارب على Galaxea R1Pro (يد Sharpa بـ 22 درجة حرية) و Unitree G1 (يد ثلاثية الأصباع بـ 7 درجات حرية).

مكاسب الأداء:
- مقارنة بخط الأساس "بدون تدريب مسبق"، أدى مسار EgoScale الكامل إلى تحسين متوسط معدل النجاح بنسبة 54% عبر خمس مهام معقدة (مثل طي القمصان، فرز البطاقات، ونقل الحقنة).
- تفوق التدريب المسبق البشري واسع النطاق وحده على نماذج التدريب المتوسط فقط، مما يثبت قيمة النطاق حتى بدون مواءمة دقيقة.
سلوك التوسع:
- أدى زيادة البيانات البشرية من 1 ألف إلى 20 ألف ساعة إلى تحسن رتيب (monotonic) في درجات إتمام المهام (0.30 $\leftarrow$ 0.71)، دون ظهور أي علامات على التشبع.
- عانت النماذج المدربة على مجموعات بيانات أصغر من الإفراط في التخصيص (overfitting)، بينما أظهرت المجموعات الأكبر انخفاضاً مستقراً ورتيباً في الفقد (loss).
التكيف من لقطة واحدة:
- مع عرض توضيحي واحد فقط للروبوت (بالإضافة إلى البيانات البشرية الموائمة)، حققت السياسة نسبة نجاح 88% في طي القمصان و55% في فك زجاجات، وهي مهام لم تظهر أثناء التدريب المتوسط.
النقل عبر التجسدات:
- تفوقت السياسات المدربة مسبقاً على البيانات البشرية والمدرّبة متوسطاً على بيانات G1 بشكل كبير على النماذج التي تم تدريبها من الصفر على بيانات G1 وحدها، محققة تحسناً مطلقاً في معدل النجاح يتجاوز 30%. وهذا يؤكد أن الحركة البشرية توفر "سابقة حركية" (motor prior) قابلة لإعادة الاستخدام بغض النظر عن التجسد.

5. الأهمية والأثر

إعادة تعريف مصادر البيانات: تنقل الورقة النموذج من جمع بيانات الروبوت المكلفة والمخصصة لمهام معينة إلى الاستفادة من مقاطع الفيديو البشرية الضخمة والمتنوعة كإشارة تدريب أساسية للمعالجة الماهرة.
التوسع القابل للتنبؤ: تقدم دليلاً تجريبياً على أن تعلم الروبوت يتبع قوانين التوسع المشابهة للنماذج اللغوية الكبيرة (LLMs)، حيث يؤدي زيادة حجم البيانات إلى مكاسب أداء يمكن التنبؤ بها.
الاستقلال عن التجسد: تثبت أن "السابقة الحركية" (motor prior) المتعلمة من الحركة البشرية يمكن تكييفها مع أجهزة روبوتية مختلفة تماماً (أطوال أذرع مختلفة، عدد درجات حرية مختلف) بأقل قدر من بيانات المواءمة.
النظرة المستقبلية: تشير هذه الدراسة إلى مستقبل يُعامل فيه البشر كتجسد قابل للتوسع لتعلم الروبوتات، مما قد يمكّن التنفيذ في مهام جديدة (zero-shot) مع تطور الأجهزة لتصبح أكثر شبهاً بالبشر.

باختصار، يثبت EgoScale أن المعالجة الماهرة هي ظاهرة مرتبطة بالتوسع. ومن خلال الجمع بين التدريب المسبق البشري واسع النطاق ومرحلة مواءمة مستهدفة، يمكن للروبوتات تعلم مهارات دقيقة ومعقدة كان من المستحيل الوصول إليها سابقاً ببيانات الروبوت المحدودة.