💻 computer science

VE2VF: Vision-Enabled to Vision-Free Distillation via Real-world Reinforcement Learning for Robust Contact-Rich Manipulation

تقدم هذه الورقة VE2VF، وهو إطار عمل للتعلم المعزز القائم على تدخل العنصر البشري يقوم بتقطير المعرفة من معلم مدعوم بالرؤية إلى سياسة طالب قوية خالية من الرؤية يتم تدريبها بالكامل في العالم الحقيقي، محققةً معدلات نجاح عالية وتعميماً قوياً في مهام المناولة الغنية بالتلامس دون الاعتماد على تنويع النطاق أو تعزيز البيانات.

المؤلفون الأصليون: Victor Kowalski, Chengxi Li, Dongheui Lee

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Victor Kowalski, Chengxi Li, Dongheui Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية تجميع أجزاء دقيقة، مثل توصيل كابل USB في منفذ أو ربط ترس في مكانه. هذه مهمة صعبة لأنها تتضمن معالجة "غنية بالاتصال" (contact-rich)—بمعنى أن الروبوت يجب أن يشعر بطريقه عبر المساحات الضيقة، ويتعامل مع الاحتكاك، والنتوءات، والحاجة إلى محاذاة مثالية.

تقدم الورقة البحثية طريقة جديدة تسمى VE2VF (من الرؤية المعتمدة على الرؤية إلى الرؤية المجردة) لتعليم الروبوتات كيفية القيام بذلك. إليك قصة كيفية عملها، باستخدام تشبيهات بسيطة.

المشكلة: الروبوت الذي يعتمد أكثر من اللازم على البصر

تقليديًا، لتعليم الروبوت هذه المهارات، قد تريه مقطع فيديو أو تجعله "يرى" المهمة. هذا يشبه تعليم طالب القيادة من خلال جعله ينظر من الزجاج الأمامي. هذا يعمل بشكل رائع في الفصل الدراسي (أو في المحاكاة)، ولكن به عيب: الطالب يحفظ المناظر الطبيعية.

إذا علمت الروبوت باستخدام الكاميرات، فقد يتعلم: "عندما أرى جدارًا أزرق على اليسار، أتجه يمينًا". ولكن إذا نقلت الروبوت إلى غرفة بجدار أحمر، أو تغيرت الإضاءة، سيصاب الروبوت بالارتباك ويصطدم. لقد بالغ في ملاءمة نفسه (overfitted) لـ مظهر الغرفة بدلاً من فهم فيزياء المهمة.

الحل: نظام تدريب "المعلم والتلميذ"

يقترح المؤلفون نظام تدريب من خطوتين لإصلاح ذلك. فكر في الأمر كشيف ماهر يعلم متدربًا لديه.

الخطوة 1: المعلم المعتمد على الرؤية (الشيف الماهر)
أولاً، يقومون بتدريب روبوت "معلم" باستخدام التعلم التعزيزي بمشاركة الإنسان (Human-in-the-Loop Reinforcement Learning).

كيف يعمل: يراقب إنسان الروبوت. إذا كان الروبوت على وشك ارتكاب خطأ، يتولى الإنسان التحكم (مثل مدرب القيادة الذي يضغط على المكابح) ويوجهه نحو النجاح.
أدوات المعلم: يمتلك هذا المعلم عيونًا (كاميرات) وأيضًا أحاسيس (مستشعرات تقيس الموقع، والسرعة، والقوة).
النتيجة: نظرًا لأن المعلم يمتلك عيونًا، فإنه يتعلم بسرعة كبيرة. يمكنه رؤية الهدف، وتعديل قبضته، وفهم الزوايا الصعبة. يصبح خبيرًا في المهمة في حوالي 40 دقيقة من الممارسة في العالم الحقيقي.

الخطوة 2: التلميذ المجرد من الرؤية (المتدرب)
الآن تأتي الخدعة السحرية. إنهم يريدون روبوتًا يمكنه القيام بالمهمة بدون الاعتماد على العيون، لأن العيون يمكن خداعها بتغيرات الإضاءة أو الخلفيات الجديدة.

التقطير (The Distillation): يأخذون "معرفة" المعلم الخبير ويصبونها في روبوت "تلميذ".
العقبة: التلميذ ليس لديه كاميرات. لديه فقط مستشعرات تشعر بموقع الروبوت، وسرعته، والقوة التي يضغط بها (مثل خبير معصوب العينين).
الدرس: التلميذ لا يخمن فحسب؛ بل ينسخ قرارات المعلم. يتعلم: "عندما أشعر بهذا الضغط المحدد وهذه الزاوية المحددة، يجب أن أحرك ذراعي بهذا الاتجاه"، لأن هذا هو ما فعله المعلم.

لماذا يعد هذا أمرًا هامًا

عادةً، عندما تسلب الرؤية من الروبوت، يصبح أقل ذكاءً. ولكن لأن هذا التلميذ تعلم من معلم "رأى" الحل، فإن التلميذ يرث "بديهة" المهمة دون تشتت المنظر البصي للمحيط.

التشبيه: تخيل عازف بيانو ماهر (المعلم) يمكنه عزف مقطوعة ببراعة أثناء النظر إلى النوتة الموسيقية. ثم يعلم طالبًا معصوب العينين (التلميذ) من خلال جعله يشعر بالمفاتيح والإيقاع. يتعلم الطالب ذاكرة العضلات وإحساس المقطوعة، وليس مجرد الملاحظات المرئية. إذا نقلت البيانو إلى غرفة مختلفة بإضاءة مختلفة، يمكن للطالب المعصوب العينين الاستمرار في العزف ببراعة لأنه تعلم الإحساس، وليس المظهر.

النتائج: سريعة، قوية، وقابلة للتكيف

اختبر الفريق هذه الطريقة على لوحة تجميع قياسية (معيار NIST) مع مهام مختلفة وصعبة مثل إدخال التروس، والأسافين، والكابلات.

السرعة: استغرقت العملية برمتها حوالي 50 دقيقة من وقت الروبوت الحقيقي.
معدل النجاح: حقق الروبوت النهائي نسبة نجاح بلغت 95% عبر مهام عديدة.
القوة (Robustness): عندما عبثوا بالبيئة (غيروا الإضاءة، أو أضافوا فوضى بصرية، أو حركوا الهدف قليلاً)، فشلت الروبوتات "المعتمدة على الرؤية" فشلًا ذريعًا. أما التلميذ "المجرد من الرؤية"، فقد استمر في العمل لأنه لم يتشتت بالتغييرات.
التعافي من "الانزلاق": في أحد الاختبارات، أخطأ الروبوت في منفذ USB وانزلق. لم يصِب الروبوت المجرد من الرؤية بالذعر؛ بل استخدم "إحساسه" لاستشعار الانزلاق، والتعديل، والمحاولة مرة أخرى حتى نجح. هذا سلوك تعلمه من المعلم لكنه احتفظ به في جسده "الأعمى".

ميزة "الضبط الدقيق" (Fine-Tuning)

إذا واجه الروبوت مهمة جديدة تمامًا لم يسبق له رؤيتها (مثل نوع معين من الموصلات)، يمكن للنظام إجراء "دورة تنشيطية" سريعة.

يقومون بتدريب معلم جديد لتلك المهمة المحددة (باستخدام الرؤية).
يقومون بسرعة بتقطير تلك المعرفة الجديدة في التلميذ.
سمح لهم ذلك بالوصول إلى نجاح بنسبة 100% في أصعب مهمة في غض- دقائق معدودة.

الملخص

تقدم الورقة البحثية طريقة لتدريب الروبوتات لتكون خبيرة في استشعار طريقها عبر المهام المعقدة. من خلال استخدام معلم "بصير" للتعلم بسرعة، ثم تعليم تلميذ "أعمى" الاعتماد على اللمس والقوة، خلقوا روبوتًا سريع التدريب، ولا يرتبك بسبب التغييرات في الغرفة، ومتميزًا للغاية في عمليات التجميع الدقيقة.

ملخص تقني: VE2VF – التقطير من المعزز بالرؤية إلى الخالي من الرؤية

بيان المشكلة

تتطلب عمليات التجميع الروبوتية والتحكم الغني بالتلامس دقة عالية وقدرة على التكيف مع الأجزاء والبيئات المتنوعة. وتواجه النهج التقليدية القائمة على النماذج صعوبة بسبب تعذر نمذجة ديناميكيات التلامس والاحتكاك والتشوه بدقة. وبينما تقدم أساليب التعلم مثل التعلم المعزز (RL) وعوداً كبيرة، إلا أنها تواجه عقبات جسيمة:

فجوة المحاكاة إلى الواقع (Sim-to-Real Gap): تفشل برامج المحاكاة غالباً في التقاط تفاعلات التلامس المعقدة، مما يجعل نقل السياسة إلى العالم الحقيقي أمراً صعباً.
عدم كفاءة العينات: يتطلب التعلم المعزز الخالي من النماذج (Model-free RL) المباشر على الأجهزة وقتاً مفرطاً للتفاعل واستراتيجيات استكشاف آمنة.
الإفراط في التكيف مع الرؤية (Visual Overfitting): السياسات المعززة بالرؤية، رغم فعاليتها أثناء التدريب، تميل إلى الإفراط في التكيف مع ظروف بصرية محددة (الإضاءة، الأنسجة، الخلفيات)، مما يحد من متانتها وقدرتها على التعميم في المهام الخارجة عن التوزيع (OOD) أو البيئات غير المرئية.
الرصد الجزئي (Partial Observability): يعد تدريب السياسات الخالية من الرؤية مباشرة من الصفر باستخدام المدخلات الحسية فقط (الوضعية، السرعة، العزم) أمراً صعباً بسبب غياب التوجيه البصري اللازم للاستكشاف.

المنهجية: إطار عمل VE2VF

يقترح المؤلفون VE2VF (من المعزز بالرؤية إلى الخالي من الرؤية)، وهو إطار عمل للتعلم المعزز يعتمد على وجود الإنسان في الحلقة (HIL)، ويستخدم نهج تقطير "المعلم-الطالب" لتحقيق تلاعب قوي وخالٍ من الرؤية. تتكون العملية من ثلاث مراحل رئيسية:

1. إعداد التعلم المعزز مع وجود الإنسان في الحلقة (HIL RL)

يستخدم النظام خوارزمية Soft Actor-Critic (SAC) مع RLPD (التعلم المعزز مع البيانات السابقة). تدمج حلقة التعلم ما يلي:

الاستكشاف الذاتي: يقوم الوكيل بتوليد انتقالاته الخاصة.
التوجيه البشري: يوفر المشغل البشري عروض توضيحية غير متصلة (Offline) وتدخلات تحكم عن بُعد عبر الإنترنت (Online Teleoperation) -عن طريق استبدال أفعال الوكيل- لتوجيه الاستكشاف وتوفير إشارات المكافأة.
هيكل المكافأة: تُستخدم مكافأة ثنائية متفرقة (1 للنجاح في المهمة، و0 لغير ذلك)، مما يتجنب صياغة المكافآت المعقدة.

2. المرحلة الأولى: تدريب المعلم المعزز بالرؤية

يتم تدريب سياسة "المعلم" ( $\pi_t$ ) على مجموعة من المهام التمثيلية باستخدام مدخلات متعددة الوسائط كاملة:

الملاحظات: صور من الكاميرات ( $I$ )، وضعية نهاية الأداة ( $p$ )، السرعة ( $v$ )، القوة ( $f$ )، والعزم ( $\tau$ ).
التمثيل: يتم تمثيل الوضعية بالنسبة للحالة الأولية للحلقة لتسهيل التحكم البصري التفاعلي (Reactive Visual Servoing).
الهدف: يتعلم المعلم كيفية الاستفيد من التغذية الراجعة البصرية الغنية لإتقان المهام، محققاً معدلات نجاح عالية. ومع ذلك، يظل معتمداً على الظروف البصرية.

3. المرحلة الثانية: تقطير الطالب الخالي من الرؤية

يتم تدريب سياسة "الطالب" ( $\pi_s$ ) لتكرار سلوك المعلم، ولكنها تعتمد فقط على المدخلات الحسية الخاصة (Proprioceptive Inputs) (الوضعية، السرعة، العزم)، مستبعدة البيانات البصرية.

آلية التقطير: يتم تدريب الطالب باستخدام نفس إطار عمل HIL-RL ولكن مع إضافة حدود خسارة (Loss terms) للمواءمة مع المعلم:
- تقطير الناقد (Critic Distillation): يعمل حد متوسط مربع الخطأ (MSE) على إجبار دالة Q الخاصة بالطالب ( $Q_s$ ) على مطابقة دالة Q الخاصة بالمعلم ( $Q_t$ ).
- تقطير الممثل (Actor Distillation): يعمل حد تباعد كولباك-ليبلر (KL divergence) على تنظيم سياسة الطالب ( $\pi_s$ ) لتتطابق مع توزيع أفعال المعلم ( $\pi_t$ ).
تمثيل الحالة: يستخدم الطالب نظام إحداثيات نسبي للمهمة ( $T_z$ ) لضمان الثبات تجاه التموضع المكاني المطلق.
النتيجة: يرث الطالب "المهارات" واستراتيجيات الاستكشاف التي تعلمها المعلم، ولكنه يصبح غير متأثر بالتحولات البصرية.

4. المرحلة الثالثة: الضبط الدقيق (اختياري)

بالنسبة للمهام الصعبة للغاية أو غير المرئية، يمكن ضبط الطالب الخالي من الرؤية بدقة. يتضمن ذلك تدريب معلم جديد معزز بالرؤية متخصص لهذه المهمة المحددة، ثم تقطير معرفته إلى الطالب، بدلاً من تدريب الطالب من الصفر.

المساهمات الرئيسية

إطار عمل التقطير عبر الوسائط (Cross-Modal Distillation): طريقة مبتكرة لتقطير المعرفة من معلم معزز بالرؤية إلى طالب خالٍ من الرؤية. يحافظ هذا النهج على كفاءة العينات للتعلم الموجه بصرياً أثناء مرحلة التدريب، مع إنتاج سياسة نشر تتسم بالثبات تجاه الظروف البصرية.
التعميم الفعال للمهارات: يثبت النهج أن التدريب المشترك على مجموعة صغيرة من المهام التمثيلية يتيح انتقالاً قوياً (Zero-shot transfer) إلى سيناريوهات الإدخال غير المرئية.
التحقق في العالم الحقيقي: تم التحقق من الطريقة بالكامل على أجهزة حقيقية (Franka FR3) دون استخدام تنويع النطاق (Domain Randomization) أو تعزيز البيانات، محققة معدلات نجاح عالية في حوالي 5-50 دقيقة من إجمالي تفاعل الروبوت.

النتائج التجريبية

أُجريت التجارب على معيار NIST Assembly Board I، والذي يتضمن مهام إدخال متنوعة للأسياخ (Peg)، والتروس (Gear)، والموصلات (Connector).

الأداء: حققت طريقة VE2VF معدل نجاح إجمالي بنسبة 95% عبر مهام التدريب، والمهام المضطربة، والمهام الخارجة عن التوزيع.
المقارنة مع النماذج المرجعية:
- التعلم المعزز بالرؤية (HIL-SERL VPTW): حقق نجاحاً شبه مثالي في مهام التدريب، لكنه انهار (نجاح 0%) في المهام الخارجة عن التوزيع، وتدهور بشكل كبير تحت الاضطرابات البصرية.
- التعلم المعزز الخالي من الرؤية من الصفر (HIL-SERL PTW): أظهر أداءً متوسطاً (47.1%)، لكنه واجه صعوبة في تعلم استراتيجيات الإدخال الفعالة بدون توجيه بصري، وفشل في الوصول إلى النجاح الكامل.
- النماذج الحركية الديناميكية (DMP): كان أداؤها ضعيفاً (35.7%)، مما يؤكد الحاجة إلى سلوكيات متعلمة وتكيفية.
- التعلم المعزز المتبقي (Residual RL): قدم أداءً جيداً (85.7%)، لكنه ظل أقل من VE2VF، خاصة في سلوكيات الاستعادة (مثل الانزلاق عن المقبس والمحاولة مرة أخرى).
دراسات الاستئصال (Ablation Studies):
- ثبت أن التقطير أمر جوهري؛ حيث أدى تدريب الطالب الخالي من الرؤية من الصفر، حتى مع تمديد الوقت (حتى 75 دقيقة)، إلى الإفراط في التكيف مع المهام البسيطة والفشل في المهام المعقدة.
- أظهر الجمع بين مدخلات الوضعية، والسرعة، والعزم أفضل مستويات المتانة مقارنة باستخدام مجموعات فرعية من هذه الوسائط.
الضبط الدقيق: بالنسبة لمهمة الإدخال الصعبة DSUB (نجاح 50% في حالة Zero-shot)، أدى الضبط الدقيق للطالب باستخدام معلم متخصص عبر التقطير إلى تحقيق نجاح بنسبة 100% في 10 دقائق إضافية فقط.

الأهمية والادعاءات

يزعم البحث أن VE2VF يعالج المقايضة الحرجة بين كفاءة العينات للتعلم الموجه بصرياً والمتانة المطلوبة للنشر في العالم الحقيقي. من خلال استخدام الرؤية فقط كـ "معلم" لتوجيه الاستكشاف ثم تقطير تلك المعرفة إلى "طالب" يعتمد على الحس العميق، يحقق النظام ما يلي:

المتانة: سياسات قادرة على التعميم عبر مستويات الإضاءة، والأنسجة، والوضعيات المستهدفة المختلفة.
القدرة على التكيف: القدرة على التعافي من حالات الفشل (مثل الانزلاق) من خلال السلوكيات التفاعلية المتعلمة من المعلم.
الكفاءة: اكتساب سريع لمهارات معقدة غنية بالتلامس (حوالي 50 دقيقة) دون الحاجة إلى محاكاة مكثفة أو صياغة يدوية للمكافآت.

يخلص المؤلفون إلى أن هذا النهج يقدم مساراً عملياً لنشر مهارات التلاعب المعقدة في بيئات التجميع ذات الإنتاج المتنوع والمنخفض (High-mix, Low-volume) حيث تكون الظروف البصرية غير متوقعة.