Phys2Real: Fusing VLM Priors with Interactive Online Adaptation for Uncertainty-Aware Sim-to-Real Manipulation

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Phys2Real: دمج الأولويات المستمدة من النماذج اللغوية البصرية (VLM) مع التكيف التفاعلي عبر الإنترنت للتحكم في عدم اليقين في نقل السياسات من المحاكاة إلى الواقع."

1. بيان المشكلة

يعد نشر سياسات التحكم الروبوتية التي تم تدريبها في المحاكاة لتطبيقها في العالم الحقيقي (Sim-to-Real) تحديًا جوهريًا، لا سيما في المهام التي تتطلب ديناميكيات فيزيائية دقيقة (مثل دفع الأجسام ذات توزيعات الكتلة المتغيرة).

• محدودية الطرق الحالية:
  • تعميم النطاق (Domain Randomization - DR): رغم قدرتها على التعامل مع مجموعة واسعة من التباينات، إلا أن سياسات DR غالبًا ما تتعلم سلوكيات "متوسطة" تفشل في التكيف مع خصائص أجسام محددة خارج نطاق التوزيع، مما يؤدي إلى أداء دون المستوى الأمثل.
  • تحديد النظام (System Identification): تتطلب الطرق التقليدية غالبًا ضبطًا يدويًا أو نماذج ثابتة لا يمكنها التكيف آنيًا مع الظروف المتغيرة.
  • التكيف الحركي السريع (Rapid Motor Adaptation - RMA): تعتمد طرق التكيف عبر الإنترنت الحالية (مثل RMA) على تاريخ التفاعل لاستنتاج الحالات الكامنة. ومع ذلك، في المهام غير الإمساكية (مثل الدفع) التي تتضمن تلامسًا متقطعًا، قد يكون تاريخ التفاعل غير مفيد، مما يؤدي إلى تقديرات سيئة للمعلمات.
  • النماذج اللغوية البصرية (VLMs): بينما يمكن للنماذج اللغوية البصرية تقدير الخصائص الفيزيائية من الصور، إلا أنها تُستخدم عادةً للتخطيط عالي المستوى. وغالبًا ما تكون تقديراتها غير مؤكدة ولا يتم دمجها مباشرة في التحكم ذي الحلقة المغلقة منخفض المستوى.

السؤال الجوهري: هل يمكن للجمع بين الاستدلال الفيزيائي البصري (أولويات VLM) والتعلم التفاعلي (التكيف عبر الإنترنت) تحسين أداء التحكم الروبوتي في بيئات العالم الحقيقي بعد التدريب في المحاكاة؟

2. المنهجية: مسار Phys2Real

يعتبر Phys2Real إطار عمل من نوع "من الواقع إلى المحاكاة ثم إلى الواقع" (Real-to-Sim-to-Real) ويتكون من ثلاث مراحل أساسية:

المرحلة الأولى: من الواقع إلى المحاكاة (إعادة البناء الهندسي)

لإنشاء أصول محاكاة عالية الدقة لأجسام بدون نماذج شبكية (meshes) معروفة:

1. التقاط الفيديو والتقطيع: يتم التقاط صور للجسم وتقطيعه باستخدام SAM-2.
2. إعادة البناء ثلاثي الأبعاد: يتم تدريب نموذج 3D Gaussian Splatting (GSplat) على الجزء المقصوص من المقدمة.
3. استخراج الشبكة (Mesh Extraction): يتم استخراج شبكة محاذية للسطح باستخدام SuGaR (Surface-Aligned Gaussian Splatting).
4. التحسين: يتم تنظيف الشبكة وجعلها محكمة الإغلاق (على سبيل المثال، عبر المرآة للأجسام المتماثلة واستخدام خوارزمية Marching Cubes) لتكون جاهزة للاستخدام في المحاكاة.

المرحلة الثانية: تعلم السياسة (التعلم المعزز المشروط بالفيزياء)

يقوم المؤلفون بتدريب سياسة تعلم معزز (RL) مشروطة بمعلمات فيزيائية قابلة للتفسير (مثل مركز الكتلة - CoM) بدلاً من المتجهات الكامنة. يتبع التدريب نهجًا ثلاثي المراحل مستوحى من RMA:

1. المرحلة 1 (الإشراف): يتم تدريب السياسة في المحاكاة مشروطة بمعلمات فيزيائية حقيقية (Ground-truth).
2. المرحلة 1.5 (المتانة): يتم ضبط السياسة بدقة باستخدام معلمات فيزيائية مشوبة بالضجيج (ضجيج غاوسي) لجعلها قوية تجاه أخطاء التقدير عند التشغيل.
3. المرحلة 2 (نموذج التكيف): يتم تجميد أوزان السياسة. ويتم تدريب مجموعة من $M$ من نماذج التكيف للتنبؤ بالمعلمات الفيزيائية من خلال تاريخ الملاحظات والأفعال (نافذة منزلقة).
   • تحديد عدم اليقين (Uncertainty Quantification): توفر المجموعة نوعين من عدم اليقين:
     • عدم اليقين المعرفي (Epistemic Uncertainty): التباين عبر أعضاء المجموعة (الاختلاف بين النماذج).
     • عدم اليقين العشوائي (Aleatoric Uncertainty): التباين داخل تنبؤات النماذج الفردية (ضجيج البيانات).

المرحلة الثالثة: النقل من المحاكاة إلى الواقع (الدمج الواعي بعدم اليقين)

عند التشغيل، يقوم النظام بدمج مصدرين للمعلومات لتقدير المعلمات الفيزيائية:

1. أولوية VLM ($\theta_{vlm}$): يقوم نموذج لغوي بصري (GPT-5) باستعلام صور الجسم لتقدير المعلمة الفيزيائية (مثل مركز الكتلة CoM) وعدم اليقين الذاتي المبلغ عنه ($\sigma_{vlm}$).
2. تقدير التفاعل ($\theta_{rma}$): تقوم مجموعة التكيف المدربة بتقدير المعلمة من تاريخ التفاعل في الوقت الفعلي، وتوفر تقديرًا لعدم اليقين ($\sigma_{rma}$).
3. آلية الدمج: يتم دمج التقديرات باستخدام الترجيح بالتباين العكسي (Inverse-Variance Weighting):
   $$\hat{\theta} = \frac{\theta_{vlm}/\sigma_{vlm}^2 + \theta_{rma}/\sigma_{rma}^2}{1/\sigma_{vlm}^2 + 1/\sigma_{rma}^2}$$
   • المنطق: إذا كان تاريخ التفاعل غير مؤكد ($\sigma_{rma}$ مرتفع)، يعتمد النظام أكثر على أولوية VLM. وإذا كان الـ VLM غير مؤكد ($\sigma_{vlm}$ مرتفع)، يعتمد النظام أكثر على بيانات التفاعل. هذا يخلق "توأمًا رقميًا" معلوماتيًا من الناحية الهندسية والفيزيائية معًا.

3. المساهمات الرئيسية

1. الدمج الواعي بعدم اليقين: أول إطار عمل يدمج صراحةً الأولويات الفيزيائية المستنتجة من VLM مع التكيف القائم على التفاعل عبر الإنترنت باستخدام الترجيح بالتباين العكسي. هذا يعالج مشكلة "التلامس المتقطع" حيث تكون بيانات التفاعل وحدها غير كافية.
2. الاشتراط بمعلمات قابلة للتفسير: على عكس RMA الذي يستخدم المتجهات الكامنة، يقوم Phys2Real بشرط السياسات مباشرة على معلمات فيزيائية قابلة للتفسير (مثل مركز الكتلة CoM)، مما يسمح بالدمج المباشر مع مخرجات VLM.
3. التوائم الرقمية المستندة إلى الفيزياء: مسار يجمع بين إعادة بناء 3D Gaussian Splatting وتقدير الخصائص الفيزيائية عبر الإنترنت، مما يخلق أصول محاكاة دقيقة هندسيًا ومعدلة ديناميكيًا.
4. تطبيق مبتكر للنماذج اللغوية البصرية: يوضح استخدام VLMs ليس فقط للتخطيط عالي المستوى، بل لتوفيد أولويات فيزيائية منخفضة المستوى ومعايرة للتحكم ذي الحلقة المغلقة.

4. النتائج التجريبية

تم تقييم الطريقة باستخدام روبوت UFactory xArm بـ 6 درجات حرية في مهمتين لدفع الأجسام المسطحة: دفع كتلة T (متغيرة مركز الكتلة) ودفع المطرقة (كتلة غير مركزية).

النتائج الرئيسية:

• كتلة T (الوزن في الأعلى - تحدي كبير):
  • Phys2Real: نسبة نجاح 57.14%.
  • تعميم النطاق (DR): نسبة نجاح 23.81%.
  • VLM فقط: نسبة نجاح 4.76%.
  • RMA فقط: نسبة نجاح 14.29%.
  • الاستنتاج: لا يكفي VLM ولا RMA بمفردهما؛ الدمج أمر بالغ الأهمية للديناميكيات الصعبة.
• كتلة T (الوزن في الأسفل - أسهل):
  • Phys2Real: نسبة نجاح 100%.
  • تعميم النطاق (DR): نسبة نجاح 79.17%.
  • النموذج المثالي (Ground Truth): نسبة نجاح 95.83%.
  • الاستنتاج: يحقق Phys2Real أداء النموذج المثالي الذي يمتلك فيزياء حقيقية دون امتلاكه فعليًا.
• دفع المطرقة:
  • حقق كل من Phys2Real وDR نسبة نجاح 100%.
  • الكفاءة: أكمل Phys2Real المهام بسرعة أكبر بنسبة 15% (77.79 ثانية مقابل 90.65 ثانية) من DR، مما يدل على توليد مسارات أكثر كفاءة.
• دراسات الاستئصال (Ablation Studies): أكدت أن الجمع بين بيانات VLM وبيانات التفاعل ضروري. أدى إزالة أي من المكونين إلى انخفاض كبير في الأداء، خاصة في سيناريوهات عدم اليقين العالي.

5. الأهمية والتأثير

• سد فجوة النقل من المحاكة إلى الواقع: يقدم Phys2Real بديلًا قابلًا للتوسع لتعميم النطاق (DR) من خلال تمكين السياسات من التكيف مع خصائص أجسام محددة بدلاً من المتوسط العام لها.
• الكفاءة: من خلال الاستفادة من أولويات VLM، يتطلب الروبوت وقت استكشاف أقل لتعلم ديناميكيات الأجسام، مما يقلل من عدد التفاعلات المطلوبة في العالم الحقيقي للنشر الناجح.
• التعميم: تم تصميم الإطار للتعامل مع أجسام ذات نماذج شبكية غير معروفة وخصائص فيزيائية متغيرة، مما يدفع نحو أنظمة تحكم روبوتية أكثر عمومية.
• الاتجاه المستقبلي: يمهد هذا العمل الطريق لدمج النماذج التأسيسية (VLMs) مع التأسيس الفيزيائي، مما يشير إلى مستقبل تستخدم فيه الروبوتات المعرفة الدلالية لتهيئة الاستدلال الفيزيائي، والذي يتم صقله لاحقًا من خلال التفاعل في العالم الحقيقي.

في الختام، نجح Phys2Real في إثبات أن دمج الأولويات البصرية من النماذج التأسيسية مع التكيف التفاعلي يسمح للروبوتات بتحقيق أداء يقارب الأداء المثالي في مهام التحكم في العالم الحقيقي دون الحاجة إلى نماذج فيزيائية حقيقية.