ComSim: Building Scalable Real-World Robot Data Generation via Compositional Simulation

إليك ملخص تقني مفصل للورقة البحثية بعنوان "بناء توليد بيانات روبوتية واقعية وقابلة للتوسع عبر المحاكاة التركيبية" (Building Scalable Real-World Robot Data Generation via Compositional Simulation).

1. بيان المشكلة

تواجه الروبوتات عقبة حرجة في الحصول على بيانات تدريب واسعة النطاق وعالية الجودة. وبينما أدت النماذج التأسيسية (مثل نماذج اللغة الكبيرة LLMs، ونماذج العالم World Models) إلى تطوير قدرات الروبوت، فإن تدريبها يتطلب كميات هائلة من أزواج (الفعل-الفيديو) (action-video pairs).

• الجمع في العالم الحقيقي: عملية مكلفة، وتتطلب جهداً بشرياً كبيراً، ومحدودة في تنوعها، مما يجعلها عاجزة عن تغطية كامل نطاق السيناريوهات الواقعية.
• المحاكاة التقليدية (مثل MuJoCo أو Isaac Lab): يمكنها توليد مجموعات بيانات ضخمة مع تسميات دقيقة للأفعال، ولكنها تعاني من فجوة النطاق بين المحاكاة والواقع (Sim2Real domain gap) (الاختلافات في المظهر، الإضاءة، الملمس، والفيزياء)، مما يؤدي إلى ضعف انتقال السياسة (policy transfer).
• المحاكيات العصبية (نماذج توليد الفيديو): يمكنها توليد فيديوهات تبدو واقعية، ولكنها غالباً ما تعاني من الهلوسة (hallucinations)، وتفتقر إلى الاتساق ثلاثي الأبعاد، والأهم من ذلك، تعاني من ضعف المحاذاة بين الفعل والفيديو (action-video alignment) (أي أن الفيديو المولد لا يتبع بدقة مسار الفعل المدخل).

التحدي الجوهري هو توليد بيانات قابلة للتوسع ومتنوعة تحافظ على الدقة البصرية للواقع مع ضمان الاتساق الصارم للفعل.

2. المنهجية: المحاكاة التركيبية (Compositional Simulation)

يقترح المؤلفون المحاكاة التركيبية، وهو إطار عمل هجين يجمع بين نقاط القوة في المحاكاة التقليدية (دقة الفعل) والمحاكاة العصبية (الواقعية البصرية) عبر مسار مغلق يسمى "الواقع-المحاكاة-الواقع" (Real-Sim-Real).

أ. مسار "الواقع-المحاكاة-الواقع" (Real-Sim-Real Pipeline)

تتضمن العملية ثلاث مراحل رئيسية:

1. محاذاة "الواقع إلى المحاكاة" (Real2Sim Alignment) (جمع البيانات):

   • يتم جمع مجموعة صغيرة من المسارات الواقعية عبر التحكم عن بُعد (teleoperation).
   • يتم بناء بيئة محاكاة "توأم رقمي" (Digital Twin) مع محاذاة صارمة مع العالم الحقيقي:
     • محاذاة الخلفية/الأجسام: مطابقة الألوان، الأحجام، والملامس للأصول (assets).
     • معايرة الكاميرا: محاذاة معلمات الكاميرا الداخلية والخارجية.
     • تحديد مواقع الأجسام: نقل مواقع الأجسام من المشهد الحقيقي إلى المحاكي بدقة.
   • يتم إعادة تشغيل نفس الأفعال الواقعية في المحاكي لتوليد بيانات مزدوجة $(V_{sim}, V_{real}, A)$.

2. تدريب المحاكي العصبي (Sim2Real):

   • يتم تدريب محاكي عصبي لتحويل فيديوهات المحاكاة التقليدية ($V_{sim}$) إلى تمثيلات واقعية ($V_{real}$) مع الحفاظ على تسلسل الفعل ($A$).
   • توليد الفيديو الديناميكي التركيبي: يتم تدريب النموذج (المعتمد على محول الانتشار - Diffusion Transformer, DiT) ليكون مشروطاً بديناميكيتين متمايزتين:
     • ديناميكيات التحكم (Control Dynamics): مسار الفعل ($A$).
     • الديناميكيات البصرية (Visual Dynamics): الملاحظة المحاكية ($V_{sim}$).
   • أثناء عملية أخذ العينات (sampling)، يتم دمج (composition) الدرجات (scores) من كلتا الديناميكيتين لتوجيه عملية التوليد. يضمن هذا أن يكون الفيديو الناتج واقعياً بصرياً (مدفوعاً بالديناميكيات البصرية) ولكنه يلتزم بصرامة بالفعل المدخل (مدفوعاً بديناميكيات التحكم).
   • دالة الخسارة (Loss Function): تقلل من التباين بين الفيديو المولد والفيديو الواقعي مع الحفاظ على محاذاة الفعل.

3. توليد البيانات القابل للتوسع:

   • باستخدام محاكي قائم على القواعد (RoboTwin)، يتم توليد مجموعة ضخمة من المسارات المتنوعة باستخدام بدائيات الأفعال (action primitives) (مثل: الإمساك، الدفع، التكديس) التي يتم تنسيقها بواسطة نموذج لغوي كبير (GPT-5).
   • يتم تمرير هذه المسارات المحاكية عبر المحاكي العصبي المدرب لإنتاج "بيانات شبه واقعية" (Pseudo Real Data)—وهي أزواج $(V_{real}, A)$ واسعة النطات تبدو واقعية ولكنها مولدة اصطناعياً.

ب. تدريب السياسة (Policy Training)

يتم تدريب سياسة الروبوت النهائية عبر التدريب المشترك (Joint Training) على خليط من:

• كمية صغيرة من البيانات الواقعية (المجمعة من البيئة الفعلية).
• كمية كبيرة من البيانات شبه الواقعية (المولدة عبر مسار المحاكاة التركيبية).

3. المساهمات الرئيسية

1. مفهوم المحاكاة التركيبية: نموذج جديد يجسّر الفجوة بين المحاكاة التقليدية والعصبية من خلال فصل التحكم في الفعل عن التوليد البصري، ثم إعادة دمجهما لضمان الاتساق الفيزيائي والواقعية البصرية معاً.
2. مسار بيانات "الواقع-المحاكاة-الواقع": إطار عمل قوي لإنشاء بيئة "توأم رقمي" وتدريب محاكي عصبي يحول بيانات المحاكاة منخفضة الدقة إلى بيانات عالية الدقة ومرتبطة بالفعل في النطاق الواقعي.
3. توليد الفيديو الديناميكي التركيبي: ابتكار تقني يستخدم نموذج (DiT) مشروطاً بكل من الديناميكيات التحكمية والبصرية لمنع الهلوسة وضمان محاذاة دقيقة بين الفعل والفيديو.
4. الحل القابل للتوسع: يثبت القدرة على توليد مجموعات بيانات ضخمة ومتنوعة تغطي توزيعات مكانية وأجساماً واسعة باستخدام الحد الأدنى من البيانات الواقعية.

4. النتائج التجريبية

قام المؤلفون بتقييم نهجهم على 8 مهام تلاعب روبوتية (مثل: هز الزجاجة، تكديس الكتل، تحريك بطاقة اللعب) باستخدام هيكل "سياسة الانتشار" (Diffusion Policy).

• جودة الفيديو (انتقال Sim2Real):

  • حقق المسار الكامل (Ours-Full) أداءً رائداً (SOTA) في المقاييس الإدراكية (PSER, SSIM, CLIP Score) والمقاييس التوزيعية (FID, FVD)، متفوقاً بشكل كبير على النماذج المرجعية مثل Stable Diffusion، والنماذج التي تعمل بنظام Zero-Shot، والمتغيرات التي تستخدم فقط التكييف التحكمي أو البصري.
  • أظهرت النتائج النوعية أن الطريقة نجحت في الحفاظ على هوية الأجسام، واتساق الخلفية، وحركات القابض (gripper) الدقيقة، بينما عانت النماذج الأخرى من الهلوسة أو الانحراف عن الفعل.

• أداء السياسة في العالم الحقيقي:

  • معدلات النجاح: السياسات المدربة باستخدام 10 بيانات واقعية + 200 بيانات شبه واقعية تفوقت بشكل كبير على تلك المدربة باستخدام البيانات الواقعية فقط (10 واقعية) أو بيانات المحاكاة التقليدية (10 واقعية + 200 محاكاة).
  • التعميم (Generalization):
    • مكانياً: مكنت الطريقة من التعميم القوي على التخطيطات المكانية خارج النطاق (OOD) (أجسام موضوعة في مناطق غير مرئية سابقاً)، حيث فشل التدريب بالبيانات الواقعية البحتة تماماً.
    • الأجسام: نجحت الطريقة في التعميم على نماذج أجسام جديدة (مثل علامات تجارية مختلفة للزجاجات، أو ألوان مختلفة للبطاقات) لم تُشاهد أثناء جمع البيانات الواقعية، بينما فشلت المحاكاة التقليدية في نقل هذا التعميم.
  • إمكانات الـ Zero-Shot: حتى بدون أي بيانات واقعية (باستخدام 200 من البيانات شبه الواقعية فقط)، حققت السياسة معدلات نجاح غير ضئيلة، مما يثبت الدقة العالية للبيانات المولدة.

5. الأهمية

تعالج هذه الدراسة مشكلة ندرة البيانات الأساسية في الذكاء الاصطاذي المتجسد (Embodied AI). ومن خلال إثبات أنه يمكن الاستفادة من كمية صغيرة من البيانات الواقعية لعمل "نقل نمط" (style-transfer) لكميات هائلة من بيانات المحاكاة التقليدية إلى نطاق واقعي، تقدم الورقة مساراً قابلاً للتوسع ومنخفض التكلفة لتدريب سياسات روبوتية قوية. إنها تجسر فجوة Sim2Real بفعالية، مما يسمح للروبوتات بالتعلم من سيناريوهات متنوعة ومعقدة كان من المستحيل جمعها يدوياً، مع الحفاظ على الرابط الحيوي بين الفعل والملاحظة المطلوب للتحكم الموثوق.