💻 computer science

DeformMaster: An Interactive Physics-Neural World Model for Deformable Objects from Videos

إن DeformMaster هو نموذج عالم فيزيائي-عصبي تفاعلي يتعلم من فيديوهات العالم الحقيقي لمحاكاة الأجسام القابلة للتشوه عبر توحيد الديناميكيات الفيزيائية والمظهر عالي الدقة، مما يتيح التنبؤ المستقبلي الدقيق، وتوليد استجابات حركية جديدة، وتخليق مشاهد ديناميكية من زوايا رؤية مختلفة.

المؤلفون الأصليون: Can Li, Zhoujian Li, Ren Li, Jie Gu, Lei Lei, Jingmin Chen, Lei Sun

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Can Li, Zhoujian Li, Ren Li, Jie Gu, Lei Lei, Jingmin Chen, Lei Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مقطع فيديو ليد تضغط على كرة ضغط إسفنجية، أو تسحب قطعة من القماش، أو تلتوي بلعبة مطاطية. والآن، تخيل أنك تريد تعليم الكمبيوتر ليس فقط "مشاهدة" ذلك الفيديو، بل "فهم" كيفية عمل هذا الجسم حتى تتمكن من سؤاله: "ماذا يحدث إذا سحبته بقوة أكبر؟" أو "ماذا لو ضغطت عليه من الجانب؟" أو حتى "أرني كيف يبدو من الخلف".

هذا هو بالضبط ما يفعله DeformMaster. إنه يحول فيديو بسيطًا إلى "توأم رقمي" تفاعلي لجسم مرن وقابل للتمدد يمكنك اللعب به في الوقت الفعلي.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: لماذا يعد هذا صعباً؟

معظم البرامج الحاسوبية التي تحاول محاكاة الأجسام اللينة (مثل القماش، الحبال، أو الهلام) تشبه الروبوتات الصلبة. فهي تتبع قواعد فيزيائية صارمة، لكن الحياة الواقعية فوضوية. قد يكون لقطعة قماش حقيقية طية غريبة، أو قد تكون لعبة مطاطية أكثر صلابة قليلاً في نقطة معينة من غيرها. إذا حاولت محاكاة هذا باستخدام رياضيات مثالية، فقد يبدو الأمر مزيفاً أو يتفكك. وإذا حاولت تعلمه من البيانات فقط (مثل ذكاء اصطناعي للألعاب)، فقد يرتبك ويبدأ في القيام بأشياء مستحيلة، مثل الطفو في الهواء.

2. الحل: فريق "الفيزياء + الذكاء الاصطناعي"

يحل DeformMaster هذه المشكلة باستخدام فريق مكون من شخصين لإدارة المحاكاة:

خبير الفيزياء (الأساس): هذا هو محرك فيزيائي قياسي وموثوق (مثل النوع المستخدم في ألعاب الفيديو) يعرف القواعد الأساسية لكيفية حركة الأشياء وتمددها وارتدادها. وهو يوفر أساساً مستقراً.
مساعد الذكاء الاصطناعي (المتبقي/التصحيحي): هذا عبارة عن شبكة عصبية (نوع من أنواع الذكاء الاصطناعي) تعمل كـ "طبقة تصحيحية". تراقب خبير الفيزياء وتقول له: "مهلاً، الفيديو الحقيقي يظهر التواء القماش بشكل مختلف قليلاً عما تتوقعه رياضياتك. دعني أضيف دفعة صغيرة هنا لإصلاح الأمر".

تخيل الأمر مثل نظام GPS. خبير الفيزياء هو الخريطة التي توضح الطرق الرئيسية، أما مساعد الذكاء الاصطناعي فهو السائق المحلي الذي يعرف الحفر، وأعمال البناء، والطرق المختصرة التي لا تظهرها الخريطة. معاً، يوصلانك إلى وجهتك بشكل مثالي.

3. التعامل مع "اليد" (المتحكم)

في الفيديو، هناك يد تلمس الجسم. لكن الكاميرات ليست مثالية؛ فتتبع اليد قد يكون مهتزاً أو متذبذباً.

الطريقة القديمة: إذا أخبرت المحاكاة أن تتحرك تماماً حيث توجد اليد المهتزة، فقد يهتز الجسم بعنف أو يتفكك.
طريقة DeformMaster: يستخدم شيئاً يسمى المشغلات الموزعة المتوافقة (Distributed Compliant Actuators). تخيل بدلاً من إصبع صلب واحد يدفع الجسم، أن لديك قفازاً ناعماً ووبرياً يوزع القوة بلطف على مساحة أوسع. هذا يقلل من حدة بيانات الكاميرا المهتزة ويدفع الجسم بشكل طبيعي، تماماً كما تفعل اليد الحقيقية.

4. التعامل مع المواد المختلفة (الخليط)

الأجسام الحقيقية ليست مصنوعة من مادة واحدة متجانسة. فقد يكون للدمية بطن ناعم ولكن أنف صلب.

الطريقة القديمة: تفترض العديد من النماذج أن الجسم بأكمله مصنوع من نفس المادة تماماً (مثل كتلة ضخمة من الجيلي).
طريقة DeformMaster: يستخدم خليطاً من الخبراء التكوينيين (Mixture of Constitutive Experts). فكر في هذا كـ "خلاط النكهات". يدرك أن جزءاً من الجسم قد يكون "Neo-Hookean" (مطاطي جداً)، بينما جزء آخر قد يكون "St. Venant-Kirchhoff" (أكثر صلابة). إنه يمزج هذه "النكهات" المختلفة من الفيزياء عبر سطح الجسم ليتطابق مع الفيديو الحقيقي تماماً.

5. النتيجة: ساحة لعب تفاعلية

بمجرد أن يتعلم DeformMaster من الفيديو، فإنه لا يقوم فقط بإعادة تشغيل الفيديو. بل ينشئ نموذج عالم (World Model).

أفعال جديدة: يمكنك أن تطلب منه سحب الجسم في اتجاه لم يظهره الفيديو الأصلي، وسيتنبأ بالنتيجة بشكل واقعي.
مواد جديدة: يمكنك أن تقول له: "اجعل هذا الجسم أنعم بـ 3 مرات"، وسيقوم بمحاكاة كيفية تصرف النسخة الأنعم (حتى لو أظهر تمزقاً أو تكسراً إذا سحبته بقوة).
زوايا رؤية جديدة: يمكنك أن تطلب رؤية الجسم من زاوية كاميرا لم تكن موجودة في الفيديو الأصلي، وسيقوم بعرض صورة عالية الجودة له.

ملخص

DeformMaster يشبه أخذ فيديو للعبة مطاطية وتحويله إلى مستوى لعبة فيديو تفاعلي ودقيق فيزيائياً. إنه يجمع بين موثوقية قواعد الفيزياء ومرونة الذكاء الاصطناعي للتعامل مع تفاصيل العالم الحقيقي الفوضوية، مما يسمح لك بالتفاعل مع الجسم بطرق لم ترها من قبل.

ما تدعيه الورقة البحثية فعلياً:

يعمل على فيديوهات حقيقية للحبال، الأقمشة، والألعاب اللينة.
أكثر دقة في التنبؤ بالحركات المستقبلية وعرض الصور من الطرق السابقة (مثل PhysTwin أو Spring-Gaus).
يسمح بـ "عمليات تشغيل طويلة الأمد" (long-horizon rollouts)، مما يعني أنه يمكنك محاكاة حركة الجسم لفترة طويلة دون أن ينحرف عن مساره الصحيح ويصبح غير منطقي.
يدعم تغيير خصائص المادة (مثل جعل الأشياء أنعم) ومشاهدتها من زوايا جديدة.
يعمل بسرعات تفاعلية (أكثر من 15 إطاراً في الثانية)، مما يسمح بالتحكم في الوقت الفعلي.

ملخص تقني: DeformMaster

بيان المشكلة

يجب أن تستعيد النماذج العالمية للأجسام القابلة للتشكل ليس فقط الهندسة والمظهر، بل أيضًا الديناميكيات الفيزيائية الكامنة، وتأصيل التفاعل، وسلوك المادة. ويعد تعلم مثل هذه النماذج من فيديوهات العالم الحقيقي أمرًا صعبًا لأن الأجسام القابلة للتشكل (الخطية، والمسطحة، والحجمية) تتطور في مساحات حالات عالية الأبعاد تحكمها الإجهادات الموزعة، والاستجابات المادية المعقدة، والتلامس الذاتي، والقوى الخارجية.

تواجه النهج الحالية قيودًا كبيرة:

إعادة البناء القائم على الفيزياء (مثل PhysTwin، وSpring-Gaus) غالبًا ما يعتمد على نماذج فيزيائية مثالية حيث تجد عملية تحديد المعلمات صعوبة في مراعاة الظواهر الواقعية التي تتجاوز افتراضات النموذج.
النماذج التوليدية (مثل انتشار الفيديو - video diffusion) تتخيل النتائج البصرية في المقام الأول ولكنها تفتقر غالبًا إلى فهم موثوق للديناميكيات المشروطة بالأفعال، مما يجعل التحكم فيها عبر التفاعلات الصريحة صعبًا ويجعلها عرضة لديناميكيات "الهلوسة".
الديناميكيات المتعلمة بالكامل (مثل شبكات الجراف لجسيمات - particle-graph networks) تعاني من اعتماد ثقيل على البيانات، وتظل مرتبطة بتوزيعات التدريب، وتنزاح بشكل كبير أثناء عمليات التشغيل طويلة الأمد تحت أفعال جديدة.

التحدي الجوهري هو بناء نموذج يستنتج الحالات الفيزيائية من الملاحظات البصرية، ويقوم بتشغيلها مستقبليًا تحت تفاعلات جديدة، ويقوم برندرة (rendering) ديناميكيات عالية الدقة مع البقاء مستقرًا، وقابلًا للتعميم، ومتجذرًا فيزيائيًا.

المنهجية: DeformMaster

DeformMaster هو نموذج عالمي عصبي-فيزيائي تفاعلي مشتق من الفيديو، يوحد الديناميكيات والمظهر ضمن إطار عمل واحد. يقوم بتحويل فيديوهات التفاعل الحقيقية إلى تمثيل قابل للاستعلام عبر الإنترنت يدعم تشغيل الأفعال الجديدة، وتغييرات معلمات المادة، وتخليق مناظر جديدة ديناميكية. يتكون النظام من أربعة مكونات رئيسية:

1. ديناميكيات الجسيمات-الشبكة العصبية-الفيزيائية (PNPGD)

لتحقيق التوازن بين استقرار الأولويات الفيزيائية والمرونة لنمذجة عدم التطابق مع الواقع، يقوم DeformMaster بتفكيك مؤثر الديناميكيات $F_{\theta,\phi}$ إلى كتلة فيزيائية $P_\theta$ وبقايا عصبية $R_\phi$ :
$F_{\theta,\phi} = P_\theta \oplus R_\phi$

الكتلة الفيزيائية ( $P_\theta$ ): تستخدم طريقة النقطة المادية (MPM) القابلة للتفاضل لتقديم الحالة عبر إطار واحد بناءً على معلمات المادة $\theta$ . وهذا يوفر أولوية هيكلية ومستقرة.
الباقي العصبي ( $R_\phi$ ): هي شبكة عصبية (جسيم-شبكة) تتنبأ بتصحيح سرعة محدود $\Delta v_p$ بناءً على حالة ما بعد الـ MPM وتاريخ حركي قصير. هذا الباقي يمتص التأثيرات غير المنمذجة (مثل الاحتكاك، أو التلامس المعقد) دون أن يعمل كمُتنبئ حالة حر، مما يضمن بقاء النموذج كاضطراب للمحاكاة الفيزيائية بدلاً من كونه بديلاً كاملاً لها.

2. المشغلات المتوافقة الموزعة (DCA)

تتبع اليد في العالم الحقيقي المستخلص من الرؤية يكون ضوضائيًا ومتفرقًا. القيود النقطية الصلبة تؤدي غالبًا إلى طفرات في السرعة أو تشوهات موضعية تفشل في دفع الحركة الكلية. يعالج DCA ذلك من خلال:

التوافق (Compliance): تحويل القيود الصلبة إلى اقترانات مشغلات متوافقة (باستخدام الصلابة $k_p$ والتخميد $k_d$ ) لامتصاص الضوضاء عالية التردد.
التوزيع (Distribution): نشر التفعيل عبر رقعة تلامس محدودة (جوار محلي) بدلاً من نقطة واحدة، مما يسم استجابة فعالة لنقل القوة عبر الأوساط اللينة.

3. خليط الخبراء التكوينيين (MoCE)

نادرًا ما تتوافق الأجسام القابلة للتشكل في الواقع مع قانون تكويني مثالي واحد. يمثل MoCE إجهاد "بيولا-كيرشوف" الأول كخليط متغير مكانيًا من خبراء نموذجيين (Neo-Hookean، وCorotated، وSt. Venant–Kirchhoff):
$P_{mix}(F_p) = \sum_k w_{k,p} P_k(F_p; E_p, \nu_p)$
أوزان الخليط $w_{k,p}$ متغيرة مكانيًا، مما يسمح للنموذج بالتقاط استجابات مادية متباينة عبر مناطق مختلفة من الجسم مع البقاء متجذرًا في القوانين التحليلية.

4. المظهر رباعي الأبعاد المتجذر فيزيائيًا

لتوليد مظهر عالي الدقة دون إعادة تحسين نموذج ديناميكي لكل فعل، يقوم DeformMaster بتوجيه تمثيل "تشتت غاوس" (Gaussian Splatting) باستخدام مسار جسيمات المادة المتوقع. تقوم دالة الجسر $B_\psi$ بتشويه قيم غاوس باستخدام "تغطية الجلد الخطية" (LBS) بشكل تدريجي بناءً على حركة الجسيمات. يضمن هذا بقاء المظهر المرندر متسقًا مع التطور الفيزيائي الأساسي.

مخطط التدريب

يتم تدريب النموذج باستخدام هدف مشترك يقلل من أخطاء الديناميكيات (محاذاة التتبع، مسافة Chamfer للشكل، الحفاظ على الطول المحلي) وأخطاء المظهر (فقد الفوتومتري RGB). يسير التدريب في مراحل:

المرحتان 1-2: تحسين متبادل بين تدريب الديناميكيات (تعلم حقول المادة والبواقي العصبية) واختيار كسب المشغل المتوافق الموزع (DCA) باستخدام خوارزمية CMA-ES.
المرحلة 3: تحسين تشتت غاوس يليه صقل الديناميكيات الموجه بـ RGB، حيث تتدفق تدرجات الفوتومترية عائدة إلى حركة الجسيمات والباقي العصبي.

المساهمات الرئيسية

PNPGD: نموذج انتقال هجين يعزز الفيزياء التفاضلية بباقٍ عصبي، مما يحافظ على عمليات التشغيل الموجهة بالفيزياء مع التعويض عن التأثيرات الواقعية غير المنمذلة.
DCA: آلية لتحويل تتبع اليد الضوضائي والمتفرق إلى تفعيل متوافق وموزع مكانيًا، مما يؤدي إلى استقرار التفاعل بين اليد والوسط اللين.
MoCE: نهج نمذجة تكوينية يمزج القوانين المادية النموذجية مع أوزان متغيرة مكانيًا لالتقاط الاستجابات المادية المتباينة.
نظام DeformMaster: نموذج عالمي مستمد من الفيديو يجمع بين الديناميكيات العصبية-الفيزيائية التفاعلية والمظهر عالي الدقة المتجذر في الفيزياء، مما يدعم التفاعل عبر الإنترنت.

النتائج التجريبية

تم تقييم DeformMaster على 20 تسلسلًا لأجسام قابلة للتشكل من مجموعة بيانات PhysTwin، تغطي أجسامًا خطية (حبال)، ومسطحة (أقمشة/طرود)، وحجمية (ألعاب لينة).

الأداء العام: حقق DeformMaster أقوى أداء إجمالي، متفوقًا على النماذج المرجعية (PhysTwin، وSpring-Gaus، وGS-Dynamics) في كل من الديناميكيات المستقبلية (IoU، مسافة Chamfer) والمظهر المرندر (PSNR، SSIM، LPIPS).
المقارنة مع PhysTwin: مع الحفاظ على خطأ تتبع مماثل، حسن DeformMaster مسافة Chamfer (0.011 مقابل 0.012) و IoU (0.748 مقابل 0.734).
المقارنة مع الديناميكيات المتعلمة: قللت الطريقة بشكل كبير من مسافة Chamfer (بأكثر من 3 أضعاف) وخطأ التتبع (بأكثر من 2.9 ضعف) مقارنة بنماذج ديناميكيات غاوس المتعلمة بالكامل.
التعميم: نجح النموذج في دعم عمليات التشغيل تحت أفعال جديدة، وتغييرات معلمات المادة (مثل تغيير مقياس حقول المادة لإحداث كسر)، وتخليق مناظر جديدة.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة الباقي العصبي إلى تدهور الأداء، مما أكد الحاجة لربط الفيزياء والملاحظات الواقعية.
- تسبب استبدال DCA بقيود صلبة أو مشغلات نقطية واحدة في حدوث تباعد أو تقليل الدقة، مما أثبت الحاجة للتوافق والتوزيع.
- أدى استبدال MoCE بخبير واحد إلى سوء النتائج، مما أظهر ضرورة النمذجة المادية المتغيرة مكانيًا.
- وفر الصقل الموجه بـ RGB في المرحلة 3 مكاسب متسقة في كل من مقاييس الديناميكيات والمظهر.

الأهمية والادعاءات

يزعم البحث أن DeformMaster يمثل خطوة مهمة نحو نماذج عالمية قوية وتفاعلية للأجسام القابلة للتشكل. من خلال استعادة الديناميكيات الفيزيائية، وتأصيل التفاعل، وسلوك المادة بشكل مشترك، يتغلب النموذج على قيود النهج التوليدية البحتة (التي تفتقر إلى القدرة على التحكم بالأفعال) والنهج الفيزيائية البحتة (التي تعاني من التعقيد الواقعي).

يؤكد المؤلفون أن DeformMaster يتيح:

عمليات تشغيل طويلة الأمد ومستقرة تحت أفعال جديدة.
تفاعل قوي رغم الملاحظات البصرية الضوضائية.
نمذجة مادية متباينة دون افتراض قانون تكويني عالمي واحد.
مظهر رباعي الأبعاد عالي الدقة مدفوع مباشرة بالتطور الفيزيائي.

يضع هذا العمل حجر أساس لتطبيقات تجسيدية (embodied applications) لاحقة، مثل التحكم في الروبوتات القائم على التحكم التنبئي بالنماذج (MPC) وتوليد البيانات الاصطناعية، مع الإقرار بالقيود المتعلقة بالأجسام المسطحة الرقيقة جدًا (حيث قد تظل أنظمة الكتلة والزنبرك تمتلك انحيازًا استقرائيًا) والاعتماد على خطوات المحاكاة الفرعية في وقت التشغيل.