PhysGM: Large Physical Gaussian Model for Feed-Forward 4D Synthesis
إن PhysGM هو إطار عمل تغذية أمامية يتنبأ بشكل مشترك بتمثيلات غاوس ثلاثية الأبعاد والخصائص الفيزيائية من صورة واحدة لتمكين محاكاة رباعية الأبعاد فورية وعالية الدقة، مستفيداً من مجموعة بيانات جديدة تسمى PhysAssets وتحسين التفضيل المباشر للتغلب على قيود الطرق السابقة البطيئة، والمعتمدة بكثافة على التحسين، والمنفصلة فيزيائياً.
تخيل أن لديك صورة فوتوغرافية واحدة للعبة، أو قطعة فاكهة، أو كتلة من الطين. في الوقت الحالي، إذا أردت أن ترى ما سيحدث عند إسقاط ذلك الجسم أو ضغطه، فعادة ما يتعين عليك استئجار فريق من المهندسين. يقضون ساعات في بناء نموذج ثلاثي الأبعاد، ويخبرون الكمبيوتر يدوياً: "هذا الجزء صلب مثل الفولاذ" و"هذا الجزء ناعم مثل الجيلي"، ثم يقومون بتشغيل محاكاة فيزيائية معقدة وبطيئة لرؤية كيف يتحرك.
PhysGM يشبه "صانع الأفلام السحري الفوري" الذي يتخطى كل هذا العمل الشاق. فهو ينظر إلى صورتك الوحيدة، وفي أقل من ثانية، لا يكتشف فقط كيف يبدو شكل جسمك ثلاثي الأبعاد، بل يكتشف أيضاً كيف "يشعر" فيزيائياً. ثم يقوم فوراً بمحاكاة فيديو واقعي لهذا الجسم وهو يسقط، أو يرتد، أو ينضغط.
إليك كيف يعمل، مقسماً ببعض التشبيهات من الحياة اليومية:
1. المشكلة: "الطباخ البطيء" مقابل "الميكروويف"
الطريقة القديمة (الطباخ البطيء): كانت الطرق السابقة تشبه طهي حساء ببطء. كان عليك جمع صور كثيرة للجسم من زوايا مختلفة، وقضاء ساعات في "التحسين" (التعديل) للنموذج ثلاثي الأبعاد، ثم إخبار الكمبيوتر يدوياً بقواعد الفيزياء. كان الأمر بطيئاً، ومكلفاً، ولا يمكن القيام به بشكل فوري.
PhysGM (الميكروويف): هذه الطريقة الجديدة هي الميكروويف. تضع صورة واحدة، تضغط على زر، وبوم—تحصل على محاكاة ثلاثية الأبعاد كاملة مع فيزياء في أقل من دقيقة. هو لا "يطهو" الإجابة خطوة بخطوة؛ بل يعرف الإجابة لأنه قد "درس" أمثلة كافية ليتعرف على النمط فوراً.
2. السر الخفي: "الغاوسيات" (سحابة من النقاط)
لصنع الجسم ثلاثي الأبعاد، يستخدم PhysGM شيئاً يسمى 3D Gaussian Splatting.
التشبيه: تخيل أن الجسم ليس مصنوعاً من بلاستيك صلب، بل هو في الواقع سحابة من ملايين الكرات الصغيرة المتوهجة والضبابية (مثل سحابة من غزل البنات أو سرب من اليراعات).
كل "كرة" لها موقع، ولون، وحجم.
يتوقع PhysGM بالضبط أين يضع هذه الكرات الضبابية لإعادة إنشاء شكل جسمك. ولكن إليك الخدعة: هو يتوقع أيضاً مدى "ليونة" أو "صلابة" كل كرة.
3. العقل المدبر: التعلم من مكتبة ضخمة (PhysAssets)
كيف يعرف الكمبيوتر أن صورة صخرة تعني "صلبة وثقيلة" بينما صورة مارشميلو تعني "ناعمة ومرنة"؟
المكتبة: بنى الباحثون مكتبة ضخمة تسمى PhysAssets. تحتوي على أكثر من 50,000 جسم ثلاثي الأبعاد.
التوصيف: لكل جسم في هذه المكتبة، لم يحفظوا صورته فحسب؛ بل حفظوا أيضاً "الوصفة الفيزيائية". لقد قاموا بتسميتها ببيانات من العالم الحقيقي: "هذا معدن، إنه صلب جداً"، أو "هذا جيلي، إنه لين جداً".
التدريب: درس الذكاء الاصطناعي هذه المكتبة. وتعلم أنه عندما يرى ملمساً رمادياً لامعاً، يجب أن يتوقع "صلابة عالية". وعندما يرى ملمساً وردياً باهتاً، يجب أن يتوقع "صلابة منخفضة".
4. التدريب ذو المرحلتين: "المدرسة" و"التدريب العملي"
يتعلم النموذج في مرحلتين، تماماً كما يتعلم الطالب القيادة:
المرحلة 1 (الفصل الدراسي): يتم تعليم الذكاء الاصطناعي القواعد. ينظر إلى صورة ويخمن الشكل ثلاثي الأبعاد والخصائص الفيزيائية. ويتم تقييمه بناءً على مدى مطابقة تخمينه للبيانات الحقيقية. هذا يعطيه أساساً متيناً.
المرحلة 2 (مدرسة القيادة / DPO): هذا هو الجزء الذكي. يقوم الذكاء الاصطناعي بإنشاء عدة نسخ مختلفة من فيديو السقوط. يقوم "حكم" (برنامج كمبيوتر) بمقارنة هذه النسخ بفيديو مرجعي مثالي ويقول: "النسخة (أ) سقطت بسرعة كبيرة، النسخة (ب) ارتدت عالياً جداً، لكن النسخة (ج) كانت مثالية".
يتعلم الذكاء الاصطناعي من هذه الملاحظات دون الحاجة إلى إعادة حساب كل شيء من الصفر. هو فقط يتعلم تفضيل التخمينات "الفائزة". وهذا ما يسمى تحسين التفضيل المباشر (DPO).
5. النتيجة: فيزياء فورية
بمجرد تدريب الذكاء الاصطناعي، إليك سير العمل السحري:
المدخلات: ترفع صورة واحدة لدونات محشوة بالجيلي.
التنبؤ: في أقل من ثانية، يقول الذكاء الاصطناعي: "حسناً، هذا شكل دونات، وهي مصنوعة من مادة الجيلي (لينة، عالية الانضغاط)".
المحاكاة: يقوم فوراً بتشغيل محرك فيزيائي (يسمى MPM) يعامل الجسم كأنه دونات جيلي حقيقية.
المخرجات: تحصل على فيديو للدونات وهي تسقط، وتصطدم بالأرض، وتتذبذب بشكل واقعي، وكل ذلك تم إنتاجه في حوالي دقيقة واحدة.
لماذا هذا مهم؟
السرعة: يحول عملية كانت تستغرق ساعات إلى عملية تستغرق ثوانٍ.
الواقعية: هو لا يجعل الجسم يتحرك فحسب؛ بل يجعله يتحرك بشكل صحيح بناءً على مادته. كرة فولاذية ترتد؛ كرة طين تتسطح. PhysGM يعرف الفرق.
الاستخدام المستقبلي: تخيل ألعاب الفيديو حيث يمكنك رفع صورة لجسم من العالم الحقيقي واللعب به فوراً في عالم فيزيائي، أو الروبوتات التي يمكنها تعلم كيفية التعامل مع أجسام جديدة بمجرد النظر إلى صورة.
باختصار: PhysGM يشبه طباخاً عرافاً يمكنه النظر إلى صورة واحدة لمكون ما، ويعرف فوراً كيف سيطبخه، وكيف سيكون طعمه، وكيف سيتفاعل مع الحرارة، ليقدم لك وجبة مثالية في ثوانٍ.
إليك ملخص تقني مفصل لورقة البحث بعنوان "PhysGM: نموذج غاوس فيزيائي ضخم للتوليد الأمامي رباعي الأبعاد (4D)."
1. بيان المشكلة
تواجه الطرق الحالية لتوليد محتوى قائم على الفيزياء رباعي الأبعاد (مشاهد ثلاثية الأبعاد ديناميكية) ثلاث عقبات رئيسية:
عدم الكفاءة: تعتمد معظم النهج على التحسين التكراري لكل مشهد على حدة، وهو أمر بطيء. تتطلب هذه الطرق عادةً صوراً متعددة الرؤى كثيفة لإعادة بناء نموذج التشتت الغاوسي ثلاثي الأبعاد (3DGS)، يليه تحديد يدوي للخصائص الفيزيائية، ثم تشغيل محاكاة فيزيائية. هذه العملية مكلفة حاسوبياً للتطبيقات التي تتطلب وقتاً فعلياً أو تطبيقات واسعة النطاق.
تكامل فيزيائي غير مثالي: غالباً ما تقوم الطرق الموجودة بدمج نماذج 3DGS مسبقة البناء مع وحدات فيزياء بشكل سطحي، متجاهلةً الإشارات الفيزيائية المضمنة في المظهر البصري. بدلاً من ذلك، تستخدم طرق أخذ عينات تشتت الدرجة (SDS) من نماذج الفيديو لتوجيه الفيزياء، وهي عملية غير مستقرة، ومكلفة، وتتطلب محاكيات فيزياء قابلة للتفاضل.
نقص البيانات: هناك ندرة في مجموعات البيانات واسعة النطاق التي تربط الأصول ثلاثية الأبعاد بخصائص فيزيائية مشروحة وفيديوهات محاكاة مرجعية مقابلة، مما يعيق تدريب النماذج التوليدية القابلة للتعميم.
السؤال الجوهري الذي تعالجه الورقة هو: هل يمكننا تجاوز عملية التحسين لكل مشهد تماماً وتعلم نموذج توليدي ينتج محاكاة فيزيائية كاملة ومستندة إلى الواقع من صورة واحدة في تمريرة أمامية واحدة؟
2. المنهجية: إطار عمل PhysGM
إن PhysGM هو إطار عمل أمامي (feed-forward) يعتمد على المحولات (Transformers)، يقوم بالتنبؤ المشترك بمعلمات الغاوس ثلاثية الأبعاد والخصائص الفيزيائية من صورة واحدة مدخلة. يتكون خط الإنتاج من أربعة مكونات رئيسية:
أ. بنية النموذج
معالجة المدخلات: يقبل النموذج صورة RGB واحدة. ولتوفير سياق هندسي، يستخدم MVAdapter لتخليق ثلاثة مناظر مساعدة (خلفي، أيسر، أيمن)، مما يخلق مجموعة مدخلات مكونة من 4 مناظر.
ترميز متعدد الوسائط:
ترميز الصور: يستخدم DINOv3 لاستخراج ميزات الصورة.
ترميز الكاميرا: يمثل أشعة الكاميرا باستخدام إحداثيات بلوكر (Plücker coordinates) التي تتم معالجتها بواسطة مشفر كثيف.
الرموز العالمية (Global Tokens): يتم إدراج ثلاثة رموز عالمية قابلة للتعلم في بداية التسلسل لتجميع المعلومات على مستوى المشهد خصيصاً للتنبؤ بالفيزياء.
العمود الفقري للمحول (Transformer Backbone): يقوم محول مكون من 24 طبقة بمعالجة الرموز المدمجة لتعلم التمثيلات السياقية.
رؤوس التنبؤ المزدوجة:
رأس DPT (3DGS): رأس محول تنبؤ كثيف يقوم باسترجاع معلمات الغاوس ثلاثية الأبعاد (الموقع، المقياس، الدوران، العتامة، والتوافقيات الكروية) للهندسة والمظهر.
رأس الفيزياء: يتنبأ بتوزيع للخصائص الفيزيائية: فئة المادة (C)، معامل يونغ (E)، ونسبة بواسون (ν). ويقوم بإخراج المتوسط ولوغاريتم التباين لنمذجة عدم اليقين، مما يسمح بأخذ عينات احتمالية.
ب. المحاكاة الفيزيائية (MPM)
تقوم المعلمات المتوقعة بتوجيه محاكي طريقة النقاط المادية (MPM):
الاقتران: يوجد ارتباط واحد لواحد بين النقاط المادية لـ MPM وعناصر الغاوس الأولية.
التشوه: تقوم محاكاة MPM بتحديث مواضع الجسيمات وتدرجات التشوه (Fp). ويتم رسم خرائط هذه القيم مرة أخرى إلى عناصر الغاوس ثلاثية الأبعاد: يحدد موقع الجسيم متوسط الغاوس، بينما يحدد التحلل القطبي لتدرج التشوه دوران وتوسع الغاوس غير المتماثل.
النماذج التأسيسية: يختار تصنيف المادة المتوقع نموذج الفيزياء المناسب (على سبيل المثال، Neo-Hookean للهلام/الجيلي، Fixed Corotational للمعدن، وDrucker-Prager للرمل/الثلج).
ج. نموذج التدريب ثنائي المراحل
لتحقيق دقة عالية دون تحسين لكل مشهد، يستخدم PhysGM استراتيجية تدريب مبتكرة:
المرحلة الأولى: التدريب المسبق الخاضع للإشراف: يتم تدريب النموذج على مجموعة بيانات PhysAssets لتقليل خطأ إعادة البناء (MSE, LPIPS) وأخطاء التنبؤ بالخصائص الفيزيائية بشكل مشترك. وهذا يؤسس "سابقة فيزيائية" قوية.
المرحلة الثانية: تحسين التفضيل المباشر (DPO):
بدلاً من استخدام SDS القابل للتفاضل، يتم ضبط النموذج باستخدام أزواج التفضيل.
لكل مشهد، يقوم النموذج بأخذ عينات من عدة مجموعات من المعلمات الفيزيائية.
يتم محاكاة كل مجموعة ورسمها. وتتم مقارنة الفيديوهات الناتجة مع فيديو مرجعي للحقيقة الأرضية (GT) باستخدام مقياس إدراكي (محاذاة المسار عبر SAM-2 وCoTracker-3).
تُستخدم الأزواج "الفائزة" (الأقرب إلى الحقيقة الأرضية) و"الخاسرة" (الأبعد عنها) لتحسين النموذج عبر خسارة DPO، مما يوجه التوزيع التوليدي نحو النتائج المنطقية فيزيائياً دون الحاجة إلى محاكي قابل للتفاضل.
3. المساهمات الرئيسية
إطار عمل PhysGM: أول إطار عمل أمامي قادر على توليد محاكاة غاوس رباعية الأبعاد مستندة إلى الفيزياء من صورة واحدة في أقل من دقيقة، مما يلغي الحاجة إلى التحسين لكل مشهد.
نموذج تدريب مبتكر: نهج ثنائي المراحل يجمع بين التدريب المسبق الخاضع للإشراف واسع النطاق وتحسين DPO. يسمح هذا للنموذج بالتعلم من المحاكيات غير القابلة للتفاضل وتحقيق واقعية إدراكية تتفوق على طرق SDS.
مجموعة بيانات PhysAssets: مجموعة بيانات مرجعية جديدة تحتوي على أكثر من 50,000 أصل ثلاثي الأبعاد مشروح بخصائص فيزيائية (معامل يونغ، نسبة بواسون، فئة المادة) وفيديوهات محاكاة مرجعية مقابلة. تم إنشاء هذه المجموعة باستخدام خط إنتاج مؤتمت يستفيد من النماذج اللغوية الكبيرة متعددة الوسائط (Qwen3-VL) ومحاكيات الفيزياء.
أداء رائد (SOTA): يثبت أن الاستدلال الأمامي يمكن أن يحقق دقة بصرية وفيزيائية أعلى من الخطوط المرجعية القائمة على التحسين، وبسرعة أكبر بعدة مراتب.
4. النتائج التجريبية
السرعة: يولد PhysGM محاكاة رباعية الأبعاد في أقل من دقيقة (وقت الاستدلال < 30 ثانية)، مقارنة بالخطوط المرجعية مثل OmniPhysGS (أكثر من 12 ساعة) وDreamerPhysics (أكثر من 0.5 ساعة).
مقاييس الجودة:
CLIPsim: حقق PhysGM مع DPO متوسط درجة قدره 0.2748، متفوقاً على الخطوط المرجعية (OmniPhysGS: 0.2091، DreamerPhysics: 0.2291).
معدل تفضيل المستخدم (UPR): في دراسة اختيار قسري من 4 بدائل، تم اختيار PhysGM (مع DPO) كالأكثر واقعية بنسبة 42.8% من الوقت، متفوقاً بشكل كبير على الخطوط المرجية (10-17%).
التعميم: نجح النموذج في التعميم على مواد متنوعة (المعدن، الهلام، الصلصال، الثلج، الرمل) وتفاعلات معقدة (التمدد، السقوط، تصادمات متعددة الأجسام) من مدخلات أحادية الرؤية.
الدراسة الاستبعادية (Ablation): أظهرت الدراسة أن مرحلة DPO كانت حاسمة، حيث حولت السابقة الإحصائية السليمة إلى مولد متفوق إدراكياً.
5. الأهمية والأثر
يمثل PhysGM تحولاً جذرياً في توليد المحتوى رباعي الأبعاد:
من التحسين إلى الاستدلال: ينقل المجال بعيداً عن التحسين البطيء والمتكرر لكل مشهد نحو الاستدلال الأمامي السريع والموزع، مما يجعل التوليد الرباعي الأبعاد القائم على الفيزياء في الوقت الفعلي أمراً ممكناً.
تمثيل موحد: من خلال التنبؤ المشترك بالهندسة والفيزياء، يلتقط النموذج العلاقة الجوهرية بين المظهر والخصائص المادية، مما يؤدي إلى محاكاة أكثر واقعية.
القابلية للتوسع: يمهد إصدار مجموعة بيانات PhysAssets وكفاءة النموذج الطريق لتطبيقات واسعة النطاق في الذكاء الاصطناعي المتجسد (Embodied AI)، والقيادة الذاتية، ومحاكاة الروبوتات، والواقع الافتिको التفاعلي، حيث يكون التوليد السريع للبيئات المتسقة فيزيائياً أمراً بالغ الأهمية.
تخلص الورقة إلى أنه بينما تظل التحديات قائمة مثل الفجوة بين المحاكاة والواقع (sim-to-real) وديناميكيات السوائل المعقدة، فإن PhysGM يضع معياراً جديداً للكفاءة والجودة في التوليد رباعي الأبعاد المستند إلى الفيزياء.