💻 computer science

LagrangeGS: Non-Conservative Lagrangian System on Dynamic 3D Gaussian Splatting

يقدم LagrangeGS إطار عمل لاغرانج غير محافظ لتقنية Gaussian Splatting ثلاثية الأبعاد الديناميكية، والذي يعالج مشكلات عدم الاتساق الفيزيائي، وعدم القابلية للعكس، والانهيار الهندسي من خلال تقريب مصفوفة الوحدة، وقيود القوة المستقلة عن الزمن، والمحاذاة الصلبة المحلية، مما يتيح استقراءً مستقراً طويل الأمد وتحريراً فيزيائياً قائماً على التعديل الافتراضي.

المؤلفون الأصليون: Shogo Sato, Takuhiro Kaneko, Shoichiro Takeda, Tomoyasu Shimada, Riku Inoue, Kazuhiko Murasaki, Ryuichi Tanida

نُشر 2026-08-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shogo Sato, Takuhiro Kaneko, Shoichiro Takeda, Tomoyasu Shimada, Riku Inoue, Kazuhiko Murasaki, Ryuichi Tanida

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التقاط مشهد متحرك، مثل مروحة تدور أو كرة تسقط، ليس فقط كفيديو مسطح، بل كعالم ثلاثي الأبعاد يمكنك التجول بداخله. لسنوات، طور العلماء طرقاً لبناء هذه العوالم الرقمية من الصور، فأنشأوا مشاهد ثابتة تبدو واقعية للغاية. ومؤخراً، تعلموا كيفية جعل هذه العوالم تتحرك، مما يسمح للكاميرا بالطيران عبر فيديو لغرفة صاخبة أو جسم يدور. ومع ذلك، فإن هذه العوالم الرقمية المتحركة تعاني من نقطة ضعف رئيسية: فهي في الأساس حيل ذكية تحفظ ما حدث في الفيديو. إذا طلبت من الكمبيوتر أن يريك ما سيحدث بعد ثانية واحدة من انتهاء الفيديو، أو إذا أردت إعادة الفيديو لإظهار ما حدث قبل بدايته، فإن العالم الرقمي غالباً ما ينهار. قد تتمدد الأشياء لتتخذ أشكالاً غريبة، أو تختفي، أو تتحرك بطرق تخالف قوانين الفيزياء، لأن الكمبيوتر لم يتعلم في الواقع كيف تعمل الجاذبية أو الزخم؛ بل تعلم فقط كيف تتغير البكسلات.

قدم فريق من الباحثين في شركة NTT في اليابان نهجاً جديداً يسمى "LagrangeGS" يعالج هذه المشكلة عن طريق تعليم العالم الرقمي الالتزام بقوانين الفيزياء. فبدلاً من مجرد مراقبة كيفية تغير المشهد، يصف نظامهم الحركة باستخدام إطار عمل أساسي يُعرف بميكانيكا لاغرانج (Lagrangian mechanics). وببساطة، يعامل هذا الإطار كل جزء متحرك من المشهد كجسم فيزيائي له كتلة وطاقة وقوى تؤثر عليه. ومن خلال القيام بذلك، لا يقوم الكمبيوتر بمجرد التخمين لما سيحدث تالياً؛ بل يحسب المستقبل بناءً على كيفية تخزين الطاقة والقوى التي تدفع وتسحب. وهذا يسمح للنظام بالتنبؤ بما سيبدو عليه المشهد في المستقبل البعيد، أو إعادة الزمن لرؤية الماضي، أو حتى تغيير قواعد المشهد، مثل جعل الجاذبية أضعف، دون الحاجة إلى إعادة تدريبه على بيانات جديدة.

بنى الباحثون نظامهم فوق تقنية تمثل المشهد كملايين من الجسيمات الصغيرة الملونة والضبابية التي تسمى "جسيمات غاوس" (Gaussian particles). في الطرق السابقة، كان يُسمح لهذه الجسيمات بالانجراف والتشوه بحرية لتطابق الفيديو، وهو ما نجح جيداً خلال الوقت الذي سُجل فيه الفيديو، لكنه فشل فشلاً ذريعاً عندما يحاول النظام تخمين ما سيحدث بعد ذلك. الطريقة الجديدة تجبر هذه الجسيمات على التصرف كنظام فيزيائي. ولجعل هذا ممكناً لملايين الجسيمات، قام الفريق بتبسيط الرياضيات المعقدة المطلوبة عادةً لحساب كيفية تفاعل هذه الجسيمات. فقد عاملوا كل جسيم كما لو كان له وزن بسيط متماثل ويتحرك بشكل مستقل، مما أزال عائقاً حسابياً هائلاً. كما ضمنوا أن القوى المؤثرة على الجسيمات لا تتغير بشكل عشوائي بمرور الوقت، وهو مطلب أساسي يسمح للنظام بالعمل إلى الوراء في الزمن بنفس سهولة تشغيله للأمام.

وللحفاظ على الأجسام الرقمية من الانهيار، أضاف الباحثون قيداً ذكياً يبقي مجموعات من الجسيمات تتحرك معاً كما لو كانت أجزاء صلبة من جسم واحد، مثل شفرات المروحة أو جسم الكرة. هذا يمنع الجسيمات من التشتت في سحابة من الضجيج عندما يحاول النظام محاكاة زمن يتجاوز الفيديو الأصلي بكثير. وعندما اختبروا هذا النظام الجديد على مشاهد تتضمن مروحة دوارة وكرة تسقط، كانت النتائج مذهلة. فبينما حولت الطرق القديمة المروحة الدوارة بسرعة إلى فوضى ضبابية أو جعلت الكرة الساقطة تنفجر إلى سحابة ضخمة من البكسلات، حافظ النظام الجديد على تماسك الأشكال وسلاسة الحركة، حتى عند التنبؤ بخطوات زمنية أطول بثلاث مرات من الفيديو الأصلي.

أحد أكثر العروض إثارة للإعجاب لهذا العمل هو القدرة على عكس الزمن. نظرًا لأن النظام مبني على قوانين فيزيائية لا تهتم باتجاه تدفق الزمن، استطاع الباحثون ببساهم إخبار الكمبيوتر بتشغيل المحاكاة إلى الوراء. وكانت النتيجة إعادة تشغيل مثالية للمشهد، حيث عادت الكرة لتتدحرج للأعلى إلى ارتفاع البداية، ودارت المروحة في الاتجاه المعاكس، مع عودة الجسيمات تماماً إلى مواقعها الأصلية. وهذا شيء لم تستطع الأنظمة السابقة فعله؛ إذ كانت ستفشل ببساطة أو تنتج فوضى مشوشة عند طلب العودة إلى الوراء. كما أظهر الباحثون أنه يمكنهم تعديل فيزياء المشهد أثناء التشغيل. فمن خلال ضبط إعداد واحد، استطاعوا جعل الكرة تسقط ببطء شديد، كما لو كانت على القمر، أو تسقط بسرعة أكبر، كما لو كانت الجاذبية أقوى. وقد فعلوا ذلك ليس عن طريق إعادة تدريب النموذج، بل بمجرد تغيير الأرقام التي تحدد القوى في المحاكاة.

تؤكد الدراسة أنه من خلال ترسيخ هذه التمثيلات الرقمية في القوانين الفيزيائية الفعلية، من الممكن إنشاء عوالم ثلاثية الأبعاد ديناميكية، مستقرة، قابلة للعكس، وقابلة للتعديل. ووجد الباحثون أنه بينما قد ينتج أسلوبهم أحياناً صوراً أقل حدة قليلاً من الطرق البصرية الأكثر تقدماً في مشاهد داخلية محددة جداً، إلا أنه قضى تماماً على الانهيار الهندسي الذي عانت منه الأنظمة الأخرى أثناء المحاكاة الطويلة. كما أشاروا إلى أن نهجهم الحالي يعمل بشكل أفضل عندما لا تصطدم الأجسام في المشهد ببعضها البعض أو تتصادم بطرق معقدة، حيث يعامل النظام الجسيمات كأجسام تتحرك بشكل مستقل. ورغم هذا القصور، يمثل هذا العمل خطوة كبيرة للأمام، محولاً المشاهد ثلاثية الأبعاد الديناميكية من تسجيلات بصرية ثابتة إلى نماذج فيزيائية حية يمكن استكشافها، وعكسها، والتلاعب بها بنفس المنطق الذي نستخدمه لفهم العالم الحقيقي.

ملخص تقني: LagrangeGS

بيان المشكلة
حقق تقنية "النقاط الغاوسية ثلاثية الأبعاد الديناميكية" (3D Gaussian Splatting - 3DGS) إعادة بناء واقعية للغاية للمشاهد المتغيرة زمنياً، ومع ذلك تعاني الامتدادات الحالية الواعية بالفيزياء من قيود جوهرية. فبينما تتنبأ الطرق الحديثة بحقول السرعة أو التسارع لتمكين الاستقراء، فإنها تكتفي بملاءمة حقول المتجهات مع التشوهات البصرية دون استيفاء ميكانيكا لاغرانج. يؤدي هذا الافتقار إلى التأسيس الفيزيائي إلى ثلاث مشكلات حرجة:

مسارات غير متسقة فيزيائياً: الحركة لا تلتزم بقوانين الحفظ أو مبادئ الطاقة.
الافتقار إلى قابلية عكس الزمن: الأنظمة لا تستطيع إعادة بناء الحالات الماضية باستمرار من الملاحظات الحالية.
الانهيار الهندسي: غالباً ما يؤدي الاستقراء طويل الأمد إلى تباعد غير محدود في الحجم أو ظهور ضبابية غير واضحة.

علاوة على ذلك، فإن تطبيق شبكات "لاغرانج العصبية المعممة" (G-LNNs) القياسية مباشرة على 3DGS الديناميكي أمر غير ممكن حسابياً؛ إذ يتطلب الأمر عكس مصفوفة "هيسيان السرعة" الضخمة ( $\partial^2 L / \partial \dot{q}^2$ ) لملايين الجسيمات الغاوسية عند كل خطوة تكامل. بالإضافة إلى ذلك، غالباً ما تستخدم شبكات G-LNNs القياسية قوى تعتمد على الزمن، مما يمنع رياضياً إمكانية عكس الزمن بدقة.

المنهجية
يقترح المؤلفون LagrangeGS، وهو إطار عمل يصيغ الـ 3DGS الديناميكي كنظام لاغرانج غير محافظ يتم تمثيله عبر طاقة الوضع ( $U$ )، والسرعة الابتدائية ( $v_0$ )، والقوى غير المحافظة ( $Q$ ). تتكون البنية من ثلاثة مكونات أساسية:

شبكة TD-LNN (شبكة لاغرانج العصبية المستقلة زمنياً والمفككة):
لحل الاختناق الحسابي الناتج عن عكس مصفوفة هيسيان، تقرب هذه الطريقة مصفوفة "هيسيان السرعة" لتكون مصفوفة الوحدة. وهذا يكافئ فيزيائياً تخصيص كتلة موحدة بوحدة واحدة لجميع الجسيمات الغاوسية وفك ارتباط ديناميكيات القصور الذاتي الخاصة بها. وبذلك يتم تبسيط الطاقة الحركية إلى $T(\dot{q}) = \frac{1}{2}\|\dot{q}\|^2$ .
ولتمكين عكس الزمن، تم تقييد القوة غير المحافظة لتكون مستقلة صراحة عن الزمن، أي $F(q, \dot{q}, t) = Q(q, \dot{q})$ . يسمح هذا بتكامل النظام إلى الوراء في الزمن باستخدام خطوة زمنية سالبة، مما يضمن الصلاحية الرياضية لاستعادة الحالة. وتكون النتيجة هي حل مغلق للتسارع لكل جسيم $j$ :
$\ddot{q} = -\nabla_q U(q) + Q(q, \dot{q})$
يتم تمثيل كل من $U$ و $Q$ بواسطة شبكات عصبية متعددة الطبقات (MLPs).
المحاذاة الصلبة المحلية (LRA):
لمعالجة الانهيار الهندسي الناتج عن ديناميكيات الجسيمات المفككة، تقدم الطريقة خطوة تنظيمية. لكل جسيم، يتم تحديد دعم صلب محلي باستخدام أقرب $k$ من الجيران في الحالة الابتدائية. أثناء عملية التشغيل (rollout)، يتم محاذاة المواضع المرشحة التي تنبأت بها TD-LNN إلى حركة صلبة محلية لهذا الدعم باستخدام حل "كابش" (Kabsch solver) قابل للاشتقاق. هذا يربط الجسيمات في هياكل صلبة محلياً مع السماح بتشوهات عالمية مستمرة.
التحسين ثلاثي المراحل:

المرحلة 1 (تقطير المسار): يتم تدريب TD-LNN لتقليل متوسط مربع الخطأ (MSE) بين مساراتها المتكاملة والمسارات المستخرجة من نموذج 3DGS مدرب مسبقاً (مثل DefGS أو FreeGave). يعمل حد الجزاء على تشجيع الديناميكيات على البقاء محافظة قدر الإمكان.
المرحة 2 (ضبط TD-LNN الدقيق): يتم ضبط النموذج بدقة باستخدام فقدان الضوء (SSIM و $L_1$ ) على الصور المُصيرة. تتدفق التدرجات عبر محاذاة "كابش" القابلة للاشتقاق إلى معاملات TD-LNN، مما يسمح للنموذج بالهروب من الإفراط في ملاءمة المسارات المصدرية.
المرحة 3 (ضبط معاملات غاوس الدقيق): يتم تجميد معاملات الفيزياء، ويتم صقل معاملات غاوس الأولية (الموقع، الدوران، المقياس، العتامة، واللون) لاستيعاب الأخطاء البصرية المتبقية.

المساهمات الرئيسية

الصياغة اللاغرانجية: أول إطار عمل يصيغ الـ 3DGS الديناميكي صراحةً كنظام لاغرانج غير محافظ، مما يحل بشكل جذري مشكلة المسارات غير المتسقة فيزيائياً ويوفر أساساً نظرياً للتلاعبات الفيزيائية.
بنية TD-LNN: بنية عصبية مبتكرة تقرب مصفوفة هيسيان السرعة لتكون مصفوفة وحدة من أجل القابلية الحسابية، وتستخدم قوى مستقلة عن الزمن لتمكين عكس الزمن المتسق.
المحاذاة الصلبة المحلية (LRA): آلية تمنع الانهيار الهندسي أثناء الاستقراء طويل الأمد من خلال ربط الجسيمات المفككة في هياكل صلبة محلياً.
التلاعب الفيزيائي: القدرة على إجراء تعديلات فيزيائية مضادة للواقع (مثل تغيير الجاذبية أو السرعة الابتدية) وعكس الزمن عند الاستدلال دون الحاجة لإعادة التدريب.

النتائج
أُجريت التجارب على مجموعات بيانات "الأجسام الديناميكية" و"المشاهد الداخلية الديناميكية"، مع مقارنة LagrangeGS بطرق تعتمد على التشوه (T-NeRF, DefGS) وبالنماذج المرجعية الواعية بالفيزياء (NVFi, TRACE, FreeGave).

الاستقراء (Extrapolation): يُظهر LagrangeGS استقراءً مستقراً طويل الأمد. وبينما يعاني DefGS من حركة غير طبيعية وتظهر FreeGave انحرافاً هندسياً وتباعداً في الحجم، يحافظ LagrangeGS على حركة سلسة ومتسقة فيزيائياً. كمياً، يحسن LagrangeGS من قيمة PSNR بمقدار +5.05 في مجموعة بيانات الأجسام الديناميكية عند التقطير من DefGS. وعند التقطير من FreeGave، يظهر انخفاضاً طفيفاً في المقاييس الضوئية ولكنه يحسن الاستقرار الهندسي بشكل كبير (منع توسع الحجم من 1.9 $\times$ إلى 1.1 $\times$ ).
عكس الزمن: نجح النظام في استعادة الحالات الماضية ( $t < 0$ ) باتساق عالٍ. أظهر اختبار دورة الأمام والخلف أن متوسط خطأ الموقع كان 1.3% فقط (للأجسام الديناميكية) و0.19% (للمشاهد الداخلية الديناميكية).
التعديل المضاد للواقع: يسمح الإطار بالتلاعب الصريح بالمعاملات الفيزيائية. يؤدي تغيير مقياس حقل الوضع المتعلم ( $U$ ) إلى تغييرات متوقعة في زمن السقوط تتوافق بدقة مع العلاقة النظرية $t \propto \beta^{-0.5}$ ( $R=0.999$ ).
الدراسة الاستقصائية (Ablation): يؤدي إزالة LRA إلى انهيار هندسي في عمليات التشغيل طويلة الأمد. كما أن إزالة القوة غير المحافظة $Q$ تضعف الأداء في المشاهد ذات الحركة غير المحافظة (الأجسام الديناميكية) ولكنها تحسن قليلاً الدرجات في المشاهد المحافظة تماماً (المشاهد الداخلية)، مما يؤكد قدرة النموذج على التكيف.

الأهمية
يزعم البحث أن LagrangeGS يضع صياغة صريحة للمشاهد الديناميكية كأنظمة لاغرانج، مما يسد الفجوة بين الدقة البصرية والواقعية الفيزيائية في 3DGS. ومن خلال حل مشكلة عدم القدرة الحسابية لشبكات LNN القياسية وفرض الاستقلال الزمني، تمكن هذا العمل من تحقيق استقراء مستقر طويل الأمد، وعكس زمن متسق، وتعديل فيزيائي قابل للتفسير. وهذا يمهد الطريق للنمذجة والتلاعب القائم على الفيزياء، وهي أمور بالغة الأهمية للتطبيقات المستقبلية مثل تخطيط حركة الروبوتات والذكاء الاصطناهي المتجسد. ويشير المؤلفون إلى وجود قيود، بما في ذلك الاعتماد على مسارات حركية مدربة مسبقاً للتهيئة، وافتراض الديناميكيات المفككة التي قد لا تلتقط التصادمات المعقدة، مما يقترح هذه كتوجهات للعمل المستقبلي.

أبحاث مشابهة