💻 computer science

Deformable Gaussian Occupancy: Decoupling Rigid and Nonrigid Motion with Factorized Distillation

يُعد DeGO إطار عمل خاضعًا للإشراف الضعيف يعمل على تحسين التنبؤ بالانشغال ثلاثي الأبعاد الديناميكي للقيادة الذاتية من خلال فصل الحركات الصلبة وغير الصلبة عبر بدائيات غاوس القابلة للتشوه، وتعزيز الاتساق الزمني عبر التقطير المُجزأ من نموذج تأسيسي رباعي الأبعاد.

المؤلفون الأصليون: Yang Gao, Wuyang Li, Po-Chien Luan, Alexandre Alahi

نُشر 2026-05-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yang Gao, Wuyang Li, Po-Chien Luan, Alexandre Alahi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء فيلم ثلاثي الأبعاد لشارع مدينة مزدحم باستخدام سلسلة من الصور ثنائية الأبعاد الملتقطة من كاميرات سيارة. هدفك ليس فقط فهم كيف تبدو المباني، بل فهم كيف يتحرك كل شيء أيضًا — وخاصة الأشياء الصعبة والمتموجة مثل البشر والحيوانات.

تقدم هذه الورقة نظامًا جديدًا يسمى DeGO (الاحتلال الغاوسي القابل للتشوه - Deformable Gaussian Occupancy) لحل مشكلة محددة: النماذج ثلاثية الأبعاد الموجودة حاليًا صلبة للغاية. فهي تعامل كل شيء ككتلة صلبة تنزلق ببساطة من مكان إلى آخر. لكن البشر لا ينزلقون؛ بل يمشون، ويلوحون بأيديهم، وينحنون.

إليك كيف يعمل DeGO، مشروحًا عبر تشبيهات بسيطة:

١. المشكلة: قيد "الصندوق الصلب"

تخيل أنك تحاول نمذجة حشد من الناس باستخدام صندوق من مكعبات الليغو. إذا أردت إظهار شخص يلوح بذراعه، فإن نموذج الليغو القياسي يمكنه فقط تحريك الشخص بأكمله ككتلة واحدة صلبة. لا يمكنه ثني الذراع دون كسر الهيكل بأكمله.

الطريقة القديمة: كانت نماذج الذكاء الاصطناعي السابقة تعامل كل كائن (سيارات، أشجار، بشر) ككتلة صلبة تتحرك من مكان لآخر. نجح هذا مع السيارات والمباني، لكنه فشل فشلاً ذريعًا في التقاط التفاصيل الدقيقة لحركة البشر، مما أدى إلى تنبؤات ضبابية أو غير دقيقة.

٢. الحل: "سحب ذكية متغيرة الشكل"

يقوم DeGO بتغيير وحدات البناء من مكعبات ليغو صلبة إلى سحب ذكية متغيرة الشكل (تسمى "غاوسيانز" - Gaussians).

خدعة الفصل (Decoupling): يمتلك النظام "مفتاحًا" خاصًا لكل سحابة. يسأل: "هل أنت جسم صلب (مثل جدار) أم جسم مرن (مثل إنسان)؟"
- إذا كنت جدارًا: تظل السحابة صلبة وتنتقل فقط إلى مكان جديد (مثل الباب المنزلق).
- إذا كنت إنسانًا: يُسمح للسحابة بالتمدد، والتقلص، والالتواء لتناسب وضعية جسم الشخص.
لماذا هذا مهم: يسم هذا الذكاء الاصطناعي بالحفاظ على استقرار الخلفية مع السماح للناس في المشهد بالتموج والحركة بشكل طبيعي، تمامًا كما في الحياة الواقعية.

٣. المعلم: "الموسوعة رباعية الأبعاد (4D)"

للتأكد من أن هذه السحب متغيرة الشكل لا ترتبك، يستخدم النظام "معلمًا" يسمى VGGT.

التشبيه: تخيل طالبًا يحاول تعلم كيفية رسم سيارة متحركة. إذا نظر إلى صورة واحدة في كل مرة، فقد يضيع. ولكن إذا كان لديه معلم درس آلاف مقاطع الفيديو ويعرف كيف تتحرك السيارات عبر كاميرات مختلفة وعبر الزمن، فسيتعلم الطالب بشكل أسريد بكثير.
كيف يعمل: معلم VGGT هو ذكاء اصطناعي ضخم تم تدريبه مسبقًا على كميات هائلة من بيانات الفيديو. هو يعرف كيف تبدو الأشياء من زوايا مختلفة وكيف تتغير بمرور الوقت. يقوم DeGO "بتقطير" (أو نسخ) هذه المعرفة، حيث يعلّم السحب كيف تظل متسقة حتى عندما تتحرك الكاميرا أو يصبح المشهد معقدًا.

٤. النتيجة: صورة أوضح وأكثر أمانًا

اختبر المؤلفون هذا النظام على مجموعة بيانات قياسية للقيادة (Occ3D-Nuances).

النتيجة: لم يتفوق DeGO بفارق بسيط فحًا، بل تفوق بشكل كبير على أفضل الأساليب الحالية.
العامل البشري: كان الفوز الأكبر مع "الأجسام المتمحورة حول الإنسان" (المشاة، راكبو الدراجات). حسن النظام قدرته على رصد وتتبع هؤلاء الأشخاص المتحركين بنسبة ١٣.٥٪.
الدليل البصري: في اختباراتهم، عندما كان أحد المشاة بعيدًا أو يرتدي ملابس تندمج مع الخلفية، كانت النماذج القديمة تخطئ في رصدهم أو تجعلهم يبدون ككتل ضبابية. أما DeGO فقد حددهم بشكل صحيح وتتبع حركتهم بسلاسة.

ملخص

فكر في DeGO كعملية ترقية لنموذج المدينة ثلاثي الأبعاد من مجموعة من الكتل الصلبة المنزلقة إلى نظام بيئي حي ومرن. من خلال تعليم النموذج التمييز بين الأشياء التي تظل صلبة (مثل المباني) والأشياء التي تنثني (مثل البشر)، ومن خلال إعطائه "معلمًا" يعرف كيف يتحرك العالم، فإنه يخلق فهمًا أكثر دقة وأمانًا للبيئات الديناميكية ثلاثية الأبعاد.

ملاحظة: تركز الورقة حصريًا على تحسين دقة التنبؤ بالمشاهد ثلاثية الأبعاد للقيادة الذاتية. وهي لا تدعي استخدامها في التصوير الطبي، أو الروبوتات خارج سياق القيادة، أو أي تطبيقات أخرى خارج هذا السياق.

ملخص تقني: الإشغال الغاوسي القابل للتشوه (DeGO)

بيان المشكلة

يعد التنبؤ بالإشغال ثلاثي الأبعاد الديناميكي أمراً بالغ الأهمية للقيادة الذاتية، لا سيما في التفكير بشأن الوكلاء غير الصلبين المتمحورين حول البشر. ومع ذلك، تواجه الأطر الحالية ذات الإشراف الضعيف قيودين أساسيين:

افتراضات الحركة الصلبة: تعتمد معظم الطرق الحالية على إزاحات بسيطة من إطار إلى إطار، بافتراض حركة الأجسام الصلبة. وهذا يمنعها من التقاط التشوهات الدقيقة غير الصلبة التي تميز الوكلاء البشريين (مثل المشاة وراكبي الدراجات).
عدم توازن السعة: الطرق التي توزع العناصر الغاوسية الأولية بشكل موحد عبر الحجم ثلاثي الأبعاد غالباً ما تخصص سعة مفرطة للمناطق الخلفية الثابتة (الطرق، الجدران)، مما يترك دقة غير كافية للحالات البشرية الصغيرة والحرجة من حيث السلامة.
عدم الاتساق الزمني: تعاني أساليب الفوكسل (Voxel) أو الغاوس السابقة من صعوبة في الحفاظ على الاتساق الزمني في البيئات الديناميكية حيث تتعايش الحركات الصلبة وغير الصلبة، مما يؤدي إلى تحديثات هندسية غير مستقرة.

المنهجية

يقترح المؤلفون DeGO (الإشغال الغاوسي القابل للتشوه)، وهو إطار عمل يوحد تشوه الغاوس المفكك مع تقطير النموذج التأسيسي رباعي الأبعاد (4D) الموزع. يعمل الأسلوب تحت إشراف ضعيف، باستخدام تسميات زائفة من Grounded-SAM وMetric3D بدلاً من تسميات الفوكسل ثلاثية الأبعاد الكثيفة.

1. تشوه الغاوس المفكك (DGD)

بدلاً من معاملة جميع الفئات بشكل موحد، يتيح DeGO لكل عنصر غاوسي نموذج سلوك حركته بشكل تكيفي.

قناع الصلابة الناعم: يتم تعزيز كل عنصر غاوسي بقناع جسم صلب قابل للتعلم ( $m_i \in [0, 1]$ ). يتحكم هذا القناع ضمنياً فيما إذا كان العنصر الغاوسي سيخضع فقط لإزاحة صلبة أو لمزيج من الإزاحة الصلبة والتشوه غير الصلب.
تحديثات الحركة الهجينة:
- المناطق الصلبة ( $m_i \approx 0$ ): يتم تحديث العناصر الغاوسية فقط عبر الإزاحات الموضعية ( $\Delta \mu$ ).
- المناطق غير الصلبة ( $m_i \approx 1$ ): يخضع العناصر الغاوسية لكل من الإزاحات الموضعية والتشوهات المحلية التي تؤثر على الدوران ( $r$ )، والمقياس ( $s$ )، والعتامة ( $\alpha$ ).
التنظيم: يشجع فقدان التنظيم الثنائي القناع على التقارب نحو قيم قريبة من الثنائية، مما يضمن فصلاً واضحاً بين السلوكيات الصلبة وغير الصلبة.

2. تقطير الميزات الموزع (FFD)

لتعزيز الاتساق الزمني والمحاذاة متعددة الرؤى، يقوم DeGO بتقطير المعرفة من نموذج تأسيسي رباعي الأبعاد، وهو VGGT.

ميزات المعلم الرباعية (4D): على عكس الطرق السابقة التي تقطر ميزات ثنائية الأبعاد لكل إطار، يستخرج FFD تمثيلات مكانية-زمانية من VGGT. يعالج النموذج المعلم تسلسلات متعددة الرؤى باستخدام آليات الانتباه المتقاطع عبر الكاميرات (مكانياً) وعبر الإطارات (زمانياً).
عملية التقطير: يقوم النموذج الطالب (DeGO) بمحاذاة ميزات الغاوس المُصيرة مع ميزات المعلم الرباعية. ينقل هذا القدرات الاستدلالية عبر الكاميرات وعبر الإطارات، مما يوفر توجيهاً مستقراً للمجال الغاوسي دون الحاجة إلى تسميات ثلاثية الأبعاد صريحة.
البنية: يستهدف التقطير "محول الغاوس" (Gaussian Transformer)، حيث يقوم بمحاذاة ميزات الغاوس ثلاثية الأبعاد مع الرموز (tokens) المكانية-الزمانية للنموذج التأسيسي قبل أن تتنبأ رؤوس التشوه بتحديثات الحركة.

3. التحسين والاستدلال

التدريب: يتم تدريب النموذج على تسلسلات قصيرة من الصور متعددة الرؤى. يجمع الفقد الإجمالي بين فقد التجزئة، وفقد انحدار العمق، وفقد تقطير الميزات، وتنظيم التشوه.
الاستدلال: أثناء النشر، يعمل النظام بطريقة التغذية الأمامية للإطار الواحد. تُستخدم وحدة التشوه الزمني أثناء التدريب لتعلم الأولويات المدركة للحركة ولكنها لا تتطلب مدخلات زمنية وقت الاستدلال. المخرج هو مجموعة واحدة من العناصر الغاوسية ثلاثية الأبعاد التي يتم تحويلها إلى فوكسل (voxelized) للتنبؤ بالإشغال في المراحل اللاحقة.

المساهمات الرئيسية

إطار عمل تشوه موحد: إطار عمل جديد للإشغال حيث يقوم كل عنصر غاوسي بنمذجة الحركة الصلبة وغير الصلبة بشكل تكيفي، بتوجيه من النماذج التأسيسية الرباعية لتحسين فهم المشهد البشري والمشهد العام.
تشوه مفكك متمحور حول الإنسان: آلية تخصص سعة التشوه بشكل انتقائي، مما يسمح بنمذجة دقيقة للوكلاء غير الصلبين مع الحفاظ على الاستقرار الهندسي للهياكل الصلبة.
التقطير الرباعي الموزع: استراتيجية تنقل المعرفة عبر الكاميرات وعبر الإطارات من النماذج التأسيسية (VGGT) إلى المجال الغاوسي، مما يخلق تمثيلات للمشاهد الديناميكية متوافقة مع النماذج التأسيسية.

النتائج التجريبية

أُجريت التجارب على معيار Occ3D-NuScenes (40 ألف إطار، 6 رؤى كاميرا).

الأداء العام: يحقق DeGO أداءً رائداً (SOTA) تحت الإشراف الضعيف، حيث يحسن mIoU الإجمالي بنسبة 10.9% و IoU بنسبة 12.4% مقارنة بأفضل طريقة سابقة ذات إشراف ضعيف (GaussianFlow).
مقاييس متمحورة حول الإنسان: يظهر الأسلوب مكاسب كبيرة في نمذجة الوكلاء غير الصلبين، محققاً تحسناً بنسبة 13.5% في مقياس HCM (mIoU المتمحور حول الإنسان) المقترح، وزيادة بنسبة 7.8% في مقياس InsM (Instance mIoU).
رؤى الدراسة الاستقصائية (Ablation):
- وفرت وحدة التشوه وحدها تحسناً بنسبة 43.4% مقارنة بالنموذج الأساسي.
- استخدام VGGT كمعلم أعطى أداءً أعلى من DINOv2، ويعزى ذلك إلى تدريب VGGT المسبق على البيانات متعددة الرؤى والزمنية.
- وفر تقطير كل من ميزات الانتباه المكانية (عبر الكاميرات) والزمانية (عبر الإطارات) فوائد متكاملة، حيث حقق النهج المشترك أفضل النتائج.
- تم تحديد قناع الجسم الصلب كأهم مكون للتمييز بين أنواع الحركة.

الأهمية

يزعم البحث أن DeGO يعالج القيود الأساسية لطرق التنبؤ بالإشغال الحالية من خلال الفصل الصريح بين الديناميكيات الصلبة وغير الصلبة. ومن خلال الجمع بين النمذجة المدركة للتشوه والتقطير الموجه بالنماذج التأسيسية، يحقق هذا النهج اتساقاً زمنياً قوياً وإعادة بناء فائقة للحالات البشرية الحرجة من حيث السلامة دون الاعتماد على تسميات فوكسل ثلاثية الأبعاد مكلفة. تسلط النتائج الضوء على فعالية استخدام النماذج التأسيسية الرباعية لتوجيه التعلم ذي الإشراف الضعيف في المشاهد الديناميكية.