🤖 machine learning

StreamSplat: Towards Online Dynamic 3D Reconstruction from Uncalibrated Video Streams

يُعد StreamSplat إطار عمل يعمل بالكامل بنظام التغذية الأمامية، مما يتيح إعادة بناء آني وفوري للمشاهد ثلاثية الأبعاد الديناميكية من تدفقات فيديو غير معايرة إلى تمثيلات "Gaussian Splatting" ثلاثية الأبعاد، محققاً جودة رائدة عالمياً مع تسريع يصل إلى 1200 ضعف مقارنة بالطرق التقليدية القائمة على التحسين من خلال أخذ العينات الاحتمالية، والتشويه ثنائي الاتجاه، ودمج "Gaussian" التكيفي.

المؤلفون الأصليون: Zike Wu, Qi Yan, Xuanyu Yi, Lele Wang, Renjie Liao

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zike Wu, Qi Yan, Xuanyu Yi, Lele Wang, Renjie Liao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تمسك بهاتف ذكي، وتتجول في حديقة مزدحمة، وتقوم بتسجيل فيديو. في الفيديو، هناك أشخاص يركضون، وطيور تطير، والرياح تهز الأشجار.

المشكلة:
معظم تقنيات إعادة البناء ثلاثي الأبعاد الحالية تشبه طاقم تصوير سينمائي عالي المستوى يعمل بالحركة البطيئة. لإنشاء نموذج ثلاثي الأبعاد لتلك الحديقة، يحتاجون إلى:

إيقاف الفيديو.
معرفة مكان الكاميرا بدقة في كل إطار (مثل وجود نظام GPS على الهاتف).
قضاء ساعات أو حتى أيام في معالجة الأرقام على حاسوب خارق لمعرفة مكان كل ورقة شجر وكل شخص.
وبعد ذلك فقط، يمكنهم عرض نسخة ثلاثية الأبعاد لك.

هذا الأمر رائع للأفلام، لكنه غير مفيد لروبوت يحاول تجنب كلب يركض الآن، أو لتطبيق واقع معزز (AR) يحاول وضع لعبة فوق غرفة معيشتتك بشكل فوري.

الحل: StreamSplat
تقدم الورقة البحثية StreamSplat، وهي طريقة جديدة تعمل مثل فنان سريع البديهة يمكنه مشاهدة الفيديو الخاص بك و"رسم" عالم ثلاثي الأبعاد فوراً أثناء تسجيلك له. هي لا تحتاج لمعرفة أين توجد الكاميرا (غير معايرة)، ولا تحتاج للتوقف والتفكير لساعات، وتعمل في الوقت الفعلي.

إليك كيف تعمل، مقسمة إلى ثلاثة مفاهيم بسيطة:

1. "التخمين الضبابي" (العينات الاحتمالية - Probabilistic Sampling)

التشبيه: تخيل أنك تحاول الإمساك بكرة في الظلام. إذا خمنت مكانها بالضبط، فقد تخطئ لأنك لا تعرف المسافة الدقيقة. ولكن إذا خمنت سحابة من المواقع المحتملة التي قد تكون الكرة فيها، فلديك فرصة أفضل بكثير للإمساك بها.

التقنية: عادةً، يحاول الذكاء الاصطناعي تخمين الموضع ثلاثي الأبعاد الدقيق لجسم ما في الفيديو. ولكن بدون معرفة إعدادات الكاميرا، يشبه هذا التخمين في الظلام. لا يخمن StreamSplat نقطة واحدة؛ بل يخمن "سحابة" من الاحتمالات (توزيع احتمالي). يساعد هذا الذكاء الاصطناعي على تجنب الوقوع في "القيم الدنيا المحلية" (الاعتقاد بأنه وجد المكان الصحيح بينما هو مخطئ في الواقع) ويجعل النموذج ثلاثي الأبعاد أكثر قوة، حتى مع الفيديوهات غير المعايرة والفوضوية.

2. "آلة الزمن ثنائية الاتجاه" (التشويه ثنائي الاتجاه - Bidirectional Deformation)

التشبيه: تخيل أنك تشاهد رقصة.

الطريقة القديمة: تشاهد الراقص يتحرك للأمام فقط. إذا تعثر، فلن تعرف السبب إلا بعد فوات الأوان.
طريقة StreamSplat: تشاهد الراقص يتحرك للأمام من الثانية الأخيرة إلى الثانية الحالية، وأيضاً تتخيل الحركة للخلف من الثانية الحالية إلى الثانية الأخيرة.

التقنية: من خلال النظر إلى الحركة في كلا الاتجاهين (الأمامي والخلفي)، ينشئ النظام "شبكة أمان". إذا ارتبك العرض الأمامي بسبب ضبابية أو حجب (شخص يمشي أمام الكاميرا)، فإن العرض الخلفي يساعد في التصحيح. هذا يمنع تراكم الأخطاء بمر over time (مع مرور الوقت)، مما يضمن بقاء النموذج ثلاثي الأبعاد مستقراً حتى في الفيديوهات الطويلة.

3. "السحابة الحية" (الدمج الغاوسي التكيفي - Adaptive Gaussian Fusion)

التشبيه: فكر في العالم ثلاثي الأبعاد كأنه مكون من ملايين البالونات الصغيرة المتوهجة (تسمى Gaussians).

الطريقة القديمة: عندما يدخل شخص جديد إلى الإطار، يجب على الكمبيوتر التوقف، وحذف البالونات القديمة، ووضع بالونات جديدة بدقة شديدة. إنه أمر فوضوي وبطيء.
طريقة StreamSplat: تعامل البالونات كسحابة حية.
- إذا كانت البالونة جزءاً من شجرة ثابتة، فهي تستمر (تبقى حية).
- إذا كانت البالونة تنتمي لطائر يطير بعيداً، فهي تتلاشى بسلاسة.
- إذا دخل شخص جديد، فإن بالونات جديدة تظهر بشكل طبيعي.

التقنية: بدلاً من المطابقة الصارمة بين الإطارات، يستخدم StreamSplat نظام مطابقة "ناعم". يقوم بدمج البيانات ثلاثية الأبعاد القديمة مع إطار الفيديو الجديد بسلاسة. وهذا يسمح للنظام بالتعامل مع ظهور واختفاء الأشياء (مثل سيارة تخرج من مجال الرؤية) دون كسر النموذج ثلاثي الأبعاد.

لماذا يعد هذا أمراً مهماً؟

السرعة: إنه أسرع بـ 1,200 مرة من الطرق السابقة. بينما تستغرق الطرق الأخرى ساعات لمعالجة مشهد ما، يقوم StreamSplat بذلك في جزء من الثانية.
لا يحتاج لإعدادات: لا تحتاج لمعايرة كاميرتك. يمكنك استخدام أي فيديو، من أي هاتف، وفي أي إضاءة.
الوقت الفعلي: يمكنه العمل على بث مباشر. بينما تسجل، يتم بناء العالم ثلاثي الأبعاد فوراً.

باختدال:
يحول StreamSplat تدفق الفيديو ثنائي الأبعاد المسطح إلى عالم ثلاثي الأبعاد حي ونابض بالحياة فوراً. يفعل ذلك من خلال تقديم تخمينات "ضبابية" ذكية، والتحقق من عمله في الاتجاهين الأمامي والخلفي، والسماء للأجسام ثلاثية الأبعاد بالظهور والاختفاء بشكل طبيعي مثل سحابة حية. هذا يفتح الباب للروبوتات للتنقل في العوالم الديناميكية، ولألعاب الواقع المعزز للعمل في أي مكان، ولنا لاستكشاف النسخ ثلاثية الأبعاد من حياتنا اليومية دون انتظار انتهاء الحاسوب الخارق من واجباته المنزلية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "StreamSplat: نحو إعادة بناء ثلاثي الأبعاد ديناميكي عبر الإنترنت من تدفقات فيديو غير معايرة".

1. بيان المشكلة

تعد إعادة البناء ثلاثي الأبعاد الديناميكي في الوقت الفعلي (إعادة البناء رباعي الأبعاد 4D) من تدفقات الفيديو أمراً بالغ الأهمية لتطبيقات مثل الروبوتات، والواقع المعزز/الواقع الافتراضي (AR/VR)، والقيادة الذاتية. ومع ذلك، تواجه الطرق الحالية المتطورة قيوداً كبيرة:

الاعتماد على المعالجة غير المتزامنة (Offline): تعتمد معظم طرق إعادة البناء الديناميكي (مثل 4DGS، والأسالئب القائمة على NeRF) على التحسين لكل مشهد بشكل منفصل، مما يتطلب ساعات من الحوسبة والوصول إلى تسلسل الفيديو بالكامل.
متطلبات المعايرة: تتطلب هذه الطرق عادةً أوضاع كاميرا وخصائص داخلية (intrinsics) مُعايرة مسبقاً، والتي غالباً ما تكون غير متوفرة في سيناريوهات العالم الحقيقي "في البرية" (in-the-wild).
زمن الاستجابة والذاكرة: لا تستطيع خطوط معالجة التحسين التكراري تلبية قيود زمن الاستجابة والذاكرة الصارمة للتطبيقات التي تعمل عبر الإنترنت وفي الوقت الفعلي.
المدخلات غير المعايرة: تتعامل الطرق الحالية ذات التغذية الأمامية (feed-forward) عموماً مع المشاهد الثابتة أو تتطلب معايرة الكاميرا، وتفشل في نمذجة الديناميكيات بمتانة من تدفقات فيديو غير معايرة وذات أطوال arbitrary.

سؤال البحث الجوهري هو: هل يمكننا تحقيق جودة إعادة البناء التي توفرها الطرق غير المتزامنة (offline) مع العمل بالكامل عبر الإنترنت (online) على تدفقات فيديو غير معايرة؟

2. المنهجية: StreamSplat

إن StreamSplat هو إطار عمل تغذية أمامية كامل (fully feed-forward) يحول تدفقات الفيديو غير المعايرة فورياً إلى تمثيلات "تشتت غاوس ثلاثي الأبعاد" (3D Gaussian Splatting - 3DGS). يعمل بطريقة عبر الإنترنت، حيث يعالج الإطارات بالتتابع دون الحاجة إلى التسلسل الكامل. تتكون البنية من ثلاث مراحل رئيسية:

أ. ترميز غاوس ثلاثي الأبعاد احتمالي (المرحلة الثابتة)

للتعامل مع الخصائص الداخلية غير المعروفة للكاميرا ونماذج الإسقاط المتغيرة (مثل عدسات عين السمكة مقابل العدسات ذات الثقب الصغير)، تتبنى الطريقة فضاءً كانونياً متعامدًا مشتركًا (shared orthographic canonical space).

معالجة المدخلات: يتم دمج إطار الإدخال مع خريطة عمق زنيفة (pseudo-depth map) (من مقدّر مسبق التدريب) لتشكيل صورة RGB-D.
المُشفر الثابت (Static Encoder): يقوم مُشفر يعتمد على الـ Transformer بمعالجة رقع (patches) بحجم 8×8 لتوليد تضمينات (embeddings) لـ 3DGS.
أخذ العينات الموضعية الاحتمالية: بدلاً من استرجاع المواضع ثلاثية الأبعاد بشكل حتمي (مما يؤدي إلى القيم الدنيا المحلية وغموض العمق)، يتنبأ النموذج بـ توزيع طبيعي مبتور ( $\mathcal{N}(\mu_p, \Sigma_p)$ ) لإزاحة الموضع. يسمح هذا للنموذج باستكشاف عدم اليقين المكاني أثناء التدريب وتثبيت التقارب، مما يؤدي إلى التنبؤ بمتانة بـ Gaussians ثلاثية الأبعاد من مدخلات غير معايرة.

ب. مجال التشوه ثنائي الاتجاه (المرحلة الديناميكية)

لنمذجة الحركة غير الصلبة والتغيرات الطوبولوجية (ظهور/اختفاء الأجسام)، يستخدم StreamSplat مجال تشوه ثنائي الاتجاه بدلاً من المجال أحادي الاتجاه.

الحركة المتماثلة: بالنظر إلى الإطارات $t-1$ $t - 1$ و $t$ $t$ ، يتنبأ النموذج بـ:
1. المجال الأمامي (Forward Field): يشوه الـ Gaussians من $t-1$ إلى $t$ .
2. المجال الخلفي (Backward Field): يشوه الـ Gaussians من $t$ عائداً إلى $t-1$ .
الفوائد: يوفر هذا التماثل ارتباطات قوية عبر الإطارات، ويخفف من تراكم الخطأ طويل الأمد، ويتعامل بشكل طبيعي مع المحتوى الناشئ والمتلاشي دون الحاجة إلى اختيار نماذج معقدة أو بديهيات غير معلمية.
فك التشفير (Decoding): يقوم فك التشفير الديناميكي (المشروط بميزات DINOv2) بالتنبؤ بالسرعة لكل Gaussian ( $v$ ) ومعاملات العتامة ( $\gamma$ ).

ج. دمج غاوس التكيفي (Adaptive Gaussian Fusion)

للحفاظ على حالة ثلاثية الأبعاد متماسكة بمرور الوقت دون دمج تكراري، تستخدم الطريقة آلية دمج تكيفية تعتمد على تشوه العتامة.

المطابقة الناعمة (Soft Matching): بدلاً من المطابقة الصارمة واحد لواحد، يستخدم النموذج دالة عتامة تعتمد على الوقت $\alpha(t)$ للتحكم في رؤية الـ Gaussians.
إدارة دورة الحياة: تقوم هذه الآلية بدمج الـ Gaussians المستمرة ضمنياً مع تلاشي تلك التي تختفي وظهور الجديدة. هذا يمنع التكرار المكاني ويضمن التماسك الزمني دون تتبع صريح أو تعيينات صارمة.
الاستدلال عبر الإنترنت (Online Inference): تحافظ خط المعالجة على مجموعة كانونية من الـ Gaussians. ومع كل إطار جديد، تقوم بتحديث المجموعة عن طريق دمج الـ Gaussians المشوهة للأمام من الإطار السابق والـ Gaussians المشوهة للخلف من الإطار الحالي، ثم حذف تلك ذات العتامة الصفرية.

3. المساهمات الرئيسية

إطار عمل StreamSplat: أول إطار عمل تغذية أمامية كامل يعمل عبر الإنترنت وقادر على إعادة البناء الديناميكي ثلاثي الأبعاد الفوري من تدفقات فيديو غير معايرة ذات أطوال arbitrary.
أخذ العينات الموضعية الاحتمالية: آلية مبتكرة تتنبأ بمواضع الـ Gaussian ثلاثية الأبعاد عبر توزيع بدلاً من قيمة حتمية، مما يحل بفعالية مشاكل غموض العمق والقيم الدنيا المحلية في 3DGS التغذية الأمامية.
التشوه ثنائي الاتجاه والدمج التكيفي: نهج نمذجة ديناميكية قوي يستخدم مجالات حركة متماثلة ودمج عتامة ناعم للتعامل مع التغيرات الطوبولوجية والتماسك الزمني طويل الأمد دون تحسين تكراري.
الأداء: يحقق جودة إعادة بناء هي الأفضل في فئتها (SOTA) مع تسريع قدره 1200 ضعف مقارنة بالنماذج الأساسية القائمة على التحسين، مما يتيح المعالجة في الوقت الفعلي تقريباً (~0.049 ثانية لكل إطار).

4. النتائج التجريبية

قيم المؤلفون StreamSplat على كل من المعايير الثابتة (CO3Dv2, RealEstate10K) والديناميكية (DAVIS, YouTube-VOS).

إعادة البناء للمشاهد الديناميكية (DAVIS):
- يتفوق StreamSplat على جميع النماذج الأساسية (بما في ذلك CoDeF و 4DGS و MonST3R القائمة على NeRF) في مقاييس PSNR و SSIM و LPIPS.
- يحقق 37.83 PSNR في الإطارات الرئيسية و 23.66 PSNR في الإطارات المتوسطة (بفاصل 8 إطارات)، متفوقاً بشكل كبير على أفضل طريقة ديناميكية تالية.
- هو الطريقة الوحيدة القادرة على إعادة البناء في الوقت الفعلي تقريباً، حيث يستغرق ~1.48 ثانية للتسلسل مقارنة بساعات للطرق القائمة على التحسين.
إعادة البناء للمشاهد الثابتة (RealEstate10K):
- رغم تصميمه للديناميكيات، إلا أنه يتفوق على النماذج الأساسية الثابتة (pixelSplat, MVSplat) والديناميكية، محققاً 41.60 PSNR في المشاهد المعطاة و 24.68 PSNR في المشاهد الجديدة.
التقييم بدون تدريب مسبق (Zero-Shot Evaluation):
- في اختبارات DyCheck و NVIDIA Dynamic Scene، يتفوق StreamSplat (بدون معايرة الكاميرا) بشكل كبير على الطرق الأخرى غير المعايرة (مثل DGMarbles بدون كاميرا)، ويقترب من أداء الطرق التي تمتلك معايرة حقيقية (ground-truth)، وبسرعة أكبر بعدة مراتب.
دراسات الاستئصال (Ablation Studies):
- إزالة أخذ العينات الاحتمالية أدى إلى انخفاض PSNR بمقدار 6.36 dB، مما يؤكد ضرورتها لتجنب القيم الدنيا المحلية.
- إزالة المجال ثنائي الاتجاه تسبب في تراكم كبير للأخطاء في التسلسلات الطويلة.
- إزالة الإشراف على العمق أدت إلى هياكل ثلاثية الأبعاد مشوهة، مما يسلط الضوء على أهمية بديهيات العمق الزنيفة.

5. الأهمية

يمثل StreamSplat تحولاً جذرياً في إعادة البناء رباعي الأبعاد (4D) من خلال الانتقال من التحسين غير المتزامن (offline optimization) إلى الاستدلال عبر الإنترنت (online feed-forward inference).

النشر العملي: يتيح تطبيقات في الوقت الفعلي في الروبوتات والواقع المعزز/الافتراضي حيث تكون معايرة الكاميرا مستحيلة وزمن الاستجيد حرجاً.
المتانة: من خلال العمل في فضاء كانوني متعامد واستخدام أخذ العينات الاحتمالية، فإنه يتعامل مع مدخلات كاميرا متنوعة وغير معايرة (بما في ذلك عدسات عين السمكة) التي قد تكسر طرق 3DGS الأخرى.
القابلية للتوسع: القدرة على معالجة تدفقات فيديو طويلة جداً دون انفجار في الذاكرة أو تراكم للأخطاء تجعل منه مناسباً للمراقبة المستمرة وفهم المشاهد لفترات طويلة.

باختصار، يجسد StreamSplat الجسر الذي يربط بين إعادة البناء الديناميكي عالي الدقة وبين القيود العملية لتدفقات الفيديو غير المعايرة في العالم الحقيقي، مقدماً حلاً يتسم بالسرعة والدقة معاً.