💻 computer science

ReCoSplat: Autoregressive Feed-Forward Gaussian Splatting Using Render-and-Compare

يُعد ReCoSplat نموذجًا للتطبيع الغاوسي (Gaussian Splatting) يعمل بنظام التغذية الأمامية ذات التوليد الذاتي، وهو يتغلب على معضلة عدم تطابق الوضعية بين التدريب والاستدلال من خلال وحدة "الرندرة والمقارنة" (Render-and-Compare) المبتكرة، ويحقق حالة متطورة في تخليق المشاهد الجديدة عبر الإنترنت مع معالجة فعالة للتسلسلات الطويلة عبر ضغط ذاكرة التخزين المؤقت (KV cache) الهجين.

المؤلفون الأصليون: Freeman Cheng, Botao Ye, Xueting Li, Junqi You, Fangneng Zhan, Ming-Hsuan Yang

نُشر 2026-03-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Freeman Cheng, Botao Ye, Xueting Li, Junqi You, Fangneng Zhan, Ming-Hsuan Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد لغرفة، ولكن لا يُسمَح لك إلا برؤيتها من خلال صورة واحدة في كل مرة، كما لو أن شخصاً ما يسير داخل الغرفة ويلتقط صوراً متتابعة. عليك بناء النموذج في الوقت الفعلي، دون أن تتمكن أبداً من رؤية الغرفة بأكملها دفعة واحدة. هذا هو تحدي "توليد الرؤية الجديدة عبر الإنترنت" (Online Novel View Synthesis).

يقدم البحث نظام ReCoSplat، وهو نظام ذكاء اصطناعي جديد مصمم لحل هذه المشكلة. إليك شرح مبسط لكيفية عمله، باستخدام تشبيهات من الحياة اليومية.

1. المشكلة: معضلة "البنّاء الأعمى"

عادةً ما تندرج الطرق السابقة لبناء المشاهد ثلاثية الأبعاد من الصور ضمن فئتين:

المهندس المعماري البطيء: ينتظر حتى يحصل على جميع الصور، ثم يقضي ساعات في بناء النموذج المثالي بعناًية. (جودة رائعة، لكنه بطيء جداً للاستخدام في الوقت الفعلي).
البنّاء السريع: يبني النموذج مع وصول الصور. ومع ذلك، غالباً ما يصاب بالارتباك. إذا أخطأ البنّاء في تخمين زاوية الكاميرا (وهو أمر يحدث كثيراً)، فإن القطع الجديدة التي يضيفها لن تتناسب مع القطع القديمة. يبدأ النموذج في الظهور بشكل ضبابي أو مشوه.

المشكلة الجوهرية: تم تدريب الذكاء الاصطناعي باستخدام زوايا كاميرا "مثالية" (مثل معلم يعطي الإجابات الصحيحة)، ولكن في العالم الحقيقي، يتعين عليه تخمين الزوايا بنفسه. هذا التباين يتسبب في انهيار النموذج ثلاثي الأبعاد.

2. الحل: وحدة "الرندرة والمقارنة" (ReCo)

يقدم ReCoSplat حيلة ذكية تسمى "الرندرة والمقارنة" (Render-and-Compare). فكر في الأمر كأنها لعبة "ارسم وتحقق".

الطريقة القديمة: يخمن الذكاء الاصطناعي زاوية الكاميرا، ثم يضيف جسماً ثلاثي الأبعاد جديداً، ويأمل أن يتناسب مع البقية.
طريقة ReCoSplat:
1. يأخذ الذكاء الاصطناعي نموذجها ثلاثي الأبعاد الحالي ويقوم بعمل "رندرة" (تصوير افتراضي) لصورة لما يعتقد أن زاوية الكما الجديدة يجب أن تراه.
2. بعد ذلك، يقارن هذه الصورة المزيفة بـ الصورة الحقيقية التي وصلت للتو.
3. إذا بدتا مختلفتين، يدرك الذكاء الاصطناعي: "آه، تخميني لزاوية الكاميرا كان خاطئاً، أو أن نموذجي ثلاثي الأبعاد غير صحيح".
4. يستخدم هذا الاختلاف لتصحيح خطوته التالية.

تشبيه: تخيل أنك تحاول تجميع أحجية (Puzzle) وأنت ترتدي قفازات تغطي عينيك. بدلاً من مجرد التخمين أين توضع القطعة، ترفع رسماً لما يجب أن تبدو عليه الأحجية النهائية في ذلك الموضع. تقارن الرسم بالقطعة التي في يدك. إذا لم يتطابقا، تقوم بتعديل قبضتك. خطوة "التحقق" هذه تحافظ على استقرار النموذج حتى لو كان تخمينك الأولي لزاوية الكاميرا مهتزاً.

3. مشكلة الذاكرة: "حقيبة الظهر المثقلة"

يتطلب بناء نموذج ثلاثي الأبعاد من مئات الصور كمية هائلة من ذاكرة الكمبيوتر (RAM). تحاول نماذج الذكاء الاصطناعي القياسية تذكر كل تفصيل من كل صورة رأتها على الإطلاق.

المشكلة: إذا شاهدت فيديو مدته 10 دقائق، ستصبح "حقيبة ظهر" الذكاء الاصطناعي ثقيلة جداً بالذكريات لدرجة أنها ستكسر الكمبيوتر (تتسبب في انهيار النظام).
حل ReCoSplat: يستخدم استراتيجية "ضغط الذاكرة الذكي".
- نسيان الأساسيات: يدرك الذكاء الاصطناعي أن الطبقات القليلة الأولى من "دماغه" لا تحتاج إلا لرؤية الصورة الحالية فقط، وليس التاريخ الكامل. لذا، يتخلص من الذكريات القديمة لتلك الطبقات.
- الاحتفاظ باللقطات البارزة: بالنسبة للطبقات الأعمق التي تحتاج إلى التاريخ، فإنه لا يتذكر كل إطار (Frame) بمفرده. بدلاً من ذلك، يختار بعض "الإطارات البارزة" (مثل الإطار الأخير من مقطع مدته 10 ثوانٍ) لتمثيل المجموعة بأكملها.
- النتيجة: نجحوا في تقليص استخدام الذاكرة بنسبة 90%. هذا يسمح للذكاء الاصطناعي بالعمل على جهاز كمبيوتر للألعاب العادية (مثل جهاز مزود ببطاقة RTX 4090) بدلاً من الحاجة إلى كمبيوتر خارق.

4. لماذا يهم هذا؟

الواقع المعزز والافتراضي (AR/VR) في الوقت الفعلي: يمكنك ارتداء نظارات الواقع المعزز التي تبني خريطة ثلاثية الأبعاد لمنزلك أثناء تجولك، بشكل فوري، ودون تأخير.
الروبوتات: يمكن للروبوت استكشاف غرفة جديدة وبناء خريطة لها أثناء الحركة، حتى لو كانت مستشعراته غير دقيقة تماماً.
ألعاب الفيديو: تخيل توليد بيئات ثلاثية الأبعاد جديدة فورياً أثناء تحرك اللاعب عبرها، دون الحاجة لتحميل خرائط ضخمة مسبقاً.

الملخص

ReCoSplat هو "بناء ذكي" يقوم بـ:

التحقق من عمله باستمرار (الرندرة والمقارنة) لإصلاح الأخطاء الناتجة عن تخمين زوايا الكاميرا.
التخفف في الحمل (ضغط الذاكرة) ليعمل على أجهزة الكمبيوتر العادية حتى عند معالجة فيديوهات طويلة.
العمل في الوقت الفعلي، محولاً تدفق الصور إلى عالم ثلاثي الأبعاد عالي الجودة فوراً.

إنه يسد الفجوة بين "التدريب المثالي" و"الواقع الفوضوي"، مما يجعل إعادة البناء ثلاثي الأبعاد قوياً بما يكفي للاستخدام في العالم الحقيقي.

إليك ملخص تقني مفصل لورقة البحث ReCoSplat: Autoregressive Feed-Forward Gaussian Splatting Using Render-and-Compare.

1. بيان المشكلة

تعالج ورقة البحث تحدي توليد الرؤية من منظور جديد عبر الإنترنت (Online Novel View Synthesis - NVS)، وتحديداً إعادة بناء المشاهد ثلاثية الأبعاد من ملاحظات صور متسلسلة ومتدفقة. بينما توفر طرق "Gaussian Splatting" الحالية جودة عالية في التصيير في الوقت الفعلي، إلا أنها تعتمد عادةً على التحسين لكل مشهد على حدة (وهو أمر بطيء) أو على طرق التغذية الأمامية (feed-forward) غير المتزامنة التي تتطلب توافر جميع الصور مسبقاً.

تشمل التحديات المحددة للإعدادات التكرارية ذاتية الانحدار (Autoregressive) ما يلي:

المدخلات المتسلسلة: تصل الملاحظات واحدة تلو الأخرى (أو في مجموعات)، مما يتطلب من النموذج تحديث حالة المشهد بشكل تدريجي دون الوصول إلى الإطارات المستقبلية.
عدم اليقين في الوضعية (Pose Uncertainty): في السيناريوهات الواقعية (مثل الواقع المعزز/الافتراضي، والذكاء الاصطيون المجسد)، قد تكون وضعيات الكاميرا (الخارجية) والخصائص الداخلية (intrinsics) مفقودة، أو مشوشة، أو غير معايرة.
عدم تطابق توزيع الوضعية (The Pose Distribution Mismatch): يوجد معضلة حرجة في تدريب النماذج ذاتية الانحدار:
- استخدام الوضعيات الحقيقية (GT poses) أثناء التدريب يضمن الاستقرار، ولكنه يخلق عدم تطابق في التوزيع عند الاستنتاج عندما يضطر النموذج لاستخدام وضعياته المتوقعة.
- استخدام الوضعيات المتوقعة أثناء التدريب يربط تنبؤ الـ Gaussian بتقدير الوضعية، مما يؤدي غالباً إلى عدم الاستقرار وضعف جودة إعادة البناء.
قيود الذاكرة: تؤدي معالجة تسلسلات الفيديو الطويلة (مئات الإطارات) باستخدام بنيات Transformer إلى نمو هائل في ذاكرة الـ KV-cache، مما يجعل الاستنتاج على أجهزة المستهلكين غير ممكن.

2. المنهجية: ReCoSplat

ReCoSplat هو نموذج Gaussian Splatting ذو تغذية أمامية ذاتي الانحدار مصمم للتعامل مع المدخلات ذات الوضعيات أو بدونها، ومع أو بدون خصائص الكاميرا الداخلية.

أ. العمود الفقري ذاتي الانحدار (Autoregressive Backbone)

يعتمد النموذج على بنية Transformer (مستوحاة من $\pi^3$ و YoNoSplat) التي تعالج مجموعات الصور (chunks) بشكل متسلسل.

المدخلات: مجموعة من الصور ( $I_t$ )، معاملات الكاميرا الاختيارية ( $K_t, P_t$ )، مخزن الـ KV السابق ( $M_{t-1}$ )، والمشهد ثلاثي الأبعاد المتراكم ( $S_{t-1}$ ).
المُشفّر/المُفكك (Encoder/Decoder): يستخرج مُشفّر ViT القائم على DINOv2 الميزات. يقوم مُفكك Transformer مكون من 36 طبقة من الانتباه المتبادل بمعالجة هذه الميزات، حيث يدمج بين الانتباه لكل إطار على حدة والانتباه العالمي لالتقاط الارتباطات متعددة الرؤى.
رؤوس التنبؤ (Prediction Heads):
- رأس الوضعية (Pose Head): يتنبأ بالمعاملات الخارجية للكاميرا ( $\hat{P}_t$ ).
- رؤوس Gaussian: تتنبأ بخصائص الـ Gaussian المحلية (الموقع، السمات، الميزات) للمجموعة الحالية.

ب. وحدة التصيير والمقارنة (Render-and-Compare - ReCo)

هذا هو الابتكار الجوهري لحل مشكلة عدم تطابق توزيع الوضعية.

الآلية: بدلاً من الاعتماد فقط على ميزات الصورة الخام، تقوم الوحدة بتصيير المشهد المتراكم الحالي ( $S_{t-1}$ ) من وضعية التجميع المتوقعة ( $A_t$ ).
المقارنة: يتم دمج هذا المنظر المُصيّر ( $\hat{R}_t$ ) مع الملاحظة الواردة ( $I_t$ ).
الاشتراط (Conditioning): تتم معالجة الزوج المدمج لتوليد رموز اشتراط ( $Z_t$ ) عبر الانتباه المتقاطع (cross-attention).
الأثر: يوفر هذا شرطاً سابقاً مستقراً هندسياً وبصرياً. حتى لو كانت الوضعية المتوقعة غير دقيقة قلي بالكامل، فإن عملية التصيير تبرز التباين بين النموذج ثلاثي الأبعاد الحالي والملاحظة الجديدة، مما يسمح للشبكة بتصحيح تنبؤات الـ Gaussian ديناميكياً. هذا يسد الفجوة بين التدريب باستخدام الوضعيات الحقيقية والاستنتاج باستخدام الوضعيات المتوقعة.

ج. ضغط الـ KV Cache الهجين

لتمكين معالجة التسلسلات الطويلة (100+ إطار) على وحدات معالجة الرسومات الخاصة بالمستهلكين، اقترح المؤلفون استراتيجية ضغط ذاكرة من مرحلتين:

بتر الطبقات المبكرة (Early Layer Truncation): من المعروف أن أول 10 طبقات من أصل 18 طبقة انتباه عالمي تستخرج الميزات المحلية بدلاً من الارتباطات العالمية؛ لذا يتم التخلص من الـ KV cache لهذه الطبقات، مما يقصر الانتباه على المجموعة الحالية فقط.
الاحتفاظ الانتقائي بالسياق (Selective Context Retention): بالنسبة للطبقات الثمانية المتبقية، وبدلاً من تخزين جميع الرموز التاريخية، يحتفظ النموذج برموز KV فقط لـ منظر تمثيلي واحد (الإطار الأخير) من كل مجموعة تمت معالجتها.
رمز السجل (Register Token): تم تقديم رمز سجل قابل للتدريب لتحديد هذه المناظر المحتفظ بها صراحةً، مما يضمن معرفة الشبكة بالسياق التاريخي المتاح.

النتيجة: يقلل هذا من استخدام ذاكرة الـ KV cache بنسبة تتجاوز 90% للتسلسلات التي تزيد عن 100 إطار، مما يتيح إعادة البناء في الوقت الفعلي على أجهزة المستهلكين (مثل RTX 4090/A6000).

د. استراتيجية التدريب

يتم تدريب النموذج عبر ثلاث مراحل باستخدام التعلم المنهجي (Curriculum Learning):

المرحلة 1: البدء من YoNoSplat؛ التدريب بحجم مجموعة ثابت (8) وبدون ضغط.
المرحلة 2: إدخال أحجام مجموعات متغيرة (4–8) لتعليم النموذج كيفية التعامل مع أطوال المدخلات الديناميكية.
المرحلة 3: تفعيل ضغط الـ KV cache الكامل.

دالة الخسارة (Loss Function): دالة متعددة المهام تجمع بين الجودة الفوتومترية (MSE, LPIPS)، ودقة تقدير الكاميرا (الداخلية/الخارجية)، وتشتت الـ Gaussian (تقليم العتامة).

3. المساهمات الرئيسية

وحدة التصيير والمقارنة (ReCo): آلية مبتكرة تقوم بتصيير إعادة البناء الحالية لمقارنتها بالملاحظات الواردة، مما يوفر إشارة اشتراط تخفف بفعالية من عدم تطابق توزيع الوضعية بين التدريب (الوضعيات الحقيقية) والاستنتاج (الوضعيات المتوقعة).
ضغط الـ KV Cache الهجين: استراتيجية تجمع بين بتر الطبقات المبكرة والاحتفاظ الانتقائي بالرموز، مما يقلل من عبء الذاكرة بمقدار 10 أضعاف للتسلسلات الطويلة، مما يتيح إعادة البناء ذاتي الانحدار على أجهزة المستهلكين.
أداء رائد (SOTA): يحقق النموذج نتائج رائدة عبر مختلف إعدادات المدخلات (بوضعيات أو بدون، معايرة أو غير معايرة) ومجموعات البيانات (DL3DV, ScanNet++, RealEstate10K)، متفوقاً على النماذج ذاتية الانحدار الحالية ومنافساً للطرق غير المتزامنة (offline).

4. النتائج التجريبية

توليد الرؤية من منظور جديد: يتفوق ReCoSplat باستمرار على النماذج ذاتية الانحدار (StreamGS, SaLon3R, LongSplat ablations) في مقاييس PSNR و SSIM و LPIPS.
- في إعدادات عدم وجود وضعية (unposed)، يقلل بشكل كبير من العيوب ويحسن الهندسة مقارنة بالطرق التي تفشل في التعامل مع أخطاء الوضعية.
- في إعدادات الوضعية الكاملة (fully posed)، يقترب من الطرق غير المتزامرة (مثل YoNoSplat) أو يتفوق عليها في PSNR، مما يثبت قدرة وحدة ReCo على تصحيح أخطاء تنبؤ الـ Gaussian المحلية.
تقدير الوضعية: يحقق النموذج دقة فائقة في تقدير وضعية الكاميرا (AUC للخطأ الزاوي) مقارنة بالطرق عبر الإنترنت الأخرى (CUT3R, TTT3R, StreamVGGT) عبر مجموعات بيانات ACID و RealEstate10K و DL3DV.
كفاءة الذاكرة: تظهر التجارب أنه بدون الضغط، سيعاني النموذج من نفاذ الذاكرة (OOM) على وحدات GPU بقدرة 40GB/48GB للتسلسلات التي تزيد عن 128 عرضاً. مع الضغط، يمكنه التعامل مع 256 عرضاً فأكثر بكفاءة.
دراسات الاستئصال (Ablation Studies):
- التدريب باستخدام الوضعيات المتوقعة مباشرة يؤدي إلى تدهور الأداء، مما يؤكد الحاجة إلى وحدة ReCo.
- التدريب بالوضعيات المختلطة (الواقعية + المتوقعة) يقدم فائدة ضئيلة مقارنة بالتدريب بالوضعيات الحقيقية فقط في الإعدادات ذاتية الانحدار.
- خرائط أشعة Plücker (الاشتراط الهندسي بدون تصيير) غير كافية مقارنة بمنهج ReCo الكامل.

5. الأهمية

يمثل ReCoSplat خطوة مهمة للأمام في الذكاء الاصطناون المجسد (Embodied AI) والإدراك ثلاثي الأبعاد في الوقت الفعلي. من خلال حل مشكلة عدم تطابق توزيع الوضعية وعنق زجاجة الذاكرة، فإنه يتيح إعادة بناء مشاهد ثلاثية الأبعاد عالية الدقة والمتانة من فيديو متدفق دون الحاجة إلى تحسين غير متزامن أو معايرة مثالية للكاميرا. وهذا يجعله قابلاً للتطبيق بشكل كبير في:

الواقع المعزز/الافتراضي (AR/VR): رسم خرائط البيئة في الوقت الفعلي.
الروبوتات: فهم المشهد عبر الإنترنت للملاحة والتحكم.
توليد الفيديو: توليد فيديو متسق وواعٍ بالهندسة ثلاثية الأبعاد.

تثبت هذه الورقة أن الجمع بين حلقات التغذية الراجعة القائمة على التصيير (التحليل عن طريق التركيب - Analysis-by-Synthesis) مع إدارة ذاكرة Transformer الفعالة هو مسار قابل للتوسع نحو رؤية ثلاثية الأبعاد عبر الإنترنت.