GS$^{2}$CI: Robust Gaussian Splatting For Snapshot Compressive Imaging via Large Vision Model Priors

تخيل أنك تحاول التقاط فيديو عالي السرعة لسيارة سباق تمر مسرعة، لكن كاميرتك بطيئة جداً لدرجة أنها لا تستطيع إلا التقاط صورة واحدة ضبابية. الآن، تخيل أن هذه الصورة الوحيدة هي في الواقع شفرة سرية تحتوي على مئات اللحظات المختلفة من السباق، كلها مجتمعة وممزوجة معاً. هذا هو العالم الجامح لـ التصوير الضغطي بلقطة واحدة (Snapshot Compressive Imaging - SCI). إنها خدعة ذكية حيث لا تلتقط الكاميرا فيديو؛ بدلاً من ذلك، تلتقط صورة واحدة تم "تعديلها" بواسطة قناع خاص، يمزج الزمان والمكان في لقطة واحدة. التحدي؟ فك تشفير تلك الصورة الفوضوية وإعادتها إلى فيديو واضح ومتحرك. عادةً، يحاول العلماء القيام بذلك عبر التخمين لما تبدو عليه إطارات الفيديو، ولكن إذا كانت الكاميرا تتحرك حول مشهد ثلاثي الأبعاد (مثل طائرة بدون طيار تحلق حول مبنى)، فإن تلك التخمينات غالباً ما تنهار، تاركة وراءها مشهداً مشوشاً وشبحياً.

إليك التمثيل بـ "الغاوسيان" ثلاثي الأبعاد (3D Gaussian Splatting - 3DGS)، وهي طريقة أحدث وفائقة السرعة لبناء عوالم ثلاثية الأبعاد. بدلاً من بناء نموذج صلب مثل النحات، يقوم 3DGS بطلاء المشهد بآلاف السحب ثلاثية الأبعاد الصغيرة والضبابية (الغاوسيان) التي تشبه البريق. عندما تسلط ضوءاً (أو كاميرا) عبرها، تندمج معاً لتشكل صورة حادة. الأمر يشبه بناء مدينة من الضباب الذي يتحول فوراً إلى جسم صلب بمجرد النظر إليه من الزاوية الصحيحة. لكن صانع "مدينة البريق" هذا يعاني أيضاً عندما تكون المعلومة الوحيدة المتاحة له هي تلك الصورة الواحدة المضغوطة والمشفرة من كاميرا SCI. تصبح الرياضيات معقدة، وتطفو سحب الضباب في أماكن خاطئة، ويضيع مسار الكاميرا.

تقدم هذه الورقة البحثية GS2CI، وهي طريقة جديدة تعمل كـ "محقق فائق الذكاء" لحل هذا اللغز. أدرك المؤلفون أن محاولة تخمين الشكل ثلاثي الأبعاد ومسار الكاميرا من مجرد صورة واحدة مشفرة أمر صعب للغاية، لذا استعانوا بـ "أدوات ثقيلة": نماذج الرؤية الكبيرة (Vision Foundation Models - VFMs). فكر في هذه النماذج كأنظمة ذكاء اصطناعي "رأت" ملايين المشاهد ثلاثية الأبعاد وتعرف تماماً كيف يعمل الضوء، والعمق، وحركة الكاميرا. يستخدم GS2CI هذه العقول الاصطناعية لجعل تخمين ذكي أول حول مكان الكاميرا وما يبدو عليه المشهد ثلاثي الأبعاد. بعد ذلك، يستخدم "قاعدة قواعد" خاصة ومخصصة تسمى OSGR (تنظيم الانقسام والنمو الموجه بالعتامة) لترتيب سحب البريق. هذه القاعدة تمنع السحب من النمو بشكل كبير أو التكتل بطرق غريبة لمجرد إرضاء المعادلات الرياضية. وأخيراً، يستخدم ذكاءً اصطناعياً ثانياً لصقل التفاصيل، لضمان أن يبدو المشهد حاداً وواقعياً من كل الزوايا. النتيجة؟ طريقة يمكنها أخذ تلك الصورة المشفرة وإعادة بناء مشهد ثلاثي الأبعاد عالي الجودة، يظل متسقاً حتى عندما تتحرك الكاميرا بجنون، متفوقة على الطرق السابقة في السرعة والوضوح معاً.

المشكلة: لغز "اللقطة الواحدة"

تخيل أنك محقق يحاول إعادة بناء مسرح جريمة، لكن ليس لديك سوى صورة فوتوغرافية واحدة. والأسوأ من ذلك، أن تلك الصورة هي نسخة "مضغوطة" حيث قام رجال الشرطة بالتقاط صورة للمشهد في 8 أوقات مختلفة، وخلطوها جميعاً معاً باستخدام مرشح (فلتر) خاص، وسلموك النتيجة. أنت لا تعرف بالضبط أين كانت الكاميرا في كل لحظة من تلك اللحظات الثمانية، ولا تعرف كيف بدا المشهد في أي لحظة منفردة. هذه هي مشكلة التصوير الضغطي بلقطة واحدة (SCI).

تحاول معظم الطرق الموجودة حل هذه المشكلة عبر التخمين إطاراً تلو الآخر. ولكن إذا كانت الكاميرا تتحرك حول جسم ثلاثي الأبعاد (مثل طائرة بدون طيار تحلق حول تمثال)، فإن هذه التخمينات ترتبك. قد يظنون أن التمثال هو الذي يتحرك بينما الكاميرا هي التي تتحرك فعلياً. إنهم يعانون لأنهم يفتقرون إلى "عقل ثلاثي الأبعاد" لفهم العمق والمنظور. إنهم مثل شخص يحاول حل لغز ثلاثي الأبعاد وهو معصوب العينين، معتمداً فقط على الظلال المسطحة التي تلقيها الأشكال على الطاولة.

الحل: فريق المحققين المكون من خطوتين

يقترح مؤلفو هذه الورقة إطار عمل يسمى GS2CI يحل هذه المشكلة عبر الجمع بين ثلاث أدوات قوية: عقل اصطناعي ثلاثي الأبعاد، وباني بريق ثلاثي الأبعاد، وقاعدة قواعد مخصصة.

الخطوة 1: التخمين الذكي (تهيئة نموذج الرؤية الأساسي ثلاثي الأبعاد - 3D VFM Initialization)
بدلاً من البدء من الصفر، يقوم GS2CI أولاً بإنشاء "مشاهد وسيطة". يأخذ الصورة المشفرة ونمط المرشح المعروف لإنشاء نسخة تقريبية (تخمينية) لما قد تبدو عليه الإطارات الثمانية المختلفة. ثم يغذي هذه التخمينات التقريبية في نموذج رؤية أساسي ثلاثي الأبعاد (3D VFM). يمكنك التفكير في هذا النموذج كذكاء اصطناعي درس ملايين المشاهد ثلاثية الأبعاد. ينظر إلى التخمينات التقريبية ويقول: "آه، بناءً على ما رأيته سابقاً، من المحتمل أن الكاميرا كانت هنا، وأن الجسم يتخذ هذا الشكل". هذا يمنح النظام نقطة انطلاق قوية جداً، بدلاً من مجرد تخمين عشوائي.

الخطوة 2: باني البريق (التمثيل بـ "الغاوسيان" ثلاثي الأبعاد - 3D Gaussian Splatting)
بمجرد أن يكون لدى الذكاء الاصطناعي فكرة تقريبية عن مسار الكاميرا وشكل المشهد، ينتقل إلى 3D Gaussian Splatting. هذه هي الطريقة التي تبني المشهد باستخدام آلاف السحب ثلاثية الأبعاد الصغيرة والضبابية (الغاوسيان). يحاول النظام ترتيب هذه السحب بحيث، عند النظر إليها من الزوايا الثمانية المختلفة، تعيد إنتاج الصورة المشفرة بدقة.

التحول: قاعدة قواعد OSGR
هنا تظهر براعة الورقة البحثية. عندما تحاول مطابقة السحب ثلاثية الأبعاد مع صورة مشفرة، يمكن أن تصبح الرياضيات معقدة. قد يحاول النظام "استيفاء" الرياضيات عبر جعل سحابة واحدة شديدة العتامة (صلبة جداً) لتغطية خطأ ما، بدلاً من نقل السحابة إلى مكانها الصحيح. هذا يخلق "قمم عتامة" تفسد البنية ثلاثية الأبعاد.

لحل هذه المشكلة، ابتكر المؤلفون OSGR (تنظيم الانقسام والنمو الموجه بالعتامة):

• الانقسام الموجه بالعتامة: إذا أصبحت سحابة ما "صلبة" جداً في نقطة معينة (قمة عتامة)، يقول نظام OSGR: "هذا مريب! لنقسم هذه السحابة الكبيرة الواحدة إلى سحابتين أصغر وأكثر دقة". هذا يجبر النظام على إيجاد الشكل الحقيقي بدلاً من الاختباء خلف كتلة صلبة.
• تنظيم النمو: كما يفرض النظام أيضاً عدداً صارماً للسحب التي يمكن استخدامهما. فهو يمنع المشهد من الانتفاخ بسحب غير ضرورية، مما يحافظ على سرعة واستقرار عملية إعادة البناء.

الخطوة 3: الصقل (نموذج الرؤية الأساسي ثنائي الأبعاد - Auxiliary 2D VFM)
بعد بناء المشهد ثلاثي الأبعاد الرئيسي، لا ينتهي عمل النظام بعد. يقوم بإنشاء زوايا رؤية جديدة (مشاهد مُصنّعة) لم ترها الكاميرا فعلياً. ثم يستخدم نموذج رؤية أساسي ثنائي الأبعاد ليتخيل كيف يجب أن تبدو تلك المشاهد. يقارن مشهده ثلاثي الأبعاد بهذه الصور "المتخيلة" ويقوم بتعديل تفاصيل السحب لجعلها أكثر حدة وواقعية. هذا يشبه اللمسة النهائية حيث يضيف الفنان التفاصيل الدقيقة إلى اللوحة.

النتائج: أسرع، أحدّ، وأكثر متانة

اختبر المؤلفون GS2CI على العديد من المشاهد، من الأشياء البسيطة إلى البيئات الخارجية المعقدة، وحتى مع ضغط عالٍ جداً (حيث يتم دمج 32 رؤية مختلفة في صورة واحدة).

• جودة أفضل: في اختباراتهم، أنتج GS2CI باستمرار صوراً أكثر وضوحاً مع أخطاء أقل من الطرق السابقة. على سبيل المثال، في مشهد يسمى "Vender"، حقق قيمة PSNR (مقياس جودة الصورة) بلغت 38.52، متفوقاً على أفضل طريقة تالية والتي سجلت 36.40.
• السرعة: إنه سريع للغاية. العملية بأكملها، من الصورة المشفرة إلى المشهد ثلاثي الأبعاد النهائي، استغرقت حوالي 68.4 دقيقة على جهاز كمبيوتر قياسي عالي الأداء (NVIDIA RTX 4090). بالمقارنة، استغرقت طريقة رائدة سابقة (SCINeRF) أكثر من 12 ساعة (746.84 دقيقة) للقيام بنفس المهمة.
• المتانة: حتى عندما تحركت الكاميرا بطرق غريبة وغير متوقعة أو عندما كانت الصورة مضغوطة بشدة، لم ينهار GS2CI. لقد تعامل مع المشاهد "غير المحدودة" (حيث تمتد الرؤية إلى ما لا نهاية) ومسارات الكاميرا المعقدة بشكل أفضل بكثير من منافسيه.

ما لا يفعله (حتى الآن)

تتسم الورقة بالصدق بشأن حدودها. فبينما يعمل بشكل رائع للمشاهد الثابتة (حيث يكون الجسم ساكناً)، فإنه يعاني مع المشاهد الديناميكية حيث تتحرك الأجسام بشكل مستقل، مثل شخص يركض أو طائر يطير. في الاختبارات التي تتضمن أجساماً متحركة (مثل فيديو "الدب" أو "الفلامنجو")، لم يؤدِ الأسلوب بنفس كفاءة بعض التقنيات المتخصصة الأخرى. يقترح المؤلفون أنه في المستقبل، قد يحتاجون إلى ترقية "سحب الغاوسيان" لتصبح رباعية الأبعاد (إضافة الزمن كبُعد) للتعامل مع الأجسام المتحركة بشكل أفضل.

لماذا يهم هذا الأمر؟

توضح هذه الورقة أنه من خلال الجمع بين "المنطق العام" لنماذج الذكاء الاصطناعي الكبيرة وسرعة التمثيل بـ "الغاوسيان" ثلاثي الأبعاد، يمكننا حل بعض أصعب المشكلات في التصوير. إنها تحول صورة واحدة مشفرة إلى عالم غني ثلاثي الأبعاد يمكنك التجول فيه، وكل ذلك بسرعة تجعلها عملية ومجدية. إنها خطوة كبيرة للأمام نحو جعل الكاميرات عالية السرعة وثلاثية الأبعاد صغيرة، رخيصة، وقوية.