💻 computer science

P-GSVC: Layered Progressive 2D Gaussian Splatting for Scalable Image and Video

تقدم هذه الورقة البحثية P-GSVC، وهو أول إطار عمل لتقنية التغطية بـ "الغاوسيان سبلاتينج" (Gaussian splatting) ثنائية الأبعاد متدرجة الطبقات، والذي يوحد إعادة بناء الصور والفيديو القابلة للتوسع من خلال بنية طبقة "الأساس بالإضافة إلى التحسين" واستراتيجية تدريب مشتركة مبتكرة، محققاً تحسينات كبيرة في مقياس PSNR مقارنة بالطرق المتسلسلة لكل طبقة على حدة.

المؤلفون الأصليون: Longan Wang, Yuang Shi, Wei Tsang Ooi

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Longan Wang, Yuang Shi, Wei Tsang Ooi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إرسال فيلم ضخم عالي الدقة إلى صديق، لكن اتصال الإنترنت لديه غير مستقر؛ أحياناً يكون سريعاً، وأحياناً يكون بطيئاً. تريد منه أن يبدأ في المشاهدة فوراً، حتى لو كانت الصورة ضبابية قليلاً، ثم تتحسن الجودة وتصبح أكثر حدة مع وصول المزيد من البيانات، دون الحاجة لإعادة تشغيل الفيديو.

هذه هي مشكلة الترميز القابل للتوسع (Scalable Coding). لعقود من الزمن، حاول المهندسون حل هذه المشكلة، لكن الأساليب الموجودة إما ثقيلة جداً (مثل ملف ضخم وصلب) أو معقدة للغاية (مثل صندوق أسود لا يمكنك تعديله بسهولة).

إليك P-GSVC، وهي تقنية جديدة من باحثين في جامعة سنغافورة الوطنية. فكر فيها كأنها نظام رسم طبقي ذكي يستخدم "Gaussian Splats" (والتي هي أساساً أشكال بيضاوية ثنائية الأبعاد ضبابية وملونة) لبناء الصور ومقاطع الفيديو.

إليك كيف يعمل P-GSVC، مشروحاً عبر تشبيهات بسيطة:

1. الطريقة القديمة: مشكلة "كومة الطوب"

تخيل أنك تبني منزلاً من الطوب.

النهج الساذج: تقوم ببناء المنزل كاملاً وبشكل مثالي أولاً، ثم تحاول إزالة الطوب "الأقل أهمية" لعمل نسخة أصغر تناسب اتصال إنترنت ضعيف.
- النتيجة: إذا أزلت الطوب الخطأ، فلن تحصل على منزل أصغر فحسب، بل ستحصل على منزل به ثقوب في السقف وجدران مفقودة. تبدو الصورة محطمة.
النهج المتسلسل: تبني الأساس (الطبقة 1) ثم تجمد الوضع. بعد ذلك، تبني الطابق الثاني (الطبقة 2) فوقه.
- النتيجة: تم بناء الأساس دون معرفة بوجود الطابق الثاني. عندما تضيف الطابق الثاني، لا يتناسب الطابق الأول معه تماماً. يصبح الهيكل بأكمله متذبذباً، والمنزل النهائي ليس بالجودة التي كان يمكن أن يصل إليها.

2. حل P-GSVC: "فريق الرسامين"

يغير P-GSVC قواعد اللعبة. بدلاً من بناء الطبقات واحدة تلو الأخرى أو انتزاع الأشياء، فإنه يستخدم استراتيجية التدريب المشترك.

تخيل فريقاً من ثلاثة رسامين يعملون على جدارية ضخمة:

الرسام (أ) (الطبقة الأساسية): طُلب منه رسم الأشكال العريضة والضبابية للمشهد (السماء، الجبال، المخطط العام لشخص ما).
الرسام (ب) (طبقة التحسين 1): طُلب منه إضافة تفاصيل مثل لون السماء وشكل الأشجار.
الرسام (ج) (طبقة التحسين 2): طُلب منه إضافة التفاصيل الدقيقة، مثل أوراق الأشجار وملامح وجه الشخص.

الخدعة السحرية: في الطريقة القديمة، ينتهي الرسام (أ) من عمله، ويغلق بابه، ثم يأتي الرسام (ب) لاحقاً. في P-GSVC، يعمل الرسامون الثلاثة معاً في نفس الوقت.

هم يراقبون عمل بعضهم البعض باستمرار.
يدرك الرسام (أ): "أوه، الرسام (ب) سيضيف تفاصيل الأشجار، لذا لا يجب أن أرسم السماء داكنة جداً، وإلا ستتعارض معها".
يدرك الرسام (ب): "الرسام (أ) يضع الأساس، لذا يجب أن أتأكد من أن تفاصيلي تتناسب تماماً فوق تلك الأشكال".

لأنهم يتدربون معاً (في آن واحد)، فإن كل طبقة تكون متوافقة تماماً مع الطبقات الأخرى.

3. كيف يعمل في الواقع

عندما تقوم ببث فيديو باستخدام P-GSVC:

عرض النطاق الترددي المنخفض: يقوم النظام بإرسال عمل الرسام (أ) فقط. ترى نسخة من الفيديو منخفضة الدقة وضبابية قليلاً. ولكن الأهم من ذلك، لا توجد ثقوب. المشهد بالكامل موجود، لكنه فقط غير واضح.
عرض النطاق الترددي المتوسط: يرسل النظام الرسام (أ) + الرسام (ب). تصبح جودة الفيديو أكثر حدة، وتبرز الألوان وتصبح الأشكال واضحة.
عرض النطاق الترددي العالي: يرسل النظام الرسام (أ) + (ب) + (ج). تحصل على التحفة الفنية الكاملة فائقة الوضوح.

4. لماذا يعد هذا أمراً هاماً؟

وجد الباحثون أنه إذا تم تدريب الطبقات بشكل منفصل (الطريقة القديمة)، فإن "الرسامين" يصابون بالارتباك. تُظهر الرياضيات وراء الكواليس أن "الخسارة" (الأخطاء) ترتفع وتنخفض بشكل عشوائي، والصورة النهائية تظل عالقة في "الحد الأدنى المحلي" (local minimum) – وهو مصطلح تقني يعني أنها تظل في حالة "جيدة بما يكفي" ولا تستطيع الوصول إلى حالة "ممتازة".

من خلال تدريبهم معاً، يحقق P-GSVC ما يلي:

يصلح الثقوب: لا ترى أبداً صورة محطمة، حتى عند الجودة المنخفضة.
يحسن الجودة: يجعل الصورة النهائية أفضل بكثير (بمقدار يصل إلى 2.6 ديسيبل من الناحية التقنية، وهي قفزة هائلة في الجودة البصرية) مقارنة بالأساليب القديمة.
يعمل للصور ومقاطع الفيديو على حد سواء: فهو يعامل الصورة كفيديو يتكون من إطار واحد فقط، مما يجعله حلاً عالمياً.

الخلاصة

P-GSVC يشبه الترقية من تنسيق ملف جامد وموحد للجميع إلى مجموعة "ليغو" ذكية ومتكيفة. سواء كان اتصال الإنترنت لديك مجرد قطرات بسيطة أو تدفقاً غزيراً، فستحصل على صورة كاملة ومتماسكة تزداد جودتها كلما وصلت قطع أكثر، دون أن ينهار الهيكل أبداً. إنه يسد الفجوة بين ضغط الفيديو التقليدي ومستقبل الوسائط المدفوعة بالذكاء الاصطناعي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "P-GSVC: الطبقية التصاعدية لتمثيل غاوس ثنائي الأبعاد (2D Gaussian Splatting) القابل للتوسع للصور والفيديو."

1. بيان المشكلة

تتناول الورقة التحدي المتمثل في إنشاء تمثيلات تصاعدية قابلة للتوسع للصور والفيديوهات باستخدام التمثيل الغاوسي ثنائي الأبعاد (2DGS). وبينما حقق التمثيل الغاوسي ثلاثي الأبعاد (3DGS) نجاحاً في إعادة البناء ثلاثي الأبعاد، فإن توسيع نطاق 2DGS لدعم الترميز القابل للتوسع (حيث توفر الطبقة الأساسية إعادة بناء أولية وتعمل طبقات التحسين على تحسين الجودة/الدقة تدريجياً) يواجه عقبات كبيرة:

الاعتماد المتبادل بين الـ Splats: في نظام 2DGS القياسي، يتم تدريب الـ splats بشكل مشترك لتناسب أعلى دقة للمدخلات. وهي تعتمد على بعضها البعض بشكل كبير؛ حيث إن إزالة مجموعة فرعية من الـ splats (حتى تلك ذات درجات المساهمة الفردية المنخفضة) لإنشاء طبقة "أولية" غالباً ما يؤدي إلى عيوب شديدة، مثل الفجوات والهياكل المكسورة، لأن الـ splats المتبقية لا يمكنها إعادة بناء المشهد دون تلك التي تمت إزالتها.
صراعات التحسين في التدريب الطبقي: النهج الساذج للقابلية للتوسع هو التدريب الطبقي المتسلسل (تدريب طبقة أساسية، ثم تجميدها، ثم تدريب طبقات التحسين فوقها). وقد أثبت المؤلفون أن هذا يؤدي إلى صراعات تحسين عبر الطبقات. نظرًا لأن أهداف الطبقة الأساسية (الهيكل الأولي) وطبقات التحسين (التفاصيل الدقيقة) تختلف، فإن تدريبها بشكل متسلسل يسبب عدم استقرار في التقارب، وتقلبات حادة في التدرج، والوقوع في حلول محلية غير مثالية.
محدودية الطرق الحالية: تعتمد برامج الترميز القابلة للتوسع الحالية القائمة على التعلم غالاً على التمثيلات العصبية الضمنية (التي يصعب تعديلها أو التحكم بها) أو استراتيجيات التدريب المتسلسل التي تفشل في الحفاظ على سلامة المشهد عند معدلات البت المنخفضة.

2. المنهجية: P-GSVC

يقترح المؤلفون P-GSVC (ترميز فيديو غاوس تصاعدي)، وهو إطار عمل ينظم الـ Gaussian splats إلى طبقة أساسية ( $L_0$ ) وعدة طبقات تحسين ( $\Delta L_1, \Delta L_2, \dots$ ).

أ. التمثيل الطبقي

البنية: يتم تمثيل الفيديو المدخل (أو الصورة) كمجموعة اتحادية من مجموعات غاوس. وتتشكل إعادة البناء عند المستوى $\ell$ من اتحاد الطبقة الأساسية وأول $\ell$ من طبقات التحسين:
$\hat{F}_\ell = \hat{F}_0 + \sum_{i=1}^{\ell} \Delta \hat{F}_i$
الرندرة (Rendering): يتم رندرة كل مستوى بشكل مستقل باستخدام مُصغّر (rasterizer) قابل للتفاضل. توفر الطبقة الأساسية مشهداً كاملاً ولكنه أولي، بينما تضيف طبقات التحسين تفاصيل عالية التردد دون تعديل الـ splats الأساسية.

ب. استراتيجية التدريب المشترك (الابتكار الجوهري)

لحل صراعات التحسين وعدم الاستقرار في التدريب المتسلسل، يقدم P-GSVC استراتيجية تدريب مشترك:

التحسين المتزامن: بدلاً من تجميد الطبقات الدنيا، يقوم النموذج بتحسين جميع الطبقات في وقت واحد.
الاختيار الدوري للمستويات: في كل دورة تدريبية، يحسب النموذج خسارة مشتركة تشرف على مستويين من الدقة في آن واحد:
1. إعادة البناء الكاملة (جميع الطبقات).
2. إعادة بناء وسيطة (الأساسية + مجموعة فرعية محددة من طبقات التحسين).
التبديل الدوري: يتم اختيار المستوى الوسيط المستهدف بترتيب دوري (على سبيل المثال، $L_1, L_2, L_1, L_2 \dots$ ) بدلاً من الاختيار العشوائي. وهذا يضمن بقاء مجال التدرج مستقراً أثناء الانتقالات بين أهداف التحسين، مما يمنع النموذج من الإفراط في ملاءمة (overfitting) طبقة معينة أو المعاناة من طفرات التدرج عند تبديل الأهداف.
دالة الخسارة: إجمالي الخسارة هو مجموع خسائر L2 عبر المستويات المختارة:
$\mathcal{L}_t = \mathcal{L}_2(\hat{f}^L_t, f^L_t) + \mathcal{L}_2(\hat{f}^{\ell_k}_t, f^{\ell_k}_t)$
حيث أن $\ell_k$ هو المستوى الوسيط المختار دورياً.

ج. الآليات الخاصة بالفيديو

بالنسبه للفيديو، يدمج P-GSVC آليات من GSVC للتعامل مع التكرار الزمني:

التنبؤ الزمني: يتم تهيئة إطارات P من الـ splats الخاصة بالإطار السابق.
تقليم الـ Gaussian Splat (GSP): إزالة الـ splats ذات المساهمة المنخفضة للتحكم في معدل البت.
تعزيز الـ Gaussian Splat (GSA): حقن splats جديدة لالتقاط الحركة الديناميكية أو تغيرات المشهد.
اختيار الإطارات الرئيسية الديناميكي (DKS): اكتشاف قطعات المشهد لإدراج إطارات I جديدة.

د. التكميم (Quantization)

يستخدم إطار العمل التكميم المدرك زمنياً (على غرار GSVC) لضغط المعلمات:

إطارات I: يتم تكميم جميع المعلمات مباشرة.
إطارات P: يتم تكميم فروق المعلمات بالنسبة للإطار المرجعي.
تشمل التقنيات تقليل دقة الفاصلة العائمة للمواقع، والتكميم غير المتماثل لمتجهات Cholesky، والتكميم الشعاعي (Vector Quantization - VQ) للألوان.

3. المساهمات الرئيسية

أول إطار عمل 2DGS قابل للتوسع: يعد P-GSVC أول إطار عمل يوفر حلاً طبقياً تصاعدياً موحداً لكل من ترميز الصور والفيديو القابل للتوسع باستخدام 2D Gaussian splats.
استراتيجية التدريب المشترك: حدد المؤلفون أن التدريب الطبقي المتسلسل يفشل بسبب صراعات التحسين، واقترحوا استراتيجية تدريب مشترك ودوري. وهذا يربط مسارات التحسين عبر الطبقات، مما يضمن تقارباً مستقراً وإعادة بناء وسيطة عالية الجودة.
مكاسب الأداء: تتفوق استراتيجية التدريب المشترك بشكل كبير على الطرق المتسلسلة، حيث تحقق تحسناً يصل إلى 2.6 dB في PSNR للصور و 1.9 dB في PSNR للفيديوهات مقارنة بالنماذج المرجعية المتسلسلة المتطورة (مثل LIG وتدريب الطبقات القياسي في GSVC).
قابلية توسع خالية من العيوب: على عكس طرق التقليم البدائية التي تترك فجوات في عمليات إعادة البناء ذات معدل البت المنخفض، يحافظ P-GSVC على سلامة المشهد عند جميع المستويات، مما يسمح بفك تشفير تصاعدي سلس.

4. النتائج التجريبية

تقيم الورقة P-GSVC على مجموعات بيانات الصور Kodak و DIV-HR ومجموعة بيانات الفيديو UVG.

قابلية توسع الصور:
- مقارنة بـ LIG (نموذج مرجعي متسلسل لـ 2DGS)، يحقق P-GSVC حوالي 2.0–2.6 dB أعلى في PSNR ونتائج أفضل بكثير في MS-SSIM و LPIPS عبر جميع ميزانيات Gaussian.
- تُظهر النتائج المرئية أن P-GSVC يقضي على "الفجوات" والعيوب الهيكلية التي تظهر في النماذج المرجعية القائمة على التقليم.
قابلية توسع الفيديو:
- قابلية توسع الجودة: يتفوق P-GSVC على الطريقة المتسلسلة (التي تقوم بتجميد الطبقات) بنحو 2 dB عند أعلى مستويات الجودة. وبينما تكون الطبقة الأساسية في الطريقة المتسلسلة قوية، إلا أن طبقات التحسين تفشل في تحسين الجودة بسبب صراعات التحسين. يسمح التدريب المشترك في P-GSVC لطبقات التحسين بإضافة قيمة كبيرة.
- قابلية توسع الدقة: يظهر P-GSVC تفوقاً في درجات الجودة المعيارية (VMAF, MS-SSIM) عبر الدقات المختلفة مقارنة بالتدريب المتسلسل.
- معدل البت مقابل التشوه (Rate-Distortion): بينما يتحمل P-GSVC عبئاً طفيفاً في الجودة (حوالي 1.1 dB) مقارنة بالحد الأعلى "الأحادي" (Monolithic) غير القابل للتوسع (حيث يتم تدريب كل مستوى بشكل مستقل)، إلا أنه يقلص بشكل كبير الفجوة بين برامج الترميز القابلة للتوسع القياسية (مثل SHVC) وطرق 2DGS المتسلسلة.

5. الأهمية والأثر

سد الفجوة: يربد P-GSVC الفجوة بين برامج الترميز القابلة للتوسع الكلاسيكية (مثل HEVC-SHVC) وبرامج الترميز العصبية الحديثة. فهو يقدم الطبيعة الصريحة والقابلة للتعديل لـ Gaussian splats مع القابلية للتوسع المطلوبة للبث التكيفي.
التوصيل التكيفي: يتيح إطار العمل توصيلًا فعالاً عبر الشبكات والأجهزة غير المتجانسة. يمكن للعميل فك تشفير الطبقة الأساسية فقط للحصول على معاينة منخفضة الدقة على جهاز محمول، أو فك تشفير جميع الطبقات للحصول على رندرة عالية الدقة على سطح المكتب، وكل ذلك من خلال مسار بت واحد (bitstream).
تحول في النموذج: يتحدى هذا العمل الافتراض بأن الترميز التصاعدي يجب أن يعتمد على التدريب المتسلسل أو التمثيلات الضمنية. فهو يثبت أن العناصر الصريحة (splats) يمكن تحسينها بفعالية من أجل القابلية للتوسع من خلال التدريب المشترك، مما يفتح آفاقاً جديدة لنقل الوسائط 2D/3D القابلة للتوسع في الوقت الفعلي.

القيود والعمل المستقبلي:
وقت الترميز الحالي مرتفع (حوالي 720 ثانية لكل إطار) بسبب التحسين التكراري، رغم أن الرندرة تتم في الوقت الفعلي (~1200 إطار في الثانية). ويشير المؤلفون إلى أن التوازي على إعدادات متعددة من وحدات معالجة الرسومات (multi-GPU) يمكن أن يسرع عملية الترميز بشكل كبير، مما يجعلها قابلة للاستخدام في سيناريوهات الفيديو عند الطلب (Video-on-demand).