💻 computer science

ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression

تقترح الورقة البحثية ENCORE، وهو إطار عمل لضغط الفيديو يتم تعلمه ويستفيد من بيانات الكاميرا الحدثية (event camera) لتحسين تقدير الحركة القائم على RGB من خلال تفكيك التمثيل المتكامل، والمعايرة الواعية بالزيادة، والتوجيه الواعي بالطاقة، محققاً وفورات كبيرة في معدل البت وتحسينات في الجودة عبر مجموعات بيانات متنوعة.

المؤلفون الأصليون: Shuhan Ye, Hongbin Yu, Chenqi Kong, Pingchuan Ma, Chong Wang, Jun Wan, Qixin Zhang

نُشر 2026-07-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuhan Ye, Hongbin Yu, Chenqi Kong, Pingchuan Ma, Chong Wang, Jun Wan, Qixin Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إرسال فيديو مباشر لمباراة كرة قدم إلى أصدقائك عبر هاتف يتصل بإنترنت بطيء. لجعل الفيديو يتناسب مع حجم البيانات، عليك ضغطه، مما يعني التخلص من بعض المعلومات. الجزء الأصعب في ضغط الفيديو هو التعامل مع الحركة. إذا ركض لاعب عبر الشاشة، لا يحتاج الكمبيوتر لإرسال صورة كاملة جديدة للاعب؛ بل يحتاج فقط لقول: "اللاعب تحرك خطوتين إلى اليسار". هذا ما يسمى بـ "تقدير الحركة". ومع ذلك، تلتقط الكاميرات العادية الصور بسرعة ثابتة، مثل كتاب الصور المتحركة (القلاب). وإذا تحرك اللاعب بسرعة كبيرة، أو إذا كان الجو ضبابياً، أو إذا اهتزت الكسر، فقد تصبح صفحات هذا الكتاب مشوشة أو مربكة. عندها يعلق الكمبيوتر في محاولة تخمين أين ذهب اللاعب بالفعل، مما يؤدي إلى فوضى من البكسلات أو ملف لا يزال حجمه كبيراً جداً.

هنا يأتي دور نوع خاص من الكاميرات يسمى "كاميرا الأحداث" (event camera). على عكس الكاميرا العادية التي تلتقط صورة كاملة كل ثة، فإن كاميرا الأحداث تشبه حارس أمن شديد الحساسية لا يصرخ إلا عندما يحدث شيء ما. إذا أصبح البكسل أكثر سطوعاً أو أكثر قتامة، تبلغ كاميرا الأحداث عن ذلك فوراً. هي لا تهتم بلون العشب أو ملمس القميص؛ هي تهتم فقط بالحركة والتغيرات في الضوء. إنها سريعة للغاية وتعمل بشكل رائع حتى في الظلام أو عندما تتحرك الأشياء بسرعة فائقة. السؤال الكبير الذي يسأله العلماء هو: هل يمكننا استخدام هذا "الحارس الصارخ" لمساعدة كاميرا "الصور المتحركة" على تقديم تخمينات أفضل للحركة، بحيث نرسل فيديوهات أوضح باستخدام بيانات أقل؟

هذه الورقة البحثية، التي تحمل عنوان ENCORE، تقول "نعم، ولكن باستراتيجية محددة للغاية". فقد بنى الباحثون نظاماً جديداً يستخدم بيانات كاميرا الأحداث لمساعدة خوارزمية ضغط الفيديو القياسية، ولكن مع لمسة مختلفة: الفيديو النهائي يظل فيديو عادياً. لا يتم إرسال بيانات الأحداث إلى المشاهد أبداً؛ بل تُستخدم فقط خلف الكواليس لإصلاح "لعبة التخمين" الخاصة بالحركة.

وجد المؤلفون أن مجرد دمج نوعي البيانات معاً (مثل صب بيانات الأحداث داخل ملف الفيديو) يجعل الأمور أسوأ في الواقع. الأمر يشبه محاولة قراءة كتاب بينما يصرخ شخص ما بأرقام عشوائية في أذنك؛ فالضجيج الإضافي سيشتت تركيزك فقط. بدلاً من ذلك، أنشأوا نظام فلترة ذكياً يتكون من ثلاث خطوات متميزة لجعل بيانات الأحداث مفيدة:

المترجم (CMR): أولاً، يقوم النظام بفصل الحركة "المنطقية" التي تراها كلتا الكاميرتين عن "المعلومات الخاصة" التي لا تراها إلا كاميرا الأحداث. فهو يدرك أنه في بعض الأحيان تتفق الكاميرتان على اتجاه الكرة، ولكن في أحيان أخرى، ترصد كاميرا الأحداث غبشاً فاتته الكاميرا العادية.
المحرر (SERIC): بعد ذلك، يعمل كأنه محرر صارم. ينظر إلى "صرخات" كاميرا الأحداث ويتساءل: "هل هذه معلومة جديدة، أم أنها مجرد ضجيج؟". إذا كانت كاميرا الأحداث تصرخ بشأن شيء استطاعت الكاميرا العادية فهمه تماماً، يقوم المحرر بإسكاتها. أما إذا رصدت كاميرا الأحداث حركة سريعة تعجز الكاميرا العادية عن رؤيتها، فإن المحرر يسلط الضوء عليها.
شرطي المرور (EAR): أخيراً، يقرر نظام توجيه مسار المعلومات بالضبط أين وكيف يتم استخدام هذه المعلومة الجديدة. إذا كانت الكاميرا العادية تقوم بعمل رائع في تتبع شجرة تتحرك ببطء، يخبر شرطي المرور بيانات الأحداث بأن تظل هادئة. ولكن إذا مرت سيارة مسرعة وأصابت الكاميرا العادية الحيرة، يفتح شرطي المرور البوابة ويسمح لبيانات الأحداث بتوجيه عملية التصحيح.

النتائج مبهرة. فعندما اختبروا هذا النظام على ثلاث مجموعات بيانات تتضمن حركة سريعة وإضاءة صعبة، نجح النظام باستمرار في توفير الكثير من البيانات مع الحفاظ على جودة الفيديو عالية. وفي مجموعة اختبار محددة تسمى BS-ERGB، تمكن النظام من تقليل حجم الملف بنسبة 20.80% (مقاسة بوفورات معدل BD-RGB PSNR) وبنسبة 22.14% (مقاسة بمعدل BD-MS-SSIM-RGB) مقارنة بأفضل طريقة قياسية، دون فقدان أي جودة للصورة. وحتى في مجموعات البيانات الأخرى ذات المستشعرات المختلفة واللقطات عالية السرعة، أظهر النظام تحسينات واضحة.

تجادل الورقة صراحة ضد فكرة دمج كل البيانات معاً أو محاولة إرسال بيانات الأحداث جنباً إلى جنب مع الفيديو. لقد أظهروا أن القيام بذلك يؤدي إلى إدخال الضجيج ويضر بالأداء في الواقع. بدلاً من ذلك، أثبتوا أن استخدام الأحداث حصرياً كـ "مساعد" لتنقيح تخمين الحركة للفيديو الرئيسي هو الاستراتيجية الرابحة. وبينما يتطلب النظام قدرة حوسبة أكبر قليلاً (حوالي 7.3% من العمليات الحسابية لكل إطار)، فإن المقايضة تستحق العناء مقابل التوفير الهائل في نقل البيانات. باختصار، يعلمنا نظام ENCORE أننا أحياناً، لكي نرى المستقبل بوضوح، لا نحتاج إلى المزيد من الصور؛ بل نحتاج فقط إلى الإنصات للأشياء التي تتغير.

ملخص تقني: ENCORE – تحسين الحركة التكميلية المعتمد على الأحداث لضغط الفيديو المتعلم

1. تعريف المشكلة

يعتمد ضغط الفيديو المتعلم (LVC) بشكل كبير على النمذجة الزمنية الدقيقة لاستغلال التكرار بين الإطارات المتجاورة. ومع ذلك، فإن برامج الترميز الحالية تستنتج الحركة فقط من إطارات RGB المأخوذة بنبضات منفصلة. ويصبح هذا النهج غير موثوق به في السيناريوهات التي تتضمن حركة سريعة، أو ضبابية الحركة، أو الاحتجاب، أو الأنسجة الضعيفة، أو الإضاءة المنخفضة، أو التغيرات المفاجئة في السطوع. تؤدي النمذجة الزمنية غير الدقيقة إلى تدهور جودة التنبؤ، وزيادة عدم اليقين في تمثيلات الحركة والمتبقيات، مما يؤدي في النهاية إلى رفع معدلات البت (bitrates).

بينما يوجد ضغط متعدد الوسائط، فإن معظم الطرق إما تشفر عدة وسائط بشكل مشترك (مثل RGB-D، أو الاستريو) أو تستخدم وسائط مساعدة للتوجيه الدلالي (مثل النص إلى الصورة). هناك نقص في الطرق التي تستخدم تدفقاً زمنياً مساعداً لتحديد دقة تقدير الحركة خصيصاً لضغط فيديو RGB دون إعادة بناء الإشارة المساعدة نفسها. توفر كاميرات الأحداث (Event cameras)، التي تلتقط بشكل غير متزامن تغيرات الكثافة بدقة زمنية عالية ونطاق ديناميكي واسع، أدلة تكميلية لإطارات RGB فيما يتعلق بالديناميكيات بين الإطارات. ومع ذلك، فإن الدمج الساذج لبيانات الأحداث غالباً ما يؤدي إلى إدخال الضوضاء والتكرار، ويفشل في تحسين أداء الضغط.

2. المنهجية

يقترح المؤلفون ENCORE (تحسين الحركة التكميلية المعتمد على الأحداث)، وهو إطار عمل يدمج تدفقات الأحداث كوسيط مساعد لتحسين تقدير الحركة ضمن مسار قياسي لضغط الفيديو المتعلم. يحتفظ النظام بـ RGB كهدف وحيد للترميز وإعادة البناء، مستخدماً الأحداث فقط لمساعدة نمذجة الحركة في المشفر.

يعتمد الإطار على هيكل HyTIP ويقوم بإدراج ثلاث وحدات متخصصة في واجهة تقدير الحركة في جانب المشفر:

أ. التمثيل الحركي التكميلي (CMR)

تقوم وحدة CMR بتفكيك ميزات RGB والأحداث المتوافقة إلى ثلاثة مكونات متميزة لمنع تخفيف الإشارات التكميلية:

الحركة المشتركة ( $F^c_t$ ): الهياكل المدعومة من كلا الوسيطين (مثل أنماط الإزاحة المهيمنة).
حركة خاصة بـ RGB ( $F^{r,s}_t$ ): المعلومات الفريدة للمظهر الكثيف لـ RGB.
حركة خاصة بالأحداث ( $F^{e,s}_t$ ): الديناميكيات الفريدة لتدفق الأحداث (مثل التحولات السريعة في السطوع).

يتم فرض هذا التفكيك عبر خسارة إعادة البناء (للحفاظ على المعلومات الأصلية) وخسارة الفصل (لضمان التعامد بين الفروع)، مما يمنع الفرع المشترك من تكرار المعلومات الخاصة بكل وسيط.

ب. المعايرة القائمة على طاقة المساحة والتكرار (SERIC)

ليست كل استجابات الأحداث مفيدة؛ فبعضها ضوضاء، أو مكرر مع RGB، أو ضعيف. تحدد SERIC وتعاير أكثر أدلة الأحداث قيمة:

خريطة النشاط ( $E_t$ ): تقيس الطاقة المحلية (المربع لدرجة المقدار) لميزة الأحداث لتحديد المناطق النشطة.
خريطة الجدة ( $N_t$ ): تحسب الفرق بين ميزة الأحداث وميزة RGB (المسقطة في مساحة الأحداث) لتحديد الأدلة غير المفسرة بواسطة RGB.
تقدير المنفعة: تقوم دالة قابلة للتعلم بدمج $E_t$ و $N_t$ لإنشاء خريطة منفعة ( $U_t$ ). تعمل هذه الخريطة على كبح الاستجابات الضعيفة أو المكررة مع الاحتفاظ بالمناطق التي توفر فيها الأحداث أدلة ديناميكية جديدة وعالية الطاقة.
توقع التصحيح: يتم دمج ميزة الأحداث المعايرة مع الحركة المشتركة للتنبؤ بتصحيح تدفق مرشح ( $\Delta v_t$ ).

ج. التوجيه الواعي بالطاقة (EAR)

تحدد المرحلة النهائية أين وبأي قوة يجب أن يقوم تصحيح المرشح بتحسين تدفق RGB الأولي.

تأخذ شبكة التوجيه النشاط المحلي، والجدة، ومقدار تدفق RGB الأولي، ومقدار التصحيح كمدخلات.
تنتج خريطة توجيه مكانية ( $G_t \in [0, 1]$ ) تعمل كبوابة.
التدفق المحسن: يتم حساب متجه الحركة النهائي كـ $v^{evt}_t = v^r_t + G_t \odot \Delta v_t$ .
تضمن هذه الآلية أنه في المناطق التي يكون فيها تدفق RGB موثوقاً بالفعل، يتم كبح التصحيح (يقترب من الصفر)، مما يمنع الاضطرابات غير الضرورية. وفي المناطق ذات الديناميكيات التكميلية القوية، يتم تطبيق التصحيح.

د. الأمثلة (Optimization)

يتم تدريب النظام من البداية إلى النهاية لتقليل تكلفة المعدل والتشويه ( $L_{RD}$ ) لفيديو RGB المعاد بناؤه. تُستخدم خسائر مساعدة أثناء التدريب لتوجيه التفكك والمحاذاة ولكن يتم التخلص منها عند الاستنتاج:

خسائر إعادة البناء ( $L_r, L_s$ ): تفرض جودة تفكيك CMR.
خسارة محاذاة الحركة ( $L_m$ ): تقوم بتقطير إزاحة RGB الموثوقة إلى فرع الأحداث باستخدام قناع موثوقية مشتق من الخطأ الضوئي.
خسارة الالتفاف (Warping Loss - $L_w$ ): تشرف على التدفق المحسن عن طريق تقليل خطأ الالتفاف للإطار السابق.

3. المساهمات الرئيسية

يدعي البحث ثلاث مساهمات رئيسية:

أول تطبيق: حسب علم المؤلفين، يعد هذا أول عمل يستخدم بيانات الأحداث كوسيط مساعد خصيصاً لضغط فيديو RGB، مما يحسن التنبؤ الزمني مع إبقاء RGB كهدف حصري للترميز.
إطار تحسين تدريجي: تطوير بنية مبتكرة (CMR, SERIC, EAR) تفصل صراحةً بين الحركة المشتركة والخاصة بالوسيط، وتحدد أدلة الأحداث النشطة غير المفسرة بواسطة RGB، وتوجه تصحيح التدفق مكانياً.
تقييم شامل: تجارب واسعة عبر ثلاثة مجموعات بيانات RGB-event (BS-ERGB, HQ-EVFI, CED) وإعدادين لمجموعة الصور (GOP)، مما يظهر مكاسب ترميز متسقة مع زيادة طفيفة في التعقيد الحسابي (زيادة بنسبة 7.3% في GFLOPs لكل إطار P).

4. النتائج التجريبية

قيم المؤلفون ENCORE مقابل خط الأساس HyTIP (RGB فقط) ونهج دمج RGB+Event الساذج.

مجموعات البيانات: BS-ERGB (الأساسية)، HQ-EVFI (معدل إطارات مرتفع)، و CED (مستشعر مختلف).
GOP قصير (GOP=8): في BS-ERGB، حقق ENCORE توفيراً في معدل BD-rate لـ PSNR-RGB بنسبة 19.31% وتوفيراً في MS-SSIM-RGB بنسبة 16.73%. أدى نهج الدمج الساذج إلى أداء أسوأ من خط الأساس، مما يسلط الضوء على ضرورة وحدات التحسين المقترحة.
GOP طويل (GOP=32): في BS-ERGB، حقق ENCORE ما يصل إلى 20.80% لـ PSNR-RGB و 22.14% لـ MS-SSIM-RGB في توفير معدل BD-rate.
التعميم: لوحظت مكاسب متسقة في HQ-EVFI و CED، مما يدل على المتانة عبر ظروف الالتقاط وأنواع المستشعرات المختلفة.
التعقيد: يضيف الإطار زيادة قدرها 7.3% فقط في إجمالي GFLOPs لكل إطار P مقارنة بالهيكل الأساسي.

5. الأهمية والادعاءات

يضع البحث ENCORE كحل للقيود المفروضة على النمذجة الزمنية المعتمدة على RGB فقط في سيناريوهات ضغط الفيديو الصعبة. تكمن أهميته في:

الكفاءة: يثبت أنه يمكن للمستشعرات المساعدة أن تقلل معدل البت بشكل كبير دون عبء إعادة بناء الإشارة المساعدة أو الترميز المشترك لعدة وسائط.
المتانة: من خلال معايرة وتوجيه أدلة الأحداث صراحةً، يتجنب المنهج عيوب دمج الميزات الساذج، ويتعامل بفعالية مع الضوضاء والتكرار المتأصل في تدفقات الأحداث.
العملية: يتكامل الإطار بسلاسة مع مسارات الضغط المتعلم الحالية (تحديداً HyTIP) مع تغييرات معمارية طفيفة وتكاليف حسابية دنيا، مما يجعله مرشحاً قابلاً للتطبيق لمعايير ضغط الفيديو المستقبلية حيث قد تتوفر كاميرات الأحداث.

يظل المؤلفون متواضعين، مشيرين إلى أنه بينما النتائج متسقة وهامة، فإن الطريقة مصممة خصيصاً للسيناريوهات التي تكون فيها بيانات الأحداث متزامنة ومتاحة عند المشفر، ويتم التخلص من الرأس المساعد عند الاستنتاج.