💻 computer science

TeCoNeRV: Leveraging Temporal Coherence for Compressible Neural Representations for Videos

يعالج TeCoNeRV قيود القابلية للتوسع والكفاءة في ضغط الفيديو القائم على الشبكات الفائقة (hypernetwork) من خلال تقديم إطار عمل للتنبؤ بالأوزان مفكك مكانياً وزمانياً، ومخطط لتخزين المتبقيات، وتنظيم التماسك الزمني، محققاً بذلك تفوقاً في نسبة PSNR، ومعدلات بت أقل، وسرعات ترميز أسرع عبر دقات متعددة مقارنة بالطرق الحالية.

المؤلفون الأصليون: Namitha Padmanabhan, Matthew Gwilliam, Abhinav Shrivastava

نُشر 2026-02-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Namitha Padmanabhan, Matthew Gwilliam, Abhinav Shrivastava

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد إرسال فيلم بدقة 4K إلى صديقك، لكن اتصال الإنترنت لديك بطيء. أنت بحاجة إلى تقليص حجم الملف دون جعل الفيلم يبدو ككتلة ضبابية مشوشة.

لعقود من الزمن، استخدمنا "الضغط القائم على الكتل" (مثل ملفات ZIP للفيديو). ولكن مؤخرًا، اكتشف العلماء طريقة جديدة: التمثيلات العصبية الضمنية (Implicit Neural Representations - INRs).

فكر في الـ INR ليس كملف مليء بالبكسلات، بل كـ وصفة مخصصة وصغيرة للغاية. بدلًا من تخزين صورة قطة، أنت تقوم بتخزين التعليمات (شبكة عصبية) التي يمكنها "رسم" القطة من الصفر كلما احتجت إليها. هذه الطريقة فعالة للغاية لأن الوصفة صغيرة جدًا مقارنة بالصورة.

ومع ذلك، هناك عقبة: مشكلة "فيديو واحد، طباخ واحد".
في الطرق السابقة، إذا أردت ضغط 100 فيديو مختلف، كان عليك تدريب 100 "طباخ" مختلف (شبكات عصبية) لتعلم الوصفة الخاصة بكل فيديو. استغرق ذلك وقتًا طويلاً (ترميز بطيء) وتطلب "مطبخًا" ضخمًا (ذاكرة هائلة) للتعامل مع فيديوهات عالية الدقة.

إليك TeCoNeRV. لقد بنى مؤلفو هذه الورقة البحثية نظامًا يحل هذه المشكلات باستخدام ثلاث حيل ذكية. إليك كيف فعلوا ذلك، مشروحًا عبر تشبيهات من الحياة اليومية:

1. استراتيجية "قطع الليغو" (Patch-Tubelets)

المشكلة: محاولة التنبؤ بوصفة إطار كامل لفيلم بدقة 1080p دفعة واحدة تشبه محاولة خبز كعكة بطول 3 أمتار في فرن صغير. هذا يؤدي إلى انهيار النظام (نفاد الذاكرة).

حل TeCoNeRV: بدلًا من خبز الكعكة بأكملها في وقت واحد، قاموا بتقسيم الفيديو إلى قطع ليغو صغيرة يمكن التحكم بها (تسمى "patch tubelets").

تخيل أن الفيديو عبارة عن جدار ضخم. بدلًا من محاولة التنبؤ بالنمط للجدار بأكمله، ينظر الذكاء الاصطناعي فقط إلى مربع واحد صغير بمساحة 320×160 بكسل في كل مرة.
يتعلم الوصفة لهذا المربع المحدد، ثم ينتقل إلى المربع التالي.
السحر: نظرًا لأن الذكاء الاصطناعي لا يضطر للتفكير إلا في مربع صغير، فلا يهم ما إذا كان الفيديو النهائي بدقة 480p أو 720p أو 4K. "الفرن" يظل بنفس الحجم. يمكنك تدريب الذكاء الاصطناعي على فيديو بدقة 480p، ويمكنه فورًا خبز كعكة بدقة 1080p بمجرد استخدام المزيد من قطع الليغو.

2. دفتر "الفروقات" (Residual Storage)

المشكلة: في الفيديو، يبدو الإطار عند الثانية 1:00:01 مشابهًا تمامًا للإطار عند الثانية 1:00:00. إذا كتبت الوصفة الكاملة لكل ثانية، فأنت تضيع مساحة هائلة في تكرار نفس التعليمات.

حل TeCoNeRV: يستخدمون دفتر فروقات (Delta Notebook).

الخطوة 1: يكتبون الوصفة الكاملة للثانية الأولى من الفيديو.
الخطوة 2: بالنسبة للثانية التالية، لا يكتبون وصفة جديدة. بل يكتبون فقط ملاحظة صغيرة تقول: "غير لون السماء قليًا"، أو "حرك السيارة بمقدار بكسلين إلى اليمين".
الخطوة 3: يستمرون في القيام بذلك، حيث يخزنون فقط الاختلافات (residuals) بين اللحظة الحالية واللحظة السابقة.
وبما أن الفيديوهات تتغير ببطء، فإن هذه "ملاحظات الاختلاف" تكون صغيرة جدًا. وهذا يقلص حجم الملف بشكل كبير.

3. قاعدة "الجاز الناعم" (Temporal Coherence)

المشكلة: حتى مع وجود "دفتر الفروقات"، كان الذكاء الاصطناعي أحيانًا يصبح مضطربًا. في ثانية ما، قد تقول الوصفة "ارسم سماءً زرقاء"، وفي الثانية التالية، قد تقول فجأة "ارسم سماءً أرجوانية" لمجرد أن الرياضيات أصبحت غريبة نوعًا ما، حتى لو لم يتغير لون الفيديو فعليًا. هذا يخلق "ضجيجًا" في الملف.

حل TeCoNeRV: أضافوا قاعدة تسمى تنظيم التماسك الزمني (Temporal Coherence Regularization).

فكر في هذا كتدريب للذكاء الاصطناعي على عزف موسيقى الجاز الناعمة.
يخبرون الذكاء الاصطناعي: "مهلًا، إذا كان الفيديو يتحرك بسلاسة، فيجب أن تتغير وصفتك الداخلية (الأوزان) بسلاسة أيضًا. لا تقفز فجأة!"
من خلال إجبار الذكاء الاصطناعي على إجراء تغييرات لطيفة وتدريجية لوصفته بدلًا من القفزات المفاجئة، تصبح "ملاحظات الاختلاف" (من الحيلة رقم 2) أصغر وأسهل في الضغط. الأمر يشبه تنعيم طريق وعر حتى تتمكن السيارة (البيانات) من القيادة بشكل أسرع واستهلاك وقود أقل.

النتيجة؟

من خلال الجمع بين هذه الحيل الثلاث، يعد TeCoNeRV نقطة تحول:

أسرع: يقوم بترميز الفيديوهات بسرعة أكبر بمعدل 1.5 إلى 3 مرات مقارنة بالطرق السابقة.
أصغر: يقلل حجم الملف (bitrate) بنسبة تقارب 36%.
أوضح: جودة الفيديو في الواقع أفضل (PSer higher PSNR) من المنافسين، خاصة عند الدقات العالية مثل 720p و1080p.
قابل للتوسع: إنه أول طريقة يمكنها التعامل مع فيديوهات عالية الدقة دون الحاجة إلى سوبر كمبيوتر للتدريب.

باختًا: يتوقف TeCoNeRV عن محاولة حفظ الفيلم بأكمله دفعة واحدة. بدلًا من ذلك، يتعلم كيفية رسم الفيلم بضربات فرشاة صغيرة، ناعمة، ومتصلة، ويكتب فقط ما تغير منذ الضربة الأخيرة. وهذا يجعله الطريقة الأكثر كفاءة حتى الآن لتقليص حجم الفيديو عالي الجودة باستخدام الذكاء الاصطناعي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "TeCoNeRV: الاستفادة من التماسك الزمني للتمثيلات العصبية القابلة للضغط للفيديوهات."

1. بيان المشكلة

أظهرت التمثيلات العصبية الضمنية (INRs) وعوداً في ضغط الفيديو عبر تمثيل الفيديوهات كشبكات عصبية مدمجة تقوم برسم خرائط للإحداثيات إلى قيم البكسل. ومع ذلك، تواجه الأساليب الحالية ثلاث عقبات حرجة عند التوسع لتشمل فيديوهات عالية الدبقة:

كفاءة الترميز: تتطلب الـ INRs التقليدية عملية "فرط ملاءمة" (overfitting) لشبكة منفصلة لكل فيديو، مما يجعل عملية الترميز بطيئة للغاية وغير عملية للتطبيقات الواقعية.
قابلية توسع الذاكرة: تعاني أساليب الشبكات الفائقة (Hypernetworks) -التي تتنبأ بأوزان الـ INR لفيديوهات غير مرئية- من متطلبات ذاكرة تتناسب تربيعياً مع دقة الفيديو. وهذا يجعل التدريب والاستدلال عند دقات مثل 720p أو 1080p أمراً غير ممكن بسبب قيود ذاكرة وحدة معالجة الرسومات (GPU).
عدم كفاءة الضغط: تنتج معظم أساليب الشبكات الفائقة السابقة أحجاماً مضغوطة كبيرة وجودة منخفضة عند الدقات العالية. علاوة على ذلك، تفتقر هذه الأساليب إلى آليات لضمان تطور أوزان الشبكة بسلاسة بمرور الوقت، مما يؤدي إلى تغيرات كبيرة وغير قابلة للضغط في الأوزان بين الإطارات المتتالية حتى عندما تكون التغيرات البصرية طفيفة.

2. المنهجية: TeCoNeRV

يقترح المؤلفون إطار عمل TeCoNeRV، وهو مصمم للتغلب على حواجز التوسع والكفاءة هذه من خلال ثلاثة ابتكارات تقنية أساسية:

أ. تفكيك الرقعة-الأنبوبية (التوسع المكاني والزماني)

لمعالجة مشكلة التوسع التربيعي للذاكرة، يقوم TeCoNeRV بتفكيك مهمة ضغط الفيديو:

الآلية: بدلاً من التنبؤ بأوزان إطار فيديو كامل دفعة واحدة، تقوم الطريقة بتقسيم كل مقطع فيديو إلى أحجام أصغر مكانية-زمانية تسمى "الرقع الأنبوبية" (patch tubelets) (على سبيل المثال: $N \times 3 \times H_p \times W_p$ ).
الفائدة: تتنبأ الشبكة الفائقة بالأوزان لهذه الرقع الثابتة الحجم بدلاً من الإطارات الكاملة. هذا يفصل متطلبات الذاكرة عن دقة الفيديو الكاملة، مما يسمح بتدريب النموذج على دقات منخفضة (مثل 480p) وإجراء الاستدلال على دقات أعلى بكثير (مثل 1080p) ببساطة عن طريق زيادة عدد الرقع.
التنفيذ: عند الاستدلال، يتنبأ النموذج بالأوزان لكل موضع رقعة ويعيد تجميعها. وللتعامل مع التقسيمات غير الصحيحة لأحجام الإطارات، يستخدم المؤلفون رقعًا ذات خطوة (stride) مع تداخل وقص الحواف لضمان الانتقالات السلسة.

ب. الترميز المتبقي (ضغط تدفق البيانات)

لتقليل حجم تدفق البيانات المضغوط، يستغل المؤلفون التكرار الزماني بين المقاطع المتتالية:

الآلية: بدلاً من تخزين المعلمات الفريدة الكاملة ( $\theta_{uniq}$ ) لكل مقطع، يقوم النظام بتخزين المعلمات الكاملة فقط لـ المقطع الأول. أما بالنسبة لجميع المقاطع اللاحقة، فيقوم بتخزين المتبقيات المدمجة (الاختلافات) فقط بالنسبة للمقطع السابق.
فك التشفير: يقوم فك التشفير بإعادة بناء الأوزان الكاملة للمقطع عن طريق إضافة المتبقيات تراكمياً إلى المعلمات الأساسية.
النتيجة: يقلل هذا بشكل كبير من حجم تدفق البيانات، خاصة في الفيديوهات ذات الحركة السلسة حيث تكون انتقالات الأوزان صغيرة.

ج. تنظيم التماسك الزماني

لاحظ المؤلفون أن تدريب الشبكات الفائقة القياسي غالباً ما يؤدي إلى انتقالات أوزان مضطربة بين المقاطع، حتى عندما يتغير المحتوى البصري بسلاسة.

الآلية: قدموا مصطلح تنظيم التماسك الزماني ( $L_{temp}$ ) الذي يتم تطبيقه خلال مرحلة الضبط الدقيق (fine-tuning). تقوم دالة الخسارة هذه بمعاقبة معيار $L_1$ للاختلافات بين مساحات الأوزان للمقاطع المتتالية ( $|\theta_i - \theta_{i+1}|$ ).
الأثر: هذا يجبر الشبكة الفائقة على إنتاج أوزان تتطور بسلاسة وتزامن مع محتوى الفيديو.
النتيجة: يؤدي هذا إلى إحداث تخلخل (sparsity) في المتبقيات الوزنية، مما يجعلها أصغر وأكثر قابلية للضغط. وتعمل قوة هذا التنظيم ( $\lambda_{temp}$ ) كآلية تحكم في المعدل (rate control) قابلة للضبط، مما يسمح للمستخدمين بالمفاضلة بين معدل البت وجودة إعادة البناء.

3. المساهمات الرئيسية

شبكات فائقة قابلة للتوسع: يعد TeCoNeRV أول نهج قائم على الشبكات الفائقة ينجح في التوسع لضغط الفيديو عالي الدقة (480p و720p و1080p) من خلال تقديم استراتيجية تفكيك الرقع-الأنبوبية، متجاوزاً اختناقات الذاكرة التي واجهت الأساليب السابقة.
تدريب مستقل عن الدقة: تسمح بنية النموذج بالاستدلال على فيديوهات عالية الدقة باستخدام نماذج تم تدريبها على بيانات منخفضة الدقة، وهي قدرة كانت مستحيلة سابقاً للشبكات الفائقة بسبب قيود الذاكرة.
تخزين متبقي فعال: نظام ترميز تفاضلي يخزن فقط فروق الأوزان بين المقاطع، مما يقلل حجم تدفق البيانات بشكل جذري.
إطار التماسك الزماني: تقنية تنظيم تعمل على مواءمة تطور مساحة الأوزان مع محتوى الفيديو، مما يقلل من مقدار وتباين المتبقيات ويسمح بمزيد من الضغط.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات قياسية تشمل UVG و HEVC (الفئات B، C، E) و MCL-JCV بدقات 480p و720p و1080p.

مكاسب الأداء:
- على مجموعة بيانات UVG عند دقة 480p، حقق TeCoNeRV تحسناً قدره 2.47 dB PSNR مقارنة بالنموذج المرجعي (NeRV-Enc*) مع تقليل بنسبة 36% في معدل البت.
- عند دقة 720p، حقق مكسباً قدره 5.35 dB PSNR فوق النموذج المرجعي.
- تفوق باستمرار على NeRV-Enc* و NeRV و HiNeRV من حيث PSNR و SSIM ومعدل البت عبر جميع الدقات المختبرة.
السرعة:
- يوفر TeCoNeRV سرعات ترميز أسرع بمقدار 1.5 إلى 3 مرات مقارنة بالنموذج المرجعي NeRV-Enc*، مع الحفاظ على سرعات فك تشفير مماثلة.
كفاءة الذاكرة:
- بينما يتطلب NeRV-Enc* حوالي 32 جيجابايت من ذاكرة GPU للتدريب على دقة 720p (مما يجعل 1080p غير ممكن)، يحافظ TeCoNeRV على استخدام ذاكرة ثابت تقريباً (~2.1–2.9 جيجابايت) بغض النظر عن الدقة، مما يتيح التدريب على أجهزة استهلاكية.
الجودة:
- تظهر المقارنات البصرية أن TeCoNeRV يحافظ على التفاصيل الهيكلية وحدود الأجسام بشكل أفضل بكثير من النماذج المرجعية، والتي غالباً ما تظهر ضبابية أو عيوباً.

5. الأهمية

يمثل TeCoNeRV قفزة نوعية في الضغط العصبي للفيديو. من خلال حل مشكلة توسع الذاكرة الجوهرية للشبكات الفائقة، فإنه يجعل الضغط العصائي عالي الدقة أمراً واقعياً. إن الجمع بين تفكيك الرقع-الأنبوبية وتنظيم التماسك الزماني يضع نموذجاً جديداً حيث:

يتم فصل التدريب والاستدلال عن الدقة، مما يسمح بمرونة في النشر.
الترميز سريع (مقارن بالترميزات التقليدية) بينما يبقى فك التشفير بسيطاً (تغذية أمامية/feed-forward).
كفاءة الضغط تتحسن من خلال النمذجة الصريحة لسلاسة التمثيل العصبي لمساحة الأوزان بمرور الوقت.

يعمل هذا العمل على جسر الفجوة بين الوعد النظري للتمثيلات العصبية الضمنية (INRs) والمتطلبات العملية لبث الفيديو عالي الدقة، مما يمهد الطريق لأبحاث مستقبلية في ضغط الوسائط القائم على الشبكات العصبية والقابل للتوسع.