Towards Adaptive Super-Resolution and Quality Assessment via Test-Time Adaptation

تخيل أنك تحاول مشاهدة فيلمك المفضل على هاتفك أثناء ركوب حافلة مهتزة. الشاشة صغيرة، والاتصال ضعيف، والفيديو يبدو مشوشاً، وضبابياً، ومليئاً بالضجيج الرقمي الغريب. هذا هو الواقع اليومي لمليارات الأشخاص الذين يشاهدون الفيديوهات عبر الإنترنت، أو يحضرون دروساً عبر الإنترنت، أو ينضمون إلى مكالمات فيديو. في عالم علوم الحاسوب، هناك مجال يسمى "الدقة الفائقة" (Super-Resolution) يعمل مثل خدعة سحرية رقمية. مهمته هي أخذ صورة صغيرة، ضبابية، ومنخفضة الجودة، وتخمين كيف تبدو التفاصيل المفقودة، وتحويلها إلى صورة واضحة وعالية الدقة.

لفترة طويلة، كانت هذه الخدع السحرية الرقمية تعمل بشكل رائع في المختبر، حيث كان بإمكان العلماء تغذيتها بأمثلة مثالية من الصور الضبابية والواضحة جنباً إلى جنب. لكن في العالم الحقيقي، الأمور فوضوية. الفيديوهات تتعرض للتشوه بسبب ضغط غريب، أو ضبابية الحركة، أو أنواع مختلفة من الكاميرات بطرق لم ترها الحواسيب من قبل. الأمر يشبه تعليم طاهٍ الطبخ فقط باستخدام مكونات طازجة ومثالية، ثم إرساله إلى موقع تخييم حيث لا يملك سوى فاصوليا معلبة ومياه طينية. إنهم بحاجة إلى طريقة جديدة للتكيف بسرعة. وهنا يأتي دور "التكيف في وقت الاختبار" (Test-Time Adaptation)—وهي فكرة ذكية حيث يتعلم الكمبيوتر ويعدل "وصفته" أثناء طبخ الوجبة المحددة التي أمامه، بدلاً من الانتظار لحصة دراسية جديدة لتعليمه لاحقاً.

هذه الورقة البحثية، التي كتبها أجيت كومار فيرما، تستكشف كيف يمكننا جعل حواسيب تحسين الفيديو هذه أكثر ذكاءً، وقوة، وقدرة على التكيف. يقترح المؤلف نظاماً لا يكتفي بتخمين التفاصيل فحسب، بل يتعلم أيضاً تقييم عمله أثناء القيام به، مما يضمن أن النتيجة النهائية تبدو جيدة للعين البشرية، وليس فقط مثالية من الناحية الرياضية.

المشكلة: عندما تتغير القواعد

معظم نماذج الدقة الفائقة للفيديو اليوم تشبه الطلاب الذين حفظوا الكتاب المدرسي تماماً ولكنهم يفشلون عندما يطرح المعلم سؤالاً ليس موجوداً في الكتاب. لقد تم تدريبهم على بيانات نظيفة ومنضبطة حيث يكون "الضباب" دائماً بنفس الشكل. لكن الحياة الواقعية فوضوية. قد يكون الفيديو ضبابياً بسبب يد مهتزة، أو محبباً بسبب اتصال إنترنت سيء، أو مشوهاً بسبب ضغط شديد. عندما تحاول هذه النماذج إصلاح مثل هذه الفيديوهات، فإنها غالباً ما تجعل الأمور أسوأ: فهي تقوم بتنعيم التفاصيل المهمة مثل النصوص حتى تصبح غير قابلة للقراءة، أو تخترع أنسجة مزيفة تبدو كأنها ضجيج.

علاً من ذلك، فإن التحقق مما إذا كان الكمبيوتر قد قام بعمل جيد هو أمر صعب. عادةً، تحتاج إلى نسخة مثالية وعالية الجودة من الفيديو للمقارنة بها. لكن في العالم الحقيقي، غالباً لا نملك تلك النسخة المثالية؛ لدينا فقط الفيديو الفوضوي ونحتاج إلى تحسينه. تجادل الورقة بأننا بحاجة إلى نظام يمكنه التكيف مع هذه المشكلات غير المعروفة دون الحاجة إلى معلم (أو صورة مرجعية مثالية) يقف فوق كتفه.

الحل: نظام ثلاثي الأجزاء ذاتي التصحيح

يقدم المؤلف مشروع بحث دكتوراه يعالج هذا التحدي باستخدام ثلاث أدوات رئيسية، تتمحور جميعها حول فكرة "التكيف في وقت الاختبار" (TTA). فكر في TTA كمنح الكمبيوتر مرآة ومجموعة من التعليمات لإصلاح نفسه مباشرة قبل أن يعرض لك الصورة النهائية.

1. الناقد التقييمي الذاتي (RW-VSR-QA)
أولاً، يبني المؤلف "قاضي جودة" يمكنه التعلم فورياً. تخيل ناقد طعام اعتاد تذوق أطباق من مطعم معين؛ إذا أخذته فجأة إلى كشك طعام شارع بأسلوب طبخ مختلف تماماً، فقد لا يعرف بعد ما هو "الطعم الجيد". هذا النظام يكيف الناقد مع الأسلوب الجديد فوراً.
تظهر الورقة أنه من خلال تعديل جزء صغير جداً من عقل الكمبيوتر (تحديداً طبقات التطبيع/Normalization layers) أثناء النظر إلى فيديو الاختبار، يمكن للنظام أن يتعلم التنبؤ بكيفية تقييم البشر للجودة. يستخدم النظام "ألعاب تعلم" خاصة (تسمى خسارة التباين القائمة على الجودة وخسارة الترتيب الواعية بالجودة) لمعرفة أي الفيديوهات تبدو أفضل من غيرها دون الحاجة إلى بطاقة تسجيل مثالية.

• النتيجة: عندما استُخدم هذا الناقد ذاتي التكيف لتوجيه تحسين الفيديو، تحسنت درجات الجودة. على سبيل المثال، شهد نموذج يسمى SAMA قفزة بنسبة 7.24% في قدرته على ترتيب الفيديوهات بشكل صحيح. وهذا يعني أن النظام أصبح أفضل بكثير في معرفة ما يبدو جيداً، حتى عندما يكون الفيديو مشوهاً بشدة.

2. المتخصص في الحفاظ على النصوص (ScrVSR)
بعد ذلك، يركز المؤلف على نوع محدد وصعب للغاية من الفيديوهات: محتوى الشاشة. يتضمن هذا شرائح PowerPoint، أو أكواد برمجية على الشاشة، أو مكالمات فيديو حيث يشارك الأشخاص شاشات أجهزتهم. في هذه الفيديوهات، النص هو الملك. إذا جعل الكمبيوتر الحروف ضبابية، فإن الهدف من الفيديو يضيع.
ابتكر المؤلف نموذجاً جديداً يسمى ScrVSR (الدقة الفائقة لفيديو محتوى الشاشة). وعلى عكس النماذج الأخرى التي تحاول جعل كل شيء يبدو "جميلاً" أو "طبيعياً"، فإن هذا النموذج مهووس بالحفاظ على حدة الحروف والزوايا. يستخدم دالة خسارة "واعية بالنص"، وهي تشبه مصحح الأخطاء الإملائية للصورة؛ حيث يتحقق مما إذا كانت الحروف في الصورة المحسنة تطابق ما يجب أن تكون عليه.

• النتيجة: تم اختبار النموذج على فيديوهات بمستويات ضغط مختلفة (تقاس بـ "معامل التكميم" أو QP). عند مستوى ضغط متوسط (QP-22)، حقق ScrVSR قيمة PSNR بلغت 29.17 و SSIM بلغت 0.9568، متفوقاً على الطرق السابقة. والأكثر إثارة للإعجاب، أنه قلل "معدل خطأ الحروف" (عدد الحروف التي أخطأ فيها الكمبيوتر) إلى 0.2089، مقارنة بـ 0.2973 للطريقة التالية الأفضل. هذا يعني أن النص ظل قابلاً للقراءة حتى عندما كان الفيديو ضبابياً جداً. ويشير المؤلف إلى أن هذا النهج ساعدهم في الحصول على المركز الثاني (Rank-2) في تحدٍ عالمي كبير لرفع دقة فيديوهات المؤتمرات عبر الإنترنت.

3. الضبط الخاص بالمنطقة (SCISR-TTA)
أخيراً، أدرك المؤلف أن نهج "المقاس الواحد الذي يناسب الجميع" لا يعمل مع محتوى الشاشة. صورة وجه شخص تحتاج أن تبدو ناعمة وطبيعية، لكن النص بجانبها يحتاج أن يكون حاداً كالشفرة. إذا استخدمت نفس الإعدادات لكليهما، فإما ستحصل على نص ضبابي أو وجه مليء بالضجيج.
الحل هو SCISR-TTA، وهي عملية تكيف مكونة من خطوتين.

• الخطوة 1: يجد النظام مناطق النصوص ويكيف النموذج خصيصاً لجعل تلك الحروف حادة ودقيقة. بل إنه يستخدم "نموذج لغة صغيراً" للتحقق مما إذا كان النص الذي يراه منطقياً، ليعمل كعين ثانية.
• الخطوة 2: ينتقل النظام بعد ذلك إلى الأجزاء غير النصية (مثل الخلفيات أو الوجوه) ويكيف النموذج لإزالة الضجيج وآثار الضغط دون المساس بالتفاصيل.
• النتيجة: حقق هذا النهج المستهدف نتائج مذهلة. بالنسبة لنموذج يسمى ITSRN، انخفض معدل خطأ النص من 0.5762 إلى 0.5621 بعد التكيف، بينما ارتفعت درجات الجودة الإدراكية (مثل DFSS) من 46.7358 إلى 47.6527. تظهر الورقة أنه من خلال معاملة النصوص والصور بشكل مختلف، يمكن للنظام إنتاج فيديوهات مقروءة وجذبة بصرياً في آن واحد، وكل ذلك دون الحاجة إلى نسخة عالية الدقة من الفيديو للمقارنة بها.

ماذا يعني هذا وما هي الخطوة التالية؟

تخلص الورقة إلى أن هذه الأساليب التكيفية تجعل تحسين الفيديو أكثر قوة للاستخدام في العالم الحقيقي. من خلال السماح للكمبيوتر بتعديل نفسه وفقاً للفوضى المحددة في الفيديو الذي يعالجه، يمكننا الحصول على نتائج أفضل دون الحاجة إلى إعادة تدريب النظام بالكامل أو امتلاك بيانات مرجعية مثالية.

ومع ذلك، يعترف المؤلف بالقيود. الطرق الحالية تنظر في الغالب إلى إطار واحد في كل مرة. إنها لا تفهم تماماً كيف يتحرك الفيديو من ثانية إلى أخرى، مما قد يسبب أحياناً تأثير "الوميض" حيث تقفز الصورة ذهاباً وإياباً. يقترح المؤلف أن الخطوة الكبيرة التالية هي تعليم هذه الأنظمة فهم الوقت والحركة، لجعل الفيديو ليس حاداً فحسب، بل سلساً ومستقراً أيضاً.

باخت-اختصار، يمنح هذا البحث "حاسة ذاتية" للدقة الفائقة للفيديو. إنه يعلم الكمبيوتر كيف ينظر إلى فيديو فوضوي، ويدرك ما هو الخطأ فيه، ويصلحه بطريقة تحترم كلاً من العين البشرية وأهمية قراءة النصوص، كل ذلك أثناء التعلم أثناء العمل.