Breaking Annotation Barriers: Generalized Video Quality Assessment via Ranking-based Self-Supervision
تقترح هذه الورقة إطار عمل للتعلم الخاضع للإشراف الذاتي يستفيد من نموذج "التعلم من أجل الترتيب" واستراتيجية تحسين ذاتي تكرارية على مقاطع فيديو ويب واسعة النطاق غير مصنفة لتدريب نموذج عام لتقييم جودة الفيديو يحقق أداءً هو الأفضل في حالته وقدرة فائقة على التعميم خارج نطاق التوزيع دون الاعتماد على التوصيفات اليدوية كثيفة العمالة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة البحث "كسر حواجز التوسيم: تقييم جودة الفيديو المعمم عبر التعلم الذاتي القائم على التصنيف" باستخدام لغة بسيطة وتشبيهات إبداعية.
المشكلة الكبرى: عنق الزجاجة المتمثل في "القاضي البشري"
تخيل أنك تدير خدمة بث فيديو ضخمة. أنت بحاجة لمعرفة ما إذا كان الفيديو يبدو جيداً أم سيئاً قبل عرضه على الملايين من الناس. للقيال بذلك، تحتاج عادةً إلى فريق من الخبراء البشر لمشاهدة آلاف الفقدوهات وتقييمها.
المشكلة هي أن هذا الأمر بطيء، ومكلف، ومن المستحيل توسيع نطاقه. لا يمكنك توظيف عدد كافٍ من البشر لمشاهدة كل فيديو جديد، خاصة مع انفجار المحتوى على منصات مثل تيك توك ويوتيوب. علاوة على ذلك، فإن الخبراء البشر بارعون في الحكم على ما سبق لهم رؤيته، لكنهم غالباً ما يرتبكون عند مواجهة أنواع جديدة من الفيديوهات (مثل ألعاب الفيديو سريعة الحركة أو المحتوى المولد بالذكاء الاصطناي) التي لم يتم تدريبهم عليها.
الحل: تعليم الروبوت "لعب التنس"
بدلاً من أن تطلب من الكمبيوتر إعطاء درجة محددة للفيديو (مثل "7.5 من 10")، قرر الباحثون تعليم الكمبيوتر كيفية لعب تنس الفيديو.
في رياضة التنس، لا تحتاج إلى معرفة السرعة الدقيقة للكرة لتعرف من فاز بالنقطة؛ بل يكفي أن تعرف أي لاعب ضرب الكرة بشكل أفضل. وبالمثل، تعلم هذه الورقة البحثية الكمبيوتر أن ينظر إلى فيديوهين في كل مرة ويقرر ببساطة: "هل الفيديو (أ) أفضل من الفيديو (ب)، أم أن الفيديو (ب) أفضل؟"
يُسمى هذا التصنيف (Ranking). ومن الأسهل بكثير للكمبيوتر (وللبشر أيضاً) مقارنة شيئين بدلاً من تخصيص رقم مثالي لشيء واحد.
كيف بنوا بيانات التدريب (الـ "جيم" أو الصالة الرياضية)
لتعليم هذا الكمبيوتر، احتاجوا إلى "جيم" ضخم من مباريات التدريب. لكنهم لم يستطيعوا استخدام حكام بشر لتسمية كل مباراة. لذا، استخدموا حيلتين ذكيتين لإنشاء بيانات تدريب "تولد نفسها تلقائياً":
- حيلة "لجنة الحكام": أخذوا خمسة من نماذج جودة الفيديو الموجودة والمتطورة (التي تمثل "الأبطال" الحاليين) وطلبوا منهم مقارنة ملايين أزواج الفيديوهات. إذا اتفق الحكام الخمسة على أن الفيديو (أ) أفضل من الفيديو (ب)، فقد سجلوا تلك المقارنة كـ "فوز" للفيديو (أ). لقد دمجوا آراء هذه النماذج الخمسة لإنشاء "سوبر-حكم" موثوق للغاية.
- حيلة "الأضرار الاصطناعية": أخذوا فيديوهات نظيفة وتعمدوا "إفسادها" بطرق محددة (جعلها ضبابية، مظلمة، مشوشة، أو مضغوطة). وبما أنهم عرفوا بالضبط حجم الضرر الذي أحدثوه، فقد عرفوا يقيناً أن النسخة الأصلية أفضل من النسخة المعطوبة. أدى ذلك إلى إنشاء مكتبة ضخمة من المقارنات "الواضحة".
النتيجة: بنوا مجموعة بيانات تحتوي على 700,000 زوج من الفيديوهات. هذا يشبه مكتبة تحتوي على 700,000 مباراة تنس، تم تصنيفها تلقائياً دون أن يضطر إنسان واحد لمشاهدتها.
السر الخفي: حلقة "التحسين الذاتي"
هذا هو الجزء الأكثر إبداعاً في طريقتهم. عادةً، تقوم بتدريب الروبوت مرة واحدة ثم تتوقف. لكن هذا الفريق فعل شيئاً مختلفاً: لقد جعلوا الروبوت يصحح واجبه المنزلي بنفسه.
- الجولة الأولى: قاموا بتدريب نموذج باستخدام الـ 700,000 زوج التي أنشأتها "لجنة الحكام".
- الجولة الثانية: بمجرد تدريب هذا النموذج، حولوه إلى "حكم جديد". طلبوا من هذا الروبوت الجديد إعادة تقييم بعض أزواج الفيديوهات. ولأن الروبوت قد تعلم من الجولة الأولى، فقد يتمكن من ملاحظة اختلافات دقيقة فاتت الحكام القدامى.
- الجولة الثالثة: قاموا بدمج التصنيفات القديمة مع التصنيفات الجديدة الأكثر ذكاءً، ثم دربوا نموذجاً أفضل.
الأمر يشبه طالباً يحل اختباراً تجريبياً، ثم يدرس الإجابات، ثم يعيد الاختبار ليحصل على درجة أعلى. من خلال تكرار حلقة "التحسين الذاتي" هذه، يصبح النموذج أكثر ذكاءً في رصد مشاكل الجودة، حتى تلك التي لم يسبق له رؤيتها.
النتائج: خبير شامل، وليس متخصصاً
معظم نماذج جودة الفيديو هي نماذح متخصصة: فهي رائعة في تقييم الأفلام لكنها سيئة في تقييم ألعاب الفيديو.
أما النموذج الذي بني في هذه الورقة فهو نموذج شامل (Generalist).
- قوة الـ Zero-Shot: عندما اختبروه على فيديوهات لم يسبق له رؤيتها (مثل الرياضات ذات معدل الإطارات العالي أو ألعاب الفيديو بدقة 4K)، كان أداؤه يضاهي أو يتفوق على النماذج المكلفة التي دربها البشر.
- النجاح في الـ "OOD": بلغة الورقة البحثية، "OOD" تعني "خارج التوزيع" (أي الأشياء الغريبة التي لم نتدرب عليها). لم يرتبك نموذجهم بسبب "الأشياء الغريبة"؛ بل تعامل معها بكل سهولة.
الملخص
فكر في هذه الورقة البحثية كأنها وصفة لتعليم الكمبيوتر كيفية الحكم على جودة الفيديو دون الحاجة لتوظيف بشري واحد لمشاهدة الفيديوهات.
- توقف عن طلب الدرجات؛ وابدأ في طلب المقارنات (الفيديو أ مقابل الفيديو ب).
- استخدم لجنة من الروبوتات الموجودة وفيديوهات معطوبة عمداً لإنشاء مكتبة تدريب ضخمة.
- اجعل الروبوت يصحح اختباراته التجريبية بنفسه ليصبح أكثر ذكاءً بمرور الوقت.
النتيجة هي نموذج لجودة الفيديو سهل التدريب، وقابل للتوسع بشكل لا نهائي، وجيد بشكل مذهل في الحكم على أي نوع من الفيديوهات، بدءاً من دروس الطبخ وصولاً إلى سباقات السيارات سريعة الحركة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.