Predicting total time to compress a video corpus using online inference systems

تخيل أنك تدير مكتبة رقمية ضخمة حيث يترك الناس باستمرار آلاف ملفات الفيديو ليتم تصغير حجمها من أجل البث. هذه العملية، التي تسمى "الضغط" (compression)، تشبه حزم حقيبة السفر: يتعين عليك طي بيانات الفيديو وضغطها لتشغل مساحة أقل، ولكن كلما كان طي الفيديو أصعب (بسبب كثرة الحركة السريعة أو الأنسجة المعقدة)، استغرق الأمر وقتاً أطول. في عالم الحوسبة السحابية، معرفة الوقت المستغرق بالضبط لهذه المهمة هو أمر بالغ الأهمية؛ فهو يساعد الشركات على تحديد مقدار الطاقة التي ستحتاجها، والأهم من ذلك، مقدار ما ستتقاضاه من عملائها. حالياً، تعمل معظم الأنظمة مثل طباخ معصوب العينين؛ فهي لا تخبرك بسعر الوجبة إلا بعد أن تنتهي من أكلها بالفعل. هذا يجعل وضع الميزانية كابوساً. لقد حاول العلماء التنبؤ بالوقت لكل مقطع فيديو على حدة، لكن هذا يشبه محاولة تخمين الوزن الإجمالي لشحنة كاملة من الطوب عن طريق وزن كل طوبة على حدة؛ فهذا بطيء، وتتراكم فيه الأخطاء. السؤال الكبير هو: هل يمكننا التنبؤ بالوقت الإجمالي لمجموعة الفيديوهات بأكملها قبل أن ننتهي من العمل حتى، وهل يمكننا أن نصبح أكثر ذكاءً في ذلك أثناء سير العمل؟

هذه الورقة البحثية، التي كتبها فريق من جامعة ترينيتي كوليدج دبلن، تتناول هذه المشكلة تحديداً. فبدلاً من تخمين الوقت لكل مقطع فيديو على حد

منفرد، قاموا ببناء نوع جديد من "الآلات الحاسبة الذكية" التي تتنبأ بالوقت الإجمالي اللازم لضغط مجموعة كاملة (أو "متن" - corpus) من الفيديوهات. وقد وجدوا أن النظر إلى الصورة الكبيرة أفضل بكثير من النظر إلى القطع الصغيرة. في الواقع، كانت طريقتهم في التنبؤ بالوقت الإجمالي للمجموعة بأكملها أكثر دقة بمرتين من الطريقة القديمة المتمثلة في التخمين لكل مقطع على حدة.

إليك كيف يعمل نظامهم، باستخدام تشبيه ممتع. تخيل أنك مراقب في موقع بناء ولديك 60_0 غرفة مختلفة لطلاءها. بعض الغرف صغيرة وبسيطة؛ والبعض الآخر ضخم ومغطى برسومات جدارية معقدة.

• الطريقة القديمة (التنبؤ لكل مقطع): تحاول تخمين الوقت الذي ستستغرقه لطلاء كل غرفة على حدة قبل أن تبدأ. قد تخمن أن غرفة الرسومات الجدارية تستغرق 10 ساعات والخزانة تستغرق دقيقة واحدة. لكن إذا أخطأت في تخمين واحد فقط، فإن تقديرك الإجمالي للعمل بأكمله سيكون غير دقيق.
• الطريقة الجديدة (التنبؤ للمتن/المجموعة): تبدأ في الطلاء. بعد أن تنتهي من طلاء عدد قليل من الغرف (مثلاً 2% من العمل)، تتوقف وتنظر إلى ما أنجزته. تدرك حينها: "مهلاً، الغرف التي دهنتها حتى الآن تستغرق في المتوسط 15 دقيقة لكل منها". ثم تستخدم هذه البيانات الواقعية لتخمين الوقت الذي ستستغرقه بقية الـ 588 غرفة.

اختبر المؤلفون هذه الفكرة باستخدام "أدوات طلاء" مختلفتين (ترميزات فيديو تسمى x264 وx265) ومجموعة بيانات ضخمة تضم 600 مقطع فيديو عالي الجودة بدقة 4K. لم يكتفوا بالتخمين فحسب، بل بنوا نظاماً يتعلم أثناء العمل. هم يسمون هذا "الاستدلال عبر الإنترنت" (online inference). إنه يشبه نظام GPS يقوم بتحديث مسارك ووقت وصولك في كل مرة تمر فيها بمعلم جديد، بدلاً من إعطائك خريطة ثابتة في البداية.

لقد اختبروا عدة استراتيجيات:

1. تخمين "شريط التقدم": هذه هي الطريقة الأبسط. تفترض ببساطة أن بقية الفيديوهات ستستغرق نفس متوسط الوقت للفيديوهات التي انتهيت منها بالفعل. إنها طريقة مقبولة، لكنها ليست جيدة جداً.
2. تخمين "التجميع": تقوم هذه الطريقة بفرز الفيديوهات إلى مجموعات (عناقيد) بناءً على مدى تعقيدها (مثل فرز الغرف حسب ما إذا كانت تحتوي على رسومات جدارية أو جدران بسيطة). وهي تتنبأ بالوقت المتبقي لكل مجموعة من الغرف بشكل منفصل. هذه الطريقة أفضل.
3. تخمين "العقل الفائق" (تعلم الآلة): يستخدم هذا النظام خوارزمية ذكية تسمى XGBoost. ينظر إلى تفاصيل الفيديوهات التي تمت معالجتها بالفعل ويتعلم نمطاً معقداً للتنبؤ بما تبقى.

كانت النتائج مفاجئة ومبهرة. وجد المؤلفون أنك لست بحاجة لاستخدام "العقل الفائق" طوال المهمة. في الواقع، الاستراتيجية الأفضل هي نهج "الدمج والتنويع":

• قبل البدء: استخدم "عقلاً فائقاً" عاماً للحصول على فكرة تقريبية. بالنسبة لأداة x264، كان هذا التخمين بعيداً عن الوقت الإجمالي بنسبة 13.5% تقريباً.
• بعد إنجاز 2%: انتقل إلى "العقل الفائق" الذي يتعلم أثناء العمل (online). هذا يخفض الخطأ إلى حوالي 8.75%.
• بعد إنجاز 6%: انتقل إلى طريقة "التجميع" الأبسط. ومن المثير للدهشة أن هذه الطريقة البسيطة أصبحت أكثر دقة، حيث انخفض الخطأ إلى أقل من 5% (4.89% لـ x264 و5.11% لـ x265).

تجادل الورقة البحثية صراحة ضد فكرة أنك بحاجة إلى نموذج واحد معقد يتم تدريبه على كل شيء للحصول على نتائج جيدة. فقد أظهروا أن النماذج العامة (المدربة على بيانات من مصادر أخرى) كانت تؤدي بشكل أسوأ بمجرد بدء العمل الفعلي. كما أثبتوا أنك لست بحاجة للانتظار حتى تكتمل 50% أو 90% من المهمة للحصول على تقدير جيد؛ إذ يمكنك الحصول على تنبؤات دقيقة للغاية (بخطأ أقل من 5%) بعد معالجة جزء ضئيل جداً من الفيديوهات.

قام الفريق بقياس ذلك على جهاز كمبيوتر قوي بـ 64 نواة، يعالج 600 مقطع فيديو تتراوح مدتها بين ثانيتين و4 ثوانٍ. ووجدوا أن "قوة الدماغ" المطلوبة لتشغيل هذه التنبؤات ضئيلة جداً، حيث تضيف أقل من 0.2% من الوقت الإضافي للعملية برمتها. وهذا يعني أن النظام سريع بما يكفي ليتم استخدامه في الوقت الفعلي دون إبطاء عملية ضغط الفيديو الفعلية.

باختصار، تقترح الورقة البحثية أنه بالنسبة للتنبؤ بالوقت الذي ستستغرقه مهمة فيديو ضخمة، فمن الأفضل أن تكون "مراقباً يتعلم" بدلاً من أن تكون "صاحب كرة بلورية". فمن خلال مراقبة عينة صغيرة من العمل وتعديل تخمينك أثناء المضي قدماً، يمكنك التنبؤ بالتكلفة والوقت الإجمالي بدقة أعلى بكثير مما لو حاولت تخمين كل خطوة على حدها مسبقاً. وهذا يساعد شركات السحاب على توفير المال ويسمح للعملاء بمعرفة ما سيدفعونه بالضبط قبل أن يبدأ العمل حتى.