USV: Towards Understanding the User-generated Short-form Videos
تقدم هذه الورقة البحثية USV، وهي مجموعة بيانات واسعة النطاق تضم 224 ألف فيديو قصير من إنشاء المستخدمين، صُممت لتعزيز الفهم الدلالي عالي المستوى للفيديو من خلال إنشاء مهام التعرف على المواضيع واسترجاع الفيديو والنص، مصحوبة بنماذج مرجعية مقترحة ومعايير شاملة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمكتبة ضخمة وفوضوية. لسنوات، كان الباحثون الذين يدرسون "فهم الفيديو" ينظمون كتبًا تشبه أفلام هوليوود أو الوثائقيات الاحترافية. هذه الكتب مكتوبة جيدًا، ومصنفة بوضوح، وتتبع قواعد صارمة. ولكن مؤخرًا، ظهر قسم جديد جامح في المكتبة: الفيديوهات القصيرة التي ينشئها المستخدمون (مثل تيك توك، أو ريلز إنستغرام، أو كواي). هذه ليست أفلامًا مصقولة؛ بل هي ملايين المقاطع السريعة، الفوضوية، والمبتكرة التي يصنعها أشخاص عاديون كل يوم.
حتى الآن، لم يقم أحد ببناء خريطة مناسبة لهذا القسم الجديد. هذا البحث، الذي يحمل عنوان "USV: نحو فهم الفيديوهات القصيرة التي ينشئها المستخدمون"، هو الفريق الذي نجح أخيرًا في بناء تلك الخريطة.
إليك تفصيل عملهم بكلمات بسيطة:
1. المشكلة: المكتبة فوضوية للغاية
يشرح المؤلفون أن مجموعات بيانات الفيديو الموجودة حاليًا تشبه مكتبة من الموسوعات. فهي تركز على التعرف على أفعال محددة (مثل "شخص يقفز") في فيديوهات طويلة واحترافية. لكن الفيديوهات القصيرة الجديدة مختلفة:
- قصيرة ومركزة: المقطع الذي مدته 15 ثانية عادة ما يحتوي على فكرة رئيسية واحدة فقط (مثل "ASMR" أو "قطة مضحكة")، وليس حبكة معقدة.
- غنية بالنصوص: هي مليئة بالعناوين، والترجمة النصية (Subtitles)، والتعليقات التي تشرح ما يحدث.
- فوضوية: يتم رفع الملايين منها يوميًا. ومحاولة فحص وتصنيف كل مقطع يدويًا ستستغرق من البشر مئات السنين.
- متنوعة: لا تقتصر على الناس وهم يرقصون فحسب؛ بل تشمل محاضرات، شرائح عرض، بودكاست، وتجارب غريبة.
2. الحل: مجموعة بيانات USV
أنشأ الفريق مجموعة بيانات جديدة تسمى USV-1.0.
- كيف حصلوا عليها: بدلاً من استئجار أشخاص لمشاهدة وتصنيف الفيديوهات (وهو أمر بطيء للغاية)، استخدموا حيلة "الإشراف عبر الويب". لقد سألوا منصات الفيديو: "أروني جميع الفيديوهات المتعلقة بـ 'ASMR' أو 'البلوكشين'". وهكذا قام محرك البحث الخاص بالمنصة بالمهمة.
- النتيجة: جمعوا 224,000 فيديو تغطي 212 موضوعًا مختلفًا.
- العقبة: نظرًا لأنهم لم يفحصوا كل فيديو يدويًا، فإن مجموعة البيانات "مشوشة" (Noisy). فبعض الفيديوهات المصنفة تحت "ASMR" قد تكون في الواقع عن شيء آخر. لكن المؤلفين يجادلون بأن هذا التشويش هو تمثيل واقعي للعالم الحقيقي، وأن امتلاك مجموعة بيانات ضخمة ومشوشة قليلاً أفضل من امتلاك واحدة صغيرة ومثالية.
3. الألعاب الجديدة: تحديان جديدان
لاختبار ما إذا كان بإمكان الحواسيب فهم هذه المكتبة الفوضوية، ابتكر المؤلفون لعبتين (مهمتين) جديدتين:
اللعبة (أ): التعرف على الموضوع (لعبة "ما هذا؟")
- الهدف: مشاهدة فيديو وتخمين موضوعه الرئيسي (على سبيل المثال: "هل هذا عن الطبخ أم السفر؟").
- اللمسة المميزة: لا يمكنك الاكتفاء بالنظر إلى الصورة فقط. يجب عليك الاستماع إلى الصوت وقراءة النصوص المكتوبة أيضًا. قد يبدو الفيديو كأنه شاطئ، ولكن إذا كان الصوت عبارة عن محاضرة عن "الاقتصاد"، فإن الموضوع هو الاقتصاد.
- الأداة: بنوا شبكة دمج متعددة الوسائط (MMF-Net). تخيل روبوتًا بثلاثة رؤوس: عين للصور، وأذن للصوت، وعقل للقراءة. يقوم هذا الروبوت بدمج الثلاثة معًا ليقدم تخمينًا ذكيًا.
اللعبة (ب): استرجاع الفيديو والنص (لعبة "المطابقة")
- الهدف: مطابقة الفيديو مع عنوانه الذي كتبه المستخدم (أو العكس).
- اللمسة المميزة: العناوين غالبًا ما تكون غامضة. فيديو لشاطئ قد يحمل عنوان "عطلة سعيدة". يحتاج الكمبيوتر إلى فهم أن "عطلة سعيدة" تتطابق "دلاليًا" مع مشهد الشاطئ، حتى لو لم تكن الكلمات موجودة حرفيًا في الفيديو.
- الأداة: استخدموا التعلم التبايني بين الفيديو والنص (VTCL). فكر في هذا كتعليم الكمبيوتر كيفية تقريب الأزواج "المتطابقة" (فيديو + عنوان) من بعضها في مساحة ذهنية، ودفع الأزواج "غير المتطابقة" بعيدًا عنها.
4. ماذا وجدوا؟
- الأكثر هو الأفضل: بالنسبة لهذه الفيديوهات القصيرة، فإن النظر إلى المزيد من الإطارات (الزمن) يساعد الكمبيوتر على فهم الموضوع بشكل أفضل.
- لا تثق في الخرائط القديمة: النماذج التي تدربت على الأفلام الاحترافية (مثل Kinetics) لم تعمل بشكل جيد هنا. فالأسلوب "القصير" مختلف تمامًا.
- قوة الثلاثة: الاكتشاف الأهم هو أن الجمع بين الفيديو والصوت والنص هو الأفضل.
- إذا نظرت إلى الفيديو فقط، فقد تفوتك الفكرة.
- إذا استمعت فقط، فقد تفوتك السياقات البصرية.
- ولكن عندما تدمج الثلاثة معًا، يحصل الكمبيوتر على فهم "شمولي"، تمامًا كما يفعل البشر عند مشاهدة "تيك توك".
الملخص
هذا البحث هو خطوة تأسيسية. يقول: "توقفوا عن دراسة الأفلام المصقولة فقط. إليكم مجموعة بيانات ضخمة وواقعية من الفيديوهات القصيرة والفوضوية. لقد حددنا طريقتين جديدتين لاختبار الذكاء الاصطناعي عليها، وقد أظهرنا أنه لكي يفهم الذكاء الاصطناعي هذه الفيديوهات حقًا، عليه أن يقرأ، ويسمع، ويشاهد كل ذلك في وقت واحد".
لم يدّعوا أن هذا سيحل فورًا مشكلات توصيات الفيديوهات أو تشخيص الأمراض؛ بل وضعوا ببساة حجر الأساس (مجموعة البيانات والأساليب المرجعية) لكي يبدأ الباحثون الآخرون في بناء أدوات أفضل لهذا العالم المحدد، الفوضوي، والمتنامي بسرعة للفيديوهات القصيرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.