ViASNet: A Video Ad Saliency Network for Predicting Dynamic Saliency and Viewer Engagement
تقدم هذه الورقة البحثية ViASNet، وهو نموذج للتعلم العميق يعتمد على بنية 3D U-Net يدمج الإشارات الصوتية والدلالية للتنبؤ بخرائط البروز الديناميكية لإعلانات الفيديو قصيرة المدى، مما يثبت قدرته على تحسين تصميم الإعلانات وتحديد المحتوى غير الجذاب من خلال التحقق عبر تتبع حركة العين والتشخيص القائم على الإنتروبيا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مخرج تصور إعلاناً تجارياً مدته 30 ثانية. تريد التأكد من أنه عندما يشاهد الناس إعلانك، تقع أعينهم تماماً حيث تريد: على المنتج، أو الممثل المبتسم، أو الشعار الجذاب. ولكن هنا تكمن المشكلة: لا يمكنك أن تطلب من مليون شخص مشاهدة إعلانك وتتبع حركة أعينهم في كل إطار. سيكون ذلك مكلفاً للغاية وبطيئاً جداً.
يقدم هذا البحث ViASNet، وهو برنامج حاسوبي ذكي مصمم لحل تلك المشكلة. فكر في ViASNet كـ "مراقب خارق" يمكنه مشاهدة إعلان فيديو والتنبؤ فوراً بمكان توجه أعين البشر، ثانية بثانية.
إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:
1. المشكلة: "الزحام" في الإعلانات
نحن غارقون في إعلانات الفيديو القصيرة على تيك توك، ويوتيوب، والتلفزيون. ولأن هناك الكثير منها، فمن الصعب على أي إعلان بمفرده أن يجذب انتباهك. يحتاج المعلنون إلى طريقة لاختبار إعلاناتهم بسرعة لمعرفة أيها فعال وأيها ممل. عادةً، يتعين عليهم توظيف أشخاص، وربطهم بكاميرات تتبع حركة العين، ومراقبتهم وهم يحدقون في الشاشات. يهدف ViASNet إلى القيام بذلك تلقائياً.
2. الحل: محقق بـ "ثلاث حواس"
معظم النماذج الحاسوبية القديمة للتنبؤ بحركة العين كانت تنظر فقط إلى الصورة (المرئيات). كانت تشبه المحقق الذي ينظر فقط إلى مسرح الجريمة لكنه يتجاهل الصوت أو القصة.
ViASNet مختلف. إنه محقق "بثلاث حواس" ينظر إلى ثلاثة أشياء في وقت واحد:
- المرئيات: ماذا يحدث على الشاشة؟ (هل هناك وجه؟ هل هناك شيء يتحرك؟)
- الصوت: ماذا يقال أو يُسمع؟ (هل تجعل الضوضاء العالية أو الصوت الشخص ينظر للأعلى؟)
- القصة (الدلالات): عن ماذا يدور المشهد؟ (هل هي لحظة حزينة؟ نكتة مضحكة؟ مطاردة سيارات؟)
لفهم "القصة"، يستخدم النظام عقلاً اصطناعياً ضخماً (يسمى Qwen3-VL) لقراءة الفيديو وكتابة وصف قصير يصف المشهد، تماماً كما يفعل البشر.
3. كيف يبني الخريطة: "خريطة البروز" (Saliency Map)
الهدف من ViASNet هو إنشاء خريطة بروز. تخيل أنك تأخذ صورة لإطار الفيديو وتقوم بتلوينها بخريطة حرارية:
- المناطق الحمراء/الساخنة: حيث سينظر الناس.
- المناطق الزرقاء/الباردة: حيث سيتجاهلها الناس.
يقوم ViASNet ببناء هذه الخريطة لكل إطار من إطارات الفيديو، مما ينشئ خريطة حرارية متحركة تظهر كيف يتغير التركيز بمرور الوقت.
4. السر الكامن: كيف يتعلم
قام الباحثون بتدريب ViASNet باستخدام بيانات من 151 إعلاناً تجارياً تلفزيونياً حقيقياً تمت مشاهدتها من قبل حوالي 20 شخصاً لكل إعلان، بينما كانت أعينهم تُتبع بواسطة كاميرات عالية التقنية.
تعلم النموذج من خلال مقارنة تنبؤاته الخاصة مقابل حركات العين الحقيقية لهؤلاء الـ 20 شخصاً. وهو يستخدم بنية خاصة تسمى 3D U-Net.
- التشبيه: فكر في U-Net كالقمع. يأخذ الفيديو، ويضغطه لفهم الأفكار الرئيسية (عنق الزجاجة)، ثم يوسعه مرة أخرى لرسم خريطة الحرارة التفصيلية.
- "انحياز المركز": يميل البشر طبيعياً للنظر إلى مركز الشاشة. ViASNet يعرف هذه الحيلة ويضيف القليل من "انحياز المركز" إلى تنبؤاته، تماماً كما يفعل البشر.
5. اختبار "الاعتلاج" (Entropy): قياس الملل
أحد أروع الأدوات التي ابتكرها المؤلفون هو طريقة لقياس الاعتلاج (كلمة معقدة تعني "الفوضى" أو "الارتباك").
- اعتلاج منخفض (نظام): إذا أظهرت الخريطة الحرارية أن الجميع ينظرون إلى نقطة واحدة (مثل وجه في المركز)، فإن الاعتلاج يكون منخفضاً. وهذا يعني أن الإعلان جذاب.
- اعتلاج مرتفع (فوضى): إذا كانت الخريطة الحرارية مشتتة في كل مكان، أو إذا كان الناس ينظرون إلى لا شيء على وجه التحديد، فإن الاعتلاج يكون مرتفعاً. وهذا يعني أن الإعلان مربك أو ممل.
استخدم المؤلفون هذا لاختبار 15 إعلاناً جديداً لم يروها من قبل. استطاعوا فوراً رصد المشاهد التي تسببت في فقدان المشاهدين لتركيزهم. على سبيل المثال، وجدوا أنه إذا كان المشهد يحتوي على الكثير من الأشياء أو النصوص المبعثرة في كل مكان، فإن أعين المشاهدين ستتشتت، وسينخفض "درجة التفاعل".
6. النتائج: إنه يعمل بشكل أفضل من البقية
اختبر الباحثون ViASNet مقابل نماذج حاسوبية شهيرة أخرى (بعضها ينظر فقط إلى الصور، وبعضها ينظر إلى الأفلام).
- الحكم النهائي: فاز ViASNet. لقد تنبأ بمكان نظر الناس بدقة أكبر من أي نموذج آخر اختبروه.
- لماذا؟ لأنه لم ينظر فقط إلى البكسلات؛ بل فهم الصوت، والقصة، والانتقالات بين المشاهد. لقد أدرك أنه عندما يتغير المشهد (الانتقال أو الـ "cut")، تقفز أعين الناس طبيعياً إلى المركز لإعادة توجيه أنفسهم، وقد أخذ ذلك في الاعتبار.
ملخص
باختصار، ViASNet هو أداة مؤتمتة تسمح للمعلنين بـ "رؤية" ما يراه جمهورهم دون الحاجة إلى جلوس إنسان واحد في مختبر. إنه يجمع بين ما تراه، وما تسمعه، وما تعنيه القصة ليتنبأ بالضبط أين سيذهب انتباهك. إذا كان الإعلان مملاً أو مربكاً، يمكن لهذا النظام تحديد الثانية التي يحدث فيها ذلك بالضبط، مما يسمح للمبدعين بإصلاحه قبل إنفاق الأموال على حملة تسويقية كبيرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.