ID-VTG: Image-Disambiguated Video Temporal Grounding
تقدم هذه الورقة البحثية مهمة ومعيارًا جديدين لتقصي الزمن في الفيديو يُعرفان بـ ID-VTG، واللذان يستفيدان من الصور المرجعية إلى جانب الاستعلامات النصية لحل حالات الغموض بين الأحداث المتشابهة بصريًا، مصحوبين بإطار العمل المقترح VGD-Agg الذي يستخدم بنية ذات فرعين ورموزًا قابلة للتعلم ومتخصصة لتحقيق أداء رائد في هذا المجال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المكتبة الهائلة من محتوى الفيديو التي تملأ شاشاتنا كل يوم، يوجد تحدٍ مستمر لأجهزة الكمبيوتر: العثور على اللحظة الدقيقة لحدوث حدث معين. هذا المهمة، المعروفة باسم "التوطين الزمني للفيديو"، تطلب من الآلة مشاهدة مقطع طويل وتحديد أوقات البداية والنهاية الدقيقة لمشهد موصوف بالكلمات. لسنوات، درب الباحثون الأنظمة للقيام بذلك باستخدام النص فقط. إذا كتب المستخدم "الرجل يتحدث في ميكروفون"، يقوم الكمبيوتر بمسح اللقطات للعثور على ذلك الفعل. ومع ذلك، يصطدم هذا النهج بحائط مسدود عندما يحتوي الفيديو على أشخاص متعددين أو أشياء تبدو متطابقة تقريبًا. إذا كان هناك رجلان مختلفان يرتديان نفس الزي وكلاهما يتحدث في ميكروفونات في أوقات مختلفة، فإن الوصف النصي وحده لا يمكنه إخبار الكمبيوتر بأي منهما يقصد المستخدم. الكلمات تكون غامضة، والآلة تضيع، وغالبًا ما تخمن الجزء الخاطئ أو تفشل في العثين على الجزء الصحيح على الإطلاق.
ولحل هذه المشكلة، قدم باحثون من جامعة بكين طريقة جديدة للتفكير في المسألة. لقد أدركوا أنه في العالم الحقيقي، عندما يكون الناس غير متأكدين من الشخص أو الشيء الذي يتحدثون عنه، فإنهم غالبًا ما يمتلكون صورة لعرضها. قد يكون لدى حارس الأمن صورة لمشتبه به؛ وقد يكون لدى مشجع رياضي لقطة لرياضي معين. ومن خلال الجمع بين وصف نصي وصورة مرجعية، يختفي الغموض. تعمل الصورة كمرشح بصري صارم، يخبر الكمبيوتر بالضبط أي فرد يجب أن يراقبه، بينما يصف النص ما يفعله ذلك الفرد. هذا النهج الجديد، الذي يطلق عليه الفريق اسم "التوطين الزمني للفيديو الموضح بالصور"، ينقل الهدف من التخمين بناءً على الكلمات إلى التحديد بناءً على مطابقة بصرية.
لم يكتفِ الباحثون باقتراح نظرية فحسب، بل بنوا الأدوات اللازمة لاختبارها. لقد أنشأوا مجموعتين جديدتين من بيانات الفيديو المصممة خصيصًا لتكون صعبة على الأنظمة القياسية التي تعتمد على النص فقط. تركز المجموعة الأولى على الجمباز، حيث يرتدي الرياضيون زيًا متطابقًا ويؤدون حركات متشابهة. في هذه الفيديوهات، يتم تنفيذ نفس الحركة، مثل الدائرة الكبيرة على العارضة غير المتوازنة، من قبل أشخاص مختلفين أو من قبل نفس الشخص عدة مرات. قد يقول النص "الجمبازية تؤدي دائرة"، ولكن بدون صورة، لا يمكن للكمبيوتر معرفة أي جمبازية أو أي محاولة هي المقصودة. أما المجموعة الثانية فهي أوسع نطاقًا، ومستمدة من مجموعة متنوعة من فيديوهات الإنترنت التي تضم حيوانات، وشخصيات خيالية، وأشياء يومية. هنا، يأتي التحدي من قيام أشخاص مختلفين بأفعال متشابهة، مثل شخصين مختلفين يربطان أربطة أحذيتهما. في كلتا المجموعتين، قرن الباحثون كل استعلام نصي بصورة مرجعية محددة للموضوع المستهدف، مما خلق مجموعة بيانات تكون فيها الطريقة الوحيدة للحصول على الإجابة الصحيحة هي استخدام الصورة والكلمات معًا.
وللتعامل مع هذا النوع الجديد من المهام، طور الفريق طريقة تحاكي كيفية اقتراب البشر من المشكلة. لقد بنوا نظامًا يعمل بطريقتين متميزتين للنظر في الفيديو. يعمل جزء واحد بسرعة، حيث يمسح الفيديو بأكرا لإنشاء قائمة باللحظات المحتملة التي قد يحدث فيها حدث ما. هذا هو "المسار السريع"، الذي ينشئ مجموعة واسعة من المرشحين. أما الجزء الثاني فيعمل ببطء وعناية، حيث يقارن كل إطار من إطارات الفيديو بالصورة المرجعية المقدمة من المستخدم. يبحث هذا "المسار البطيء" عن التفاصيل البصرية المحددة التي تطابق الصورة، مثل ميزة وجه فريدة أو نمط معين على الملابس.
يكمن الابتكار الجوهري لنظامهم في كيفية استخدام هذين الجزأين لاتخاذ قرار. قدم الباحثون آلية خاصة تعمل كحارس بوابة. عندما ينظر النظام إلى لحظة محتملة في الفيديو، فإنه يطرح سؤالًا بسيطًا: هل يبدو هذا الجزء من الفيديو مثل الصورة المرجعية؟ إذا كانت الإجابة نعم، فإن النظام يسلط الضوء على تلك اللحظة. وإذا كانت الإجابة لا، فإن النظام يقوم بقمع تلك اللحظة بنشاط، معتبرًا إياها مصدر تشتيت. ولجعل هذا يعمل، يتعلم النظام التعرف على "السوالب الصعبة" (hard negatives)—وهي أجزاء من الفيديو تبدو مشابهة جدًا للهدف ولكنها في الواقع تخص الشخص أو الشيء الخطأ. ومن خلال تدريب النظام على التمييز بين الهدف الحقيقي وبين هؤلاء المشابهين المضللين، ضمن الباحثون قدرة الكمبيوتر على تجاهل الأجزاء المربكة والتركيز فقط على الجزء الصحيح.
تم اختبار نتائج هذا النهج مقابل مجموعات البيانات الجديدة ومقارنتها بالطرق الموجودة التي تعتمد على النص فقط. تفوق النظام الجديد بشكل كبير على النماذج القديمة التي تعتمد على النص فقط. في فيديوهات الجمباز، حيث كان الارتباك البصري عاليًا، نجح النظام في تحديد الرياضي الصحيح والوقت الصحيح، بينما فشلت النماذج التي تعتمد على النص فقط في كثير من الأحيان. وفي مجموعة بيانات العالم المفتوح، التي تضمنت مجموعة واسعة من المواضيع والأفعال، حافظ النظام على دقته حتى عند اختباره على فيديوهات لم يرها من قبل. وهذا يشير إلى أن الطريقة تعلمت مهارة عامة لمطابقة الصور مع أفعال الفيديو بدلاً من مجرد حفظ أمثلة محددة. كما اختبر الباحثون كيف يتعامل النظام مع الصور ضعيفة الجودة، مثل تلك الضبابية أو ذات الإضاءة الغريبة. وحتى تحت هذه الظروف الصعبة، ظل النظام قويًا، واستمر في العثور على اللحظات الصحيحة في الفيديو.
يوضح هذا العمل أن إضافة مرجع بصري إلى استعلام نصي ليس مجرد تحسين طفيف، بل هو تحول جذري في كيفية فهم الآلات للفيديو. إنه ينقل المجال بعيدًا عن قيود اللغة، التي قد تكون غامضة أو غير دقيقة، نحو شكل أكثر مباشرة من التواصل حيث توضح الصورة القصد. ومن خلال إنشاء إطار عمل يمكنه تصفية التشتت البصري بفعالية والتركيز على الموضوع المحدد للاهتمام، وفر الباحثون مسارًا لبحث وتحليل فيديو أكثر موثوقية. وتشير النتائج إلى أنه بالنسبة للمهام التي تتطلب دقة في المشاهد المعقدة والمزدحمة، فإن الجمع بين صورة وجملة هو الأداة الأكثر فعالية، مما يسمح لأجهزة الكمبيوتر برؤية العالم بوضوح لا تستطيع الكلمات وحدها توفيره.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.