TBSG-Net: Temporal Bipartite Scene Graph Network for Fine-Grained Video Moment Retrieval

تخيل أنك تحاول العثور على مشهد محدد في فيديو منزلي ضخم وغير محرر لحفلة عيد ميلاد. تكتب استعلام بحث: "اللحظة التي يطفئ فيها الطفل الشموع". قد يبحث محرك بحث بسيط عن كلمات "طفل"، و"يطفئ"، و"شموع" ويجد كل إطار تظهر فيه هذه الأشياء. لكن هذا ليس كافياً. أنت بحاجة لمعرفة متى يقوم الطفل بالنفخ بالفعل، وليس فقط متى يقف بالقرب من الكعكة، وتحتاج إلى فهم أن الفعل يحدث عبر نطاق زمني، وليس مجرد صورة ثابتة واحدة. هذا هو تحدي "استرجاع لحظات الفيديو" (Video Moment Retrieval). إنه فرع من علوم الحاسوب حيث تتعلم الآلات مشاهدة الفيديوهات وإيجاد أوقات البداية والنهاية الدقيقة لحدث ما موصوف بلغة بسيطة. وللقيام بذلك بشكل جيد، يجب على الحواسيب أن تتوقف عن معاملة الفيديو كمجموعة من الصور الثابتة وتبدأ في فهم كيفية تحرك الأشياء، وتفاعلها، وتغير علاقاتها مع مرور الوقت.

إليك TBSG-Net، "المحقق" الجديد للبحث في الفيديو الذي يحل مشكلة معقدة: كيف تعلم الحاسوب فهم قصة التفاعل، وليس مجرد لقطة ثابتة. كانت الطرق السابقة تشبه التقاط صورة لشخص يمسك كوباً، ثم صورة أخرى له وهو يشرب، ومعاملة هاتين اللحظتين كحدثين منفصلين وغير مرتبطين تماماً. لقد افتقدت التدفق. يغير TBSG-Net قواعد اللعبة من خلال بناء "رسم بياني للمشهد الديناميكي" (Dynamic Scene Graph). فكر في هذا كخريطة حية حيث لا يرى الحاسوب "شخصاً" و"كوباً" كأشياء ثابتة فحسب؛ بل يتتبعهم كشخصيات في مسرحية، ملاحظاً من يمسك بمن، ومن يلمس ماذا، والأهم من ذلك، كم يستغرق هذا التفاعل من الوقت. إنه الفرق بين قراءة قائمة المكونات وتذوق الحساء فعلياً لفهم الوصفة. من خلال رسم خرائط هذه العلاقات المتطورة ومددها الزمنية المحددة، يمكن لـ TBSG-Net تحديد الثانية الدقيقة التي يحدث فيها فعل معين، حتى لو كان الفيديو طويلاً وفوضوياً.

المشكلة مع اللقطات "الساكنة"

لفترة من الوقت، اعتمدت أفضل أدوات البحث في الفيديو على ما يسمى "الرسوم البيانية للمشاهد الساكنة" (Static Scene Graphs). تخيل أنك تنظر إلى كتاب قصص مصورة. إذا نظرت فقط إلى لوحة واحدة، يمكنك رؤية شخص يمسك كوباً. أنت تعرف العلاقة: "شخص" + "يمسك" + "كوب". ولكن إذا قلبت الصفحة التالية، فقد يكون الشخص يشرب من ذلك الكوب. النظام الساكن يرى هذين كصورتين منفصلتين وغير متصلتين. هو لا يعرف أن "الإمساك" قد تحول إلى "الشرب" بمرور الوقت. كما أنه لا يعرف كم من الوقت أمسك الشخص بالكوب. هل كان ذلك لثانية من الزمن؟ أم لدقيقة كاملة؟

هذا النقص في "الديناميكيات الزمنية" (كيف تتغير الأشياء بمرور الوقت) و"ترميز النطاق الزمني الصريح" (معرفة مدة الفعل) جعل من الصعب على الحواسيب العثيد على أحداث معقدة. إذا سألت: "ابحث عن اللحظة التي يشرب فيها الشخص من الكوب"، فقد يرتبك النظام الساكن، ويظهر لك اللحظة التي التقطه فيها أو اللحظة التي وضعه فيها، لأنه لم يستطع التمييز بين مدة فعل الشرب ومدة فعل الإمساك.

حل TBSG-Net: خريطة تسافر عبر الزمن

لإصلاح ذلك، بنى الباحثون TBSG-Net (شبكة الرسم البياني للمشهد ثنائي الأطراف الزمني). بدلاً من النظر إلى إطارات مجمدة، يبني هذا النظام رسماً بيانياً للمشهد الديناميكي (DSG). يمكنك التفكير في هذا كخريطة حية ومتحركة للفيديو.

1. الخريطة الديناميكية: يراقب النظام الفيديو ويتتبع الأشياء (مثل شخص، كوب، زهرة) وعلاقاتها (مثل "يمسك"، "بجانب"، "يشرب من"). وعلى عكس الخرائط الساكنة القديمة، يتم تحديث هذه الخريطة مع تشغيل الفيديو. فهو يرى الشخص يقترب من الكوب، ويمسكه، ويرفعه، ويشرب. إنه يربط هذه النقاط في قصة مستمرة.
2. الختم الزمني: يأخذ النظام بعد ذلك هذه الخريطة الديناميكية ويحولها إلى شيء يسمى الرسم البياني للمشهد ثنائي الأطراف الزمني (TBSG). هذه طريقة معقدة لقول إنه ينشئ خريطة ذات جانبين: أحد الجانبين يسرد الأشياء، والآخر يسرد العلاقات. والأهم من ذلك، أنه يرفق "نطاقاً زمنياً" بكل علاقة. هو لا يكتفي بالقول "الشخص يمسك الكوب"؛ بل يقول "الشخص يمسك الكوب من الثانية 5 إلى الثانية 12". وهذا يحل مشكلة عدم معرفة مدة استمرار الفعل.
3. العقل (المُشفّر): بمجرد بناء الخريطة، يستخدم TBSG-Net "عقلاً" خاصاً لقراءتها. هذا العقل يتكون من جزأين يعملان معاً:
   • Transformer (نوع من الذكاء الاصطناعي الجيد في النظر إلى الصورة الكبيرة) الذي يفهم التدفق العام للحدث.
   • شبكة عصبية تلافيفية رسومية (GCN) (نوع من الذكاء الاصطناعي الجيد في النظر إلى التفاصيل المحلية) التي تكتشف الروابط المحددة بين الأشياء.
   • يعملان معاً لفهم كل من القصة الكبيرة والتفاصيل الصغيرة، مما يضمن أن الحاسوب يعرف بالضبط متى يبدأ التفاعل ومتى ينتهي.

ما الذي وجدوه

اختبر الباحثون TBSG-Net على عدة مجموعات بيانات للفيديو، بما في ذلك Charades-STA، والتي تحتوي على فيديوهات لأشخاص يقومون بأعمال يومية مع أوصاف نصية. وقارنوا نظامهم الجديد بأفضل الأساليب الموجودة (النماذج المرجعية/baselines).

كانت النتائج مبهرة. لم يتفوق TBSG-Net قليلاً فحسب؛ بل تفوق بشكل كبير على المنافسين، خاصة عندما تتطلب المهمة العثيد على لحظات محددة جداً وقصيرة.

• في مجموعة بيانات Charades-STA، حسّن دقة العثيد على اللحظة الصحيحة (مقاسة بمقياس R@1 عند IoU=0.7) بنسبة 4.30% مقارنة بأفضل طريقة سابقة استخدمت نفس الأدوات المرئية.
• في نسخة أصعب من مجموعة البيانات تسمى Charades-STA-Len (والتي تختبر ما إذا كان النظام يعمل على مقاطع قصيرة وطويلة)، قفزت النسبة بمقدار 11.16%.
• في Charades-STA-Mom (والتي تختبر ما إذا كان النظام يعمل بغض النظر عن وقت حدوث الحدث في الفيديو)، شهد تحسناً هائلاً بنسبة 42.32%.

تشير الورقة البحثية إلى أن هذه المكاسب تأتي مباشرة من قدرة النظام على نمذجة كيفية تغير العلاقات بمرور الوقت وترميز كيفية استمرار تلك العلاقات بشكل صريح. وعندما قاموا بإزالة جزء "الرسم البياني للمشهد الديناميكي" من النظام، انخفض الأداء بشكل كبير، مما يثبت أن خريطة تتبع الوقت هذه هي "الخلطة السرية".

لماذا يهم هذا (وما لا يمثله)

يشير هذا البحث إلى أنه لكي تفهم الحواسيب الفيديو حقاً، يجب أن تتوقف عن معاملة الوقت كسلسلة من الصور الثابتة وتبدأ في معاملته كنهر متدفق من التفاعلات. من خلال بناء خريطة تتبع من يفعل ماذا لـ من ولمدة كم، يمكن لـ TBSG-Net العثيد على الإبرة في كومة القش بدقة أكبر بكين.

يلاحظ المؤلفون بحذر أن هذا ليس حلاً سحرياً يحل كل مشاكل الفيديو فوراً. لقد اختبروه على مجموعات بيانات محددة ووجدوا أنه يعمل بشكل أفضل عندما يحتوي الفيديو على أشياء وعلاقات واضحة. كما أظهروا أن النظام قوي؛ فحتى لو احتوت "الخريطة" الأولية على بعض الأخطاء (مثل فقدان علاقة أو تحديد خطأ لكائن ما)، فإن النظام لا يتعطل. إنه يتعامل مع الضجيج بسلاسة، رغم أن دقته تنخفض قليلاً إذا أصبحت الأخطاء شديدة للغاية.

باخت-صار، يعد TBSG-Net خطوة للأمام في تعليم الآلات مشاهدة الفيديوهات كما يفعل البشر: ليس فقط برؤية ما هو موجود، بل بفهم قصة كيفية تحرك الأشياء وتغيرها، لحظة بلحظة. إنه أداة تساعد الحواسيب أخيراً على "فهم" توقيت عالمنا.