TRACE: Temporal Retrieval with Anchored and Convergent Evidence for Long-Horizon Video Understanding

إن مشاهدة فيديو طويل للإجابة على سؤال محدد هي مهمة تبدو بسيطة للإنسان، لكنها تظل صعبة بشكل مفاجئ بالنسبة للذكاء الاصطناعي. فعندما يشاهد الشخص فيلماً، فإنه لا يرى مجرد تدفق من الصور؛ بل يبني خريطة ذهنية للأحداث، ويتذكر أن شخصية ما التقطت مفتاحاً في الفصل الأول، وأن هذا المفتاح استُخدم لفتح باب في المشهد الختامي. ومع ذلك، فإن الأنظمة الحاسوبية الحالية غالباً ما تعاني مع هذا النوع من الفهم طويل المدى. فقد تنظر إلى لقطات قليلة من الفيديو وتخمن الإجابة، أو قد تحاول قراءة ملخص نصي للحبكة وتغفل عن التفاصيل البصرية تماماً. تكمن المشكلة الجوهرية في أن العديد من الأسئلة حول الفيديوهات الطويلة تعتمد على أدلة متناثرة عبر لحظات زمنية مختلفة. وإذا فات النظام ولو لحظة واحدة من تلك اللحظات المتناثرة، فلن يتمكن من معرفة الحقيقة، ومع ذلك قد يقدم إجابة تبدو صحيحة وواثقة بمجرد التخمين. هذه الفجوة بين ما يدعي النظام معرفته وما رآه بالفعل هي التحدي المركزي الذي يحاول الباحثون حله.

لقد قدم فريق من الباحثين نهجاً جديداً يسمى TRACE، صُمم لإجبار الذكاء الاصطناعي على النظر في الأجزاء الصحيحة من الفيديو قبل الإجابة. وبدلاً من الاعتماد على الملخصات النصية أو التخمين بناءً على بضع إطارات عشوائية، يعمل TRACE كمراقب دقيق يبني إجابته قطعة بقطعة. يبدأ بمسح الفيديو للعثور على مقاطع صغيرة ومحددة، أو "مرتكزات"، تبدو ذات صلة بالسؤال. ثم يقوم بتجميع هذه المقاطع معاً ويطلب من النظام الإجابة على السؤال بناءً على ما رآه حتى الآن فقط. ولا يتوقف النظام عند هذا الحد، بل يستمر في إضافة مقاطع جديدة إلى مجموعته وإعادة طرح السؤال. وتستمر العملية فقط حتى تتوقف الإجابة عن التغير، مما يشير إلى أن النظام قد جمع ما يكفي من الأدلة البصرية ليكون متأكداً. والأهم من ذلك، أن النظام يتحقق من عمله الخاص عبر إعادة تشغيل المجموعة النهائية من المقاطع لمرة أخيرة لضمان صمود الإجابة. تضمن هذه الطريقة أن الإجابة النهائية ليست تخميناً بناءً على رؤية جزئية، بل هي استنتاج قائم على مجموعة كاملة من الحقائق البصرية.

ولاختبار مدى فعالية هذه الطريقة، أنشأ الباحثون ساحة اختبار جديدة تسمى VES-Bench. وهي عبارة عن مجموعة تضم 600 سؤال مستمدة من 348 فيديو عاماً، تغطي مهام مثل تحديد ترتيب وقوع الأحداث أو عد عدد المرات التي حدث فيها فعل معين. وخلافاً للاختبارات السابقة التي كانت تتحقق فقط مما إذا كانت الإجابة النهائية صحيحة أم خاطئة، فإن VES-Bench يدقق في العملية نفسها؛ فهو يتتبع بدقة أي إطارات من الفيديو نظر إليها النظام قبل اتخاذ قراره. ويتحقق الاختبار مما إذا كان النظام قد رأى بالفعل كل لحظة مطلوبة للإجابة على السؤال بشكل صحيح. فإذا حصل النظام على الإجابة الصحيحة ولكنه أغفل مشهداً حاسماً، فإن التدقيق يعتبره فاشلاً، لأن الإجابة لم تكن مدعومة حقاً بالأدلة. ويكشف هذا التقييم الصارم أن العديد من الأساليب الحالية غالباً ما تنجح بمحض الصدفة، حيث تجيب بشكل صحيح دون أن تكون قد رأت جميع الأجزاء الضرورية من الفيديو.

وعندما طبق الباحثون نظام TRACE على هذا الاختبار الصارم، أظهرت النتائج ميزة واضحة. فباستخدام نفس التقنية الأساسية للأنظمة المتقدمة الأخرى، أجاب TRACE على 50.7 في المائة من الأسئلة بشكل صحيح مع ضمان أنه شاهد إطارين متميزين على الأقل من كل مشهد مطلوب. وفي المقابل، فإن الأساليب الأخرى التي نظرت إلى عدد مماثل من الإطارات غالباً ما فشلت في تغطية جميع المشاهد الضرية، أو اضطرت للنظر إلى أكثر من ضعف عدد الإطارات لتحقيق نفس المستوى من اليقين. حقق TRACE هذا المستوى العالي من الدقة مع استخدام أقل من 100 إطار لكل سؤال في المتوسط، وهو جزء ضئيل من التكلفة المطلوبة للأنظمة التي تقوم ببساطة بمسح الفيديو بمعدل منتظم. ووجدت الدراسة أن مفتاح النجاح لم يكن مجرد النظر إلى المزيد من البيانات، بل في معرفة متى يتوقف عن النظر. فمن خلال الانتظار حتى تستقر الإجابة ثم التحقق المزدوج من الأدلة البصرية الخام، تجنب TRACE فخ التخمين بناءً على معلومات غير مكتملة.

اكتشف الباحثون أيضاً أن مجرد زيادة عدد الإطارات التي ينظر إليها النظام لا يؤدي دائماً إلى إجابات أفضل. فعندما اختبروا الأنظمة القياسية التي تنظر إلى المزيد والمزيد من الإطارات، تحسنت الدقة إلى حد معين، وبعد ذلك لم يساعدت إضافة المزيد من الإطارات في شيء. وهذا يشير إلى أن المشكلة ليست في نقص البيانات، بل في غياب استراتيجية لمعرفة أي البيانات تهم. حل TRACE هذه المعضلة باستخدام "مسار" للأدلة، حيث يتعلم النظام كيفية التعرف على الوقت الذي يكون فيه قد جمع معلومات كافية ليكون متأكداً. وتؤكد الدراسة أنه بالنسبة للفيديوهات الطويلة، فإن القدرة على تحديد ودمج لحظات بصرية محددة هي أكثر أهمية من مجرد معالجة كمية هائلة من الفيديو دفعة واحدة. ومن خلال ترسيخ الإجابات في مقاطع بصرية خام والتوقف فقط عندما تكتمل الأدلة، يثبت TRACE طريقة أكثر موثوقية لكي تفهم الآلات العالم كما يتكشف عبر الزمن.