StateTrace: An Object-Centric Framework for Hidden-State Spatiotemporal Reasoning in Long Videos
تقدم الورقة البحثية StateTrace، وهو إطار عمل متمحور حول الكائنات يزود نماذج الفيديو اللغوية الكبيرة (VideoLLMs) بذاكرة مكانية زمانية مهيكلة للاستدلال صراحةً حول حالات الكائنات الخفية خلال الفترات غير المرئية في الفيديوهات الطويلة، مما يحسن الأداء بشكل كبير في اختبار HSR-Bench المقترح حديثاً وفي الاختبارات المرجعية الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، أصبحت الآلات ماهرة بشكل ملحوظ في مشاهدة مقاطع الفيديو ووصف ما تراه. يمكنها تحديد شخص يركض، أو سيارة تنعطف، أو كلب يطارد كرة. ومع ذلك، فإن هذه المراقبين الرقميين لديهم نقطة عمياء كبيرة عندما يتعلق الأمر بما لا يُرى. فإذا اختفى جسم ما من الشاشة — سواء كان مختبئاً خلف جدار، أو موضوعاً داخل صندوق، أو مغطى بجسم آخر — فإن نماذج الذكاء الاصطناعي الحالية غالباً ما تنسى وجوده تماماً. إنها تعامل "غير المرئي" كما لو كان "غير معروف"، غير قادرة على الاستنتاج بأن الجسم لا يزال هناك، بل هو فقط خارج نطاق الرؤية، وأن حالته (مثل موقعه أو لونه) من المرجح أنها لم تتغير. ويصبح هذا القصور عقبة رئيسية عند تحليل مقاطع الفيديو الطويلة، حيث قد تظل الأجسام مخفية لفترات طويلة، ومع ذلك قد يحتاج المشاهد إلى معرفة مكانها أو ما حدث لها.
ولحل هذه المشكلة، طور فريق من الباحثين نهجاً جديداً يسمى "StateTrace". فبدلاً من الاعتماد فقط على ما هو مرئي في الإطار الحالي، يمنح هذا النظام الذكاء الاصطناعي وسيلة لتذكر وتتبع الأجسام حتى عندما تكون مخفية. لقد بنى الباحثون إطار عمل يعمل كذاكرة مستمرة للفيديو، لا تسجل فقط ما يُرى، بل تسجل أيضاً ما يحدث عندما تختفي الأشياء. فهو يتتبع لحظة تغطية الجسم، والسبب الذي أدى إلى اختفائه، وآخر التفاصيل المعروفة عن موقعه ومظهره. ومن خلال تنظيم هذه المعلومات في جدول زمني مهيكل، يمكن للنظام الإجابة على أسئلة حول الحالة المخفية لجسم ما بعد فترة طويلة من مغادرته الشاشة.
اختبر الباحثون هذه الفكرة من خلال إنشاء مجموعة جديدة من التحديات المصممة خصصاً للإيقاع بنماذج الذكاء الاصطناعي القياسية. فقد جمعوا معياراً اختبارياً يسمى "HSR-Bench"، يحتوي على أكثر من 1,400 سؤال فيديو مستمدة من ما يقرب من 1,400 فيديو فريد. تركز هذه الأسئلة على سيناريوهات تكون فيها الأجسام محجوبة، أو محتواة، أو مغطاة، مما يتطلب من الذكاء الاصطناعي استنتاج حالتها دون دليل بصري مباشر. على سبيل المثال، قد يسأل سؤال عن لون سيارة حجبها حافلة لعدة ثوانٍ، أو أي كوب يحتوي على مجموعة من المسامير بعد تبديلها بين الحاويات. وعندما طبق الباحثون "StateTrace" على نماذج فيديو قوية موجودة بالفعل، كانت النتائج مذهلة. ففي هذا المعيار الجديد، تحسنت دقة النماذج بشكل كبير، حيث قفزت بعضها من حوالي 40 بالمائة إلى أكثر من 64 بالمائة. وهذا يشير إلى أن منح الذكاء الاصطناعي طريقة مهيكلة للتفكير في غير المرئي هو خطوة حاسمة نحو جعله يفهم العالم كما يفعل البشر.
إن جوهر نظام "StateTrace" هو عملية مكونة من ثلاث خطوات تحدث قبل أن يحاول الذكاء الاصطناعي الإجابة على سؤال ما. أولاً، يقوم النظام بتحليل الفيديو بأكل عبر الإنترنت (offline)، وتقسيمه إلى مقاطع. وهو يحدد الأجسام، ويتتبع حركاتها، ويدون بالضبط متى وكيف تختفي. إذا غُطيت سيارة بواسطة حافلة، يسجل النظام هذا الحدث، ملاحظاً الحافلة كسبب، ويسجل آخر موقع معروف للسيارة. إنه يبني خريطة مفصلة لهذه الأحداث، منشئاً "ذاكرة حالة مكانية-زمانية" تربط الأجسام بتاريخ رؤيتها وتفاعلها. هذه الذاكرة ليست مجرد قائمة من الإطارات؛ بل هي رسم بياني متصل يفهم العلاقات، مثل كون جسم ما داخل جسم آخر أو كون جسم ما يحجب رؤية جسم آخر.
عندما يطرح المستخدم سؤالاً، لا يقوم النظام بمجرد مسح الفيديو بحثاً عن كلمات مطابقة. بدلاً من ذلك، يستشير خريطة الذاكرة هذه للعثور على اللحظات المحددة ذات الصلة بالاستعلام. إذا كان السؤال عن جسم مخفي، يسترجع النظام آخر مرة كان فيها ذلك الجسم مرئياً والأحداث التي أدت إلى اختفائه. ثم يلخص هذا التاريخ في سرد موجز، يشرح رحلة الجسم وحالته الراهنة المرجحة. يتم دمج هذا الملخص مع مقاطع الفيديو الفعلية وتلقيمه لنموذج الذكاء الاصطناعي. ومن خلال توفير هذا السياق الصريح، لا يعود النموذج يخمن؛ بل يستنتج بناءً على جدول زمني معاد بناؤه للأحداث. النظام يخبر الذكاء الاصطناعي أساساً: "الجسم الذي تبحث عنه ليس مرئياً الآن، ولكن إليك بالضبط أين شوهد لآخر مرة وماذا حدث له".
وجد الباحثون أن هذه الطريقة تعمل بشكل أفضل عندما يكون الفيديو طويلاً ويكون الجسم مخفياً لفترة زمنية طويلة. وفي الاختبارات التي شملت مقاطع فيديو تتراوح مدتها من بضع ثوانٍ إلى ساعة كاملة، تفوق إطار عمل "StateTrace" باستمرار على الطرق الأخرى التي تحاول ببساطة ضغط الفيديو أو استرجاع المقاطع ذات الصلة. وكان التحسن أكثر دراماتيكية في حالات الحجب الكثيف، حيث تكون الأجسام محجوبة تماماً تقريباً عن الرؤية. على سبيل المثال، في حالة اختبار واحدة، فشل نموذج قياسي في تحديد لون سيارة كانت مختبئة خلف حافلة، حيث خمن بشكل خاطئ بناءً على الإطار المرئي الأخير. ومع "StateTrace"، تذكر النموذج لون السيارة من قبل أن يتم حجبها، محافظاً على استمرارية المشهد رغم الفجوة البصرية.
للتأكد من قوة نتائجهم، أجرى الفريق سلسلة من التجارب لمعرفة أي أجزاء من نظامهم كانت الأكثر أهمية. واكتشفوا أن القدرة على التفكير في سبب اختفاء الجسم كانت أمراً حاسماً. فإذا عرف النظام فقط أن جسماً ما قد اختفى ولكن لم يعرف ما إذا كان قد غُطي، أو تحرك بعيداً، أو اختبئ داخل شيء ما، فإن أداءه ينخفض بشكل كبير. وبالمثل، تبين أن خطوة تلخيص العلاقات المكانية وتاريخ الحركة كانت المكون الأكثر حيوية. فبدون هذا الملخص، يكافح الذكاء الاصطناعي لفهم البيانات الخام، تماماً مثل شخص يحاول حل لغز بقطع مبعثرة على الأرض بدلاً من تجميعها في صورة. كما أظهر النظام أن مجرد تغذية الذكاء الاصطناعي بالفيديو كاملاً لم يكن كافياً؛ إذ كان الاسترجاع المستهدف للحظات المحددة ذات الصلة ضرورياً للدقة.
يسلط نجاح "StateTrace" الضوء على تحول جوهري في كيفية مقاربة فهم الفيديو. لسنوات، كان التركيز منصباً على جعل النماذج ترى بشكل أفضل أو تعالج المزيد من الإطارات. وهذا العمل يشير إلى أن القفزة التالية تأتي من جعل النماذج تفكر بشكل أفضل فيما لا تستطيع رؤيته. ومن خلال التعامل مع الحالة غير المرئية للجسم كأحجية قابلة للحل وليس كقطعة بيانات مفقودة، مكن الباحثون الذكاء الاصطناعي من التعامل مع تعقيدات الملاحظة في العالم الحقيقي. وتشير النتائج إلى أنه مع النوع الصحيح من الذاكرة والاستنتاج، يمكن للآلات أن تبدأ في سد الفجوة بين ما هو معروض وما هو معلوم، وهي قدرة ضرورية لأي نظام يهدف إلى التنقل في التدفق الطويل والمستمر للحياة الواقعية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.