STORM: End-to-End Referring Multi-Object Tracking in Videos
تقدم الورقة البحثية نموذج STORM، وهو نموذج لغوي متعدد الوسائط (MLLM) متكامل من الطرف إلى الطرف يوحد بين تحديد مواقع الأشياء وتتبعها من خلال استراتيجية تعلم تركيب المهام، محققاً أداءً هو الأفضل في فئته على مجموعة بيانات STORM-Bench المقترحة حديثاً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد مقطع فيديو فوضوياً ومزدحماً: مشهد في حديقة حيث يلعب الأطفال، وتجري الكلاب، ويمشي الناس. الآن، تخيل أنك تريد أن تقول للكمبيوتر: "تتبع الفتاة الصغيرة ذات الفستان الأحمر التي تطارد الكلب الذهبي، ولكن تجاهل الكلاب الأخرى".
لفترة طويلة، كانت أجهزة الكمبيوتر سيئة جداً في هذا الأمر. إنها تشبه مساعداً أخرق يمكنه إما إيجاد الأشياء في صورة واحدة أو تتبع جسم واحد، لكنها تكافح للقيام بكليهما في آن واحد مع فهم لغة معقدة. غالباً ما ترتبك، وتفقد أثر الفتاة، أو تبدأ في تتبع الكلب الخطأ.
يقدم هذا البحث STORM، وهو نظام ذكاء اصطناعي جديد يعمل مثل مخرج أفلام ذكي للغاية ومنتبه، يمكنه مشاهدة الفيلم بأكمله، وفهم تعليماتك المحددة، والحفاظ على عين دقيقة تماماً على الشخص الذي طلبته.
إليك تفصيل لكيفية عمله، باستخدام تشبيهات بسيطة:
1. المشكلة: "خط التجميع" مقابل "السكين السويسري"
قبل STORM، كان تتبع الأجسام بناءً على اللغة يشبه خط تجميع المصانع القديم:
- الخطوة 1: آلة (كاشف) تنظر إلى الفيديو وتقول: "أرى كلباً، وفتاة، وكرة".
- الخطوة 2: آلة ثانية (متتبع) تحاول تتبعهم.
- الخطوة 3: آلة ثالثة (معالج لغوي) تحاول معرفة أي منهم هي "الفتاة ذات الفستان الأحمر".
إذا ارتكبت أي خطوة خطأً، يفشل النظام بأكمله. إنه نظام متثاقل، بطيء، والآلات لا تتواصل جيداً مع بعضها البعض.
STORM مختلف. إنه سكين سويسري. إنه عقل واحد موحد (نموذج لغوي كبير متعدد الوسائط) يرى الفيديو، ويسمع طلبك، ويكتشف الإجابة كلها في وقت واحد. لا يحتاج إلى أدوات منفصلة؛ فهو ببساطة يعرف كيف ينظر، ويسمع، ويتتبع في آن واحد.
2. حيلة التدريب: "تعلم تركيب المهام" (TCL)
تدريب روبوت للقيام بشيء صعب مثل "تتبع أشخاص محددين في فيديو بناءً على جملة" هو أمر مكلف للغاية. ستحتاج إلى آلاف الساعات من الخبراء البشريين وهم يرسمون مربعات حول الأجسام ويكتبون جملًا لكل إطار (Frame) على حدٍ. هذا يشبه توظيف فريق من 1000 شخص لرسم فيلم إطاراً تلو الآخر.
أدرك المؤلفون أنهم ليسوا بحاجة للبدء من الصفر. لقد استخدموا استراتيجية تسمى تعلم تركيب المهام (TCL). فكر في الأمر كتدريب عازف جاز:
- المرحلة 1 (الأساسيات): أولاً، يعلمون الذكاء الاصطناعي عزف السلالم الموسيقية البسيطة (تحديد الموقع في الصور: "جد القطة في هذه الصورة") والحفاظ على إيقاع ثابت (تتبع جسم واحد: "تتبع هذه الكرة"). هذه مهام سهلة مع الكثير من بيانات التدريب المتاحة.
- المرحلة 2 (العزف المنفرد): بمجرد أن يصبح الذكاء الاصطناعي بارعاً في الأساسيات، يعطونه كمية صغيرة من بيانات "الجاز" الصعبة والمعقدة (تتبع متعدد الأجسام بالإشارة إليها). ولأن النظام يعرف بالفعل الأساسيات، فإنه يتعلم المهمة المعقدة بسرعة فائقة.
سمح لهم ذلك ببناء متتبع عالمي المستوى دون الحاجة إلى ملايين الفيديوهات المكلفة والمصنفة خصيصاً.
3. الملعب الجديد: STORM-Bench
لاختبار مخرجهم الجديد، كانوا بحاجة إلى فيلم أفضل. كانت مجموعات البيانات الموجودة تشبه النصوص الضعيفة: كانت قصيرة، والتعليمات فيها غامضة ("تتبع الشخص")، والممثلون فيها غالباً ما يكونون متشابهين (معظمهم مجرد سيارات ومشاة).
قام الفريق ببناء STORM-Bench، وهي مجموعة بيانات جديدة تشبه سيناريو غنياً ومتنوعاً:
- نصوص معقدة: بدلاً من "تتبع الكلب"، تكون المطالبات هي "تتبع الكلب الذي يرتدي منديلًا أزرق والذي يطارد السنجاب".
- طاقم متنوع: تتضمن أثاثاً، وحيوانات، وطعاماً، وأشخاصاً في جميع أنواع البيئات، وليس فقط شوارع المدينة.
- منهج "من الأسفل إلى الأعلى": بدلاً من التخمين بشأن الأجسام الموجودة في الفيديو ثم محاولة وصفها (مما يؤدي غالباً إلى أخطاء)، بدأوا بالأجسام، ووصفوها بدقة، ثم بنوا الجمل حولها. هذا يضمن أن تكون التعليمات دقيقة دائماً.
4. النتائج: المخرج ينتصر
عندما وضعوا STORM تحت الاختبار، لم يكتفِ بالفوز فحسب، بل سيطر تماماً.
- في المهام البسيطة: كان الأفضل في إيجاد الأجسام في الصور.
- في التتبع: كان الأفضل في تتبع جسم واحد.
- في المهام الصعبة (RMOT): سحق المنافسة. بينما ارتبكت النماذج الأخرى عندما طُلب منها تتبع "الشخصين اللذين يمسكان بأيدي بعضهما بينما ينبح الكلب"، حافظ STORM على تتبع الجميع بدقة، فاهماً العلاقات والحركة.
الصورة الكبيرة
باختصار، STORM هو طفرة لأنه يتوقف عن معاملة "الرؤية"، و"التفكير"، و"التتبع" كمهام منفصلة. إنه يدمجها في ذكاء واحد سلس.
- الطريقة القديمة: فريق من المتخصصين يتبادلون الملاحظات فيما بينهم، وغالباً ما تضيع الرسالة في الطريق.
- STORM: مخرج واحد عبقري يشاهد المشهد، ويفهم طلبك، ويوجه الكاميرا ببراعة لتتبع بالضبط ما طلبته، مهما بلغت درجة تعقيد المشهد.
هذه التكنولوجيا هي خطوة كبيرة نحو ذكاء اصطناعي يمكنه حقاً فهم العالم كما يفعل البشر—من خلال ربط ما نراه بما نقوله وكيف تتحرك الأشياء بمرور الوقت.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.