Track Anything Behind Everything: Zero-Shot Amodal Video Object Segmentation
تقدم الورقة البحثية "تتبع أي شيء خلف كل شيء" (TABE)، وهو مسار عمل يعتمد على الصفر (zero-shot) يستفيد من الضبط الدقيق للنموذج أثناء وقت الاختبار لنموذج انتشار فيديو مُدرب مسبقاً للقيام بتجزئة كائنات الفيديو غير الظاهرة (amodal video object segmentation) باستخدام قناع استعلام مرئي واحد فقط، مما يلغي الحاجة إلى التدريب المسبق أو إعادة التدريب الخاص بفئة معينة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد عرضاً سحرياً. يضع ساحر كرة على طاولة ثم يغطيها بكوب كبير غير شفاف. أمام عينيك، تبدو الكرة وكأنها اختفت، لكن عقلك يعلم أنها لا تزال هناك، مخبأة تحت الكوب. يمكنك حتى تخمين شكلها وموقعها، رغم أنك لا تراها. هذه الخدعة الذهنية تسمى ثبات الأشياء (Object Permanence)، والعملية المحددة لـ "ملء الأجزاء المفقودة" من الشيء تسمى الإكمال اللامتماثل (Amodal Completion).
لفترة طويلة، كانت أجهزة الكمبيوتر سيئة جداً في هذا الأمر. إذا قادت سيارة خلف شجرة في مقطع فيديو، فإن نظام رؤية حاسوبية قياسي سيتوقف عن تتبعها أو يخمن بشكل عشوائي. إنه يفتقر إلى الحدس البشري الذي يقول: "آه، السيارة لا تزال هناك، هي فقط مختبئة خلف شيء ما".
يقدم هذا البحث نظاماً جديداً يسمى TABE (تتبع أي شيء خلف كل شيء)، والذي يعلّم أجهزة الكمبيوتر أن تفعل تماماً ما يفعله البشر: تخيل الشيء بأكمله، حتى عندما تكون أجزاء منه غير مرئية.
إليك كيف يعمل TABE، مشروحاً عبر تشبيهات بسيطة:
1. المشكلة: "النقطة العمياء" في الرؤية الحاسوبية
معظم أدوات الذكاء الاصطناعي الحالية تشبه كاميرا المراقبة التي تسجل فقط ما هو أمام العدسة مباشرة. إذا مشى شخص خلف عمود، تفقد الكاميرا أثره. ولإصلاح ذلك، حاولت طرق الذكاء الاصطناعي القديمة حفظ أنواع محددة من الأشياء (مثل "السيارات فقط" أو "الكلاب فقط"). لكن هذا يشبه امتلاك أمين مكتبة يعرف فقط كيفية العثور على الكتب التي تتحدث عن القطط؛ فإذا سألته عن كتاب عن الكلاب، فلن يتمكن من مساعدتك.
أما TABE فهو مختلف. إنه نظام Zero-Shot (صفر محاولات تعلم مسبقة)، مما يعني أنه لا يحتاج لأن يُعلّم مسبقاً ما هو "الكلب" أو "السيارة". أنت فقط تشير إلى جسم ما في الإطار الأول من الفيديو، فيقول النظام: "فهمت. سأتتبع هذا الشيء، حتى لو اختفى خلف جدار".
2. الحل: "الفنان المبدع"
بدلاً من مجرد التخمين أين قد يكون الجسم، يستخدم TABE نموذج انتشار فيديو (Video Diffusion Model). فكر في هذا النموذج كفنان ماهر ومبدع شاهد ملايين الفيديوهات.
- المدخلات: تعطي الفنان مقطع فيديو و"قناع استعلام" (مخطط بسيط للجسم الذي تريد تتبعه في الإطار الأول).
- العملية: ينظر الفنان إلى الأجزاء المرئية من الجسم. ثم، باستخدام معرفته الواسعة بكيفية حركة الأشياء وتغير أشكالها، يقوم بـ "رسم" (أو إكمال رسم) الأجزاء المفقودة.
- السحر: إذا تدحرجت كرة خلف صندوق، فإن الفنان لا يترك مكاناً فارغاً فحسب. بل يقوم بـ "تخيل" (بالمعنى الإيجابي) بقية الكرة، ويرسمها كما لو كانت موجودة خلف الصندوق تماماً، مع الحفاظ على شكلها وحركتها.
3. السر الخفي: "الضبط الدقيق أثناء الاختبار"
هذا هو الجزء الذكي. عادةً ما تكون نماذج "الفنانين" هذه عامة؛ فهي تعرف كيف ترسم كرة عامة، لكنها قد لا تعرف الخدوش المحددة أو اللون الفريد لكرتك الخاصة.
يقوم TABE بشيء مميز يسمى Test-Time Fine-Tuning (الضبط الدقيق أثناء الاختبار).
- تخيل أنك استأجرت رساماً لنسخ لوحة معينة. بدلاً من إعطائه تعليمات عامة، تعرض عليه أولاً بعض الصور للوحة الخاصة بك.
- يتعلم الرسام بسرعة الملمس والشكل الفريد لكرتك الخاصة.
- بعد ذلك، يعود إلى الفيديو ويستخدم تلك المعرفة المحددة لملء الأجزاء المخفية.
يحدث هذا فوراً أثناء تشغيل الفيديو (عند "وقت الاختبار")، لذا يصبح النموذج متخصصاً في ذلك الجسم المحدد في ذلك الفيديو المحدد.
4. إبقاء الفنان صادقاً: "منطقة الهدف"
هناك خطر مع هؤلاء الفنانين المبدعين: قد يصبح خيالهم واسعاً جداً. إذا طلبت منهم ملء مكان شخص مختبئ، فقد يرسمون بالخطأ شخصاً ثانياً أو بعض الضجيج العشوائي في الخلفية.
لمنع ذلك، يستخدم TABE أقنعة منطقة الهدف (Target Region Masks).
- فكر في الأمر كوضع قالب (Stencil) فوق اللوحة. يُسمح للفنان بالرسم فقط داخل المنطقة التي يمكن منطقياً أن يتواجد فيها الجسم.
- يستخدمون مستشعرات العمق (مثل خريطة ثلاثية الأبعاد) لتحديد: "الشجرة في الأمام، لذا يجب أن يكون الجسم خلفها، وليس طائراً في السماء".
- هذا يبقي "التخيل" مركزاً ودقيقاً، مما يضمن أن الكمبيوتر يملأ الجزء المفقود من الجسم فقط، وليس أي أشياء عشوائية أخرى.
5. النتيجة: رؤية غير المرئي
المخرج النهائي هو فيديو حيث قام الكمبيوتر برسم الجسم كاملاً في كل إطار، حتى في الإطارات التي كان فيها الجسم مخفياً بنسبة 100%.
لماذا يهم هذا؟
- سيارات ذاتية القيادة أفضل: إذا كانت سيارة مختبئة خلف شاحنة، سيعرف الذكاء الاصطناعي مكانها بالضبط ومتى ستظهر مجدداً، مما يجعل القيادة أكثر أماناً.
- الروبوتات: يمكن للروبوت التقاط جسم ما حتى لو كان محجوباً جزئياً بعنصر آخر، لأنه "يرى" الشكل الكامل.
- تحرير الفيديو: يمكنك بسهولة إزالة جسم من فيديو، وسيقوم الذكاء الاصطناعي بملء الخلفية بشكل مثالي لأنه يفهم الهيكل ثلاثي الأبعاد للمشهد.
الملخص
باخت_صار، TABE هو نظام يجمع بين "متتبع ذكي" و"رسام مبدع". إنه يشاهد الفيديو، يحدد جسماً ما، ثم يستخدم خياله (الموجه بقواعد صارمة) لرسم الأجزاء غير المرئية من ذلك الجسم أثناء تحركه خلف العوائق. إنه يسمح لأجهزة الكمبيوتر أخيراً بفهم أنه لمجرد أنك لا تستطيع رؤية شيء ما، فهذا لا يعني أنه قد اختفى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.