ViewSAM: Learning View-aware Cross-modal Semantics for Weakly Supervised Cross-view Referring Multi-Object Tracking
يقترح ViewSAM إطار عمل ضعيف الإشراف مكون من مرحلتين يستفيد من النماذج التأسيسية كمولدات للتسميات المستعارة، ويقدم نموذجاً عابراً للأنماط مدركاً للمنظور لتحقيق أداء رائد في تتبع الأجسام المتعددة عبر الرؤى المختلفة باستخدام ملصقات فئات الأجسام التقريبية فقط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك رئيس أمن في مركز تسوق ضخم يحتوي على عشرات الكاميرات التي توجه نحو نفس الحشد من زوايا مختلفة. أعطاك مديرك تعليمات محددة للغاية: "ابحث عن الرجل الذي يرتدي معطفاً أحمر ويحمل مظلة زرقاء، وتابعه عبر المركز التجاري بأكمله."
هذا هو تحدي تتبع الأجسام متعدد الكاميرات بناءً على الوصف (Cross-view Referring Multi-Object Tracking - CRMOT). الهدف هو العثاد على شخص (أو جسم) معين موصوف بالكلمات، وتتبعه أثناء انتقاله عبر كاميرات مختلفة، مع التأكد من عدم فقدانه أو الخلط بينه وبين شخص آخر.
المشكلة: عائق "الملصقات المكلفة"
تقليدياً، تعليم الكمبيوتر القيام بهذا الأمر يشبه توظيف جيش من الملحقين البشريين. عليك رسم مربعات حول كل شخص في كل إطار من كل كاميرا، وإخبار الكمبيوتر يدوياً: "هذا هو نفس الرجل في الكاميرا (أ) وهو نفسه ذلك الرجل في الكاميرا (ب)". هذا أمر مكلف وبطيء للغاية، مما يجعل من الصعب تطبيقه على نطاق واسع في سيناريوهات العالم الحقيقي.
الطريق المختصر الفاشل: "استخدم ذكاءً اصطناعياً ذكياً فحسب"
حاول الباحثون استخدام طريق مختصر؛ حيث استخدموا نماذج ذكاء اصطناعي قوية مدربة مسبقاً (تسمى SAM2 و SAM3) وهي بارعة جداً بالفعل في العثور على الأجسام وتتبعها. ظنوا قائلين: "دعنا فقط نطلب من هذه النماذج العثولة 'الرجل ذو المعطف الأحمر' وتتبعه".
لكن الأمر لم ينجح بشكل جيد. وإليك السبب باستخدام تشبيه بسيط:
- مشكلة "المشتت": إذا طلبت من الذكاء الاصطناعي العثود إلى "رجل بمعطف أحمر"، ومرّ رجل بمعطف وردي، فقد يرتبك الذكاء الاصطناعي ويحول انتباهه إلى المعطف الوردي لأنه قريب بما يكفي. إنه يفتقر إلى الفهم العميق للوصف المحدد.
- أزمة الهوية: إذا انتقل الرجل من الكاميرا (أ) إلى الكاميرا (ب)، فإن مظهره يتغير (الإضاءة، الزاوية، المسافة). يرى الذكاء الاصطناعي هذين الشخصين كشخصين مختلفين ويفقد الاتصال بهما. إنه يفشل في إدراك أن: "أوه، هذا هو نفس الرجل".
الحل: نهج "المعلم والطالب" المكون من مرحلتين
بدلاً من محاولة إصلاح الذكاء الاصطناعي مباشرة، ابتكر المؤلفون (Ge et al.) إطار عمل ذكي من خطوتين يسمى ViewSAM. فكر في الأمر كمعلم ماهر يدرب طالباً.
المرحلة الأولى: مولد "الملصقات الزائفة" (المعلم)
بما أنهم لا يملكون ملصقات بشرية مثالية، فهم يستخدمون نماذج ذكاء اصطناعي قوية (SAM3) لإنشاء اختبارات تدريبية (تسمى الملصقات الزائفة/Pseudo-labels).
- الإعداد: نخبر الذكاء الاصطناعي: "ابحث عن جميع 'الرجال' في الفيديو".
- التحسين: يجد الذكاء الاصطناعي العديد من الرجال، لكن النتائج تكون غير دقيقة. يستخدم الباحثون استراتيجية خاصة تسمى "إعادة التلقين عبر الكاميرات الموجهة بالتقارب" (Affinity-guided Cross-view Re-prompting).
- تشبيه: تخيل أن الذكاء الاصطناعي وجد صورة ضبابية لرجل في الكاميرا (أ). ثم ينظر إلى الكاميرا (ب) ويسأل: "من يشبه هذا الرجل أكثر؟". بمجرد العثور على تطابق، يعود إلى الكاميرا (أ) ويقول: "حسناً، لننظر إلى الكاميرا (أ) مجدداً مع هذا الخيط الجديد"، وهكذا يقوم بتحسين التتبع. يفعل ذلك ذهاباً وإياباً حتى تصبح مسارات التتبع سلسة ومتسقة عبر جميع الكاميرات.
- الوصف: بعد ذلك، يستخدمون نموذج لغة ذكياً لكتابة وصف لهذه المسارات المحسنة (مثل: "رجل بمعطف أحمر، ومظلة زرقاء").
- النتيجة: أصبح لديهم الآن مجموعة بيانات من الملصقات "الزائفة" ولكن عالية الجودة التي يمكن للكمبيوتر التعلم منها، دون الحاجة لبشر لرسم المربعات.
المرحلة الثانية: "طالب ViewSAM" (المتعلم)
الآن نقوم بتدريب نموذج جديد، ViewSAM، باستخدام هذه الاختبارات التدريبية. يعتمد هذا النموذج على الذكاء الاصطناعي الأصلي (SAM2) ولكن مع بعض الترقيات الخاصة:
- "رمز الرؤية" (المترجم):
- تشبيه: تخيل أن الرجل ذو المعطف الأحمر يبدو مختلفاً في الكاميرا (أ) (زاوية واسعة) مقابل الكاميرا (ب) (لقطة قريبة). يمتلك النموذج "رمز مترجم" خاص يتعلم: "آه، زاوية الكاميرا هذه تجعل الأشياء تبدو أعرض، لكنه لا يزال نفس الشخص". هذا يعلم النموذج تجاهل خصائص الكاميرا والتركيز على الشخص.
- "إعادة المعايرة الواعية بالانحياز" (فحص الواقع):
- تشبيه: إذا بدأ الذكاء الاصطناعي في الانحراف نحو مشتت (مثل الرجل ذو المعطف الوردي)، فإن هذه الوحدة تعمل كـ "مشرف". تقول: "انتظر، الذاكرة تقول 'معطف أحمر'، لكن الصورة الحالية تبدو كأنها 'معطف وردي'. لن تجاهل الذاكرة للحظة وننظر إلى الصورة الحالية مرة أخرى للتأكد من أننا لا نرتكب خطأً". هذا يجبر النموذج على إعادة التركيز على الهدف الصحيح.
- "رأس الاتساق" (حافظ الهوية):
- يضمن هذا الجزء أنه حتى لو انتقل الرجل من كاميرا إلى أخرى، فإن النموذج يعطيه نفس رقم الهوية (ID). إنه يجبر الكمبيوتر على تعلم أن "الرجل ذو المعطف الأحمر في الكاميرا (أ)" و"الرجل ذو المعطف الأحمر في الكاميرا (ب)" هما كيان واحد.
النتائج
تزعم الورقة البحثية أن هذه الطريقة تعمل بشكل رائع:
- الكفاءة: لا تضيف سوى حوالي 10% من التعقيد إلى النموذج مقارنة بالنموذج الأصلي.
- الأداء: تحقق أفضل النتائج (State-of-the-Art) لهذا النوع من المهام "ضعيفة الإشراف"، مما يعني أنها تتعلم تقريباً بنفس جودة النماذج التي يتم تدريبها بملصقات بشرية مكلفة، ولكن دون تلك التكلفة.
- المتانة: تتعامل مع المواقف الصعبة مثل اختباء الأشخاص خلف الأعمدة (الانسداد/Occlusion) أو التنقل بين زوايا كاميرات مختلفة بشكل أفضل بكثير من الطرق السابقة.
ملخص
باختاً، تقول الورقة البحثية: "لا يمكننا تحمل تكلفة توظيف البشر لتسمية كل فيديو. لذا، استخدمنا ذكاءً اصطناعياً ذكياً لإنشاء اختباراته التدريبية الخاصة، ثم علمنا طالباً متخصصاً جديداً (ViewSAM) كيفية فهم الأوصاف اللغوية وتجاهل حيل الكاميرا. والنتيجة هي نظام يمكنه تتبع أشخاص محددين عبر كاميرات متعددة بقدر يضاهي البشر تقريباً، ولكن بشكل أسرع وأرخص بكثير".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.