💻 computer science

GMOS: Grounding Moving Object Segmentation in 3D Space and Time

تقدم هذه الورقة البحثية إطار عمل GMOS، وهو إطار مبتكر يعمل على تأصيل تقسيم الأجسام المتحركة (Moving Object Segmentation) في الفضاء والزمن ثلاثي الأبعاد للتغلب على قيود النهج المعتمدة على البعدين (2D) والنهج القائمة على التسلسل، محققاً أداءً هو الأفضل في فئته على مجموعة بيانات GMOS-2K المُعدة حديثاً وبروتوكول تقييم دقيق زمنياً مع تمكين الاستدلال السريع واللحظي.

المؤلفون الأصليون: Junyu Xie, Tengda Han, Weidi Xie, Andrew Zisserman

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junyu Xie, Tengda Han, Weidi Xie, Andrew Zisserman

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد مشهد شارع مزدحم من خلال نافذة. بعض الناس يسيرون، سيارة تمر، لكن الأشجار والمباني تظل ثابتة. الآن، تخيل أن النافذة نفسها (الكاميرا) تتحرك أيضًا، ربما بسبب يد مهتزة أو مركبة مسرعة.

المشكلة:
أدوات الرؤية الحاسوبية الحالية التي تحاول معرفة "ما الذي يتحرك" تشبه المحقق الذي لا يملك سوى رسم تخطيطي ثنائي الأبعاد وضبابي للمشهد. فهي تعتمد على أدلة محسوبة مسبقًا (مثل التدفق البصري/optical flow) والتي لا تفهم العمق أو الفضاء ثلاثي الأبعاد. لهذا السبب، إذا تحركت الكاميرا، ترتبك الأداة وتظن أن العالم كله يتحرك، أو أنها تفقد الأشياء التي تتوقف ثم تبدأ في الحركة.

علاوة على ذلك، فإن هذه الأدوات عادة ما تنظر إلى الفيديو بأكło وتقول: "ذلك الطائر تحرك في وقت ما، لذا سأرسم صندوقًا حوله طوال مدة الفيلم". هي لا تهتم إذا كان الطائر جالسًا بلا حراك حاليًا؛ هي فقط تعرف أنه تحرك سابقًا. هذا النوع من التعامل يعتبر فظًا للغاية بالنسبة للتطبيقات التي تتطلب استجابة فورية (في الوقت الفلي).

الحل: GMOS
يقدم المؤلفون GMOS (تقسيم الأجسام المتحركة القائم على الربط الأرضي). فكر في GMOS كحارس أمن ذكي جدًا يدرك الأبعاد الثلاثية ويراقب الفيديو إطارًا بإطار.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. "المقترح" (المحقق)

بدلاً من النظر إلى الفيديو بأكمله دفعة واحدة، ينظر GMOS إلى شريحة زمنية صغيرة مدتها 0.5 ثانية (مثل لقطة سريعة).

الدماغ ثلاثي الأبعاد: يستخدم "مشفرًا هندسيًا" (مدربًا على إعادة البناء ثلاثي الأبعاد) لفهم عمق المشهد. هو يعرف الفرق بين شجرة تتمايل بسبب اهتزاز الكاميرا وبين طائر يطير لأن نفسه هي التي تتحرك.
دماغ التقسيم: يستخدم نموذجًا بصريًا قويًا (SAM2) للتعرف على الأشكال والأجسام.
القرار: يقوم بدمج هذين الدماغين ليسأل: "هل هذا الجسم المحدد يتحرك الآن؟" إذا كانت الإجابة نعم، يرسم قناعًا حوله. إذا كان الجسم ساكنًا، يتجاهله.

2. "المُمرر" (المتتبع)

بمجرد أن يرصد "المقترح" جسمًا متحركًا في نافذة زمنية قصيرة، يتولى "الممرر" المهمة. الأمر يشبه سلسلة من الأشخاص الذين يمررون رسالة عبر خط واحد. إنه يربط عمليات الكشف قصيرة المدى معًا لإنشاء تتبع سلس ومستمر للجسم عبر الفيديو بأكمله، مما يضمن الحفاظ على هوية الطائر حتى لو اختفى خلف شجرة للحظة.

3. "GMOS-S" (المسرع)

للحالات التي تكون فيها السرعة هي كل شيء (مثل بث فيديو مباشر)، ابتكروا GMOS-S. هذه النسخة تتخطى التتبع المعقد للأجسام الفردية وتجيب فقط على سؤال واحد: "هل هناك أي شيء يتحرك في هذا الإطار؟" إنها تنتج قناعًا واحدًا لـ "متحرك مقابل ثابت". إنها تشبه مستشعر الحركة الذي يقول فقط "تم رصد حركة!" دون تسمية من الذي يتحرك.

4. كتاب القواعد الجديد: MOS-I

يقدم البحث أيضًا طريقة جديدة لاختبار هذه الأنظمة تسمى MOS-I (حيث ترمز "I" إلى اللحظي/Instantaneous).

القاعدة القديمة: "إذا تحرك الطائر في أي وقت من الفيديو، فيجب تمييزه في كل إطار، حتى عندما يكون نائمًا".
القاعدة الجديدة (MOS-I): "قم بتمييز الطائر فقط عندما يحرك جناحيه بالفعل. إذا كان نائمًا، اتركه وشأنه".
هذا يجبر الذكاء الاصطناعي على أن يكون دقيقًا بشأن متى تتحرك الأشياء، وليس فقط أنها تحركت.

5. ساحة التدريب: GMOS-2K

لتعليم هذا النظام، بنى المؤلفون مجموعة بيانات ضخمة جديدة تسمى GMOS-2K. لقد أخذوا آلاف الفيديوهات الموجودة ووضعوا عليها علامات توضيحية يدوية لتحديد متى كان كل جسم يتحرك ومتى كان ساكنًا بالضبط. إنه مثل إنشاء كتاب مدرسي حيث ليست الإجابات مجرد "الطائر تحرك"، بل "الطر تحرك من الثانية 1 إلى 5، ثم توقف، ثم تحرك مرة أخرى عند الثانية 10".

النتائج

الدقة: يتميز GMOS بقدرة أفضل على إيجاد الأجسام المتحركة في الفضاء ثلاثي الأبعاد مقارنة بالطرق السابقة، حتى عندما تهتز الكاميرا أو يكون المشهد مزدحمًا.
السرعة: يعمل بسرعة تقارب ثلاثة أضعاف الطرق الأفضل السابقة لأنه لا يحتاج إلى انتظار الأدلة ثنائية الأبعاد البطيئة والمحسوبة مسبقًا.
تعدد الاستخدامات: يعمل بشكل جيد أيضًا في مهام تقسيم الأجسام في الفيديو القياسية، مما يثبت أن فهم الحركة يساعد في الفهم العام للفيديو.

باخت de مختصر، GMOS هو نظام يفهم العالم ثلاثي الأبعاد ومرور الوقت في آن واحد، مما يسم يسمح له بأن يقول: "تلك السيارة تتحرك الآن"، بينما يتجاهل حقيقة أنها كانت متوقفة قبل خمس دقائق.

ملخص تقني: GMOS – تجذير تقسيم الأجسام المتحركة في الفضاء والزمن ثلاثي الأبعاد

1. تعريف المشكلة وقصور المنهجيات الحالية

يهدف تقسيم الأجسام المتحركة (MOS) إلى اكتشاف وتقسيم وتتبع الأجسام التي تتحرك بشكل مستقل عن الكاميرا. وتعد هذه القدرة أساسية لتطبيقات مثل القيادة الذاتية، وكشف الأجسام المموهة، والمراقبة بالفيديو، بالإضافة إلى طرق إعادة بناء المشاهد ثلاثية/رباعية الأبعاد (3D/4D) التي تتطلب فصل الأجسام الديناميكية عن الخلفيات الثابتة.

حدد المؤلفون قصورين جوهريين في أساليب MOS الحالية:

الافتقار إلى الوعي ثلاثي الأبعاد: تعتمد الأساليب الحالية بشكل كبير على وسائط مساعدة ثنائية الأبعاد مُعدة مسبقاً (مثل التدفق البصري، أو مسارات النقاط، أو خرائط العمق). تفتقر هذه المدخلات إلى المعلومات الهندسية ثلاثية الأبعاد، مما يجعل الأساليب هشة في حالات حركة الكاميرا الكبيرة أو اختلاف المنظر الناتج عن العمق (depth parallax). علاوة على ذلك، فإن توليد هذه المدخلات المساعدة يتسبب في عبء معالجة مسبقة كبير.
التحيز الزمني الخشن: تتعامل المعايكات والأساليب الحالية عادةً مع الحركة كسمة على مستوى التسلسل (sequence-level). فهي تقوم بقناع كل جسم يتحرك في أي نقطة من تسلسل الفيديو، بغض النظر عما إذا كان الجسم في حالة حركة حالياً أم لا. وهذا يغفل حالة الحركة اللحظية للأجسام، مما يحول دون النشر عبر الإنترنت (online) وفي الوقت الفعلي، ويفشل في التمييز بين الأجسام التي تكون ساكنة مؤقتاً وتلك الساكنة حقاً.

2. المنهجية: إطار عمل GMOS

يقترح المؤلفون GMOS (تجذير تقسيم الأجسام المتحركة)، وهو إطار عمل أمامي (feed-forward) يعمل مباشرة على فيديو RGB لإنتاج تقسيم مدرك للبعد الثالث وذو دقة زمنية عالية دون مدخلات مساعدة. يتبع الإطار تصميم المُقترح–المُنتشر (proposer–propagator).

2.1 المُقترح (التنبؤ لكل إطار)

يعمل المُقترح على نافذة زمنية قصيرة (حوالي 0.5 ثانية) متمركزة حول إطار الاستعلام. يقوم بدمج الميزات الهندسية والتقسيمية لتوليد مقترحات الأجسام وحالات الحركة للإطار الأوسط.

المشفر الهندسي: يقوم مشفر $\pi^3$ مجمد (نموذج إعادة بناء ثلاثي الأبعاد أمامي) بمعالجة النافذة الزمنية القصيرة لاستخراج الميزات الهندسية. يسمح هذا للنموذج بفك الارتباط بين اختلاف المنظر الناتج عن حركة الكاميرا وحركة الأجسام المستقلة. يتم الاحتفاظ فقط بميزة الإطار الأوسط، حيث يتم ترميز الارتباط بين الإطارات عبر انتباه النموذج العابر للإطارات (cross-frame attention).
مشفر التقسيم: يقوم مشفر SAM2 مجمد بمعالجة إطار الاستعلام لتوفير أولويات قوية لـ "ماهية الجسم" (objectness) وميزات تقسيم عالية الدقة.
دمج الميزات وفك التشفير: يتم دمج الميزات الهندسية والتقسيمية وتمريرها عبر فك تشفير المحولات (transformer decoder) مع $N$ $N$ من استعلامات الأجسام القابلة للتعلم. يخرج فك التشفير ما يلي:
- أقنعة التقسيم للأجسام المتحركة.
- حالة حركة ثنائية ( $m=1$ إذا كان متحركاً، $0$ إذا كان ساكناً).
- تقديرات IoU ودرجات الثقة.
هدف التدريب: يقدم المؤلفون خسارة قائمة على الثقة تعمل تلقائياً على تقليل وزن التوصيفات (annotations) الصاخبة على مستوى الإطار بالقرب من الانتقالات بين السكون والحركة. هذا يخفف من غموض التسميات حيث تتغير حالة الجسم بشكل مفاجئ.

2.2 المُنتشر (الاتساق الزمني)

لربط المقترحات لكل إطار في مسارات أجسام متماسكة عبر الفيديو الكامل، يستخدم GMOS مُنتشراً يعتمد على متنبئ فيديو SAM2.

الآلية: يأخذ المُنتشر مقترحات الأجسام المتحركة عالية الجودة من المُقترح (المفلترة حسب احتمالية الحركة و IoU المقدر) ويستخدمها كمحفزات (prompts) لتحديث أو تهيئة المسارات في حالة SAM2.
الأنماط:
- الإجراء عبر الإنترنت (Online): تمرير أمامي سببي واحد يبدأ من الإطار الأول. يدعم MOS-I (اللحظي) عبر بث الأقنعة وحالات الحركة أثناء معالجة الفيديو. لا يمكنه استعادة الأقنعة للأجسام التي كانت ساكنة في البداية ثم تحركت لاحقاً.
- الإجراء دون اتصال (Offline): عملية من مرحلتين. يقوم أولاً بتشغيل الإجراء عبر الإنترنت، واختيار إطار مرجعي (anchor frame) يتمتع بأعلى IoU متوقع إجمالي، ثم يقوم بالانتشار ثنائي الاتجاه (للأمام وللخلف) لاستعادة الأقنعة الكثيفة لجميع الإطارات، مما يدعم كلاً من MOS التقليدي و MOS-I.

2.3 نسخة GMOS-S (متغير المقدمة-الخلفية)

من أجل النشر الذي يتطلب كفاءة عالية، قدم المؤلفون GMOS-S، وهو متغير يتنبأ بجميع الأجسام المتحركة كقناع مقدمة ثنائي واحد. يقوم بإزالة فك تشفر المحولات القائم على الاستعلام والمُنتشر، مما ينتج نموذجاً نهائياً (end-to-end) بزمن انتقال استدلال أقل بكثير.

3. مجموعة البيانات وبروتوكول التقييم

3.1 مجموعة بيانات GMOS-2K

لدعم التدريب والتقييم في هذا النطاق، قام المؤلفون بتنسيق GMOS-2K، وهي مجموعة بيانات تضم 2,210 فيديو من العالم الحقيقي مستمدة من خمس معايير معروفة لتقسيم الأجسام في الفيديو (VOS) وهي (DAVIS17, YTVOS19, OVIS, MoCA-Mask, HOI4D).

الميزة الرئيسية: على عكس مجموعات بيانات VOS القياسية، تتضمن GMOS-2K توصيفات حركة زمنية لكل جسم. فهي تحدد الفترات الزمنية الدقيقة التي يكون فيها كل جسم في حالة حركة نشطة، مما يميزها عن الأجسام الساكنة أو الأجسام التي تكون ساكنة مؤقتاً.
التنسيق: تم تصفية مجموعة البيانات لضمان أن جميع الأجسام المتحركة لها أقنعة حقيقية (ground-truth). خضعت الفيديوهات التي لا تتحرك فيها الأجسام طوال التسلسل بأكملها لعملية توصيف زمن دقيق (TFA) لتسمية فترات الحركة.

3.2 بروتوكول تقييم MOS-I

صاغ المؤلفون بروتوكول MOS-I ("I" ترمز لـ Instantaneous/اللحظي)، وهو بروتوكول تقييم دقيق زمنياً.

التعريف: على عكس MOS التقليدي، الذي يسجل درجات الأقنعة لجميع الإطارات إذا تحرك الجسم في أي مكان في التسلسل، يقوم MOS-I بتسجيل درجات أقنعة التقسيم فقط في الإطارات التي يكون فيها الجسم في حالة حركة نشطة.
المقاييس:
1. جاكارد للأجسام المتحركة ( $J_{mov}$ ): دقة التقسيم في الإطارات المتحركة بنشاط.
2. عدد الإيجابيات الكاذبة (FP count): يعاقب على التنبؤ بالحركة للأجسام الساكنة أو الخلفية.
3. متوسط IoU الزمني (mtIoU): مقياس مشترك لدقة الكشف وقمع الإيجابيات الكاذبة.

4. النتائج التجريبية

تم تقييم GMOS على معايير MOS و MOS-I وتقسيم الأجسام غير الخاضع للإشراف (UVOS).

معايير MOS: يحقق GMOS نتائج هي الأفضل في فئتها (SOTA) عبر جميع معايير MOS التقليدية (DAVIS16-M, DAVIS17-M, SegTrackv2, FBMS-59, MoCA, YTVOS19-M). وهو يتفوق بشكل كبير على الأساليب السابقة، خاصة في مجموعات البيانات ذات التفاعلات الكثيفة للأجسام (YTVOS19-M) والأجسام المموهة (MoCA).
معايير MOS-I: في معايير MOS-I الجديدة (DAVIS17-IM, YTVOS19-IM)، يتفوق GMOS على أفضل النتائج السابقة بفوارق كبيرة (على سبيل المثال، +13.4 في $J_{mov}$ على YTVOS19-IM). وتظهر النتائج أن التعامل مع الحركة كسمة على مستوى التسلسل يمثل عائقاً كبيراً أمام التقسيم اللحظي.
معايير UVOS: يتعمم GMOS أيضاً بشكل جيد على تقسيم الأجسام غير الخاضع للإشراف (UVOS) (DAVIS16/17)، محققاً أفضل النتائج على DAVIS17 ونتائج تنافسية على DAVIS16، رغم تدريبه أساساً لتقسيم الأجسام المتحركة.
الكفاءة: يعمل GMOS بسرعة أكبر بحوالي ثلاث مرات من أساليب MOS متعددة الأجسام السابقة (على سبيل المثال، 0.38 ثانية/إطار مقابل 1.79 ثانية/إطار لـ FlowSAM). كما أن GMOS-S أسرع (0.26 ثانية/إطار).

5. الأهمية والادعاءات

يزعم البحث أن GMOS يمثل تحولاً في كيفية مقاربة تقسيم الأجسام المتحركة من خلال تجذير المهمة في الفضاء والزمن ثلاثي الأبعاد:

التجذير ثلاثي الأبعاد: من خلال الاستفادة من نماذج إعادة البناء ثلاثية الأبعاد الأمامية ( $\pi^3$ ) مباشرة على فيديو RGB، يحقق GMOS متانة تجاه حركة الكاميرا واختلاف المنظر الناتج عن العمق دون الاعتماد على مدخلات ثنائية الأبعاد مساعدة عرضة للخطأ مثل التدفق البصري.
التجذير الزمني: من خلال تقديم بروتوكول MOS-I والتنبؤ بحالة الحركة اللحظية، يتيح GMOS تقسيماً لحظياً دقيقاً يعكس الحالة الديناميكية للأجسام إطاراً بإطار.
الكفاءة: يدعم الإطار الاستدلال عبر الإنترنت (online inference) والنشر المتدفق (streaming deployment)، مما يجعله مناسباً للتطبيقات في الوقت الفعلي.
المساهمة في الموارد: يوفر إصدار GMOS-2K وبروتوكول MOS-I مورداً موحداً ومعيار تقييم لتطوير أساليب MOS دقيقة زمنياً، مما يعالج نقص مجموعات البيانات التي تميز بين الأجسام المتحركة والأجسام الساكنة مؤقتاً.

يخلص المؤلفون إلى أن GMOS يضع معياراً جديداً للأداء الأفضل (SOTA) بينما يعمل بسرعة أكبر بكثير من الأساليب السابقة، مما يسد بفعالية الفجوة بين دقة التقسيم العالية ومتطلبات النشر في الوقت الفعلي.