🤖 AI

DRMOT: A Dataset and Framework for RGBD Referring Multi-Object Tracking

تقدم هذه الورقة البحثية مهمة تتبع الأجسام المتعددة بالإشارة المرجعية في بيانات RGBD، والتي تُعرف بـ DRMOT، إلى جانب مجموعة بيانات DRSet وإطار عمل DRTrack، وذلك لمعالجة أوجه القصور في النماذج التي تعتمد على بيانات 2D فقط عبر الاستفادة من دمج وسائط RGB والعمق واللغة لضمان تتبع أهداف متين يدرك الأبعاد الثلاثية وتأصيل مكاني-دلالي.

المؤلفون الأصليون: Sijia Chen, Lijuan Ma, Yanqiu Yu, En Yu, Liman Liu, Wenbing Tao

نُشر 2026-02-09

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sijia Chen, Lijuan Ma, Yanqiu Yu, En Yu, Liman Liu, Wenbing Tao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على صديق محدد في غرفة مزدحمة ومليئة بالناس. تسأل مساعدك الذكي: "ابحث عن الشخص الأقرب إلى الكاميرا".

إذا كان مساعدك يمتلك فقط صورة ثنائية الأبعاد (مثل صورة مسطحة على هاتف)، فسيصاب بالارتباك. في الصورة المسطحة، يبدو الجميع وكأنهم على نفس المستوى المستوي. قد يبدو الشخص الواقف بجانب العدسة مباشرة والشخص الواقف في الخلف بنفس الحجم إذا كانا يرتديان ملابس متشابهة. قد يخطئ المساعد ويشير إلى الشخص الموجود في الخلف بدلاً من الشخص الموجود في المقدمة. هذه هي مشكلة تقنية التتبع الحالية: إنها ترى العالم كلوحة مسطحة، وليس كغرفة حقيقية.

تقدم هذه الورقة البحثية طريقة جديدة لحل هذه المشكلة عبر منح المساعد نظارات ثلاثية الأبعاد (معلومات العمق) وعقلاً فائقاً (نموذج لغوي كبير).

إليك تفصيل بسيط لما فعله المؤلفون:

1. اللعبة الجديدة: DRMOT

ابتكر المؤلفون تحدياً جديداً يسمى DRMOT (تتبع الأجسام المتعددة بالإشارة إلى العمق).

الطريقة القديمة: تعطي الكمبيوتر مقطع فيديو وجملة مثل "تتبع الرجل الذي يرتدي قبعة حمراء". يحاول الكمبيوتر تتبعه باستخدام ألوان الفيديو فقط.
الطريقة الجديدة: تعطي الكمبيوتر الفيديو، والجملة، و "خريطة عمق" (صورة خاصة تخبر الكمبيوتر بالضبط مدى بعد كل بكسل). الآن، إذا قلت "تتبع الشخص الأقرب إلى الكاميرا"، يمكن للكمبيوتر في الواقع قياس المسافة واختيار الشخص الصحيح، حتى لو بدا متطابقاً مع شخص آخر بعيد عنه.

2. الخريطة الجديدة: DRSet

لتعليم الكمبيوتر هذه المهارة الجديدة، بنى المؤلفون مكتبة تدريب خاصة تسمى DRSet.

فكر في هذا كأنها مكتبة ضخمة تحتوي على 187 "مشهدًا" مختلفًا (مثل حديقة، أو غرفة معيشة، أو شارع).
لكل مشهد، لديهم الفيديو العادي، وخريطة العمق ثلاثية الأبعاد، و240 تعليمات محددة مكتوبة بلغة بشرية.
والأهم من ذلك، أن 56 من تلك التعليمات تعتمد على المسافة (مثل "السيارة خلف الشجرة" أو "الشخص الأقرب إلينا"). هذا يجبر الكمبيوتر على تعلم كيفية استخدام المساحة ثلاثية الأبعاد لفهم اللغة.

3. العقل الجديد: DRTrack

لقد بنوا أيضاً نظاماً جديداً يسمى DRTrack لحل هذه الألغاز. يعمل في خطوتين، مثل محقق يمتلك أداتين:

الخطوة 1: "العين الصقرية" (النموذج اللغوي الكبير متعدد الوسائط - MLLM):
يستخدمون عقلاً ذكياً اصطناعياً قوياً (نموذج لغوي كبير متعدد الوسائط) ينظر إلى الفيديو، وخريطة العمق، والجملة في وقت واحد. إنه مثل محقق يمكنه رؤية الغرفة بشكل ثلاثي الأبعاد. عندما تقول "ابحث عن أقرب شخص"، يستخدم هذا العقل خريطة العمق ليعرف فوراً من هو في المقدمة ومن هو في الخلف. ثم يرسم مربعاً حول الشخص الصحيح.
- التشبيه: الأمر يشبه امتلاك مؤشر ليزر يقيس المسافة أثناء قراءة الخريطة.
الخطوة 2: "الشريط اللاصق" (المتتبع):
بمجرد أن يجد العقل الشخص في الإطار الأول، يحتاج النظام إلى الاستمرار في تتبعه أثناء حركته، حتى لو تم حجبه بواسطة جدار أو حشد. أضاف المؤلفون "شريط عمق" إلى طريقة التتبع الخاصة بهم.
- عادةً، إذا سار شخصان بالقرب من بعضهما، فقد يخلط الكمبيوتر بينهما (ويقوم بتبديل هوياتهما).
- مع DRTrack، يتحقق الكمبيوتر من المسافة ثلاثية الأبعاد. إذا كان الشخص (أ) على بُعد مترين والشخص (ب) على بُعد 5 أمتار، فإن الكمبيوتر يعرف أنهما شخصان مختلفان، حتى لو بديا متشابهين جداً. هذا يحافظ على هوياتهم منفصلة ويمنع الارتباك.

4. النتائج

اختبر المؤلفون نظامهم الجديد مقابل الأنظمة القديمة التي تستخدم فقط فيديوهات ثنائية الأبعاد مسطحة.

النتيجة: كان النظام الجديد (DRTrack) أفضل بكثير في العثور على الشخص الصحيح وتتبعه دون ارتباك.
لماذا هذا مهم: لقد أثبتوا أن منح الذكاء الاصطناٍعي "رؤية العمق" هو المفتاح لفهم التعليمات التي تتضمن مساحة ومسافة، وهو أمر لا تستطيع الكاميرات ثنائية الأبعاد المسطحة القيام به بمفردها.

باختصار: تقول الورقة البحثية: "إذا كنت تريد من الذكاء الاصطناعي فهم تعليمات مثل 'الذي هو الأقرب إلينا'، فلا يمكنك فقط إظهار فيديو مسطح له. يجب عليك إظهار العمق ثلاثي الأبعاد للغرفة أيضاً. لقد بنينا مجموعة بيانات جديدة وعقلاً ذكياً جديداً لإثبات أن هذا يعمل".

ملخص تقني: DRMOT: مجموعة بيانات وإطار عمل لتتبع الأجسام المتعددة المرجعي القائم على RGBD

1. بيان المشكلة

يهدف تتبع الأجسام المتعددة المرجعي (RMOT) إلى تحديد وتتبع أهداف محددة بناءً على أوصاف لغوية طبيعية، وهي قدرة بالغة الأهمية لأنظمة الذكاء الاصطناعي التفاعلية مثل الروبوتات والقيادة الذاتية. ومع ذلك، تعتمد مناهج RMOT الحالية حصريًا على بيانات RGB ثنائية الأبعاد (2D). ويخلق هذا القصور تحديات كبيرة عندما تتضمن الأوصاف اللغوية دلالات مكانية معقدة تعتمد على العمق (مثل "الشخص الأقرب إلى الكاميرا") أو عندما تعاني الأهداف من انسداد شديد. وبدون معلومات مكانية ثلاثية الأبعاد (3D) صريحة، تجد النماذج ثنائية الأبعاد صعوبة في حل التدرجات الهرمية المكانية، مما يؤدي إلى استنتاج غامض، وتحديد خاطئ للأهداف، وتبديل في الهوية.

لمعالجة هذه القيود، يقترح المؤلفون مهمة جديدة: تتبع الأجسام المتعددة المرجعي القائم على RGBD (المسمى DRMOT). تتطلب هذه المهمة من النماذج دمج وسائط RGB، والعمق (D)، واللغة (L) لتحقيق تتبع مدرك للبعد الثالث، مما يضمن ربط الأوصاف الدلالية بسياق هندسي مع الحفاظ على اتساق الهوية عبر الزمن.

2. المنهجية

يقدم البحث مكونين رئيسيين لتطوير مهمة DRMOT: مجموعة بيانات مخصصة (DRSet) وإطار عمل للتتبع (DRTrack).

2.1. مجموعة بيانات DRSet

تم إنشاء DRSet لتقييم قدرات الربط الدلالي المكاني والتتبع في ظل ظروف ثلاثية الأبعاد واقعية.

التكوين: تتكون مجموعة البيانات من 187 مشهدًا متنوعًا (داخلي، خارجي، ليلي، طقس معقد) تحتوي على صور RGB وخرائط عمق متزامنة.
التعليقات التوضيحية: تتضمن 240 وصفًا لغويًا. ومن الجدير بالذكر أن 56 من هذه الأوصاف تتضمن صراحةً معلومات متعلقة بالعمق (مثل المسافة النسبية، أو التموضع الأمامي/الخلفي).
الهيكل: تم تقسيم مجموعة البيانات إلى 141 فيديو للتدريب و99 فيديو للاختبار على مستوى المشهد لمنع تسرب البيانات. وهي تغطي 18 فئة من الأجسام (بشر، حيوانات، مركبات، أشياء) مع أعداد متفاوتة لكل تسلسل، وأطوال إطارات تتراوح من قصيرة إلى أكثر من 1,000 إطار.
عملية التعليق التوضيحي: تم اتباع عملية صارمة مكونة من أربع خطوات: (1) إنشاء جدول سمات للميزات الثابتة والديناميكية؛ (2) اختيار أهداف ممثلة؛ (3) التعليق التوضيحي لصناديق الإحاطة إطارًا بإطار وصياغة اللغة؛ (4) بروتوكول مراجعة ثنائي الأشخاص لضمان صحة الإحداثيات والاتساق الدلالي.

2.2. إطار عمل DRTrack

إن DRTrack هو إطار عمل موجه بنموذج لغوي كبير متعدد الوسائط (MLLM) مصمم للربط القوي والارتباط المستقر عبر الإطارات. يعمل في مرحلتين:

المرحلة الأولى: الربط اللغوي المعزز بالعمق

المدخلات: يستخدم إطار العمل نموذجًا لغويًا كبيرًا متعدد الوسائط (تحديدًا Qwen2.5-VL-3B) يعالج بالتزامن ثلاث وسائط: الأوصاف اللغوية ( $L$ )، وصور RGB ( $RGB$ )، وخرائط العمق ( $D$ ). يتم تحويل خرائط العمق إلى تمثيلات pseudo-RGB ثلاثية القنوات.
الهدف: يُكلف النموذج اللغوي الكبير (MLLM) بإخراج صناديق إحاطة ثنائية الأبعاد دقيقة للأهداف الموصوفة في اللغة، مستفيدًا من إشارات العمق لحل الغموض ثنائي الأبعاد.
استراتيجية التدريب: يتم ضبط النموذج اللغوي الكبير بدقة باستخدام تحسين السياسة النسبي الجماعي (GRPO). ويُستخدم دالة مكافأة متخصصة ( $R_{total} = R_{format} + R_{IoU}$ $R_{t o t a l} = R_{f or ma t} + R_{I o U}$ ):
- مكافأة التنسيق (Format Reward): تضمن إخراج ملف JSON مهيكل لاستخراج الصناديق بشكل موثوق.
- مكافأة التقاطع (IoU Reward): تشجع الاتساق الهندسي بين الصناديق المتوقعة والحقيقية باستخدام خوارزمية هانغاريان للمطابقة.

المرحلة الثانية: ارتباط OC-SORT المعزز بالعمق

الآلية: بناءً على ملاحظات متتبع OC-SORT الذي يركز على الملاحظة، يدمج هذه المرحلة معلومات العمق لتنقية ارتباط المسار.
التشابه المشترك لـ RGBD ( $S_{RGBD}$ ): تم تعريف مقياس تشابه جديد يجمع بين المظهر ثنائي الأبعاد واتساق العمق ثلاثي الأبعاد:
$S_{RGBD} = \alpha \cdot \text{IoU} + (1 - \alpha) \cdot S_D$
حيث $S_D$ هي دالة اضمحلال أسي لفرق العمق المطلق بين الكشف وتوقع المسار.
تكلفة الارتباط: تقلل تكلفة التعيين النهائية من مزيج من التشابه المشترك لـ RGBD وأولوية حركة اتجاه السرعة (VDC):
$C = -(S_{RGBD} + \lambda \cdot \text{VDC})$
تعمل دالة التكلفة مزدوجة القيود هذه على الحد من الارتباطات الخاطئة الناتجة عن الانسداد ثنائي الأبعاد أو التقارب.

3. المساهمات الرئيسية

تعريف مهمة DRMOT: صياغة تتبع الأجسام المتعددة المرجعي القائم على RGBD، والتي تدمج صراحةً وسائط RGB، والعمق، واللغة للتعامل مع الاستنتاج المكاني المدرك للبعد الثالث والتتبع.
مجموعة بيانات DRSet: بناء مجموعة بيانات شاملة تضم 187 مشهدًا و240 وصفًا (بما في ذلك 56 وصفًا خاصًا بالعمق)، مما يوفر معيارًا لتقييم الربط الدلالي المكاني في البيئات ثلاثية الأبعاد.
إطار عمل DRTrack: بنية مبتكرة موجهة بنموذج MLLM تحقق أداءً فائقًا من خلال الجمع بين الضبط الدقيق لـ GRPO المدرك للهندسة للربط، وبين OC-SORT المعزز بالعمق للارتباط القوي.

4. النتائج التجريبية

أُجريت تجارب مكثفة على مجموعة اختبار DRSet، لتقييم الأداء باستخدام دقة التتبع من الدرجة العالية (HOTA) ومكوناتها (دقة الكشف، دقة الارتباط، إلخ).

الأداء: حقق DRTrack نسبة HOTA بلغت 33.24%، متفوقًا بشكل كبير على جميع النماذج المرجعية.
- تفوق على أقوى نموذج مرجعي (zero-shot) من نوع MLLM (وهو Qwen2.5-VL-3B مع مدخلات L+RGB، بنسبة HOTA: 15.13%) بأكثر من 18 نقطة مئوية.
- كما تفوق أيضًا على طرق RMOT السابقة (TransRMOT، TempRMOT) ونماذج MLLM الأخرى (DeepSeek-VL، وسلسلة LLaVA) التي اعتمدت فقط على مدخلات RGB.
دراسات الاستئصال (Ablation Studies):
- وسيط العمق: أدى إضافة معلومات العمق إلى مدخلات MLLM (L+RGB+D) دون ضبط دقيق إلى زيادة HOTA من 15.13% إلى 32.68%، مما يثبت القيمة الحاسمة للإشارات الهندسية.
- ضبط GRPO الدقيق: أدى تطبيق ضبط GRPO الدقيق المدرك للهندسة إلى تحسين HOTA من 32.68% إلى 33.24%، مما يؤكد فعالية التحسين القائم على المكافأة.
- وزن الدمج ( $\alpha$ ): أظهر تحليل الحساسية أن وزن الدمج $\alpha=0.9$ (الذي يعطي الأولوية لـ IoU ثنائي الأبعاد مع دمج 10% من قيد العمق) حقق أفضل النتائج، مما وازن بين السياق المكاني والمتانة الهندسية.

5. الأهمية والادعاءات

يزعم البحث أن دمج معلومات العمق أمر ضروري لفك الغموض عن التعبيرات المرجعية التي لا يمكن تمييزها في الفضاء الصوري ثنائي الأبعاد. ومن خلال اقتراح DRMOT ومجموعة بيانات DRSet، يوفر المؤلفون موردًا ضروريًا لتقييم النماذج في الربط الدلالي المكاني تحت الغموض الهندسي.

يوضح إطار عمل DRTrack أن دمج إشارات العمق مع نماذج MLLM يمكن أن يحل بفعالية حالات الغموض المكاني (مثل التمييز بين الأجسام "الأقرب" و"الأبعد") ويحافظ على اتساق الهوية في ظل الانسداد الشديد. ويضع المؤلفون مهمة DRMOT كخطوة تأسيسية نحو أنظمة ذكاء اصطناعي تفاعلية أكثر قوة وإدراكًا للبعد الثالث، مما يقدم خط أساس قوي للأبحاث المستقبلية في هذا المجال الناشئ. يُقدم هذا العمل كتقدم في الإدراك الآلي، دون تسليط الضوء على أي عواقب مجتمعية محددة بخلاف الهدف العام المتمثل في تحسين الفهم البيئي للأنظمة ذاتية القيادة.