🤖 AI

LLMTrack: Semantic Multi-Object Tracking with Multi-modal Large Language Models

تقدم هذه الورقة LLMTrack، وهو إطار عمل جديد يدمج النماذج اللغوية الكبيرة متعددة الوسائط في التتبع الدلالي للأجسام المتعددة عبر نموذج "الفهم الكلي أولاً" ووحدة دمج مكاني-زماني، مدعوماً بمعيار Grand-SMOT الجديد، لتحقيق أداء هندسي هو الأفضل حالياً واستدلال دلالي ديناميكي متفوق من خلال الاستفادة من السرديات عالية الجودة للاستنتاج المعرفي الطبيعي.

المؤلفون الأصليون: Pan Liao, Feng Yang, Di Wu, Jinwen Yu, Yuhua Zhu, Wenhui Zhao, Dingwen Zhang

نُشر 2026-03-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pan Liao, Feng Yang, Di Wu, Jinwen Yu, Yuhua Zhu, Wenhui Zhao, Dingwen Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد مشهدًا لشارع مزدحم. نظام تتبع الفيديو التقليدي يشبه حارس أمن يهتم فقط بـ أين توجد الأشياء. يمكنه إخبارك: "هناك سيارة حمراء عند الإحداثيات X، Y"، و"هناك شخص عند الإحداثيات A، B". ولكن إذا سألته: "هل الشخص يساعد الكلب؟" أو "لماذا توقفت السيارة؟"، سيهز كتفيه فحسب؛ فهو يرى مربعات ونقاط، ولا يرى قصصًا.

LLMTrack يشبه ترقية ذلك الحارس إلى راوٍ ذكي وملاحظ، لا يعرف فقط أين يتواجد الجميع، بل يفهم أيضًا حبكة الفيلم.

إليك تفصيل بسيط لكيفية قيامهم بذلك، باستخدام بعض التشبيهات من الحياة اليومية:

1. المشكلة: "المكتبة الفارغة"

لتعليم الكمبيوتر سرد القصص، تحتاج إلى مكتبة من القصص للتعلم منها.

المشكلة: كانت مجموعات بيانات الفيديو الموجودة تشبه مكتبة تحتوي فقط على بطاقات فهرسة. كانت تحتوي على تسميات مثل "رجل"، "كلب"، "جري". لكنها افتقرت إلى التفاصيل الغنية: "الرجل الذي يرتدي قبعة زرقاء يداعب بلطف كلب الـ "جولدن ريتريفر" بينما يهز الكلب ذيله".
الحل (Grand-SMOT): قام الباحثون ببناء مكتبة ضخمة جديدة تسمى Grand-SMOT. وبدلاً من مجرد بطاقات فهرسة، استخدموا الذكاء الاصطنا-عي لإعادة كتابة كل مقطع فيديو إلى سرد غني ومفصل. لقد فصلوا القصة إلى جزأين:
- الإطار (المحيط): "إنها غابة ثلجية، الضوء خافت، والرياح تهب".
- الشخصيات: "الرجل يرتدي معطفًا بنيًا وهو ينحني للأسفل".
- النتيجة: أنشأوا مجموعة بيانات "ثنائية المسار" حيث يتعلم الكمبيوتر رؤية كل من البيئة وأفعال الأفراد المحددة في آن واحد.

2. العقل: "المخرج وكاتب السيناريو"

يعمل جوهر نظامهم، LLMTrack، مثل فريق إنتاج سينمائي.

المخرج (المتتبع - The Tracker): هذا الجزء بارع في الأمور التقنية. فهو يرصد الأشياء ويتتبع حركتها عبر الإطارات. هو يعرف أن: "السيارة الحمراء تحركت 5 أمتار إلى اليسار".
كاتب السيناريو (النموذج اللغوي الكبير - LLM): هذا هو "العقل". يأخذ ملاحظات المخرج ويحولها إلى قصة. هو يعرف أن: "السيارة الحمراء توقفت لأن أحد المشاة خطا أمامها".

الخدعة السحرية (الدمج المكاني-الزماني):
عادةً، لا يتحدث المخرج وكاتب السيناريو نفس اللغة. المخرج يتحدث لغة "الإحداثيات"، وكاتب السيناريو يتحدث "الإنجليزية".

الابتكار: بنى LLMTrack مترجمًا (وحدة الدمج المكاني-الزماني) يحول بيانات الحركة الخام للمخرج إلى لغة يمكن لكاتب السيناريو فهمها في الوقت الفعلي.
قاعدة "الكل أولاً" (Macro-First): قبل أن يصف كاتب السيناريو شخصًا معينًا، يقرأ أولًا "ملاحظة المخرج" حول المشهد بأك completo. هذا يمنع كاتب السيناريو من الهلوسة (اختلاق أشياء من خياله). فعلى سبيل المثال، إذا كان المشهد في مكتبة هادئة، فلن يقول كاتب السيناريو فجأة: "الرجل يلعب كرة القدم"، لأن السياق "الكلي" (Macro) يخبره أن هذا مستحيل.

3. الفلسة: "أظهر.. ولا تكتفِ بالإخبار"

حاولت الأنظمة السابقة تعليم الكمبيوتر معنى "التفاعل" من خلال إعطائه قواعد جامدة (مثل: "إذا لمس الشخص (أ) الشخص (ب)، صنفها كـ 'عناق'").

الطريقة القديمة: تشبه تعليم طفل التعرف على "العناق" عبر إظهار 1,000 صورة للعناق له وقول: "هذا عناق".
الطريقة الجديدة (LLMTrack): أدرك الباحثون أنه إذا وصفت ما يفعله الناس وأين هم، يمكن للكمبيوتر أن يستنتج التفاعل بشكل طبيعي.
- تشبيه: بدلاً من حفظ أن "إمساك الأيدي = حب"، يرى الكمبيوتر "الشخص (أ) يمسك يد الشخص (ب) أثناء المشي ببطء" ويستنتج منطقيًا: "آه، من المرجح أنهما يسيران معًا بمودة".
- لقد أثبتوا أن ترك الذكاء الاصطناعي يستنتج (Reasoning) من خلال القصة أفضل من إجباره على حفظ قائمة من تسميات التفاعلات.

4. النتيجة: "متتبع معرفي"

عندما اختبروا LLMTrack، لم يكتفوا بتتبع الأشياء بشكل أفضل فحسب، بل فهموها بشكل أفضل أيضًا.

التتبع الهندسي: كان بارعًا في تتبع النقاط تمامًا مثل أفضل المتتبعات التقليدية (بل وتفوق عليها قليلاً).
الاستدلال الدلالي: كان قفزة هائلة للأمام. استطاع الإجابة على أسئلة معقدة مثل: "من هو الشخص الذي يساعد الطفل؟" أو "لماذا يتحرك الحشد بهذا الاتجاه؟" بدقة عالية.

ملخص التشبيه

تخيل شخصًا كفيفًا يحاول وصف غرفة.

المتتبعات القديمة: لديهم شريط قياس. يمكنهم إخبارك بالضبط كم تبعد الكرسي عن الحائط، لكن لا يمكنهم إخبارك ما إذا كان الكرسي مكسورًا أو ما إذا كان شخص ما يجلس عليه.
LLMTrack: لديه شريط قياس، وزوج من العيون، وعقل. يقيس المسافة، ويرى الشخص الجالس، ويفهم أن الشخص متعب. إنه يجمع بين رياضيات شريط القياس وسرد القصص البشري ليعطيك صورة كاملة للواقع.

باخت-صار: يجسد LLMTrack الفجوة بين "الرؤية" (الهندسة) و"الفهم" (الدلالة)، محولًا متتبع الفيديو من مجرد آلة حاسبة بسيطة إلى مراقب ذكي يمكنه إخبارك بقصة ما يحدث.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LLMTrack: التتبع متعدد الأجسام الدلالي باستخدام النماذج اللغوية الكبيرة متعددة الوسائط".

1. بيان المشكلة

يركز التتبع التقليدي متعدد الأجسام (MOT) بشكل أساسي على التوطين الهندسي (الإجابة على سؤال "أين" توجد الأجسام). ومع ذلك، يتطور المجال نحو التتبع متعدد الأجسام الدلالي (SMOT)، الذي يتطلب الإجاء عن استفسارات علاقات معقدة مثل "ماذا يفعلون"، و"كيف تتطور المظاهر"، و"ما هو السياق".

حدد المؤلفون عقبتين حرجتين تعيقان التقدم في SMOT:

ندرة البيانات الدلالية: تفتقر مجموعات البيانات الحالية إلى بيانات ضبط التعليمات عالية الجودة والكثيفة. فهي تعتمد غالبًا على علامات فئات موجزة أو أوصاف سطحية من جملة واحدة، مما يفشل في التقاط الأجواء البيئية العميقة، والديناميكيات الدقيقة، والمنطق السببي.
الانفصال المعماري: هناك عدم توافق جوهري بين بنيات التتبع القياسية (المصممة للإطارات الثابتة أو الارتباط قصير المدى) والنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs). تُدرب نماذج MLLM عادةً على صور ثابتة وتواجه صعوبة في المنطق الزمني، مما يؤدي إلى "الهلوسة الزمنية" (سرد غير متسق عبر الزمن) عند تطبيقها مباشرة على تتبع الفيديو.
القصور الفلسفي: تعامل الأعمال السابقة "التفاعل" كمسأية تصنيف محددة مسبقًا. يجادل المؤلفون بأن التفاعل ليس بيانات وصفية مستقلة، بل هو قدرة ناشئة ناتجة عن الاستنتاج المنطقي للسلوكيات الفردية ضمن سياق بيئي.

2. المنهجية

تقترح الورقة حلاً شاملاً يتكون من معيار جديد (Grand-SMOT) وإطار عمل مبتكر (LLMTrack).

أ. Grand-SMOT: معيار واسع النطاق للعالم المفتوح

لمعالجة ندرة البيانات، قام المؤلفون ببناء Grand-SMOT عن طريق تجانس وتوسيع مجموعتين من البيانات الموجودة: BenSMOT (لغنى التفاعل) و TAO (لواقعية العالم المفتوح والنطاق الواسع).

السرد الكثيف ثنائي المسار: بدلاً من العلامات البسيطة، يوفر المعيار نوعين من الأوصاف عالية الكثافة:
- تعليقات مستوى الفيديو: تصف الأجواء العالمية، والإضاءة، وحركة الكاميرا، وسياق المشهد.
- تعليقات مستوى المثيل (Instance): سجلات مفصلة لتطور مظهر الهدف الفردي، والأفعال الدقيقة، وتطور المسار.
خط إنتاج التوليد: استخدموا خط إنتاج موحد يستفيد من Qwen3-VL-32B لتوسيع الملصقات المتفرقة إلى سرد غني.
- التوسع الدلالي: ترقية علامات التفاعل الميكانيكية في BenSMOT إلى سردات واعية بالسياق.
- التوليد الهرمي: بالنسبة لـ TAO، استخدموا نهجًا من الأسفل إلى الأعلى (من الجزء إلى الكل) لمنع نسيان التسلسل الطويل، عبر تجميع الأوصاف المحلية في سردات عالمية متماسكة.
ضمان الجودة: يستخدم بروتوكول "الإنسان في الحلقة" (Human-in-the-Loop) ناقدًا بصريًا لغويًا مستقلاً (MiniCPM-V 4.0) لتصفية الهلوسات، يليه تصحيح يدوي لـ "الحالات الصعبة"، مما يضمن قبولًا بشريًا بنسبة 94%.

ب. LLMTrack: إطار العمل

LLMTrack هو أول إطار عمل يدمج نماذج MLLM بسلاسة في مهمة SMOT، متبنيًا نموذجًا معرفيًا يقوم على مبدأ "الفهم الكلي أولاً".

البنية:
- الواجهة الأمامية البصرية: تستخدم Grounding DINO للكشف مفتوح المفردات و ByteTrack للارتباط القوي للبيانات.
- وحدة الدمج الزماني المكاني: وحدة خفيفة الوزن تضغط الإشارات البصرية عالية التردد إلى نوعين من الرموز (Tokens):
  1. رموز سياق الفيديو: تجمع التغيرات البيئية العالمية عبر الانتباه المتقاطع المتكرر.
  2. رموز ديناميكيات المثيل: تلتقط أنماط الحركة الدقيقة عبر الانتباه الجمعي التكيفي فوق نافذة منزلقة.
- الخلفية اللغوية الكبيرة (LLM): تدمج LLaVA-OneVision (المستندة إلى Qwen-VL). وتستخدم آلية التلقين المتكرر حيث يعمل الوصف الدلالي للإطار السابق ( $S_{t-1}$ ) كسابقة لغوية للتوليد الحالي.
استراتيجية الاستدلال: يقوم النموذج بدمج رمز البيئة العالمية قبل رموز المثيل في التلقين (Prompt). هذا يجبر آلية الانتباه الذاتي السببي في LLM على ربط الأوصاف الدقيقة بالسياق الكلي، مما يقلل بشكل طبيعي من الهلوسة الزمنية ويمنع الاستنتاجات المتضاربة للتفاعلات.

ج. التدريب التدريجي ثلاثي المراحل

لضمان الاستقرار والكفاءة، يقترح المؤلفون استراتيجية تدريب مرحلية:

الإحماء الهندسي: تدريب المتتبع البصري ووحدة الدمج باستخدام خسائر التتبع القياسية (L1, GIoU, Focal) على إطارات متفرقة. يتم تجميد/استبعاد الـ LLM لمنع تشوه الميزات.
المحاذاة الدلالية (الانتشار عبر الزمن المقطوع - TBPTT): تجميد المتتبع وتحسين وحدة الدمج باستخدام الانتشار عبر الزمن المقطوع (TBPTT). يتعامل هذا مع التسلسلات الطويلة عبر تخزين حالات الذاكرة بين المقاطع مع تطبيق عملية إيقاف التدرج (stop-gradient) للحد من استهلاك الذاكرة.
الضبط الدقيق المعرفي: تجميد جميع المكونات البصرية وضبط الـ LLM باستخدام LoRA (التكيف منخفض الرتبة)، بالاعتماد على الرموز البصرية المستقرة والتاريخ النصي المتراكم.

3. المساهمات الرئيسية

إطار عمل LLMTrack: أول نظام يدمج نماذج MLLM في SMOT، مؤسسًا نموذج "الفهم الكلي أولًا" الذي يربط المسارات الهندسية بالاستدلال الدلالي للحد من الهلوسة الزمنية.
معيار Grand-SMOT: مجموعة بيانات واسعة النطاق للعالم المفتوح تتميز بسرد مزدوج المسار عالي الكثافة (البيئة + المثيل) يفصل السلوكيات الفردية عن السياق، مما يحل مشكلة الندرة الدلالية.
استنتاج التفاعل الناشئ: تثبت الورقة أن التفاعلات الاجتماعية المعقدة يمكن استنتاجها طبيعيًا عبر الاستدلال المنطقي القائم على النص من السلوكيات الفردية والسياق، مما يثبت أن نمذجة التفاعل البصري الصري غالبًا ما تكون زائدة عن الحاجة وأقل فعالية.
استراتيجية التدريب التدريجي: خط إنتاج ثلاثي المراحل (الإحماء الهندسي $\to$ المحاذاة الدلالية $\to$ الضبط الدقيق المعرفي) يوازن بين الدقة الهندسية وقدرات الاستدلال الدلالي.

4. النتائج التجريبية

قيم المؤلفون LLMTrack على معيار Grand-SMOT (تقسيمات BenSMOT و TAO).

أداء التتبع الهندسي:
- في تقسيم BenSMOT، حقق LLMTrack نسبة 75.23% HOTA، متفوقًا على أفضل النتائج السابقة (OC-SORT بنسبة 71.74%) وعلى نماذج قوية أخرى مثل ByteTrack و SMOTer.
- في تقسيم TAO (العالم المفتوح)، حقق نتائج تنافسية باستخدام بروتوكول TETA، مما أظهر متانة في سيناريوهات الذيل الطويل ومفردات اللغة المفتوحة.
أداء الاستدلال الدلالي:
- أظهر LLMTrack قفزة نوعية في المهام الدلالية. في BenSMOT، حقق إصدار 4B درجة CIDEr للفيديو بلغت 0.425 و درجة GPT-4o الدلالية (GPT-S) بلغت 3.8 (من أصل 5).
- تفوق بشكل كبير على البنيات القائمة على BERT والمتتبعات التقليدية المزودة بنفس الخلفية من الـ LLM، مما يثبت تفوق تمثيلاته المسارية الأصلية على الميزات القياسية المعتمدة على الاقتطاع (crop-based features).
دراسات الاستئصال (Ablation Studies):
- أدى إزالة وحدة الدمج الزماني المكاني أو آلية التلقين المتكرر إلى انخفاض كبير في الاتساق الزمني ودقة التفاعل.
- أكدت تجربة الاستنتاج النصي فقط (Zero-Shot) أن نموذج LLM غير المضبوط يمكنه استنتاج التفاعلات بشكل أكثر فعالية من الفروع البصرية المدربة صراحة، مما يؤكد الموقف الفلسفي للورقة.

5. الأهمية

يمثل هذا العمل تحولًا جذريًا من الإدراك الهندسي إلى الاستدلال المعرفي في فهم الفيديو.

سد الفجوة: نجح في سد الفجوة بين التتبع الإدراكي منخفض المستوى والاستدلال المعرفي عالي المستوى، مما يمكّن الذكاء الاصطناعي ليس فقط من تتبع الأجسام، بل من فهم رواياتها وتفاعلاتها الاجتماعية.
الكفاءة مقابل التعقيد: يتحدى المفهوم القائل بأن نمذجة التفاعل المعقد تتطلب فروعًا بصرية ثقيلة وصريحة، مظهرًا أن الاستفادة من قدرات الاستدلال المتأصلة في نماذج LLM عبر السردات النصية الكثيفة هي أكثر فعالية وأناقة.
أساس لوكلاء المستقبل: من خلال إنشاء أساس قوي للتتبع في العالم المفتوح وتوليد السرد، يمهد LLMTrack الطريق للجيل القادم من وكلاء الذكاء الاصطناعي المجسدين (Embodied AI) الذين يمكنهم العمل في بيئات غير مقيدة مع فهم عميق للمشاهد الديناميكية.