🤖 machine learning

TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval

يُعد TRAVel إطار عمل للضبط الدقيق المدرك للحركة يعزز استرجاع فيديوهات القيادة من خلال الاستفادة من تشابه مسار المركبة (ego-trajectory) كمكافأة ضمن عملية تحسين السياسة النسبية للمجموعات (Group Relative Policy Optimization)، مما يمكّن النماذج متعددة الوسائط للأغراض العامة من التمييز بفعالية بين الأحداث المتمحورة حول الحركة دون الاعتماد على بيانات إدراكية مساعدة أو قواعد خبيرة.

المؤلفون الأصليون: Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

نُشر 2026-08-14

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

رحلة البحث عن الفيديو العظيم

تخيل أنك محقق تحاول حل لغز، ولكن بدلاً من مسرح جريمة واحد، لديك مكتبة تحتوي على ملايين الساعات من لقطات الفيديو. هذا هو الواقع اليومي للشركات التي تبني السيارات ذاتية القيادة. فهي لا تكتفي بالقيادة فحسب؛ بل تسجل كل شيء. لكن العثور على اللحظة المحددة التي كادت فيها السيارة أن تصدم أحد المشاة، أو الثانية الدقيقة التي قام فيها السائق بانعطاف صعب، يشبه البحث عن إبرة في كومة من الإبر الأخرى.

لحل هذه المشكلة، يستخدم العلماء شيئًا يسمى "التمثيل متعدد الوسائط" (multimodal embedding). فكر في هذا كأنه مترجم سحري يحول كلاً من مقطع الفيديو وجملة نصية إلى رمز واحد سري (متجه - vector). إذا كان الرمز الخاص بفيديو لـ "سيارة حمراء تنعطف يسارًا" مشابهًا جدًا لرمز النص "سيارة حمراء تنعطف يسارًا"، فإن الكمبيوتر يعرف أنهما متطابقان. الأمر يشبه إعطاء كل فيديو بصمة فريدة وكل استعلام بحث مفتاحًا مطابقًا. الهدف هو جعل الكمبيوتر بارعًا جدًا في مطابقة هذه المفاتيح بحيث يمكنه استدعاء الفيديو الصحيح فورًا من بين ملايين الخيارات دون الحاجة إلى إنسان لمشاهدتها جميعًا.

ومع ذلك، هناك عقبة. "المترجمات السحرية" الحالية بارعة في التعرف على الأشياء الثابتة مثل الأشجار، أو المباني، أو لون السماء. لكنها غالبًا ما ترتبك بسبب الحركة. بالنسبة لذكاء اصطناعي قياسي، قد يبدو انعطاف السيارة يسارًا تمامًا مثل انعطافها يمينًا إذا كانت المناظر الطبيعية في الخلفية هي نفسها. إنهم يعتمدون كثيرًا على "أين" وليس بما يكفي على "كيف". يسأل هذا البحث: هل يمكننا تعليم نماذج الذكاء الاصطناعي هذه أن تهتم بالحركة نفسها، بحيث يمكنها التمييز بين سيارة تسرع وأخرى تبطئ، حتى لو بدا المشهد متطابقًا؟

الحل: تعليم الذكاء الاصطناعي الشعور بالطريق

قدم الباحثون وراء هذا البحث، بالتعاون مع مختبرات "أوبر AV" وجامعة "بيردو"، طريقة جديدة تسمى TraVEL (تعلم تمثيل الفيديو الموجه بالمسار - Trajectory-Guided Video Embedding Learning). وتتمثل نتيجتهم الرئيسية في أنه من خلال استخدام المسار الفيزيائي الفعلي الذي تسلكه السيارة (مسارها الذاتي - ego-trajectory) كأداة تدريب خاصة، يمكنهم جعل الذكاء الاصطناعي أفضل بكثير في فهم أفعال القيادة.

إليكم كيف فعلوا ذلك، باستخدام تشبيه بسيط:

المشكلة: فخ "السياق"
تخيل أن لديك طالبين يخضعان لاختبار حول القيادة.

الطالب (أ) (الذكاء الاصطناعي القديم) ينظر إلى صورة لسيارة تنعطف يسارًا في يوم مشمس وصورة لسيارة تنعطف يمينًا في يوم مشمس. ولأن السماء والأشجار تبدو متشابهة، يعتقد الطالب (أ): "هاتان الصورتان متشابهتان تقريبًا!". إنه يرتبك لأنه يركز على الخلفية.
الطالب (ب) (الذكاء الاصطناعي الجديد) تم تعليمه تجاهل الخلفية والتركيز على عجلات السيارة وتوجيهها.

وجد الباحثون أن نماذج الذكاء الاصطناعي القياسية كانت تتصرف مثل الطالب (أ). كان بإمكانها التمييز بين "مقطع نهاري" و"مقطع ليلي"، لكنها واجهت صعوبة في التمييز بين "التسارع" و"التباطؤ" إذا كان المشهد يبدو متشابهًا.

الحل: المدرب "المتميز"
لإصلاح ذلك، استخدم الفريق عملية تدريب مكونة من خطوتين.

الخطوة الأولى: قراءة الدليل. أولاً، قاموا بتعليم الذكاء الاصطناعي باستخدام الأوصاف النصية (التعليقات) المقترنة بالفيديوهات. ساعد هذا الذكاء الاصطناعي على تعلم لغة القيادة، لكن ذلك لم يكن كافيًا. فالذكاء الاصطناعي لم يكن "يشعر" بالحركة بعمق بعد.
الخطوة الثانية: مكافأة المسار. هنا يتألق نظام TraVEL. لقد قدموا "مدربًا متميزًا". أثناء التدريب، يُعرض على الذكاء الاصطناعي الفيديو و المسار الدقيق الذي سلكته السيارة (GPS). يقول المدرب: "إذا كان النص يقول 'انعطف يسارًا'، والفيديو يظهر مسار 'انعطاف يمين'، فستحصل على درجة سيئة. إذا تطابق المسار مع النص، فستحصل على درجة عالية".

الأمر الجوهل هو أن هذا "المدرب" (مسار الـ GPS) يُستخدم فقط أثناء التدريب. بمجرد انتهاء تعلم الذكاء الاصطناعي، لا يعود بحاجة إلى مسار الـ GPS. هو يحتاج فقط إلى الفيديو واستعلام البحث النصي. لقد تعلم الذكاء الاصطناعي استيعاب الشعور بالحركة جيدًا لدرجة أنه يمكنه العثور على الفيديو الصحيح باستخدام رمز بحث واحد فقط، دون الحاجة إلى مستشعرات إضافية أو قواعد معقدة في لحظة البحث.

ماذا وجدوا؟
كانت النتائج واعدة للغاية. عندما اختبروا طريقتهم الجديدة على مجموعة بيانات لمقاطع القيادة تسمى nuReasoning:

أفضل في الحركة: أصبح الذكاء الاصطناعي أفضل بكثير في العثور على الفيديوهات بناءً على الحركة. على سبيل المثال، عند البحث عن "التسارع" أو "الانعطاف يسارًا"، ارتفقت الدقة بشكل ملحوظ.
الأرقام: عند حجم نموذج يبلغ 2 مليار معلمة (parameter)، حسنت الطريقة الجديدة القدرة على العثات الحركة "الطولية" (للأمام/للخلف) بمقدار 9.8 نقطة والحركة "العرضية" (من جانب لآخر) بمقدار 4.7 نقطة مقارنة بأفضل طريقة سابقة. وحتى عند حجم أكبر يبلغ 8 مليارات معلمة، شهدوا مكاسب قدرها 7.2 و 1.5 نقطة على التوالي.
الدليل البصري: في أحد الاختبارات، حاول الذكاء الاصطناعي القديم العثور على فيديو لسيارة تبطئ من أجل أحد المشاة، فاختار بالخطأ فيديو لسيارة تسرع في الليل. أما نموذج TraVEL الجديد فقد اختار بشكل صحيح الفيديو الذي تظهر فيه السيارة وهي تبطئ، مطبقًا كل من الحركة والسياق.

ما الذي استبعدوه؟
يجادل البحث صراحةً ضد فكرة أن مجرد جعل نموذج الذكاء الاصطناعي أكبر (إضافة المزيد من المعلمات) سيحل المشكلة. لقد اختبروا نماذج تتراوح من الصغيرة إلى الضخمة، وبدون طريقة التدريب الجديدة الخاصة بهم، كانت النماذج الأكبر لا تزال مرتبكة بشأن الحركة تمامًا مثل النماذج الأصغر. كما استبعدوا الحاجة إلى أنظمة معقدة متعددة الخطوات تتطلب مستشعرات إضافية أو قواعد يحددها البشر في كل مرة يتم فيها إجراء البحث. يحافظ TraVEL على البساطة: فيديو واحد، رمز واحد، بحث واحد.

ما مدى ثقتهم؟
يشير المؤلفون إلى أن هذا النهج يعد تحسنًا قويًا لعمليات الاسترجاع "المتمحورة حول الحركة"، لكنهم يلاحظون بحذر أنه ليس حلاً مثاليًا لـ كل سيناريوهات القيادة. فقد وجدوا أنه بينما أصبح الذكاء الاصطناعي أفضل بكثير في الحركات الكبيرة مثل الانعطاف والتوقف، إلا أنه لا يزال يجد بعض تغييرات المسارات الطفيفة (مثل "التحرك قليلاً جهة اليسار داخل المسار") صعبة نوعًا ما. ويخلصون إلى أنه بينما تعد إشارات الحركة الفيزيائية أداة قوية، إلا أنه لا تزال هناك مساحة للتحسين، ربما من خلال تعليم الذكاء الاصطناعي ملاحظة حركة السيارات الأخرى، وليس فقط السيارة التي يركب فيها.

باخت اختصار، يعلم نظام TraVEL حواسيب السيارات ذاتية القيادة الانتباه لـ "رقصة" المركبة، وليس فقط للمسرح الذي ترقص عليه، مما يجعل من السهل جدًا العثات اللحظات المحددة التي تهم السلامة والتعلم.

ملخص تقني: TraVEL – تعلم تضمين الفيديو الموجه بالمسار لاسترجاع فيديوهات القيادة

بيان المشكلة

يعد الاسترجاع الفعال لسيناريوهات القيادة المحددة من سجلات المركبات ذاتية القيادة واسعة النطاق أمراً بالغ الأهمية لتنظيم البيانات، وتطوير النماذج، وتحليل السلامة. وبينما يمكن لأنظمة الاسترجاع القائمة على القواعد والمنظمة استهداف أحداث معينة، إلا أنها تتطلب قواعد محددة من قبل الخبراء، وبيانات مساعدة (مثل اكتشاف الأشياء، والخرائط)، ومسارات إدراك متعددة المراحل، مما يجعل توسيعها لنطاقات جديدة مكلفاً. وفي المقابل، توفر نماذج التضمين متعددة الوسائط بديلاً أبسط وأكثر كفاءة من خلال تمثيل الفيديوهات كمتجهات قابلة للبحث بمتجه واحد. ومع ذلك، غالباً ما تفشل نماذج الرؤية واللغة (VLMs) العامة في مجال القيادة لأنها تعتمد على اختصارات سياق المشهد الثابت بدلاً من الحركة الدقيقة. فهي تجد صعوبة في التمييز بين الأحداث المتضادة تشغيلياً (مثل التسارع مقابل التباطؤ، أو الانعطاف يساراً مقابل الانعطاف يميناً) عندما يكون الخلفية البصرية متشابهة.

المنهجية

يقترح المؤلفون TraVEL (تعلم تضمين الفيديو الموجه بالمسار)، وهو إطار عمل مصمم لتكييف نماذج التضمين متعددة الوسائط العامة مع استرجاع فيديوهات القيادة عن طريق دمج إشارات الحركة الفيزيائية أثناء التدريب دون الحاجة إليها عند الاستنتاج. يتكون النهج من خط تدريب ذي مرحلتين:

1. الضبط الدقيق الخاضع للإشراف في مجال القيادة (SFT)

يعالج المؤلفون أولاً الفجوة النطاقية بين بيانات التدريب المسبق العامة وفيديوهات القيادة. يقومون بضبط نموذج Qwen3-VL-Embedding باستخدام مقاطع فيديو قيادة مقترنة بنصوص تتبع الاستدلال من مجموعة بيانات nuReasoning. تستخدم هذه المرحلة هدف InfoNCE لمحاذاة تمثيلات النص والفيديو، مما يحسن أداء الاسترجاع العام بشكل كبير. ومع ذلك، يشير المؤلفون إلى أن الإشراف عبر النصوص يوفر فقط إشارة متفرقة للديناميكيات الدقيقة للمركبة، مما يجعل الاستعلامات التي تركز على الحركة (مثل ملفات التسارع المحددة) أمراً صعباً.

2. تحسين السياسة النسبي للمجموعات الموجه بالمسار (GRPO)

لمعالجة قيود الإشراف المعتمد على النصوص فقط، يقدم TraVEL مرحلة تعلم تعزيزي باستخدام تحسين السياسة النسبي للمجموعات (GRPO).

الإشراف المتميز: أثناء التدريب، يتم إقران كل مقطع فيديو بتسلسل وضعية المركبة (ego-pose sequence) متزامن (الإزاحة الجانبية والسرعة). هذه الوضعيات هي معلومات متميزة: تُستخدم فقط كإشارة مكافأة أثناء التدريب ولا تُقدم كمدخلات لنموذج التضمين أو تُطلب أثناء الاسترجاع.
تمثيل الحركة: يتم إعادة أخذ عينات من تسلسلات وضعية المركبة وتحويلها باستخدام دالة التواء لوغاريتمية للتركيز على التغييرات بالقرب من الصفر (مثل التوقف إلى التسارع). يتم حساب التشابه بين إشارات الحركة باستخدام الالتواء الزمني الديناميكي (DTW) للتعامل مع عدم المحاذاة الزمنية.
بناء المكافأة: تبني عملية التدريب نوعين من المجموعات المرشحة:
- النص إلى الفيديو ( $G_{t2v}$ ): يتضمن الفيديو الحقيقي (ground-truth) والسلبيات الصعبة. المكافأة ثنائية (1 للزوج الصحيح، 0 خلاف ذلك) للحفاظ على المحاذاة عبر الوسائط.
- الفيديو إلى الفيديو ( $G_{v2v}$ ): يتضمن مرشحي الفيديو الأعلى درجة بناءً على النموذج الحالي. المكافأة هي قيمة متدرجة مشتقة من تشابه مسار المركبة (مسافة DTW). تحصل المقاطع ذات الحركة المتشابهة على مكافآت أعلى.
التحسين: يعمل هدف GRPO على تحديث النموذج لتعظيم ميزة الأزواج الصحيحة والفيديوهات المتشابهة حركياً، مما يعيد تشكيل فضاء التضمين ليكون حساساً لحركة المركبة مع الحفاظ على كفاءة الاسترجاع بمتجه واحد.

المساهمات الرئيسية

إطار عمل TraVEL: طريقة بسيطة وفعالة لتكييف نماذج التضمين متعددة الوسائط العامة مع استرجاع فيديوهات القيادة من خلال دمج إشارات الحركة الفيزيائية في حلقة التدريب.
الضبط الدقيق الواعي بالمسار: تقديم مكافأة مشتقة من المسار ضمن إطار عمل GRPO. هذا يجعل تضمينات الفيديو حساسة لحركة المركبة (الطولية والجانبية) دون تغيير خط الاستنتاج (أي لا حاجة لوضعيات المركبة أو الإدراك المساعد عند الاسترجاع).
معيار استرجاع فيديوهات القيادة: بناء معيار استرجاع مستمد من مجموعة بيانات nuReasoning، يقيم خصيصاً الاستعلامات التي تركز على الحركة.

النتائج التجريبية

قيم المؤلفون TraVEL على مجموعة بيانات nuReasoning باستخدام نماذج Qwen3-VL-Embedding بمقياس بارامترات 2B و 8B.

أداء الخط المرجعي (Baseline): أظهرت النماذج الجاهزة (بما في ذلك CLIP4Clip و InternVideo2 و Qwen3-VL المدرب مسبقاً) فجوة نطاقية كبيرة، حيث كانت درجات R@1 عموماً أقل من 2.5% والوسيط المرتب (median rank) قريب من العشوائية.
تأثير SFT: أدى الضبط الدقيق الخاضع للإشراف على المقاطع المقترنة إلى تحسين الاسترجاع بشكل كبير، لكنه ظل غير كافٍ للتمييز الدقيق للحركة.
أداء TraVEL:
- استرجاع مستوى الحالة (Instance-Level Retrieval): حسن TraVEL الاستدعاء (recall) بشكل كبير. عند مقياس 2B، ارتفع R@1 من 1.3% (النموذج المدرب مسبقاً) إلى 8.7%، وانخفض الوسيط المرتب من 266 إلى 23. عند مقياس 8B، وصل R@1 إلى 10.1%، مع وسيط مرتب قدره 17.
- الاسترجاع المرتكز على الحركة: أظهر TraVEL أكبر المكاسب في الاستعلامات المحددة للحركة.
  - نموذج 2B: تحسن mAP الطولي بمقدار 9.8 نقطة (من 45.9% مع SFT إلى 55.7% مع TraVEL). وتحسن mAP الجانبي بمقدار 4.7 نقطة (من 31.0% إلى 35.7%).
  - نموذج 8B: تحسن mAP الطولي بمقدار 7.2 نقطة (إلى 57.5%)، وتحسن mAP الجانبي بمقدار 1.5 نقطة (إلى 39.9%).
- التحليل النوعي: أظهرت التصورات أن TraVEL نجح في تقليل التشابه بين المقاطع المتشابهة بصرياً ولكنها مختلفة حركياً (مثل التسارع في انعطاف يسار مقابل التباطؤ في انعطاف يمين) وزيادة التشابه بين المقاطع التي تشترك في نفس المسار رغم اختلاف السياقات البصرية (مثل النهار مقابل الليل).

الأهمية والادعاءات

يدعي البحث أن TraVEL نجح في سد الفجوة بين كفاءة البحث بالتضمين بمتجه واحد والحاجة إلى استرجاع حساس للحركة في القيادة الذاتية. من خلال استخدام تشابه مسار المركبة كإشارة إشراف متميزة، ينظم منهج TraVEL فضاء تضمين الفيديو وفقاً لديناميكيات المركبة دون الحاجة إلى مسارات إدراك معقدة أو بيانات مساعدة أثناء الاستنتاج.

يؤكد المؤلفون أنه بينما يحقق TraVEL مكاسب واضحة في الاستعلامات المرتكزة على الحركة (خاصة سلوكيات التوقف والانعطاف)، لا تزال هناك تحديات فيما يتعلق بالانزياحات الطفيفة داخل المسار. ويضع المؤلفون TraVEL ليس كبديل للأنظمة الهيكلية القائمة على القواعد، بل كنهج تكميلي وفعال يستفيد من إشارات الحركة الفيزيائية المتاحة بسهولة لتعزيز القدرة التمثيلية للنماذج متعددة الوسائط العامة. ويشير العمل إلى أن الجمع بين الإشراف القائم على الفيزياء والبحث القائم على التضمين هو مسار قابل للتطبيق لتحسين سير العمل في مهام القيادة اللاحقة مثل تنظيم البيانات والتحقق من السلامة.