🤖 AI

RELO: Reinforcement Learning to Localize for Visual Object Tracking

تقدم الورقة البحثية RELO، وهو أسلوب لتتبع الأجسام بصرياً يستبدل الأولويات المكانية المصممة يدوياً بسياسة تحديد مواقع قائمة على التعلم التعزيزي ومُحسّنة وفق مقاييس مباشرة مثل IoU وAUC، مع دمج انتشار الرموز الزمني المتوافق مع الطبقات لتحقيق أداء رائد في هذا المجال.

المؤلفون الأصليون: Xin Chen, Chuanyu Sun, Jiao Xu, Houwen Peng, Dong Wang, Huchuan Lu, Kede Ma

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xin Chen, Chuanyu Sun, Jiao Xu, Houwen Peng, Dong Wang, Huchuan Lu, Kede Ma

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على صديق معين في موكب مزدحم ومتحرك. كل بضع ثوانٍ، تقوم الكاميرا بعمل زووم (تقريب) على قسم جديد من الحشد، وعليك أن تشير بدقة إلى مكان صديقك.

الطريقة القديمة: اتباع "خريطة التخمين"
لفترة طويلة، اعتمدت البرامج الحاسوبية التي تحاول القيام بهذا العمل (المعروفة باسم "المتتبعات البصرية") على "خريطة تخمين" معدة مسبقاً. فكر في هذا الأمر كخريطة حرارية رسمها مصمم بشري. تقول الخريطة: "الشخص من المرجح أن يكون في المركز تماماً، وتقل الاحتمالات كلما ابتعدت عن المركز، مثل منحنى الجرس".

كانت مهمة الكمبيوتر هي مجرد جعل تخمينه يطابق هذه الخريطة المرسودة مسبقاً قدر الإمكان. والمشكلة؟ الخريطة ليست سوى تخمين بشري. هي لا تهتم فعلياً بما إذا كان الكمبيوتر "جيداً" في العثور على الشخص؛ بل تهتم فقط بما إذا كان الكمبيوتر "جيداً" في مطابقة الرسم. إذا تحرك الشخص بشكل غريب أو تغير مظهره، فقد تكون الخريطة خاطئة، لكن الكمبيوتر يستمر في محاولة مطابقة الخريطة على أي حال.

الطريقة الجديدة: RELO (المتعلم عبر "التجربة والخطأ")
تقدم الورقة البحثية منهجية RELO، وهي طريقة جديدة تتخلص من الخريطة المرسومة مسبقاً. بدلاً من ذلك، تعامل عملية العثور على الشخص كأنها لعبة "ساخن وبارد" (Hot and Cold) تُلعَب باستخدام التعلم التعزيزي (Reinforcement Learning - RL).

إليك كيف تعمل RELO، باستخدام تشبيهات بسيطة:

لوحة اللعبة: تخيل إطار الفيديو كأنه لوحة شطرنج عملاقة. كل مربع واحد على اللوحة هو مكان محتمل لتواجد صديقك.
اللاعب: الكمبيوتر هو لاعب يحصل على حق اختيار مربع واحد فقط على اللوحة لكل إطار من إطارات الفيديو.
النتيجة (المكافأة): بدلاً من التحقق مما إذا كان اللاعب قد اختار المربع "المركزي"، يحصل الكمبيوتر على درجة بناءً على مدى جودة عثوره الفعلي على الشخص.
- إذا كان المربع الذي اختاره يغطي الشخص تماماً، فإنه يحصل على درجة عالية (مثل "نجمة ذهبية").
- إذا أخطأ، فإنه يحصل على درجة منخفضة.
- كما يحصل أيضاً على مكافأة للبقاء على الهدف طوال الفيديو، وليس لثانية واحدة فقط.
التعلم بالممارسة: يجرب الكمبيوتر مربعات مختلفة. عندما يختار مربعاً يؤدي إلى درجة عالية، يتذكر قائلاً: "مهلاً، هذا المكان فعال!". وعندما يختار مكاناً سيئاً، يتعلم قائلاً: "تجنب ذلك". بمرور الوقت، يتوقف عن التخمين بناءً على خريطة بشرية ويبدأ في التخمين بناءً على ما ينجح فعلياً في العثور على الهدف.

السر المذهل: "الذاكرة المتوافقة مع الطبقات" (Layer-Aligned Memory)
للتأكد من أن الكمبيوتر لن يرتبك عندما ينتقل الفيديو من إطار إلى آخر، تستخدم RELO خدعة ذاكرة خاصة.

تخيل أنك تشاهد فيلماً. إذا كنت تمرر ملاحظة من مشهد إلى المشهد التالي، فأنت تريد أن تكون الملاحظة عند نفس "مستوى" التفاصيل.

الطريقة القديمة: كانت بعض الأنظمة تأخذ ملاحظة مفصلة جداً من نهاية المشهد السابق وتحاول لصقها في بداية المشهد الجديد تماماً. كان الأمر يشبه محاولة وضع صورة عالية الدقة في دفتر رسومات صغير؛ التفاصيل لم تكن متطابقة.
طريقة RELO: تمرر RELO ملاحظات تتوافق تماماً. الملاحظة المفصلة تذهب إلى جزء مفصل من المشهد الجديد؛ والملاحظة البسيطة تذهب إلى جزء بسيط. هذا يحافظ على اتساق القصة دون إبطاء الكمبيوتر.

النتائج
اختبر المؤلفون هذا النهج القائم على "لعب اللعبة" مقابل طرق "اتباع الخريطة" القديمة في العديد من تحديات الفيديو.

دقة أفضل: وجدت RELO الأهداف بدقة أكبر، خاصة في المواقف الصعبة حيث بدا الهدف مختلفاً جداً عما بدأ به (مثل تغيير شخص لملابسه أو تغير الإضاءة).
السرعة: كانت سريعة بما يكفي للعمل في الوقت الفعلي (Real-time) على شرائح الكمبيوتر القياسية.
لا حاجة لتحديث القوالب: على عكس بعض الطرق الأخرى التي تحتاج باستمرار لإعادة تعلم شكل الهدف مع تقدم الفيديو، استطاعت RELO القيام بعمل رائع دون الحاجة لتحديث "ذاكرتها" عن الهدف باستمرار.

باختصار
تغير RELO قواعد اللعبة. فبدلاً من تعليم الكمبيوتر اتباع خريطة رسمها إنسان حول أين يجب أن يكون الهدف، فإنها تعلم الكمبيوتر أين يوجد الهدف فعلياً من خلال لعب اللعبة، وارتكاب الأخطاء، والحصول على مكافأة عند النجاح. وتزعم الورقة البحثية أن هذا النهج "القائم على المكافأة" هو طريقة أذكى وأكثر مرونة لتتبع الأجسام في الفيديوهات من الطرق القديمة "القائمة على الأولوية/النماذج المسبقة".

ملخص تقني: RELO - التعلم المعزز للتحديد الموضعي لتتبع الأجسام البصرية

1. بيان المشكلة

يهدف تتبع الأجسام البصرية إلى تقدير حالة (بشكل أساسي الموقع) هدف ما عبر تسلسل فيديو بناءً على تهيئته في الإطار الأول. وبينما حققت المتتبعات التمييزية الحديثة، وخاصة تلك القائمة على الشبكات السيامية ونماذج المحولات (Transformers)، أداءً تجريبيًا قويًا، إلا أنها تعتمد بشكل كبير على النماذج المكانية المصممة يدويًا (handcrafted spatial priors) لتحديد المواقع.

تأخذ هذه النماذج عادةً شكل خرائط حرارية مركزية أو توزيعات احتمالية للزوايا. ويحدد البحث قصورًا مفاهيميًا جوهريًا في هذا النهج:

الإشراف البديل (Surrogate Supervision): إشارة الإشراف (مثل الخريطة الحرارية الغاوسية الممركزة حول الهدف) ترتبط بشكل غير مباشر فقط بالهدف الفعلي للتتبع.
عدم توافق المقاييس (Metric Misalignment): لا تقوم هذه النماذج بتحسين مقاييس التقييم القياسية مباشرة، مثل تقاطع الاتحاد (IoU) أو المساحة تحت منحنى النجاح (AUC).
الافتراضات الاستدلالية (Heuristic Assumptions): يؤدي تصميم هذه النماذج إلى إدخال افتراضات إضافية (مثل الأقنعة الثنائية أو التنعيم الغاوسي) وهي ليست متأصلة في مهمة التتبع، مما قد يؤدي إلى تبعات الأداء على الاختيارات التصميمية الاستدلالية.

السؤال الجوهري الذي طرحه المؤلفون هو: هل يمكن للمتتبع أن يتعلم تحديد مواقع الأهداف مباشرة من التغذية الراجعة الموجهة نحو المهمة (task-oriented feedback) دون الاعتماد على هذه النماذج المكانية المصممة يدويًا؟

2. المنهجية: RELO

قدم المؤلفون RELO (التعلم المعزز للتحديد الموضعي - REinforcement-learning-to-LOcalize)، وهو أسلوب يعيد صياغة تحديد موقع الهدف كـ عملية قرار ماركوف (MDP) عبر الخريطة الميزة المكانية لمنطقة البحث.

2.1 صياغة عملية قرار ماركوف (MDP)

الحالة (State): الخريطة الميزة المكانية $F^{(t)} \in \mathbb{R}^{H \times W \times C}$ المستخرجة من إطار البحث في الزمن $t$ عبر مشفر محول أحادي المسار (one-stream Transformer encoder).
فضاء العمليات (Action Space): يتم التعامل مع كل موقع مكاني $(i, j)$ في الخريطة الميزة كعملية مرشحة $a_{ij}$ .
السياسة (Policy): تتعلم سياسة التحديد الموضعي $\pi$ اختيار العمليات الواعدة. بالنسبة لحالة معينة، تخرج السياسة توزيعًا فئويًا عبر المواقع المكانية.
| رأس الانحدار (Regression Head): لكل عملية تم أخذ عينة منها، يتنبأ رأس الانحدار بصندوق محيط (bounding box) مقابل.
المكافأة (Reward): بدلاً من الملاءمة مع الملصقات البديلة، يتم تحسين السياسة باستخدام مكافآت مستمدة مباشرة من مقاييس التتبع. تجمع المكافأة $r^{(t)}$ $r^{(t)}$ بين:
1. تقاطع الاتحاد على مستوى الإطار (Frame-level IoU): تغذية راجعة فورية حول دقة تحديد الموقع في الإطار الحالي.
2. المساحة تحت المنحنى على مستوى التسلسل (Sequence-level AUC): تقييم لمسار العينات عبر مقطع الفيديو لتشجيع الاتساق طويل الأمد.

2.2 استراتيجية التحسين

يستخدم RELO إطار عمل الممثل-الناقد (Actor-Critic) لتحسين سياسة التحديد الموضعي:

الممثل (الرأس الخاص بالسياسة): يخرج القيم المنطقية (logits) التي تحدد توزيع العمليات. يتم تحديثه لتعظيم المكافأة المتوقعة باستخدام دالة الميزة (advantage function).
الناقد (رأس القيمة): يتنبأ بالمكافأة المستقبلية المتوقعة (القيمة) لحالة معينة لتقليل التباين في تحديثات تدرج السياسة.
دالة الخسارة (Loss Function): تجمع الخسارة الإجمالية بين خسارة السياسة (الموزونة بالميزة) وخسارة انحدار القيمة.

2.3 المكونات التقنية الرئيسية

لضمان الاستقرار والفعالية، يدمج RELO آليتين محددتين:

مرحلة الإحماء للانحدار (Regression Warmup Stage):
إن تحسين التعلم المعزز المباشر من الصفر غير مستقر لأن العملية المكانية المختارة لن تكون مفيدة إلا إذا كان تنبؤ الصندوق المقابل ذا معنى. قدم المؤلفون مرحلة إحماء حيث يتم الإشراف على النموذج فقط عند الموقع الحقيقي (ground-truth) باستخدام خسائر Generalized IoU و $\ell_1$ . هذا يعلم النموذج كيفية انحدار صندوق من الميزات المحلية قبل أن تتعلم السياسة أين تنظر. يتم تجميد الأوزان المتعلمة هنا خلال مرحلة التعلم المعزز اللاحقة.
انتشار التوكنات الزمنية المتوافقة مع الطبقات (Layer-Aligned Temporal Token Propagation):
للحفاظ على الاتساق الدلالي عبر الإطارات بأقل قدر من التكاليف، يقوم RELO بنشر التوكنات الزمنية. بخلاف الطرق السابقة التي تضخ توكنات الطبقات العميقة من الإطار السابق في الطبقات الضحلة للإطار الحالي (مما يسبب عدم تطابق دلالي)، يستخدم RELO استراتيجية متوافقة مع الطبقات. يتم نشر التوكنات الزمنية المولدة في الطبقة $l$ في الإطار $t-1$ فقط إلى الطبقة $l$ في الإطار $t$ . هذا يحافظ على الهيكل الهرمي للمشفر مع تمكين تبادل المعلومات عبر الإطارات.

3. المساهمات الرئيسية

يوضح البحث ثلاث مساهمات رئيسية:

الصياغة: تمت إعادة صياغة تحديد موقع الهدف في التتبع البصري كعملية قرار ماركوف وتجسيدها في RELO، مما يلغي الحاجة إلى النماذج المكانية المصممة يدويًا.
استراتيجية التدريب: تم تقديم خط تدريب عملي، يتميز بمرحلة إحماء انحدار لاستقرار النموذج وآلية انتشار توكنات زمنية متوافقة مع الطبقات للحفاظ على الاتساق الدلالي.
التحقق: أظهرت التجارونات المكثفة أن التحسين المباشر للمكافآت الموجهة نحو المهمة (IoU و AUC) عبر التعلم المعزز يوفر بديلًا قويًا للنماذج التقليدية القائمة على النماذج المسبقة، محققًا نتائج هي الأفضل في فئتها (state-of-the-art).

4. النتائج التجريبية

تم تقييم RELO على سبعة معايير قياسية (LaSOT, LaSOText, TrackingNet, GOT-10k, TNL2K, NFS, UAV123) مقابل أحدث المتتبعات.

الأداء: حقق RELO نتائج متفوقة عبر معايير متعددة.
- LaSOT: حقق RELO-L256 نسبة 75.1% AUC (بدون تحديثات القالب)، محتلًا المركز الأول بين المتتبعات ذات الحجم الكبير.
- LaSOText: حقق RELO نسبة 57.5% AUC، مما أظهر فارقًا كبيرًا عن الطرق السابقة. يشير المؤلفون إلى أن هذا المعيار يختبر القدرة على التعميم عبر الفئات، مما يوحي بأن RELO أكثر قوة تجاه تغيرات المظهر وتحولات الفئات.
- التتبع قصير المدى: في TrackingNet و GOT-10k، احتلت نسخ RELO المركز الأول في كل من فئتي الحجم الأساسي والحجم الكبير، متفوقة على الطرق ذات التصاميم الزمنية المعقدة.
الكفاءة: يحافظ RELO على سرعات استنتاج في الوقت الفعلي على وحدات معالجة الرسومات. على سبيل المثال، يعمل RELO-T256 بسرعة 91 إطارًا في الثانية على NVIDIA RTX 4090 مع تحقيق دقة تنافسية.
دراسات الاستئصال (Ablation Studies):
- أدى استبدال هدف التعلم المعزز بالتدريب القائم على النماذج المسبقة (الزوايا، المركز، أو خرائط الحرارة لـ IoU) إلى انخفاض في الأداء، مما يؤكد تفوق التعلم المدفوع بالمكافأة.
- أدت إزالة مكافأة AUC على مستوى التسلسل إلى انخفاض كبير في الأداء، مما يسلط الضوء على أهمية الإشراف طويل الأمد.
- وفرت استراتيجية الانتشار المتوافقة مع الطبقات تحسينات متسقة مقارنة بالانتشار من العميق إلى الضحل دون تكلفة حسابية إضافية.

5. الأهمية والادعاءات

يزعم البحث أن RELO يثبت أن التحديد الموضعي المدفوع بالمكافأة (reward-driven localization) يعد بديلًا فعالًا للتحديد الموضعي المدفوع بالنماذج المسبقة (prior-driven localization).

توافق التدريب والتقييم: من خلال التحسين المباشر لـ IoU و AUC، يقوم RELO بمواءمة هدف التدريب مع مقاييس التقييم، مما يزيل الانفصال الناتج عن الإشراف البديل.
التعميم: تشير المكاسب الكبيرة في LaSOText إلى أن السياسة المتعلمة أكثر قوة تجاه تحولات التوزيع وتغيرات المظهر مقارنة بالطرق التي تعتمد على نماذج مكانية ثابتة.
تحول النموذج (Paradigm Shift): يجادل المؤلفون بأن عنق الزجاجة في التتبع ليس فقط في تحسين الهياكل الأساسية (backbones) أو التدريب المسبق الزمني، بل في إشارة الإشراف المستخدمة لتعلم أين يتم تحديد الموقع. يثبت RELO أن إزالة النماذج المصممة يدويًا لصالح الاستكشاف الموجه نحو المهمة يؤدي إلى تحسينات متسقة في سيناريوهات التتبع طويلة وقصيرة المدى على حد سواء.

يقر المؤلفون بوجود قيود، مشيرين إلى أن المكافآت الحالية (IoU/AUC) لا تستوعب تمامًا السيناريوهات المعقدة مثل الحجب الشديد أو اختفاء الهدف، وأن النطاق الحالي محدود بتتبع جسم واحد وكاميرا واحدة. ومع ذلك، فإنهم يفترضون أن إطار العمل المدفوع بالمكافأة متوافق مع مختلف نماذج التتبع ويمكن توسيعه ليشمل سيناريوهات متعددة الأجسام واتخاذ قرارات نظامية أوسع نطاقًا في المستقبل.