💻 computer science

STVG-R1: Incentivizing Instance-Level Reasoning and Grounding in Videos via Reinforcement Learning

يقدم STVG-R1 إطار عمل جديد للتعلم المعزز يعيد صياغة تحديد محتوى الفيديو كمسألة تحديد على مستوى الحالة باستخدام مطالبات مرئية فريدة، محققاً أداءً هو الأفضل في مجاله عبر عدة معايير مرجعية مع إلغاء الحاجة إلى أجهزة فك تشفير مساعدة وتقليل تكاليف التوسيم.

المؤلفون الأصليون: Xiaowen Zhang, Zhi Gao, Licheng Jiao, Lingling Li, Qing Li

نُشر 2026-02-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaowen Zhang, Zhi Gao, Licheng Jiao, Lingling Li, Qing Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث STVG-R1 باستخدام لغة بسيطة، وتشبيهات من الحياة اليومية، واستعارات إبداعية.

المشكلة الكبرى: الناقد السينمائي "المهلوس"

تخيل أنك سألت ناقداً سينمائياً ذكياً جداً ولكنه مشتت الذهن قليلاً (وهو نموذج ذكاء اصطناعي) أن يجد لك مشهداً معيناً في فيديو. قلت له: "أرني اللحظة التي يطارد فيها الكلب القرص الطائر (frisbee)."

غالباً ما تخطئ نماذج الذكاء الاصطناعي القديمة في هذا الأمر بطريقتين مضحكتين ولكن محبطتين:

المسافر عبر الزمن: قد يقول إن الحدث يحدث عند "الساعة 100" في فيديو مدته دقيقتان فقط.
صانع الخرائط: قد يحاول رسم مربع حول الكلب، لكنه ينتهي برسمه خارج الشاشة أو بشكل غريب وغير منطقي لأنه يحاول تخمين الإحداثيات الدقيقة (مثل "س=200، ص=50") دون أن "يرى" الشيء حقاً.

هذا ما يسمى "الهلوسة" (Hallucination). فالذكاء الاصطناعي هنا يخمن أرقاماً بدلاً من فهم القصة.

الحل: إعطاء الفيديو "بطاقات تعريف"

قرر مؤلفو هذه الورقة، STVG-R1، التوقف عن مطالبة الذكاء الاصطناعي بالقيام بعمليات حسابية (تخمين الإحداثيات) والبدء في مطالبته بفعل شيء أبسط بك much: لعب لعبة "ابحث عن الرقم".

إليكم كيف فعلوا ذلك، خطوة بخميل:

1. خدعة "بطاقة التعريف" (التلقين البصري)

بدلاً من عرض الفيديو الخام للذكاء الاصطناعي، يقومون أولاً بتشغيل أداة خاصة على الفيديو. هذه الأداة تجد كل كائن (بشر، كلاب، سيارات) وتضع رقماً أحمر صغيراً في منتصف كل واحد منها تماماً.

الكلب حصل على بطاقة: #1
القرص الطائر حصل على بطاقة: #2
الشجرة حصلت على بطاقة: #3

الآن، يبدو الفيديو وكأنه برنامج مسابقات حيث لكل شيء ملصق تعريفي.

2. السؤال الجديد

عندما تسأل الذكاء الاصطناعي: "متى يطارد الكلب القرص الطائر؟"، لن يضطر الذكاء الاصطناعي لتخمين الإحداثيات بعد الآن. عليه فقط أن ينظر إلى الفيديو ويقول:

"آه! أنا أرى الكلب رقم 1 يركض خلف القرص رقم 2 بين الثانية 5 و10."

هذا أسهل بكثير للذكاء الاصطناعي. الأمر يشبه سؤال طفل: "أي طفل يركض؟" بدلاً من سؤاله: "ما هي الإحداثيات الجغرافية للطفل الذي يركض؟"

3. "المدرب" (التعلم المعزز)

لم يتوقف المؤلفون عند بطاقات التعريف فقط. بل قاموا بتدريب الذكاء الاصطناعي باستخدام طريقة تسمى التعلم المعزز (Reinforcement Learning). فكر في هذا الأمر كمدرب صارم ولكنه متعاون.

اللعبة: يشاهد الذكاء الاصطناعي الفيديو ويقدم تخميناً.
بطاقة التقييم: يتحقق المدرب من ثلاثة أشياء:
1. الوقت: هل اخترت الثواني الصحيحة؟ (الدقة الزمنية)
2. الهوية: هل اخترت الرقم الصحيح؟ (الاتساق المكاني)
3. التنسيق: هل كتبت إجابتك بالطريقة الصحيحة؟ (البنية)
المكافأة: إذا أصاب الذكاء الاصطناعي، يحصل على "مكافأة" (نقطة مكافأة). وإذا أخطأ، يحصل على تنبيه لطيف بـ "حاول مرة أخرى".

مع مرور الوقت، يتعلم الذكاء الاصطناعي أن يصبح محققاً مثالياً. يتوقف عن التخمين ويبدأ في الاستنتاج: "أنا أرى رقم 1 يتحرك، إذاً لا بد أنه الكلب. الحدث يبدأ عندما يبدأ رقم 1 في التحرك."

لماذا يعد هذا أمراً بالغ الأهمية؟

تظهر الورقة أن هذه الفكرة البسيطة تعمل بشكل مذهل:

رقم قياسي جديد: في الاختبارات القياسية، تفوق هذا النموذج الجديد (STVG-R1) على أفضل النماذ السابقة بفارق هائل (أفضل بأكثر من 20% في بعض الحالات).
بطل "القدرة الصفرية" (Zero-Shot): هذا هو الجزء الأروع. لقد تم تدريب الذكاء الاصطناعي على فيديوهات تحتوي على كائن رئيسي واحد. ولكن عندما اختبروه على فيديوهات تحتوي على أجسام كثيرة (مثل مشهد حفلة صاخبة)، ظل يعمل بشكل مثالي! لم يكن بحاجة لإعادة التدريب، فقد عرف ببساطة كيف يبحث عن الأرقام.
لا مزيد من الرياضيات: من خلال تحويل مشكلة رياضية صعبة (الإحداثيات) إلى مشكلة قراءة بسيطة (تحديد الأرقام)، جعلوا الذكاء الاصطناعي أكثر ذكاءً وسرعة دون الحاجة إلى أجهزة جديدة باهظة الثمن.

الخلاصة

تخيل أنك تحاول العثور على شخص معين في ملعب مزدحم.

الطريقة القديمة: تحاول وصف موقعه باستخدام نظام شبكي معقد (الصف 45، المقعد 12، على بُعد 3 بوصات يسار الممر). من الصعب ضبط ذلك بدقة.
طريقة STVG-R1: تضع قبعة نيون كبيرة ومضيئة على الجميع وعليها رقم. ثم تقول للذكاء الاصطناعي: "ابحث عن الشخص الذي يرتدي القبعة التي تحمل الرقم 42".

من خلال منح الفيديو لغة بسيطة ومتسقة (الأرقام) وتدريب الذكاء الاصطناعي باستخدام مدرب ذكي (التعلم المعزز)، نجح المؤلفون في حل مشكلة "هلوسة" الذكاء الاصطناعي وجعلوا فهم الفيديو أكثر موثوقية.

إليك ملخص تقني مفصل لورقة البحث STVG-R1: تحفيز الاستدلال والربط على مستوى المثيل في الفيديوهات عبر التعلم التعزيزي.

1. بيان المشكلة

التوطين المكاني-الزماني للفيديو (STVG) هو مهمة تنبؤ كثيفة تتطلب من نماذج الرؤية واللغة (VLMs) تحديد المقطع الزمني المحدد وصندوق الإحاطة المكاني (أو القناع) لكائن موصوف بواسطة استعلام لغوي طبيعي داخل فيديو.

التحدي الجوهري: تعاني نماذج الرؤية واللغة الحالية من الهلوسة بسبب عدم المحاذاة بين الأوصاف النصية والإحداثيات البصرية. ويتجلى ذلك في تجاوز الطوابع الزمنية لمدد الفيديو، أو تجاوز الإحداثيات لدقة إطار الفيديو.
قصور الأعمال السابقة:
- النهج القائم على المحاذاة: يحاول محاذاة النص والإحداثيات مباشرة، لكنه يواجه صعوبة في المشاهد متعددة الكائنات، وغالبًا ما ينتج مخرجات غير متسقة أو بلا معنى (مثل [0.00, 0.00, 0.27, 0.00]).
- النهج القائم على فك التشفير (Decoder-based): يستخدم رموز التجزئة (segmentation tokens) لضمان الاتساق، ولكنه يعتمد على مخرجات ضمنية وفك تشفير إضافي قابل للتدريب، مما يزيد من التكاليف الحسابية وتكاليف التوسيم (annotation).
- التعميم: تفشل معظم النماذج المتخصصة في التعميم على السيناريوهات غير المرئية أو المهام متعددة الكائنات دون إعادة تدريب مكثفة.

2. المنهجية

يقترح المؤلفون تحولًا جذريًا في النموذج من الانحدار الكثيف للإحداثيات إلى تحديد الهوية على مستوى المثيل (Instance-level identification) باستخدام نهج مبتكر لـ التحفيز البصري المتمحور حول الكائن (Object-Centric Visual Prompting) مقترنًا بـ التعلم التعزيزي (RL).

أ. نهج التحفيز البصري المتمحور حول الكائن

بدلاً من مطالبة نموذج الرؤية واللغة بالتنبؤ بالإحداثيات الخام $(x, y, w, h)$ لكل إطار، تقوم هذه الطريقة بإعادة صياغة المهمة لتصبح تحديد معرفات الكائنات (Object IDs) الفريدة.

توليد التحفيز (Prompt Generation):
- يتم معالجة الإطار الأول بواسطة كاشف كائنات (YOLOv12) لتوليد صناديق إحاطة مرشحة.
- يُستخدم نموذج SAM2 (Segment Anything Model 2) لتوليد أقنعة تجزئة عالية الجودة ونشرها عبر الفيديو عبر التتبع.
- إعادة الكشف: يعمل إعادة الكشف الدوري (كل 15 إطارًا) على التعامل مع الكائنات الجديدة أو المفقودة.
- تعيين المعرف (ID Assignment): يتم وضع علامة رقمية فريدة ومتسقة زمنيًا (مثل الرقم الأحمر "1"، "2") فوق مركز كل مثيل (centroid).
تنسيق المدخلات: يتلقى نموذج الرؤية واللغة إطارات الفيديو المعززة بهذه التحفيزات البصرية والاستعلام النصي.
تنسيق المخرجات: يتنبأ النموذج بـ المعرف المستهدف (Target ID) (أو مجموعة من المعرفات) والنطاق الزمني، بدلاً من الإحداثيات الخام. هذا يبسط مساحة المخرجات ويفرض الاتساق على مستوى المثيل.

ب. إطار عمل STVG-R1 (التعلم التعزيزي)

قدم المؤلفون STVG-R1، وهو أول إطار عمل للتعلم التعزيزي مخصص لـ STVG، مبني على خوارزمية تحسين السياسة النسبية للمجموعة (GRPO).

هدف التدريب: على عكس الضبط الدقيق الخاضع للإشراف (SFT) الذي يستخدم خسارة مستوى الرمز (token-level loss)، يقوم STVG-R1 بتحسين نموذج السياسة باستخدام دالة مكافأة مدفوعة بالمهمة.
تصميم المكافأة ( $R(o)$ ): إجمالي المكافأة هو مجموع ثلاثة مكونات:
1. مكافأة زمنية ( $r_t$ ): تعتمد على تقاطع الاتحاد (IoU) بين الفترة الزمنية المتوقعة والحقيقة الأرضية (ground truth).
2. مكافأة الاتساق المكاني ( $r_s$ ): مكافأة ثنائية (0/1). تكون 1 فقط إذا تطابق معرف الكائن المتوقع مع الحقيقة الأرضية وظهور الكائن ضمن الفترة الزمنية المتوقعة. هذا يمنع النموذج من "الغش" عبر التنبؤ بوقت صحيح ولكن بكائن خاطئ.
3. مكافأة التنسيق ( $r_f$ ): تفرض الامتثال الهيكلي، حيث تتطلب من النموذج إخراج الاستدلال داخل وسوم <thought>...</thought> والإجابة النهائية داخل وسوم <answer>...</answer>.
التحسين: يولد النموذج $n$ من الاستجابات المرشحة لكل استعلام. يتم حساب ميزة (advantage) كل استجابة بالنسبة لمتوسط المجموعة، ويتم تحديث السياسة لتعظيم المكافأة المتوقعة مع الحفاظ على قيود تباعد KL لمنع انحراف السياسة.

3. المساهمات الرئيسية

التحفيز البصري المتمحور حول الكائن: نهج جديد، خالٍ من التدريب، يحول التنبؤ بالإحداثيات المعقدة لكل إطار إلى مهمة تحديد مثيل مدمجة وقابلة للتفسير. هذا يتجنب المشكلة الصعبة المتمثلة في محاذاة الإحداثيات عبر الوسائط.
إطار عمل STVG-R1: أول إطار عمل للتعلم التعزيزي لـ STVG يعمل على تحسين الدقة الزمنية، والاتساق المكاني، والاستدلال الهيكلي بشكل مشترك باستخدام GRPO.
التعميم الفائق: يظهر النهج قدرات قوية في التعميم الصفري (zero-shot)، لا سيما في تجزئة الفيديو المرجعي متعدد الكائنات (Multi-Object Referring Video Object Segmentation)، وهي مهمة لم يتم تدريب النموذج عليها صراحةً.

4. النتائج التجريبية

تم تقييم الطريقة على ستة معايير مرجعية، مما أظهر تحسينات كبيرة مقارنة بالنماذج الرائدة (SOTA).

أداء STVG:
- في HCSTVG-v2، تفوق STVG-R1 (المبني على Qwen2.5-VL-7B) على النموذج الأساسي بنسبة مذهلة بلغت 20.9% في mIoU، محققًا رقمًا قياسيًا جديدًا (SOTA).
- تفوق على النماذج المتخصصة مثل SpaceVLLM و LLaVA-ST عبر مقاييس متعددة (m tIoU, m vIoU).
التعميم الصفري (Zero-Shot Generalization):
- التجزئة متعددة الكائنات (MeViS): رغم تدريبه على بيانات STVG أحادية الكائن، حقق STVG-R1 درجة 47.3% J&F رائدة في معيار MeViS لتجزئة الفيديو المرجعي متعدد الكائنات.
- التوطين الزمني للفيديو: حقق نتائج تنافسية في Charades-STA و TVGBench، مما أظهر القوة في المهام الزمنية فقط.
دراسات الاستئصال (Ablation Studies):
- أكدت أن التحفيزات البصرية تعزز بشكل أساسي التوطين المكاني، بينما يحسن GRPO الدقة الزمنية واتساق الاستدلال بشكل كبير.
- أظهرت أن مكافأة المكان الثنائية المتفرقة أكثر فعالية من مكافآت IoU المستمرة للمكان عند اختيار المثيل.

5. الأهمية

الكفاءة: تلغي هذه الطة الحاجة إلى فك تشفير إضافي قابل للتدريب أو كميات هائلة من التوسيمات الكثيفة للإحداثيات، مستفيدة من نماذج التأسيس الموجودة والكواشف الجاهزة.
تعزيز الاستدلال: من خلال إجبار النموذج على الاستدلال حول "أي معرف كائن" يتوافق مع الاستعلام، يعزز إطار العمل قدرات الاستدلال على مستوى المثيل، مما يقلل من الهلوسة الشائعة في نماذج الرؤية واللغة.
القابلية للتوسع: نهج التحفيز البصري متوافق مع مختلف هياكل VLM (تم اختباره على Qwen2.5, Qwen3, InternVL3) ويتعمم جيدًا على المهام غير المرئية، مما يشير إلى اتجاه واعد لمستقبل فهم الفيديو متعدد الوسائط.

باختصار، يعيد STVG-R1 تعريف توطين الفيديو عبر فصل الاستدلال المكاني عن انحدار الإحداثيات، باستخدام معرفات بصرية وتعلم تعزيزي لتحقيق أداء قوي ومتسق وقابل للتعميم.