💻 computer science

EgoVITA: Learning to Plan and Verify for Egocentric Video Reasoning

يُعد EgoVITA إطار عمل مبتكر يعزز الاستدلال في الفيديو من منظور الشخص الأول عبر تفكيك المهمة إلى عملية منظمة تعتمد على "التخطيط ثم التحقق"، وذلك باستخدام تحسين السياسة النسبية الجماعية (GRPO) لمواءمة تخطيط أفعال الشخص الأول مع تحقق منظور الشخص الثالث، مما يحقق أداءً هو الأفضل في فئته على معايير قياس الفيديو من منظور الشخص الأول ذات البيانات التدريبية المحدودة.

المؤلفون الأصليون: Yogesh Kulkarni, Pooyan Fazli

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yogesh Kulkarni, Pooyan Fazli

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك ترتدي كاميرا "GoPro" على رأسك، وتصور يومك بالكامل. أنت تحضر الإفطار، أو تمشي إلى الحافلة، أو تساعد صديقاً لك. الآن، تخيل أنك تسأل روبوتاً ذكياً للغاية يعمل بالذكاء الاصطناعي أن يشاهد الفيديو ويخبرك: "ماذا سأفعل بعد ذلك؟" أو "كيف أفعل هذا؟"

نماذج الذكاء الاصطناعي الحالية تشبه السياح الواثقين بزيادة. إنهم ينظرون إلى الفيديو، ويخمنون ما سيحدث لاحقاً بناءً على ما يحدث "عادةً"، ويعطون إجابة تبدو رائعة ولكنها غالباً ما تكون خاطئة. قد يقولون: "ستضع البيضة في المحمصة (Toaster)"، لأنهم يعرفون أن البيض والمحامص موجودان، رغم أن الفيديو يظهر بوضداً مقلاة بوضوح. إنهم يعانون لأنهم لا يرون العالم إلا من منظورك المحدود والمهتز (منظور "الأنا" أو الـ ego view)، مما يفوت عليهم الصورة الكبيرة.

EgoVITA هو إطار عمل جديد يصلح هذا الأمر عبر تعليم الذكاء الاصطناعي كيف يفكر كـ مخرج ومراقب سيناريو يعملان معاً.

إليك كيف يعمل، مقسماً إلى خطوات بسيطة:

1. الرقصة ذات الخطوتين: التخطيط والتحقق

بدلاً من مجرد تخمين الإجابة فوراً، يجبر EgoVITA الذكاء الاصطناعي على القيام بشيئين متميزين:

الخطوة 1: مخطط الـ "Ego" (الممثل)
أولاً، يرتدي الذكاء الاصطناعي قبعة مرتدي الكاميرا. ينظر إلى الفيديو ويقول: "حسناً، أنا أمسك بسكين. أرى حبة طماطم. خطتي هي: 1. أمسك السكين. 2. أقطع الطماطم".
- الاستعارة: هذا يشبه ممثلاً يتدرب على أدوارِه. إنه يفكر: "ما الذي سأفعله أنا تالياً؟"
الخطوة 2: مُحقِّق الـ "Exo" (المخرج)
هذا هو الجزء السحري. بعد ذلك، يتراجع الذكاء الاصطناعي للوراء ويتخيل أنه مراقب من منظور الشخص الثالث يشاهد الممثل من الجانب. يسأل نفسه: "انتظر لحظة. هل هذا المخطط منطقي حقاً في هذه الغرفة؟ هل لوحة التقطيع في المتناول فعلياً؟ هل السكين مرئي؟"
- الاستعارة: هذا هو مراقب السيناريو في موقع التصوير. يقول الممثل: "سأقفز فوق السياج"، فيتحقق المراقب قائلاً: "في الواقع، السياج مرتفع جداً، وأنت تحمل صندوقاً ثقيلاً. هذا المخطط لن ينجح". يقوم المراقب بإجبار الممثل على إعادة التفكير.

2. نظام مكافأة "الكرة البلورية"

كيف يتعلم الذكاء الاصطناعي القيام بذلك؟ استخدم الباحثون طريقة تدريب خاصة تسمى التعلم التعزيزي (Reinforcement Learning)، ولكن مع لمسة مختلفة.

عادةً، يحصل الذكاء الاصطناعي على "إبهام للأعلى" فقط في النهاية إذا كانت الإجابة النهائية صحيحة. لكن EgoVITA يعطي الذكاء الاصطناعي تغذية راجعة فورية أثناء تفكيره.

"الكرة البلورية" (التأسيس الاستباقي):
تخيل أن الذكاء الاصطناعي يتوقع: "سأمسك الكوب الأحمر". يقوم النظام بعد ذلك بالنظر إلى الإطارات (frames) المستقبلية للفيديو (الثواني القليلة التالية). إذا أمسك الذكاء الاصطناعي بالفعل بالكوب الأحمر، فإنه يحصل على درجة عالية. أما إذا توقع الكوب ولكن الفيديو يظهر وعاءً أزرق، فإنه يحصل على درجة منخفضة.
- التشبيه: الأمر يشبه لعبة فيديو تحصل فيها على نقاط لتوقع حركة العدو قبل أن يقوم بها. إذا تطابق توقعك مع الواقع المستقبلي، فأنت تفوز.
"فحص السلامة" (مكافأة الثقة):
يحصل الذكاء الاصطناعي أيضاً على نقاط لكون "المخرج" (المُحقِّق) متسقاً. إذا قال المخرج: "نعم، المخطط يعمل"، ولكن الفيديو يظهر بوضوح جداراً يسد الطريق، يتم معاقبة الذكاء الاصطناعي. هذا يعلمه أن يكون متواضعاً وأن يراجع عمله بنفسه.

3. لماذا هذا مهم: مشكلة "فقدان الذاكرة"

مشكلة شائعة في الذكاء الاصطناعي هي "النسيان الكارثي". عندما تعلم ذكاءً اصطناعياً أن يكون بارعاً في فيديوهات المنظور الأول (مثل الطبخ)، فإنه غالباً ما ينسى كيفية فهم فيديوهات المنظور الثالث العادية (مثل فيلم وثائقي عن الطبيعة).

يعالج EgoVITA هذا من خلال إبقاء دور "المخرج" نشطاً. ولأن الذكاء الاصطناعي يتدرب باستمرار على النظر إلى المشهد من منظور الشخص الثالث للتحقق من خططه، فإنه لا ينسى كيف يكون مراقباً عاماً. يصبح سيداً لكلا المنظورين في آن واحد.

النتائج

ببساطة، EgoVITA يشبه تعليم طالب أن:

يخطط لما سيفعله تالياً.
يتحقق مما إذا كان ذلك المخطط ممكناً جسدياً.
ينظر للأمام ليرى ما إذا كان المستقبل يطابق المخطط.

تظهر الورقة البحثية أن هذه الطريقة تجعل الذكاء الاصطناعي أفضل بكثير في فهم الفيديوهات من منظور الشخص الأول (مثل مساعدة شخص كفيف في التنقل أو المساعدة في المطبخ) دون أن يفقد قدرته على فهم الفيديوهات العادية. إنها تمنع الذكاء الاصطناعي من "الهلوسة" (اختلاق أشياء من خياله) وتجبره على ربط إجاباته بما يحدث فعلياً على الشاشة.

باختختصار: يعلم EgoVIA الذكاء الاصطناعي أن يتوقف عن التخمين ويبدأ في التخطيط، والتحقق، والنظر للأمام، تماماً كما يفعل البشر عندما يحاولون معرفة ما يجب عليهم فعله تالياً في موقف معقد.

إليك ملخص تقني مفصل لورقة البحث بعنوان "EgoVITA: التعلم للتخطيط والتحقق من أجل الاستدلال في الفيديو المنظوري الشخصي (Egocentric)".

١. بيان المشكلة

يتضمن فهم الفيديو المنظوري الشخصي (Egocentric) تحليل مقاطع فيديو مصورة من منظور الشخص الأول (من وجهة نظر الفاعل). وتفرض هذه البيئة تحديات فريدة مقارنة بتحليل الفيديو القياسي من المنظور الثالث (الخارجي/Exocentric):

عدم اكتمال الرؤية والحجب: غالبًا ما تفقد الكاميرا الأجسام أو الأفعال بسبب حجب جسم الممثل أو يديه للمشهد.
الحركة المستمرة: تجعل حركة الكاميرا السريعة وتغير زوايا النظر المحاذاة الزمنية أمراً صعباً.
قصور الاستدلال الإجرائي: تعاني النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الحالية من صعوبة في التنبؤ بكيفية تطور الأفعال بمرور الوقت؛ فهي غالباً ما تولد استجابات تبدو منطقية ولكنها غير متسقة بصرياً، وتفشل في الحفاظ على تمثيلات متماسكة للأجسام، وتعاني من "النسيان الكارثي" للمعرفة العامة (المنظورية الخارجية) عند ضبطها بدقة على بيانات منظورية شخصية.

تعتمد الطرق الحالية إما على مكافآت نادرة قائمة على القواعد (مما يحد من الاستدلال المعقد) أو تتطلب أزواج فيديوهات متزامنة (من منظور أول ومنظور ثالث) (وهو أمر نادر ومكلف الجمع).

٢. المنهجية: إطار عمل EgoVITA

يقدم نظام EgoVITA (وكيل الذكاء والتفكير للفيديو المنظوري الشخصي) إطار عمل يعتمد على مبدأ "التخطيط ثم التحقق"، حيث يقوم بتفكيك عملية الاستدلال إلى مرحلتين متميزتين ومتكاملتين، يتم تدريبهما عبر التعلم التعزيزي (RL).

أ. تفكيك الاستدلال

يولد النموذج مسار استدلال مهيكل $Y$ يتكون من ثلاثة أقسام:
١. التخطيط المنظوري الشخصي (<ego_plan>): يتنبأ النموذج بتسلسل سببي للأفعال المتوقعة من منظور الشخص الأول (مثلاً: "١. ارفع السكين، ٢. ضعها على اللوحة"). هذا القسم متخصص في الاستدلال الإجرائي وترتيب الأفعال.
٢. التحقق من المنظور الخارجي (<exo_verify>): يقوم النموذج بمراجعة الخطة المولدة من منظور الشخص الثالث. فهو يقيم ما إذا كانت الأفعال المتوقعة معقولة مادياً بناءً على تخطيط المشهد، وإمكانات الأشياء (affordances)، والسياق المرئي (مثلاً: "السكين مرئية على الطاولة؛ واللوحة في نطاق الوصول"). يعمل هذا القسم كفحص للاتساق دون الحاجة إلى بيانات فيديو متزامنة بين المنظورين الأول والثالث.
٣. الإجابة النهائية (<answer>): تكون الاستجابة النهائية مشروطة بكل من الخطة وعملية التحقق.

ب. استراتيجية التدريب

يتم تدريب إطار العمل على مرحلتين باستخدام استمثال السياسة النسبية الجماعية (GRPO):

المرحلة الأولى: الضبط الدقيق تحت الإشراف (SFT):
- تهيئة النموذج لإنتاج الهيكل الثلاثي الأجزاء.
- استخدام مجموعات بيانات موسومة بشرياً (EgoProceL للتخطيط، وHD-EPIC للتحقق) لتوليد آثار سلسلة أفكار عالية الجودة عبر نموذج معلم (Qwen2.5-VL-72B).
- تصفية وتحقق المسارات باستخدام Seed1.5-VL لضمان الجودة.
المرحلة الثانية: تحسين GRPO:
- سحب مجموعات من المسارات المرشحة (rollouts) لكل مدخل.
- تحديث السياسة بناءً على الجودة النسبية لهذه المسارات باستخدام دالة مكافأة مركبة ( $R$ ) تتكون من أربعة مكونات:
  1. مكافأة الصيغة ( $R_{format}$ ): تضمن هيكل المخرجات الصحيح.
  2. مكافأة الإجابة ( $R_{answer}$ ): تقيس مدى التوافق مع الملصقات الأرضية (ground-truth).
  3. مكافأة الربط العابر للنماذج الاستباقي (ACMG) ( $R_{ACMG}$ ): وهي مكافأة كثيفة تعمل على ربط بنود الخطة المتوقعة بالإطارات البصرية المستقبلية. تقوم بإسقاط تضمينات النصوص لخطوات الخطة في المساحة البصرية وحساب تشابه جيب التمام مع الـ $N=16$ إطار التالية. وهذا يشجع النموذج على "النظر للأمام" والتنبؤ بالحالات المستقبلية.
  4. مكافأة الثقة ( $R_{confidence}$ ): هي مكافأة كثيفة تعزز عمليات التحقق المتسقة من المنظور الثالث. تستخدم مرحلة إحماء موجهة بالمعلم تليها عملية ترتيب ذاتي لتفضيل عمليات التحقق التي توفق منطقياً بين الخطة والأدلة البصرية.
التنظيم الخارجي (Exocentric Regularization): لمنع النسيان الكارثي لفهم الفيديو العام، يقوم التدريب بالتناوب بين تحديثات GRPO وخسارة التقاطع المحوري الخفيفة على مجموعة بيانات خارجية (MSR-VTT). يضمن ذلك احتفاظ النموذج بقدراته الاستدلالية من المنظور الثالث أثناء تخصصه في المهام المنظورية الشخصية.

٣. المساهمات الرئيسية

١. إطار عمل ثنائي المنظور: يعد EgoVITA أول إطار عمل يفصل صراحة بين التخطيط المنظوري الشخصي والتحقق من المنظور الخارجي، مما يسمح بالتغذية الراجعة عبر المنظورات دون الحاجة إلى بيانات فيديو متزامنة.
٢. آليات المكافأة الكثيفة:
* ACMG: تقدم آلية لربط الخطط الإجرائية بالملاحظات البصرية المستقبلية، مما يجبر النموذج على تعلم الديناميكيات الزمنية بدلاً من السمات الساسية فقط.
* مكافأة الثقة: تصقل مرحلة التحقق من خلال الإحماء الموجّه بالمعلم والترتيب الذاتي.
٣. التعميم: يحقق النهج أداءً هو الأعلى عالمياً (state-of-the-art) في اختبارات قياس المنظور الشخصي مع الحفاظ على (بل وتحسين) الأداء في الاختبارات الخارجية القياسية، مما يحل المقايضة بين التخصص والتعميم.

٤. النتائج التجريبية

قام المؤلفون بتقييم EgoVITA على نماذج أساسية متعددة (Qwen2.5-VL-7B, InternVL3.5-8B, Qwen3-VL-8B) عبر اختبارات متنوعة.

الأداء المنظوري الشخصي:
- Qwen2.5-VL-7B: تحسن بمقدار +7.7 في EgoBlind (المساعدة البصرية للمكفوفين) وبمقدار +4.4 في EgoOrient.
- InternVL3.5-8B: تحسن بمقدار +3.6 في EgoBlind وبمقدار +3.8 في EgoOrient.
- تفوق بشكل كبير على أفضل النتائج السابقة (EgoThinker)، رغم استخدامه 47 ألف عينة تدريبية فقط مقارنة بـ 5 ملايين عينة استخدمها EgoThinker.
الأداء المنظوري الخارجي:
- بخلاف الطرق السابقة التي قد ينخفض أداؤها في مهام الفيديو العامة، حافظ EgoVITA على مستواه بل وحسن درجاته في اختبارات مثل Video-MME و MVBench و DocVQA.
- على سبيل المثال، حقق InternVL3.5 زيادة قدرها +2.7 في Video-MME، مما يثبت أن النموذج لم يعانِ من النسيان الكارثي.
دراسات الاستبعاد (Ablation Studies):
- ACMG مقابل الربط الحالي: منح الربط في الإطارات المستقبلية (ACMG) مكاسب أعلى بكثير (+7.7 في EgoBlind) مقارنة بالربط في الإطار الحالي (+4.1).
- الإحماء بالمعلم: أدى حذف مرحلة الإحماء الموجه بالمعلم إلى انخفاض الأداء، مما يؤكد فائدة المحاذاة الأولية.
- التنظيم: بدون التنظيم الخارجي، انخفض الأداء في مهام المنظور الثالث؛ ومع وجوده، استعاد الأداء وتجاوز النموذج الأساسي.

٥. الأهمية

حل فجوة المنظور (Ego-Exo Gap): يوفر EgoVITA حلاً قابلاً للتوسع لنقل المعرفة بين رؤى الشخص الأول والرؤى الخارجية دون الحاجة لبيانات مزدوجة باهظة الثمن، وهو ما يعالج عقبة رئيسية في ذكاء المنظور الشخصي.
الاستدلال الإجرائي: من خلال إجبار النماذج على توقع الحالات البصرية المستقبلية والتحقق منها من منظور خارجي، يطور الإطار قدرة النموذج على فهم الأنشطة البشرية المعقدة والمتعددة الخطوات.
الكفاءة: يحقق النهج نتائج فائقة باستخدام جزء ضئيل من البيانات المطلوبة لأساليب الضبط الدقيق واسعة النطاق السابقة، مما يجعله أكثر سهولة وكفاءة.
السلامة والموثوقية: في التطبيقات المساعدة (مثل تطبيقات المكفوفين)، تعمل خطوة التحقق كآلية سلامة، مما يقلل من الهلاوس ويضمن أن الأفعال المقترحة مرتبطة بصرياً وقابلة للتطبيق مادياً.

في الختام، يمثل EgoVITA نقلة نوعية في فهم الفيديو المنظوري الشخصي، حيث ينتقل من مجرد مطابقة الأنماط إلى الاستدلال الإجرائي المهيكل والذاتي التصحيح من خلال هندسة مبتكرة تجمع بين التخطيط والتحقق.