💻 computer science

OSEF: One-Step Evidence Fusion for Cross-Video Scene Procedure Planning

تقدم هذه الورقة البحثية مهمة تخطيط إجراءات المشاهد عبر الفيديوهات (CVSPP)، وهي مهمة جديدة تتطلب من النماذج استرجاع الأدلة المرئية ذات الصلة وتخطيط الإجراءات في آن واحد، وتقترح طريقة دمج الأدلة في خطوة واحدة (OSEF)، وهي طريقة تتجنب الاختيار الصارم عبر دمج جميع الأدلة المرشحة في شبكة لينة للتخطيط، محققةً أداءً هو الأفضل في فئته على معيار مرجعي جديد مكون من أحد عشر مصدراً.

المؤلفون الأصليون: Zhentong Ye, Lei Zhang, Sijia Zhou, Yingda Yu, Yuehan Shi, Jiaqi Xuan, Shuaiwu Dong, Guanchao Tong, Meimei Zhang, Bin Li

نُشر 2026-08-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Zhentong Ye, Lei Zhang, Sijia Zhou, Yingda Yu, Yuehan Shi, Jiaqi Xuan, Shuaiwu Dong, Guanchao Tong, Meimei Zhang, Bin Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية إعداد كوب مثالي من القهوة. أنت لا تريد فقط أن يعرف الروبوت الخطوات؛ بل تريد منه أن يشاهد مقطع فيديو، ويكتشف أي فيديو تحديداً يظهر الطريقة الصحيحة، ويجد اللحظة الدقيقة التي يسكب فيها الباريستا الماء، ثم يكتب التعليمات بنفسه. هذا هو عالم تخطيط إجراءات المشهد بالفيديو (Video Scene Procedure Planning). إنه فرع من فروع الذكاء الاصطناعي حيث تحاول الحواسيب فهم كيفية التحول من مشهد البداية (مثل المكونات الخام) إلى مشهد الهدف (مثل وجبة جاهزة) من خلال مشاهدة مقاطع الفيديو.

لفترة طويلة، كان الباحثون يعطون الكمبيوتر الفيديو "الصحيح" وأوقات البداية والنهاية الدقيقة. كان الأمر يشبه تسليم الروبوت الصفحة الصحيحة من كتاب طبخ وقول: "اقرأ هذه". ولكن في العالم الحقيقي، إذا سألت محرك بحث عن "كيفية صنع القهوة"، فإنه لا يعطيك فيديو واحدًا مثاليًا؛ بل يعطيك قائمة من عشرة فيديوهات مختلفة. بعضها رائع، وبعضها سيئ للغاية، وبعضها يظهر نفس الخطوات ولكن تم تصويرها في مطابخ مختلفة. التحدي الكبير هو: كيف تعلم الكمبيوتر اختيار الفيديو الصحيح من القائمة الفوضوية، وإيجاد الجزء الصحيح من ذلك الفيديو، ثم تخطيط الخطوات، كل ذلك دون أن يصاب بالارتباك بسبب الخيارات السيئة؟ تتناول هذه الورقة البحثية هذه المشكلة الفوضوية في العالم الحقيقي.

المشكلة: فخ "الوصفة الخاطئة"

يقدم المؤلفون لعبة جديدة أكثر صعوبة تسمى تخطيط إجراءات المشهد عبر الفيديوهات المتعددة (Cross-Video Scene Procedure Planning - CVSPW). فكر في الأمر كأنها تحدي في برنامج طبخ حيث يعطيك المضيف وصفاً لطبق ما ("ابدأ بالبطاطس الخام، وانتهِ ببطاطس مقلية ذهبية") ومجموعة من أربعة فيديوهات طبخ مختلفة. مهمتك هي:

اختيار الفيديو الذي يظهر بالفعل طريقة صنع البطاطس المقلية.
إيجاد المقطع المحدد داخل ذلك الفيديو حيث تتم عملية القلي.
كتابة الوصفة خطوة بخوة.

الجزء الصعب هو أن الفيديوهات الأربعة قد تكون جميعها حول "صنع الطعام"، وقد تبدو متشابهة جداً. إذا اخترت الفيديو الخطأ (رب perhaps الفيديو الذي يظهر خبز الكعكة، وليس القلي) أو المقطع الخطأ (ربما الجزء الذي يغسلون فيه البطاطس، وليس القلي)، فستكون وصفتك بلا معنى.

حاولت الأساليب السابقة حل هذه المشكلة عن طريق اللعب بأسلوب "التخمين والتحقق". كانوا يختارون فيديو واحدًا، ويقولون: "حسناً، هذا هو المطلوب!" ثم يحاولون تخطيط الخطوات. ولكن إذا اختاروا الفيديو الخطأ في البالبداية، فإن الخطة بأكملها ستنهار. الأمر يشبه محاولة اتباع خريطة للوصول إلى باريس بينما اخترت بالخطأ خريطة للندن؛ مهما أحسنت قراءة الخريطة، فلن تصل أبداً إلى برج إيفل. يجادل المؤلفون بأن اتخاذ هذا "القرار الصعب" في وقت مبكر للغاية هو خطأ فادح.

الحل: OSEF (دمج الأدلة في خطوة واحدة)

لإصلاح ذلك، بنى الفريق نظاماً جديداً يسمى OSEF (دمج الأدلة في خطوة واحدة). بدلاً من اختيار فيديو واحد والتخلص من البقية، يبقي OSEF على جميع الفيديوهات في المزيج حتى اللحظة الأخيرة.

تخيل أنك محقق تحاول حل لغز ما. بدلاً من اعتقال أول مشتبه به تراه، تبقي جميع المشتبه بهم الأربعة في الغرفة. تنظر إلى الأدلة (وصف "البداية" و"الهدف") وتسأل: "إلى أي مدى يتناسب المشتبه به (أ) مع القصة؟ وماذا عن المشتبه به (ب)؟" أنت لا تختار واحداً فحسب؛ بل تنشئ "لوحة نتائج" لكل لحظة في كل فيديو.

بعد ذلك، يستخدم OSEF "مترجماً" خاصاً (يسمى المحول العالمي للرموز - token-global adapter) لتغذية هذه اللوحة الكاملة إلى عقل التخطيط. الأمر يشبه إعطاء الطاهي ورقة شفافة ضخمة تظهر كل خطوة ممكنة من كل فيديو، موزونة بمدى احتمالية كونها صحيحة. يمكن للطاهي بعد ذلك النظر إلى الصورة الكاملة والقرار: "آه، خطوة القلي في الفيديو 1 تبدو الأفضل، لكن خطوة التقطيع في الفيديو 2 أكثر وضوحاً".

من خلال إبقاء جميع الخيارات "مرنة" ومتاحة، يتجنب النظام فخ الانغلاق على الفيديو الخطأ في وقت مبكر جداً. فهو يسمح لعملية التخطيط بتصحيح نفسها، حتى لو كان التخمين الأولي حول الفيديو الأفضل كان خاطئاً قليلاً.

ما الذي وجدوه

اختبر المؤلفون طريقتهم الجديدة ضد تسع عائلات تخطيط أخرى في معيار ضخم بنوه، والذي شمل 11 مصدراً مختلفاً للفيديوهات التعليمية (مثل الطبخ، والأعمال اليدوية، والتنظيف). لقد أنشأوا "لوحة نتائج" تضم 14 سيناريو اختبار مختلفاً.

إليك ما تقوله الأرقام:

الفوز الكبير: في ستة من أكثر سيناريوهات الاختبار موثوقية (تسمى "الخلايا الأصلية - native cells")، احتل OSEF المرتبة الأولى في كل واحد منها.
التحسن: في أربعة اختبارات محددة كانت فيها الفيديوهات متشابهة جداً (نفس المهمة)، حسن OSEF معدل النجاح في الحصول على الفيديو الصحيح تماماً والخطة الصحيحة تماماً بنسبة تترا-وح بين 2.9 إلى 10.7 نقطة مئوية مقارنة بأفضل الأساليب السابقة.
السر الخفي: وجد المؤلفون أن الدفعة الكبرى لم تأتِ من رياضيات جديدة ومعقدة لاختيار الفيديو، بل من الواجهة التي أبقت جميع خيارات الفيديو مفتوحة أمام المخطط ليراها. لقد كان النهج "العالمي للرموز" هو ما صنع الفارق.
القيود: لا يزال النظام يعاني عندما تكون الفيديوهات قصيرة جداً أو عندما تكون التصنيفات غير دقيقة. في خمسة من سيناريوهات الاختبار المحولة، لم يؤدِّ النظام بشكل أفضل من مجرد التخمين بناءً على الإجابة الأكثر شيوعاً (الحد الأدنى للتسلسل الأغلب)، مما يشير إلى أنه بالنسبة لبعض أنواع البيانات الفوضوية، لا تزال المشكلة صعبة للغاية.

لماذا هذا الأمر مهم

توضح هذه الورقة البحثية أنه عندما نطلب من الحواسيب التعلم من كومة فوضوية من فيديوهات العالم الحقيقي، لا يمكننا إجبارهم على اتخاذ قرار واحد وحاسم فوراً. بدلاً من ذلك، نحتاج إلى السماح لهم بإبقاء جميع الاحتمالات في أذهانهم في وقت واحد، وترك القرار النهائي ينبثق من الصورة الكاملة.

يشير المؤلفون بحذر إلى أنه على الرغم من أن هذه خطوة كبيرة للأمام، إلا أنها ليست عصا سحرية. فلا يزال النظام يعتمد على ميزات الفيديو المعالجة مسبقاً والاستعلامات الحتمية، ويمكن أن يرتبك إذا كانت الفيديوهات متشابهة جداً أو إذا كانت البيانات مشوشة. ومع ذلك، من خلال إثبات أن "إبقاء خياراتك مفتوحة" يعمل بشكل أفضل من "اختيار الفائز مبكراً"، فقد قدموا لباحثي الذكاء الاصطناعي طريقة جديدة وأكثر قوة لتعليم الآلات كيفية التعلم من الفوضى الرائعة والمضطربة لفيديوهات التعليم البشرية.

ملخص تقني: OSEF: دمج الأدلة في خطوة واحدة لتخطيط إجراءات المشاهد عبر الفيديوهات

1. تعريف المشكلة: تخطيط إجراءات المشهد عبر الفيديوهات (CVSPP)

تعالج الورقة البحثية فجوة في أنظمة تخطيط إجراءات المشهد بالفيديو (VSPP) الحالية. تفترض أنظمة VSPP التقليدية أن فيديو الدليل الصحيح والنافذة الزمنية الصحيحة يتم توفيرهما كمدخلات للتنبؤ بتسلسل الإجراءات الذي يحول مشهد البداية إلى مشهد الهدف. ومع ذلك، في السيناريوهات العملية، لا يكون الدليل الصحيح متاحاً؛ إذ يجب على النظام أولاً استرجاع الفيديو الصحيح من مجموعة مرشحة وتحديد النافذة الزمنية ذات الصلة قبل البدء بالتخطيط.

قدم المؤلفون تخطيط إجراءات المشهد عبر الفيديوهات (CVSPP) كمعيار مهام حيث يتلقى النموذج:

استعلام قانوني (Legal Query): وصف نصي لعملية انتقال من بداية إلى هدف مع حجب الإجابة (على سبيل المثال: "البداية: بطاطس خام؛ الهدف: بطاطس مقلية ذهبية مقدمة") دون الكشف عن معرف الفيديو، أو الطوابع الزمنية، أو تسلسل الإجراءات.
مجموعة مرشحة ( $K$ فيديوهات): كل فيديو منها مقسم إلى $M$ من الخلايا الزمنية.

يجب على النموذج القيام بما يلي في آن واحد:

استرجاع (Retrieve) الفيديو الداعم الصحيح.
تحديد الموقع (Localize) للنافذة الزمنية ذات الصلة داخل ذلك الفيديو.
تخطيط (Plan) تسلسل الإجراءات المرتب والمغلق الذي يربط بين حالتي البداية والهدف.

تتحدد المهمة من خلال تحديين مقترنين:

غموض الدليل للمهمة نفسها (Same-task Evidence Ambiguity): قد تعرض فيديوهات مرشحة متعددة نفس الإجراء الاسمي مع مراحل ونوافذ متجاورة متطابقة تقريباً، مما يجعل التكييف القائم على اسم المهمة فقط غير كافٍ.
انتشار الخطأ من الاسترجاع إلى التخطيط (Retrieval-to-Plan Error Propagation): في سلاسل "الاسترجاع ثم التخطيط" القياسية، يؤدي الاختيار القاسي المبكر لفيديو أو نافذة خاطئة إلى تمرير سلسلة مشاهد غير صحيحة للمخطط، مما يؤدي إلى فشل خسارة التخطيط بشكل لا يمكن إصلاحه.

2. المنهجية: دمج الأدلة في خطوة واحدة (OSEF)

لمعالجة هذه التحديات، اقترح المؤلفون دمج الأدلة في خطوة واحدة (OSEF)، وهو إطار عمل يؤخر الالتزام غير القابل للتراجع بالدليل. بدلاً من اختيار فيديو واحد وقص نافذة قبل التخطيط، يقوم OSEF بتسجيل درجات جميع الخلايا المرشحة وتغذية المخطط بتمثيل كامل "ناعم" (Soft) للأدلة في مسار واحد قابل للاشتقاق.

تتكون البنية من ثلاثة مكونات رئيسية:

شبكة الأدلة المشروطة بالاستعلام (Query-Conditioned Evidence Lattice):
- يقوم النموذج بتسجيل درجات كل خلية $(k, m)$ في الشبكة المرشحة $K \times M$ مقابل الاستعلام القانوني $q$ .
- يقوم رفع متماثل خالٍ من المعلمات (Parameter-free symmetric lift) ببناء فترات مغلقة صالحة $(i \le j)$ لتشكيل شبكة من الدرجات $H_\theta(q, k, i, j)$ .
- يحدد الحد الأقصى (Argmax) لهذه الشبكة الفيديو المُبلغ عنه والنطاق المحدد للتقييم، لكن مسار المخطط يحتفظ بجميع الخلايا $K \times M$ .
مهايئ (Adapter) من مستوى الرمز إلى التخطيط (E2P) العالمي للتوكنات:
- يمنع هذا المكون فقدان إشارات مستوى الخلية التي تحدث في التجميع (Pooling) القياسي.
- يقوم بتسطيح الشبكة الكاملة $K \times M$ (دون قص) ومعالجتها عبر مشفر Transformer أحادي الطبقة.
- تقوم استعلامات النقاط النهائية المتعلمة $2T$ (التي تمثل حالات البداية والهدف لكل خطوة من الخطوات $T$ ) بالارتباط التقاطعي (Cross-attend) مع جميع الخلايا في الشبكة.
- ينتج عن ذلك تانسور سلسلة حالة المشهد ( $B \times T \times 2 \times d_v$ ) حيث يظل دليل كل مرشح متاحاً للمخطط، حتى لو كان اختيار الـ argmax القاسي غير صحيح.
المخطط المشروط بالهدف (Goal-Conditioned Planner):
- يقوم Transformer مكون من ثلاث طبقات برسم خرائط أزواج الحالات إلى لوغاريتمات (Logits) الإجراءات لكل خطوة.
- يشترط الاستعلام القانوني المخطط عبر آليتين: تحجيم وإزاحة أفينية (Affine scale/shift) بأسلوب FiLM فوق توكنات الحالة، وكـ "توكن" مسبق ومتميز لآلية الانتباه (Attention).
- يقوم رأس مشترك بفك تشفير الخطوات $T$ .

هدف التدريب:
يستخدم النموذج الإشراف المتسلسل المشترك (Joint-Cascade Supervision). تجمع الخسارة ( $L_{JC}$ ) بين خسارة الإنتروبيا المتقاطعة للخطة المتولدة من السلسلة العالمية الناعمة ( $\hat{S}$ ) مع مجموع أوزان الخسائر من الخطط المتولدة من السلاسل المرشحة الفردية ( $S_k$ )، الموزونة باحتمالية الاسترجاع $p_k$ . وهذا يسمح لخسارة التخطيط بإعادة تشكيل تمثيل الدليل.

3. بناء المعيار (Benchmark Construction)

بنى المؤلفون معياراً من 11 مصدراً للفيديوهات التعليمية (3 معايير تخطيط أصلية: COIN، وCrossTask، وNIV؛ و8 مصادر محولة مثل YouCook2، وEgo4D، إلخ).

تدقيق الاستعلام القانوني: تضمن بوابة "الفشل المغلق" (Fail-closed) خلو الاستعلامات من أي تسريب للحقيقة الأرضية (لا معرفات فيديو، ولا طوابع زمنية، ولا تسلسلات إجراءات).
الأدوار السلبية (Negative Roles): يتضمن المعيار أدواراً سلبية محددة النوع لاختبار أوضاع فشل معينة: فيديو خاطئ (WV)، نافذة خاطئة (WO)، ومهمة خاطئة (WA).
المقاييس:
- محور الدليل: R@1 للفيديو الدقيق، وMRR، وspan-IoU.
- محور التخطيط: دقة المتوسط لكل خطوة (MAcc) ونجاح التسلسل الدقيق (PLAN-SR).
- المقياس الكامل: FULL-SR، وهو احتمال استرجاع الفيديو وتحديد النافذة والتنبؤ بتسلسل الإجراءات الدقيق في آن واحد.

4. النتائج الرئيسية

تقيم الورقة OSEF مقابل تسع عائلات من المخططات المتكيفة (بما في ذلك المخططات الكامنة، والرسوم البيانية، والتوليدية، والمتسلسلة المنفصلة) عبر 14 خلية مصدر-أفق.

أداء التصنيف: يحتل OSEF المركز الأول في جميع الخلايا الأصلية الست (COIN، CrossTask، NIV) حيث يكون تصنيف الطريقة صالحاً.
مكاسب الأداء: في أربع خلايا للمهام المتطابقة (COIN-T3/T4 وCrossTask-T3/T4)، يحسن OSEF من FULL-SR بمقدار 2.9 إلى 10.7 نقطة مئوية مقارنة بخط أساس SOTA المعزز القائم على الاختيار القاسي.
تحليل المكونات: تكشف دراسة الاستئصال (Ablation study) أن الواجهة العالمية للتوكنات (الاحتفاظ بجميع الخلايا بدلاً من التجميع) هي أكبر زيادة منفردة في الأداء. التجميع الناعم وحده غير كافٍ؛ فالقدرة على قراءة الشبكة بأكملها عبر استعلامات متعلمة هي أمر حاسم.
أوضاع الفشل:
- الاسترجاع يقترب من التشبع في المرشحات ذات المهام المختلفة لمصادر معينة (على سبيل المثال، يصل NIV-T3 إلى 99.20% في R@1)، لكن التخطيط يظل هو العائق.
- تحديد الموقع ضعيف؛ فالتخطيط الصحيح لا يضمن نافذة صحيحة (يبقى FULL-SR مرتفعاً حتى عندما يكون span-IoU منخفضاً).
- في المصادر المحولة ذات التسميات الفضفاضة (مثل CEgo، TACoS)، غالباً ما يكون الأداء قريباً من "أرضية التسلسل الأكثر شيوعاً"، مما يشير إلى أن هذه الخلايا هي اختبارات جهد لشرعية التسمية وليس لترتيب الدليل.

5. الأهمية والادعاءات

تدعي الورقة أنها أول معيار يقيس الاسترجاع، وتحديد الموقع، والتخطيط معاً من استعلام محجوب الإجابة. تكمن أهميتها في:

صياغة المشكلة المقترنة: فهي تفصل صراحة بين "غموض دليل المهمة نفسها" وبين "انتشار خطأ الاسترجاع إلى التخطيط"، وتظهر أن سلاسل الاختيار القاسي هشة.
تقديم الدمج الناعم (Soft Fusion): يثبت OSEF أن إبقاء الدليل "ناعماً" عبر كامل الشبكة المرشحة وتغذيته للمخطط عبر مهايئ عالمي للتوكنات يتفوق بشكل كبير على خطوط الأساس القائمة على الاختيار القاسي.
معيار النقل (Transfer Benchmarking): يوفر اختباراً صارماً لكيفية انتقال مخططات VSPP الحالية عندما لا يتم توفير الدليل، ويكشف أن معظم المخططات الموروثة تفشل بدون واجهة OSEF المحددة.

يشير المؤلفون بتواضع إلى القيود: الإعداد الحالي يستخدم ميزات مجمدة واستعلامات حتمية، وتكلفة الشبكة تزديد مع عدد المرشحين ( $K$ ). كما حددوا فك تشفير النطاق الأمين (Faithful span decoding) واستخدام دعامات (Backbones) أقوى كأحد التحديات المفتوحة. تتضمن الحزمة التكميلية منشئات النماذج، وكود التقييم، وتدقيقاً لكل خلية.