💻 computer science

VideoCoF: Unified Video Editing with Temporal Reasoner

يقدم VideoCoF إطار عمل موحداً لتحرير الفيديو يستخدم نهج "رؤية، ثم استنتاج، ثم تحرير" المتسلسل عبر الإطارات للتنبؤ بالكميات الكامنة لمنطقة التحرير كرموز استنتاج صريحة، مما يحقق محاذاة دقيقة بين التعليمات والمنطقة واتساقاً في الحركة دون الحاجة إلى أقنعة يقدمها المستخدم مع الحفاظ على كفاءة عالية باستخدام الحد الأدنى من بيانات التدريب.

المؤلفون الأصليون: Xiangpeng Yang, Ji Xie, Yiyuan Yang, Yue Ma, Yan Huang, Min Xu, Qiang Wu

نُشر 2026-04-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiangpeng Yang, Ji Xie, Yiyuan Yang, Yue Ma, Yan Huang, Min Xu, Qiang Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مقطع فيديو لشارع مزدحم، وتريد تعديله. ربما تريد إزالة شخص معين، أو إضافة كلب، أو تغيير لون سيارة.

المشكلة في الذكاء الاصطناعي الحالي:
في الوقت الحالي، معظم محرري الفيديو بالذكاء الاصطناعي يشبهون نوعين مختلفين من العمال:

العامل "الخبير": هذا العامل بارع للغاية في الدقة. إذا أعطيته "قناعاً" (stencil رقمي) يقول له "أزل هذا الشخص"، فإنه يفعل ذلك ببراعة. لكنه بطيء ومزعج لأن عليك رسم القناع بنفسك لكل عملية تعديل.
العامل "العام": هذا العامل سريع ولا يحتاج إلى قناع. فقط تقول له "أزل الشخص"، فيحاول القيام بذلك. لكنه غالباً ما يصاب بالارتباك. قد يزيل الشخص الخطأ، أو قد يمسح الخلفية بالخطأ لأنه لا يعرف بالضبط أين ينظر.

الحل: VideoCoF
قرر الباحثون وراء VideoCof (سلسلة الإطارات للفيديو - Video Chain-of-Frames) تعليم الذكاء الاصطناعي طريقة جديدة في التفكير. بدلاً من مجرد التخمين أو الحاجة إلى قناع، جعلوا الذكاء الاصطناعي يتبع عملية من ثلاث خطوات: رؤية ← تفكير ← تعديل.

فكر في الأمر كأنك توظف مخرجاً ذكياً لفيلمك بدلاً من مجرد عامل تشغيل كاميرا بسيط.

عملية "الرؤية، التفكير، التعديل"

إليك كيف يعمل VideoCoF، باستخدام تشبيه بسيط:

1. الرؤية (الإعداد)
ينظر الذكاء الاصطناعي إلى الفيديو الأصلي. الأمر يشبه المخرج الذي يشاهد اللقطات الخام لفهم المشهد.

2. التفكير (الرسم التخطيطي "الشبح")
هذا هو الجزء السحري. قبل أن يقوم الذكاء الاصطناعي بتغيير الفيديو فعلياً، يقوم أولاً بإنشاء "إطار استنتاجي" (Reasoning Frame).

التشبيه: تخيل أن الذكال الاصطناعي رسام. قبل أن يرسم لوحته النهائية، يقوم أولاً برسم مخطط باهت باللون الرمادي على اللوحة ليظهر بالضبط أين ستحدث التغييرات. إنه يشبه قول الذكاء الاصطناعي لنفسه: "حسناً، أنا أرى التعليمات 'أزل المرأة التي ترتدي بنطالاً بيج'. سأقوم بتحديدها بلون رمادي شبحي أولاً للتأكد من أنني أنظر إلى الشخص الصحيح."
لماذا هذا مهم: من خلال إجبار الذكاء الاصطناعي على "التفكير" في أين سيحدث التعديل قبل تنفيذه، فإنه يحل مشكلة الارتباك. هذا يمنع الذكاء الاصطناعي من مسح الشخص الخطأ.

3. التعديل (اللمسة النهائية)
بمجرد أن "يفكر" الذكاء الاصطناعي ويحدد المكان الصحيح، فإنه يقوم بالتعديل الفعلي (إزالة المرأة، إضافة الكلب، إلخ) بدقة عالية.

خدعة "السفر عبر الزمن" (محاذاة RoPE)

هناك خدعة رائعة أخرى في الورقة البحثية. عادةً، إذا دربت ذكاءً اصطناعياً على فيديوهات قصيرة (مثل 30 ثانية)، فسيصاب بالارتباك عندما تطلب منه تعديل فيديو طويل (مثل 5 دقائق). سيفقد تتبع الوقت وتصبح الحركة فوضوية.

يستخدم VideoCoF نظام ترقيم ذكياً (يسمى محاذاة RoPE) لإصلاح ذلك.

التشبيه: تخيل أنك تعلم طفلاً كيفية عد الخطوات. إذا علمته "الخطوة 1، الخطوة 2، الخطوة 3" لمشي قصير، فقد يضيع في رحلة طويلة.
يعلم VideoCoF الذكاء الاصطناعي كيفية إعادة ضبط "عداد الخطوات" لأجزاء الفيديو الجديدة. إنه يخبر الذكاء الاصطناعي: "الفيديو الأصلي هو الخطوات من 1 إلى 30. جزء 'التفكير' هو الخطوة 0. الجزء الجديد المعدل يبدأ من جديد عند الخطوة 1 مرة أخرى."
النتيجة: يسمح هذا للذكاء الاصطناعي بتعديل فيديوهات أطول بـ 16 مرة مما تدرب عليه، دون أن تصبح الحركة ضبابية أو ينتقل الأشخاص من مكان لآخر بشكل مفاجئ.

لماذا يعد هذا أمراً مهماً؟

لا حاجة للأقنعة: ليس عليك رسم الأقنعة. فقط اكتب ما تريد، وسيكتشف الذكاء الاصطناعي "أين" و"ماذا" من تلقاء نفسه.
كفاءة فائقة: درب الباحثون هذا النموذج القوي على 50,000 مثال فيديو فقط. النماذج الرائدة الأخرى احتاجت إلى مليون مثال للوصول إلى جودة قريبة من هذه. إنه يشبه تعلم قيادة سيارة سباق من خلال قراءة كتيب صغير بدلاً من القيادة لمدة 10 سنوات.
التعامل مع المشاهد المعقدة: إذا كان هناك شخصان يرتديان نفس القميص، يمكن لـ VideoCoF التمييز بينهما (على سبيل المثال: "أزل الشخص الذي على اليسار") لأنه "فكر" في الموقع أولاً.

باختًا:
VideoCoF يشبه إعطاء محرر الفيديو "قبعة التفكير". بدلاً من التخمين الأعمى أو الحاجة إلى إنسان يشير إلى الشاشة، يتوقف الذكاء الاصطناعي أولاً لـ "يفكر" في مكان حدوث الفعل بالضبط، ويرسم خريطة ذهنية، ثم ينفذ التعديل بدقة. هذا يجعل تحرير الفيديو أسرع، وأذكى، وقادراً على التعامل مع فيديوهات أطول وأكثر تعقيداً من أي وقت مضى.

إليك ملخص تقني مفصل لورقة البحث بعنوان "VideoCoF: Unified Video Editing with Temporal Reasoner".

1. بيان المشكلة

تواجه طرق تحرير الفيديو الحالية مقايضة جوهرية بين الدقة والتوحيد:

النماذج الخبيرة (Expert Models): تحقق هذه النماذج (مثل تلك التي تستخدم المهايئات/Adapters) دقة عالية بالاعتماد على أقنعة (masks) يقدمها المستخدم أو مسبقات (priors) محددة. ومع ذلك، فهي متخصصة في مهام معينة، وتتطلب مدخلات إضافية، وتفتقر إلى إطار عمل موحد لمهام التحرير المتنوعة.
نماذج التعلم داخل السياق الموحدة (Unified In-Context Learning Models): تقوم هذه النماذج (مثل ICVE وUNIC) بدمج توكنات المصدر والهدف زمنياً لأداء التحرير دون الحاجة إلى أقنعة. ورغم كونها موحدة وخالية من الأقنعة، إلا أنها تعاني من ضعف في الربط بين التعليمات والمنطقة المستهدفة (instruction-to-region mapping). فبدون إشارات مكانية صريحة، تجد هذه النماذج صعوبة في التعرف على تعدد الكائنات، والاستدلال المكاني (مثل "أزل الشخص الموجود على اليسار")، والتحديد الدقيق للمواقع، مما يؤدي إلى حدوث هلوسات أو تحرير الكائنات الخطأ.

التحدي الجوهري هو: هل يمكننا تحقيق دقة النماذج الخبيرة وتوحيد نماذج التعلم داخل السياق دون الحاجة إلى أقنعة يقدمها المستخدم؟

2. المنهجية: VideoCoF

يقترح المؤلفون إطار عمل VideoCoF، وهو مستوحى من سلسلة الأفكوت (Chain-of-Thought - CoT) في النماذج اللغوية الكبيرة. بدلاً من توليد الفيديو المحرر مباشرة، يفرض VideoCoF إجراءً من نوع "رؤية $\leftarrow$ استدلال $\leftarrow$ تحرير".

أ. سلسلة الإطارات (Chain of Frames - CoF)

الابتكار الأساسي هو تقديم توكنات الاستدلال (Reasoning Tokens) (وهي عبارة عن كامنات لمنطقة التحرير) التي يجب على النموذج التنبؤ بها قبل توليد توكنات الفيديو المستهدف.

العملية:
1. الرؤية (See): يستقبل النموذج توكنات الفيديو المصدر.
2. الاستدلال (Reason): يتنبأ النموذج بـ "إطار استدلال" (خريطة تحديد بصري) يبرز أين يجب أن يحدث التحرير بناءً على التعليمات النصية.
3. التحرير (Edit): باستخدام المصدر وخريطة الاستدلال المتوقعة، يقوم النموذج بتوليد الفيديو النهائي المحرر.
تنسيق التحديد البصري (Visual Grounding Format): وجد المؤلفون أن منطقة رمادية متدرجة التظليل بنعومة هي التنسيق الأكثر فعالية لتوكنات الاستدلال. يعمل هذا كعملية "تفكير بصري" تربط التعليمات النصية بالموقع المكاني بشكل صريح، مما يحل محل الحاجة إلى الأقنعة اليدوية.
البنية الهيكلية: يستخدم إطار العمل محول انتشار الفيديو (Video Diffusion Transformer - VideoDiT). التسلسل المدخل هو دمج زمني لـ:
- كامنات فيديو المصدر ( $z_s$ )
- كامنات فيديو الاستدلال ( $z_r$ )
- كامنات فيديو الهدف/المحرر ( $z_e$ )
  خلال التدريب، يتم إضافة الضجيج (noising) وإزالة الضجيج (denoising) فقط لأجزاء الاستدلال والهدف؛ بينما يظل المصدر نظيفاً ليكون بمثابة مرساة للسياق.

ب. استراتيجية محاذاة RoPE لتعميم الطول (Length Extrapolation)

مكون حاسم للتعامل مع أطوال الفيديو المتغيرة هو تصميم مبتكر لـ تضمين الموضع الدوار (Rotary Position Embedding - RoPE).

المشكلة: يؤدي الدمج الزمني الساذج (على سبيل المثال، المؤشرات $0 \to 2F-1$ ) إلى جعل النموذج يفرط في التخصيص (overfit) لخريطة ثابتة بين إطارات المصدر والهدف، مما يؤدي للفشل في التعميم على الفيديوهات الأطول. كما يسبب "تصادمات في المؤشرات" حيث يتشارك إطار الاستدلال وأول إطار للهدف في نفس المؤشر الزمني، مما يؤدي لظهور عيوب (artifacts).
الحل: قام المؤلفون بإعادة ضبط المؤشرات الزمنية لتجنب التصادم وضمان المحاذاة:
- فيديو المصدر: المؤشرات $[1, F]$
- إطار الاستدلال: المؤشر $0$ (معزول لتوفير التوجيه المكاني دون تداخل زمني).
- الفيديو المستهدف: المؤشرات $[1, F]$
  يسمح هذا التصميم للنموذج بالتعميم على أطوال فيديوهات تتجاوز بكثير مدة التدريب (مثل $4\times$ إلى $16\times$ ) مع الحفاظ على محاذاة الحركة.

ج. تنسيق البيانات (Data Curation)

لتدريب هذه القدرة على الاستدلال، أنشأ المؤلفون مجموعة بيانات عالية الجودة مكونة من 50 ألف زوج من الفيديوهات (مصدر، استدلال، هدف).

خط الإنتاج (Pipeline): استخدموا خط إنتاج متعدد المراحل يتضمن:
- Qwen-VL لتحديد تعدد الكائنات.
- Grounding-SAM2 للتجزئة الدقيقة للكائنات.
- Minimax-Remover و VACE-14B (بإرشاد من GPT-4o) لتوليد أزواج تحرير اصطناعية (إضافة، إزالة، استبدال، نقل نمط/Style Transfer).
التصفية: تضمن عملية التصفية الصارمة باستخدام درجات Dover (للجمالية) و VIE (للدقة/Fidelity) الحصول على بيانات تدريب عالية الجودة.

3. المساهمات الرئيسية

سلسلة الإطارات (CoF): أول إطار عمل يقدم نموذج "الاستدلال ثم التحرير" لنماذج انتشار الفيديو، مما يتيح دقة في الربط بين التعليمات والمناطق دون أقنعة مستخدم.
استراتيجية محاذاة RoPE: نظام ترميز موضعي مبتكر يحل مشكلات تصادم المؤشرات ويسمح بتعميم الطول بقوة (يصل إلى $16\times$ طول التدريب) مع الحفاظ على اتساق الحركة.
VideoCoF-Bench: معيار جديد يحتوي على 200 فيديو عالي الجودة مع تعليمات تحرير معقدة على مستوى الكائنات (إزالة تعدد الكائنات، الإضافة، الاستبدال، نقل النمط) لتقييم الاستدلال الدقيق.
كفاءة البيانات: يثبت أن تحقيق تحرير فيديو عالي الأداء يمكن أن يتم باستخدام 50 ألف زوج فقط، وهو ما يتفوق بشكل كبير على النماذج المرجعية (baselines) التي تتدرب على ملايين العينات.

4. النتائج التجريبية

تم تقييم النموذج على VideoCoF-Bench مقابل أفضل النماذج المرجعية (ICVE, VACE, LucyEdit, إلخ).

الأداء الكمي:
- اتباع التعليمات: حقق VideoCoF درجة 8.97 (بناءً على تقييم GPT-4o)، متفوقاً بشكل ملحوظ على ICVE (7.79) و VACE (7.47).
- نسبة النجاح: حقق VideoCoF نسبة 76.36%، مقارنة بـ 57.76% لـ ICVE و 26.60% لـ VACE.
- كفاءة البيانات: تفوق VideoCoF (50 ألف بيانات) على ICVE (مليون مرحلة ما قبل التدريب + 150 ألف مرحلة ضبط دقيق) في اتباع التعليمات ونسبة النجاح.
الأداء النوعي:
- التعامل مع تعدد الكائنات: نجح في التمييز بين الكائنات المتشابهة (مثل إزالة "الرجل على اليسار" مقابل "الرجل على اليمين")، بينما فشلت النماذج الأخرى غالباً أو حررت الكائن الخطأ.
- تعميم الطول: نجح النموذج في تحرير فيديوهات تصل إلى 513 إطاراً (16 ضعف طول التدريب البالغ 33 إطاراً) مع حد أدنى من التدهور في محاذاة الحركة أو الجودة البصرية، وهي قدرة فشلت فيها النماذج المرجحية الساذجة تماماً.
دراسات الاستئصال (Ablation Studies):
- إزالة خطوة "الاستدلال" (التعلم داخل السياق الزمني الساذج) أدى إلى انخفاض نسبة النجاح بنحو 10%.
- كان استخدام تصميم RoPE المحدد ( $[1-F, 0, 1-F]$ ) حاسماً لمحاذاة الحركة ومنع العيوب في الإطار الأول.
- تنسيق القناع الرمادي المتدرج لتوكنات الاستدلال حقق أفضل النتائج مقارنة بالأقنعة السوداء أو الحمراء.

5. الأهمية

يمثل VideoCoF تحولاً جذرياً في تحرير الفيديو من خلال سد الفجوة بين الاستدلال التوليدي والدقة المكانية.

إطار عمل موحد: يلغي الحاجة إلى أقنعة أو مهايئات (adapters) خاصة بكل مهمة، مما يوفر نموذجاً واحداً قادراً على مهام تحرير متنوعة (إضافة، إزالة، استبدال، نقل نمط).
القابلية للتوسع: القدرة على التعميم على أطوال فيديوهات قصوى ( $16\times$ ) تجعل النموذج عملياً للتطبيقات الواقعية حيث تختلف مدة الفيديو.
الكفاءة: من خلال إثبات أن نهج "الاستدلال أولاً" يعطي نتائج فائقة بأقل قدر من البيانات (50 ألف مقابل الملايين)، فإنه يقترح مساراً أكثر كفاءة لتدريب نماذج تأسيس الفيديو المستقبلية، مما يقلل من التكلفة الحسابية ومتطلبات البيانات للتحرير عالي الدقة.

باختاً، يحل VideoCoF مشكلة "الدقة بدون أقنعة" عبر إجبار النموذج على "التفكير" في أين سيقوم بالتحرير قبل ماذا سيحرر، محققاً أداءً يضاهي أحدث التقنيات بكفاءة بيانات مذهلة.