💻 computer science

Reasoning to Align: Implicit Reasoning in Diffusion Transformers for Video Editing

تقترح الورقة البحثية RVEDiT، وهو إطار عمل جديد لنموذج "Diffusion Transformer" لتحرير الفيديو القائم على التعليمات، والذي يعزز الأداء من خلال تنفيذ تكييف الرموز الموجه بالتجزئة (granularity-routed token conditioning) للمعالجة من الخشن إلى الناعم، ومحاذاة الانتباه المرتكز على المرجع (reference-anchored attention alignment) لضبط الاستدلال الضمني دون زيادة تكاليف الاستدلال.

المؤلفون الأصليون: Yan Li, Lin Liu, Xiaopeng Zhang, Qi Tian

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yan Li, Lin Liu, Xiaopeng Zhang, Qi Tian

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث بعنوان "Reasoning to Align: Implicit Reasoning in Diffusion Transformers for Video Editing" باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: تعليم روبوت كيفية تحرير فيلم

تخيل أن لديك فيديو لنزهة عائلية، وتريد أن تقول للكمبيوتر: "استبدل الكلب بكلب من فصيلة كورجي، ولكن حافظ على الأطفال والخلفية كما هي تماماً."

يُسمى هذا "تحرير الفيديو القائم على التعليمات" (Instruction-Based Video Editing). يبدو الأمر سهلاً، لكنه في الواقع لغز ذهني هائل للذكاء الاصطنا AI. يجب على الكمبيوتر أن يفهم ثلاثة أشياء في آن واحد:

ما الذي يجب تغييره: (الكلب).
ما الذي يجب الحفاظ عليه: (الأطفال، العشب، السماء).
كيف يحافظ على الحركة: (يجب أن يركض كلب الكورجي بالتزامن مع حركة الكلب الأصلي، وألا تومض الخلفية).

يرى مؤلفو هذه الورقة أن نماذج تحرير الفيديو الحالية تشبه "المتدربين المرهقين" الذين يُعطون مجموعة فوضوية من التعليمات ومجموعة فوضوية من الصور دفعة واحدة، دون طريقة واضحة لتنظيم أفكارهم. وغالباً ما يخطئون، فيغيرون الأشياء الخاطئة أو يجعلون الفيديو يبدو متقطعاً (glitchy).

تقدم الورقة نظاماً جديداً يسمى RVEDiT (محول الانتشار لتحرير الفيديو بالاستدلال)، والذي يعلم الذكاء الاصطناي كيف "يفكر" بطريقة منظمة قبل البدء في التحرير.

المشكلة: لماذا يعاني الذكاء الاصطناعي الحالي؟

يقول المؤلفون إن النماذج الحالية تعاني من عيبين هيكليين رئيسيين:

1. "حساء المكونات الموحدة" (One-Size-Fits-All Soup)

التشبيه: تخيل طباخاً يحاول طهي طبق معقد. الذكاء الاصطناعي الحالي يرمي الوصفة (التعليمات النصية)، والمكونات الخام (بكسلات الفيديو)، وتعليمات الطبخ كلها في خلاط واحد في البوذية.
النتيجة: يصاب الذكاء الاصطناعي بالارتباك. فهو يحاول فهم الهدف (الصورة الكبيرة) (مثل: "اجعلها تبدو كلوحة لفان جوخ") في نفس الوقت الذي يحاول فيه فهم التفاصيل الدقيقة (مثل: "هذه البكسل تحديداً هي ورقة شجر"). ولأن كل شيء مختلط معاً، غالباً ما يفقد الذكاء الاصطناعي الفكرة الرئيسية أو يفسد التفاصيل.

2. "الممارسة مع عصبة العينين" (The Blindfolded Practice)

التشبيه: تخيل طالباً يتعلم الرسم. يُطلب منه رسم لوحة، والمعلم يقيم النتيجة النهائية فقط (البكسلات). المعلم لا ينظر أبداً إلى كيفية خلط الطالب للألوان أو أين كان ينظر على اللوحة.
النتيجة: يتعلم الذكاء الاصطناعي تخمين البكسلات الصحيحة عن طريق الصدفة، لكنه لا يتعلم في الواقع المنطق وراء سبب تغير جزء معين من الفيديو. إنه يشبه طالباً حفظ نموذج الإجابة لكنه لم يفهم الرياضيات.

الحل: RVEDiT

بنى المؤلفون إطار عمل جديداً يتضمن حيلتين ذكيتين لإصلاح هذه المشكلات.

الحيلة رقم 1: "المساعد التنفيذي" مقابل "عامل التفاصيل" (Granularity-Routed Token Conditioning)

بدلاً من رمي كل المعلومات في الخلاط، يقوم RVEDiT بفصل العمل بناءً على "عمق" طبقات دماغ الذكاء الاصطناي.

التشبيه: فكر في الذكاء الاصطناعي كشركة إنشاءات.
- الطبقات الضحلة (المديرون): هذه الطبقات لا ترى سوى "مذكرة ملخصة" من مساعد ذكي (نموذج لغوي كبير متعدد الوسائط). تقول هذه المذكرة: "نحن نغير الكلب إلى كلب كورجي". يركز المديرون بحتًا على الخطة الكبيرة. لا يتشتت انتباههم بملمس العشب أو لون السماء بعد.
- الطبقات العميقة (العمال): بمجرد وضع الخطة، يحصل "العمال" على التفاصيل الكاملة. إنهم يرون بكسلات الفيديو الفعلية والنص المحدد. يأخذون خطة المدير ويطبقونها على أماكن محددة في الفيديو.
الفائدة: هذا يخلق عملية "من العام إلى الخاص" (Coarse-to-Fine). يقرر الذكاء الاصطناعي أولاً ماذا سيفعل، ثم يكتشف كيف يفعل ذلك. وهذا يمنع الذكاء الاصطناعي من الارتباك بسبب محاولة القيام بالأمرين معاً.

الحيلة رقم 2: "المدرب الظل" (Reference-Anchored Attention Alignment)

تساعد هذه الحيلة الذكاء الاصطناي على تعلم منطق التحرير، وليس فقط الصورة النهائية.

التشبيه: تخيل مدرب رقص يعلم طالباً.
- الطالب (فرع التحرير): يحاول الرقص على أنغام الموسيقى (التعليمات).
- مدرب الظل (فرع المرجع): أثناء التدريب، يشاهد المدرب فيديو لراقص مثالي يؤدي نفس الحركة تماماً. المدرب لا يرقص؛ هو فقط يشاهد.
- المحاذاة: يجبر المعلم الطالب على محاكاة طريقة حركة عيني وجسم الراقص المثالي (الانتباه/Attention)، وليس فقط الوضعية النهائية.
كيف يعمل في الورقة:
- يتم تدريب الذكاء الاصطناي على أزواج من الفيديوهات: الفيديو الأصلي والنسخة المحررة المثالية.
- يعمل فرع "مدرب الظل" الذي ينظر إلى الفيديو المثالي.
- يجبر فرع "الطالب" على محاذاة "نظراته" الداخلية (الانتباه) مع "المدرب".
- نقطة حاسمة: يُستخدم "مدرب الظل" فقط أثناء التدريب. عندما يستخدم العميل الذكاء الاصطناي فعلياً، يختفي المدرب. يكون الذكاء الاصطناي قد تعلم المنطق بالفعل، لذا لا يحتاج للمدرب بعد الآن. وهذا يعني أن النظام سريع ومجاني الاستخدام.

النتائج: هل نجح الأمر؟

اختبر المؤلفون RVEDiT على معيار قياسي يسمى OpenVE-Bench.

النتيجة: تفوق RVEDiT على جميع أدوات تحرير الفيديو مفتوحة المصدر الأخرى.
أين يتألق: كان بارعاً بشكل خاص في:
- التغييرات المحلية: استبدال جسم بآخر دون إفساد بقية المشهد.
- الإضافات المحلية: وضع جسم جديد (مثل مزهرية عائمة) في الفيديو بحيث يبدو وكأنه ينتمي للمكان حقاً (الظلال، الحركة، إلخ).
- الاتساق: لم يرتعش الفيديو أو يظهر به خلل عند تحرك الكاميرا.

الملخص في جملة واحدة

يعالج RVEDiT مشكلة تحرير الفيديو بالذكاء الاصطناعي عبر منحه عملية تفكير من خطوتين (التخطيط أولاً، ثم التنفيذ) وطريقة تدريب تعلمه كيف ينظر إلى الفيديو، وليس فقط ما يجب أن تبدو عليه الصورة النهائية، مما ينتج عنه عمليات تحرير أكثر نظافة ومنطقية.

ملخص تقني: RVEDiT – الاستدلال الضمني في محولات الانتشار لتعديل الفيديو

بيان المشكلة

يتطلب تعديل الفيديو القائم على التعليمات تحويل فيديو مصدر وفقاً لتعليمات باللغة الطبيعية مع الحفاظ على المحتوى غير ذي الصلة والحفاظ على التماسك الزمني. يرى المؤلفون أن محررات "محولات الانتشار" (Diffusion Transformer - DiT) الحالية تعاني من صعوبة في هذه المهمة بسبب قيود هيكلية في مسارين حاليين:

الاشتراط غير المتمايز (Undifferentiated Conditioning): في نماذج DiT القياسية، يتم دمج التعليمات النصية والرموز المرئية في تسلسل مشترك واحد يتم معالجته بشكل موحد بواسطة كل كتلة محول. هذا يجبر تدفق الرموز الواحد على تشفير كل من نية التعديل عالية المستوى والأهداف المرئية منخفضة المستوى في آن واحد، مما لا يترك "مساحة عمل" مخصة للاستدلال.
الاستدلال الداخلي غير الخاضع للإشراف (Unsupervised Internal Reasoning): تخضع أنماط الانتباه المتقاطع (cross-attention) التي تحكم عملية التعديل لإشراف غير مباشر فقط من خلال خسائر إعادة البناء على مستوى البكسل (مثل flow-matching). نتيجة لذلك، يكون مسار الاستدلال الداخلي للنموذج (خرائط الانتباه التي تشفر أي الرموز النصية تقرأ أي المناطق المرئية) غير مقيد بشكل كافٍ. يتعلم النموذج تقليل خطأ إعادة البناء، لكنه لا يُدرَّس صراحةً كيفية إنشاء الارتباطات الدقيقة المطلوبة لتعديلات مطيعة للتعليمات.

يفترض البحث أن تعديل الفيديو القائم على التعليمات هو في الأساس مشكلة استدلال كامنة (latent reasoning problem) يجب حلها أصلياً داخل هيكل DiT، بدلاً من إسناد الاستدلال إلى نماذج لغوية كبيرة متعددة الوسائط (MLLMs) خارجية قد تسبب "هلوسات"، أو معاملة الهيكل الأساسي كصندوق أسود.

المنهجية: RVEDiT

يقترح المؤلفون RVEDiT (Reasoning Video Editing DiT)، وهو إطار عمل مصمم لهيكلة تدفق الاشتراط وتوجيه عملية الاستدلال الداخلي. ويتكون من مكونين متكاملين:

1. اشتراط الرموز الموجه حسب التدرج (Granularity-Routed Token Conditioning - GRTC)

يعالج هذا المكون مشكلة الاشتراط غير المتمايز عبر تقديم آلية توجيه مدركة للعمق:

رموز التعديل القابلة للتعلم: يتم استخلاص مجموعة من $K$ من رموز التعديل القابلة للتعلم ( $X_e$ ) من نموذج MLLM (تحديداً Qwen2.5-VL) بناءً على الفيديو المصدر والتعليمات. تعمل هذه الرموز كحامل مجرد ومحتوى سياقي عالمي لنية التعديل.
التوجيه القائم على العمق: يتم توجيه الرموز إلى طبقات مختلفة من DiT بناءً على تدرجها الدلالي:
- الطبقات الضحلة ( $\ell_{idx} \le L_s$ ): تنتبه فقط إلى رموز التعديل القابلة للتعلم ( $X_e$ ). وهذا يسمح للكتل المبكرة بإنشاء نية تعديل عالمية دون أن تتشتت بآلاف الرموز على مستوى البكسل.
- الطبقات العميقة ( $\ell_{idx} > L_s$ ): تنتبه إلى التسلسل الكامل $[X_e; X_v; X_\ell]$ ، حيث $X_v$ هي الرموز المرئية الأصلية و $X_\ell$ هي الرموز النصية. وهذا يسمح للكتل الأعمق بربط النية العالمية بمناطق وأنسجة وحركات محددة.
الأثر: يخلق هذا عملية تعديل من "الخشن إلى الناعم" (coarse-to-fine) داخل الهيكل الأساسي، مما يفصل بين تكوين النية العالمية وبين الصقل المحلي.

2. محاذاة الانتباه المرتكز على المرجع (Reference-Anchored Attention Alignment - RAAA)

يعالج هذا المكون مشكلة الاستدلال غير الخاضع للإشراف عبر تقديم منظم وقت التدريب لا يترتب عليه تكاليف أثناء الاستنتاج:

فرع المرجع (Reference Branch): أثناء التدريب، يتم إجراء تمريرة أمامية ثانية عبر نفس الـ DiT (بأوزان مشتركة) مشروطة بفيديو الهدف الحقيقي ( $v^*$ ) والوصف الخاص به ( $\ell^*$ ). يولد هذا الفرع مسار استدلال "ناجح" (خرائط الانتباه المتقاطع) يعمل كمرجع (anchor).
تعظيم المعلومات المتبادلة (Mutual Information Maximization): تعمل الطريقة على تعظيم المعلومات المتبادلة بين ميزات الانتباه المتقاطع لفرع التعديل (المشروط بالمصدر + التعليمات) وفرع المرجع (المشروط بالهدف).
الهدف: باستخدام مقدر متماثل لـ InfoNCE، يتم تشجيع النموذج على محاذاة هندسة الانتباه لفرع التعديل مع فرع المرجع عند عمق عشوائي. هذا يعلم النموذج أين و كيف ينتبه ليعكس تعديلاً ناجحاً، بدلاً من مجرد تقليل خطأ إعادة بناء البكسل.
الاستنتاج: يتم التخلص من فرع المرجع بعد التدريب، مما لا يضيف أي عبء حوسبي عند التشغيل.

يجمع هدف التدريب النهائي بين خسارة الـ flow-matching القياسية ( $\mathcal{L}_{fm}$ ) وحد التوافق ( $\mathcal{L}_{align}$ ):
$\mathcal{L} = \mathcal{L}_{fm} + \lambda_{align} \mathcal{L}_{align}$

المساهمات الرئيسية

صياغة المشكلة: حدد البحث وصاغ رسمياً عقبتين هيكليتين في مسارات DiT الحالية (الاشتراط غير المتمايز والاستدلال غير الخاضع للإشراف) اللتين تعيقان الاستدلال الضمني في تعديل الفيديو.
إطار عمل RVEDiT: إطار عمل DiT-native يدمج الاستدلال داخلياً من خلال:
- اشتراط الرموز الموجه حسب التدرج: يؤسس عملية تعديل من الخشن إلى الناعم عبر توجيه الرموز المستخلصة من MLLM إلى الطبقات الضحلة والرموز الأصلية إلى الطبقات العميقة.
- محاذاة الانتباه المرتكز على المرجع: يشرف بنشاط على مسار الاستدلال عبر تعظيم المعلومات المتبادلة بين آثار الانتباه لفرع التعديل وفرع المرجع.
التحقق التجريبي: أظهرت التجارنت الواسعة أن RVEDiT يتفوق على النماذج المرجعية مفتوحة المصدر، خاصة في عمليات التعديل الموضعية، والتركيبية، والحساسة للدقة.

النتائج التجريبية

قيم المؤلفون RVEDiT على OpenVE-Bench مقابل نماذج مرجعية تشمل VACE، وOmniVideo، وICVE، وLucy-Edit، وDITTO، وKiwi-Edit. تم التقييم باستخدام بروتوكول "النموذج اللغوي الكبير كحكم" (Gemini-3.1-Pro و Qwen3.5-VL-35B) عبر ثلاثة محاور: الامتثال للتعليمات (IC)، وفاء الاتساق (CF)، والجودة المرئية (VQ).

الأداء الكمي: حقق RVEDiT أفضل الدرجات الإجمالية تحت كلا الحكمين (77.42 مع Qwen3.5-VL-35B و 62.48 مع Gemini-3.1-Pro).
المكاسب النوعية: أظهر النموذج أداءً قوياً بشكل خاص في مهام "الإضافة المحلية" (Local Add) و"التغيير المحلي" (Local Change)، والتي تتطلب تعديلاً دقيقاً والحفاظ على المحتوى المحيط. كما أدى بشكل جيد في نقل "النمط العالمي" (Global Style).
دراسات الاستئصال (Ablation Studies):
- إزالة GRTC أدت إلى تدهور الأداء في المهام التي تتطلب نية عالمية واضحة (Local Add, Global Style).
- إزالة RAAA تسببت في انخفاض في المهام التي تتطلب ارتباطاً موضعياً دقيقاً (Local Add, CF, و VQ).
- إزالة كلا المكونين أدت إلى فشل كبير، خاصة في مهام "الحذف المحلي" (Local Remove) (حيث انخفض IC بنحو 17 نقطة مقارنة بالنموذج الكامل).
التحليل الآلي: أكد تحليل كتلة الانتباه (Attention mass analysis) أن الطبقات الضحلة تركز على رموز التعديل (النية العالمية) بينما تتحول الطبقات الأعمق إلى الرموز الأصلية (الصقل المحلي)، مما يؤكد صحة تصميم "الخشن إلى الناعم".

الأهمية والادعاءات

يدعي البحث أن RVEDiT يثبت بنجاح أن تشكيل عملية الاستدلال الداخلي للنماذج التوليدية بشكل صريح هو مسار قابل للتطبيق نحو تعديل فيديو قوي وقابل للتحكم. من خلال التعامل مع المهمة كمسألة استدلال كامن ومعالجة الاختناقات الهيكلية لنماذج DiT القياسية، يحقق الأسلوب ما يلي:

الإخلاص للتعليمات: التزام أفضل بالتعليمات المعقدة باللغة الطبيعية.
الحفاظ على المصدر: تحسين الاحتفاظ بالمحتوى غير المعدل وهيكل المشهد.
التماسك الزمني: تقليل الوميض (flickering) والعيوب عبر الإطارات.

يؤكد المؤلفون أن هذه التحسينات تتحقق دون وحدات تخطيط خارجية أو تكاليف استنتاج إضافية، مما يشير إلى أن عمليات التوليد النهائية يمكن منحها قدرات استدلال ضمنية من خلال التصميم الهيكلي وأهداف التدريب المستهدفة.