💻 computer science

Motion Prior Distillation in Time Reversal Sampling for Generative Inbetweening

تقترح هذه الورقة تقنية تقطير الأولوية الحركية (MPD)، وهي تقنية تُستخدم أثناء الاستنتاج لتحسين عملية التوليد البيني عبر تقطير المتبقي الحركي من مسار أمامي إلى مسار خلفي للقضاء على الانقطاعات الزمنية والتشوهات البصرية الناتجة عن عدم المحاذاة ثنائية الاتجاه في نماذج الانتشار من صورة إلى فيديو.

المؤلفون الأصليون: Wooseok Jeon, Seunghyun Shin, Dongmin Shin, Hae-Gon Jeon

نُشر 2026-02-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wooseok Jeon, Seunghyun Shin, Dongmin Shin, Hae-Gon Jeon

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مخرج أفلام تحاول ملء المشاهد المفقودة في فيلم ما. لديك الإطار الأول (سيارة تبدأ حركتها عند إشارة مرور) والإطار الأخير (نفس السيارة متوقفة عند وجهة معينة). مهمتك هي توليد جميع الإطارات السلسة والمنطقية بينهما، لكي تقود السيارة بشكل طبيعي من النقطة أ إلى النقطة ب.

هذا هو تحدي "التوليد البيني" (Generative Inbetweening).

المشكلة: مخرجان، وسيناريو واحد

في الماضي، حاولت نماذج الذكاء الاصطناعي حل هذه المشكلة عبر الطلب من "مخرجين" مختلفين العمل على الفيلم في آن واحد:

المخرج (أ) ينظر إلى الإطار الأول ويتخيل: "حسناً، السيارة تتحرك للأمام".
المخرج (ب) ينظر إلى الإطار الأخير ويحاول تخيل: "حسناً، كيف وصلت السيارة إلى هنا؟".

التعارض:
إليك العقدة: نماذج فيديو الذكاء الاصطناعي مدربة على التنبؤ بـ المستقبل. هي بارعة في قول: "إذا كانت السيارة هنا، فستذهب إلى هناك". لكنها سيئة جداً في النظر إلى الوراء. عندما يحاول المخرج (ب) العمل عكسياً من الإطار الأخير، يرتبك الذكاء الاصطناعي. فبدلاً من أن يفكر: "السيارة جاءت من جهة اليسار"، قد يظن: "السيارة ستذهب إلى جهة اليسار".

هذا يخلق ما يسمى "تعارض أولوية الحركة" (Motion Prior Conflict).

المخرج (أ) يقول: "تحرك للأمام!"
المخرج (ب) يقول: "تحرك للخلف!"

وعندما تحاول دمج أفكارهما، تكون النتيجة فوضى مليئة بالتشوهات. قد تومض السيارة، أو تظهر كأنها طيف (Ghosting)، أو تغير اتجاهها فجأة في منتصف المشهد. الأمر يشبه محاولة المشي للأمام بينما يسحبك شخص آخر للخلف؛ ينتهي بك الأمر بالتعثر في مكانك.

الحل: تقطير أولوية الحركة (Motion Prior Distillation - MPD)

يقترح مؤلفو هذه الورقة حلاً ذكياً يسمى "تقطير أولوية الحركة".

فكر في الأمر بهذه الطريقة: بدلاً من ترك المخرجين يتجادلان، قرر أن تطرد خيال المخرج (ب) وتكتفي بإعطائه سيناريو المخرج (أ)، ولكن مع تشغيله بشكل عكسي.

إليك كيف يعمل ذلك في خطوات بسيطة:

مشاهدة المسار الأمامي: أولاً، يقوم الذكاء الاصطناعي بتوليد مسودة أولية للفيديو وهو يتحرك من البداية إلى النهاية. إنه يلتقط "طاقة الحركة" أو "البواقي" (الفرق بين مكان السيارة الآن ومكانها قبل لحظة وجيزة).
تقطير الحركة: يأخذ الذكاء الاصطناعي "طاقة الحركة" هذه من المسار الأمامي ويقوم بـ تقطيرها (مثل استخراج الزيت الأساسي) في المسار العكسي.
الخدعة السحرية: عندما يحاول الذكال الاصطناعي توليد المسار العكسي (من النهاية إلى البداية)، فإنه لا يسأل الإطار الأخير: "من أين أتيت؟". بل يقول: "أنا أعرف تماماً كيف تحركت السيارة للأمام، لذا سأقوم فقط بـ عكس تلك الحركة المحددة للعودة إلى البداية".

من خلال القيام بذلك، يتوقف الذكاء الاصطناعي عن التخمين بشأن الحركة العكسية، ويقوم ببساطة بـ عكس الحركة الأمامية. هذا يضمن أن السيارة لن تقرر فجأة القيادة في الاتجاه المعاكس. إنه يخلق قصة واحدة متماسكة حيث تقود السيارة بسلاسة من أ إلى ب.

لماذا يعد هذا أفضل؟

لا مزيد من ظهور الأشباح (Ghosting): في الطرق السابقة، قد تبدو السيارة وكأنها سيارتان متداخلتان لأن المخرجين لم يتفقا. مع تقنية MPD، يوجد منطق مخرج واحد فقط، لذا تبدو السيارة صلبة وحقيقية.
لا حاجة لتدريب إضافي: عادةً، لإصلاح هذه التشوهات في الذكاء الاصطناعي، يتعين عليك إعادة تدريب النموذج بالكامل، وهو أمر يستغرق أسابيع ويحتاج لأجهزة كمبيوتر ضخمة. هذه الطريقة هي خدعة "جاهزة للاستخدام" (Plug-and-play). لست بحاجة لتعليم الذكاء الاصطناعي أي شيء جديد؛ أنت فقط تغير كيف يفكر أثناء عملية التوليد.
أفلام أكثر سلاسة: النتيجة هي فيديو تبدو فيه الحركة طبيعية، مستمرة، ومنطقية فيزيائياً، حتى لو كانت الإطارات الأولى والأخيرة متباعدة زمنياً.

التشبيه: المتنزه والخريطة

تخيل أنك تمارس رياضة المشي من نقطة انطلاق (البداية) إلى قمة جبل (النهاية).

الطريقة القديمة: تسأل مرشداً عند نقطة الانطلاق: "كيف أصل إلى القمة؟"، وتسأل مرشداً آخر عند القمة: "كيف وصلت إلى هنا؟". قد يشير لك مرشد القمة، الذي لم يمشِ في الطريق أبداً، بالعودة للأسفل أو الدوران في دوائر. ستضيع في الطريق.
الطريقة الجديدة (MPD): تسأل مرشد نقطة الانطلاق عن المسار. ثم تأخذ ذلك المسار وتمشي فيه بشكل عكسي ببساطة. أنت تعرف بالضبط أين تضع كل خطوة لأنك مجرد تعيد تتبع الخطوات التي خططت لها بالفعل. ستصل إلى القمة بشكل مثالي، وإذا استدرت، ستعرف تماماً كيف تعود للأسفل دون أن تضل طريقك.

الملخص

تقدم الورقة البحثية خدعة ذكية لا تتطلب تدريباً لإصلاح فيديوهات الذكال الاصطناعي المشوهة. من خلال إدراك أن "النظر إلى الوراء" يربك الذكاء الاصطناعي، قاموا ببساطة بأخذ الحركة "الأمامية"، وتقطير جوهرها، وإجبار التوليد العكسي على اتباع ذلك المسار بدقة في الاتجاه المعاكس. النتيجة؟ فيديوهات سلسة وواقعية لا تبدو كأنها شريط فيديو تالف.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقطير أولوية الحركة في أخذ عينات عكس الزمن للبينيات التوليدية" (ICML 2026).

1. بيان المشكلة

تتناول الورقة تحدي "البينيات التوليدية" (Generative Inbetweening)، والتي تهدف إلى توليد إطارات وسيطة منطقية دلاليًا ومتماسكة زمنيًا بين إطارين رئيسيين (البداية والنهاية). بينما تتفوق نماذج الانتشار من نوع "صورة إلى فيديو" (I2V) في توليد الفيديوهات من إطار واحد، فإن تطبيقها على التوليد المقيد (بقيود مزدوجة) يعد أمرًا صعبًا.

تحاول استراتيجيات أخذ العينات الحالية أثناء الاستنتاج، والمعروفة باسم "أخذ عينات عكس الزمن" (Time Reversal Sampling)، حل هذه المشكلة عن طريق تشغيل مسارين لتقليل الضجيج:

المسار الأمامي: مشروط بالإطار الأول ( $c_{start}$ ).
المسار الخلفي: مشروط بالإطار الأخير ( $c_{end}$ )، وغالبًا ما يكون معكوسًا زمنيًا.

المشكلة الجوهرية: صراع أولوية الحركة (Motion Prior Conflict)
حدد المؤلفون عدم محاذاة جوهري بين هذين المسارين. فنماذج (I2V) مدربة على التنبؤ بالحركة الأمامية؛ ونتيجة لذلك:

المسار الأمامي يتبع بشكل طبيعي أولوية الحركة الخاصة بالإطار الأول.
المسار الخلفي، حتى عند بدئه من الإطار الأخير، يميل إلى توليد تسلسلات "تتطلع للأمام" (تتنبأ بما سيحدث بعد الإطار الأخير) بدلاً من إعادة بناء التاريخ الذي أدى إليه بأمانة.
النتيجة: عندما يتم دمج هذين المسارين (سواء بالتوازي أو بالتتابع)، فإنهما يتبعان مسارات متضاربة. يؤدي هذا إلى انقطاعات زمنية، آثار شبحية (ghosting)، تأثيرات تشغيل عكسي، وحركة الأجسام في اتجاهات متناقضة (مثل سيارة تتحرك نحو وجهات مختلفة في المسارين).

2. المنهجية: تقطير أولوية الحركة (MPD)

الحل المقترح هو "تقطير أولوية الحركة" (Motion Prior Distillation - MPD)، وهي تقنية استنتاج خالية من التدريب تعمل على محاذاة المسار الخلفي مع أولوية الحركة الأمامية دون الحاجة إلى إعادة تدريب النموذج.

الحدس الرئيسي

بدلاً من معاملة المسار الخلفي كعملية توليد مستقلة مشروطة بالإطار الأخير، يعامل MPD المسار الخلفي كإعادة بناء لحركة المسار الأمامي، ولكن معكوسة في الزمن. تفترض الطريقة أن بقايا الحركة (motion residual) (التغير في التقدير منزوع الضجيج بين الإطارات) يحتوي على معلومات الحركة الأساسية المستحثة من الإطار الأول.

سير العمل التقني

توليد المسار الأمامي: يقوم النموذج بتوليد مسار تقليل ضجيج أمامي مشروط بـ $c_{start}$ . ويحسب بقايا الحركة ( $\Delta \hat{x}_{0, c_{start}}$ ) وبقايا الضجيج المقابلة ( $\Delta \epsilon_{fwd}$ ) بين الإطارات المتتالية.
تهيئة المسار الخلفي: يتم تهيئة المسار الخلفي باستخدام التمثيل الرمزي (latent) للإطار الأخير ( $z_{end}$ ).
التقطير (الخطوة الجوهرية):
- بدلاً من تقليل ضجيج المسار الخلفي باستخدام $c_{end}$ (مما يؤدي إلى إدخال أولوية حركة متضاربة)، تتجاهل الطريقة $c_{end}$ بالنسبة للتنبؤ بالضجيج.
- تعيد بناء بقايا الضجيج الخلفية ( $\epsilon_{bwd}$ ) عن طريق طرح بقايا الضجيج الأمامية ( $\Delta \epsilon_{fwd}$ ) تراكميًا من الضجيج الخلفي الأولي.
- رياضياً، يتم تحديث الضجيج الخلفي كما يلي: $\epsilon^{(i)}_{bwd} = \epsilon^{(1)}_{bwd} - \sum_{k=2}^{i} \Delta \epsilon^{(k)}_{fwd}$ .
- هذا يفرض فعليًا على المسار الخلفي اتباع مسار حركة الحركة المعكوسة زمنياً للمسار الأمامي.
الدمج: التقدير النهائي هو دمج للتقدير الأمامي الأصلي والتقدير الخلفي المعاد بناؤه (والذي يتشارك الآن في نفس أولوية الحركة).
التوقيت الاستراتيجي: يتم تطبيق MPD فقط خلال خطوات تقليل الضجيج المبكرة (يتحكم فيها نسبة $\gamma$ ). الخطوات المبكرة تحدد المسار العالمي والهيكل منخفض التردد، بينما تقوم الخطوات اللاحقة بصقل التفاصيل عالية التردد. يضمن تطبيق MPD مبكرًا محاذاة الحركة العالمية قبل إضافة التفاصيل.

نظرة عامة على الخوارزمية

المدخلات: الإطار الأول ( $I_{start}$ )، الإطار الأخير ( $I_{end}$ )، جدول الضجيج.
العملية:
- تشغيل تقليل الضجيج الأمامي مع $c_{start}$ .
- استخراج بقايا الحركة.
- تهيئة المسار الخلفي باستخدام $I_{end}$ ولكن عدم استخدام $c_{end}$ لتوجيه تقليل الضجيج.
- حقن البقايا الأمامية في المسار الخلفي لمحاذاة المسارات.
- دمج التقديرات والمضي قدمًا في خطوات Euler القياسية.
المخرات: إطارات وسيطة متماسكة زمنيًا.

3. المساهمات الرئيسية

تحليل صراع أولوية الحركة: حددت الورقة وحللت رسميًا "صراع أولوية الحركة" في طرق أخذ عينات عكس الزمن الحالية، وعزت الآثار إلى التحيز المتأصل في التوليد الأمامي لنماذج (I2V).
تقطير أولوية الحركة (MPD): تقنية استنتاج مبتكرة وخالية من التدريب تحل عدم المحاذاة ثنائية الاتجاه عن طريق تقطير بقايا الحركة من المسار الأمامي إلى المسار الخلفي، مما يحول المشكلة فعليًا إلى مهمة محاذاة أحادية المسار.
تصميم أحادي المسار: من خلال تجنب تقليل ضجيج المسار المشروط بالإطار الأخير عمدًا، تلغي الطريقة مصدر الغموض وتضمن تقارب المسار الخلفي مع أولوية الحركة الأمامية.
تقييم شامل: قدم المؤلفون مقارنات كمية بصرية واسعة النطاق، ومقارنات نوعية مرئية، ودراسة مستخدم صارمة للتحقق من تفوق الطريقة على النماذج المرجعية (SOTA).

4. النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات DAVIS و Pexels باستخدام مقاييس متنوعة ومقارنتها بنماذج مرجعية مثل TRF، وViBiD، وGI، وFCVG، وFILM، وDynamiCrafter.

الأداء الكمي:
- تفوق MPD باستمرار على جميع النماذج المرجعية في مقاييس FID و FVD، مما يشير إلى جودة بصرية وتماسك زمني متفوقين.
- حقق تحسينات كبيرة في درجات VBench++، لا سيية في سلاسة الحركة والاتساق الزمني.
- ملاحظة: بينما سجلت الطرق القائمة على التدفق (FILM) درجات أعلى قليلاً في مقاييس محاذاة محددة، إلا أنها عانت من آثار ضبابية وضعف في الاتساق بعيد المدى، مما أدى إلى نتائج أسوأ في درجات FVD.
الأداء النوعي:
- أظهرت النماذج المرجعية (TRF، ViBiD) حركة "ذهابًا وإيابًا"، وآثارًا شبحية، واختفاءً للأجسام أو عكسًا في اتجاه حركتها.
- أنتج MPD مسارات سلسة وطبيعية حيث حافظت الأجسام على اتجاه الحركة والهوية طوال التسلسل.
دراسة المستخدم:
- أجريت على Amazon Mechanical Turk بمشاركة 30 مشاركًا.
- حقق MPD أعلى تصنيف من حيث الطبيعية والتماسك الزمني.
- سجل أدنى معدلات للآثار والتحركات غير الواقعية مقارنة بجميع الطرق الأخرى.
دراسات الاستبعاد (Ablation Studies):
- نسبة التقطير ( $\gamma$ ): تطبيق MPD فقط في الخطوات المبكرة (مثل $\gamma=0.2$ أو $0.3 $) أعطى أفضل النتائج. تطبيقها طوال العملية بالكامل ($ \gamma=1.0$) أدى إلى تدهور الأداء بسبب إدخال انحيازات على مستوى البكسل.
- خطوات إعادة الضجيج ( $k$ ): ساعد عدد صغير من خطوات إعادة الضجيج (2-3) في توجيه المسار بفعالية دون تعقيد العملية.

5. الأهمية

يمثل هذا العمل تقدمًا كبيرًا في البينيات التوليدية الخالية من التدريب.

الكفاءة: على عكس الطرق التي تتطلب ضبطًا دقيقًا (مثل GI، FCVG) أو تدريبًا إضافيًا (DynamiCrafter)، فإن MPD هي استراتيجية استنتاج "وصل وشغل" (plug-and-play) تعمل مع نماذج سابقة التدريب مثل Stable Video Diffusion (SVD).
القوة (Robustness): تعالج الطريقة قيدًا جوهريًا في توليد الفيديو القائم على الانتشار: عدم القدرة على التعامل مع التوليد ذي القيود المزدوجة دون صراع في الحركة.
الواقعية: من خلال تحسين التماسك الزمني وتقليل الآثار، تجعل MPD "البينيات التوليدية" قابلة للتطبيق في تطبيقات العالم الحقيقي مثل تحرير الفيديو، وتوليد حركة الرسوم المتحركة (interpolation)، وصناعة المحتوى حيث يتطلب الأمر تحكمًا دقيقًا في حالات البداية والنهاية.

باختار، تقترح الورقة آلية بسيطة ولكنها قوية لمحاذاة أولويات الحركة المتضاربة في نماذج الانتشار، محققة نتائج رائدة في مجال البينيات التوليدية دون الحاجة إلى تدريب إضافي للنماذج.