💻 computer science

From Synchrony to Sequence: Exo-to-Ego Generation via Interpolation

تقترح هذه الورقة البحثية إطار عمل "Syn2Seq-Forcing"، وهو إطار مبتكر يعالج الانقطاعات المكانية والزمانية في توليد فيديوهات "إكسو-إيغو" (exo-ego) المتزامنة من خلال استكمال الفيديوهات المصدر والهدف إلى تسلسل مستمر، مما يمكّن النماذج القائمة على الانتشار من توليد مناظر منظور الشخص الأول متماسكة بفعالية من مدخلات منظور الشخص الثالث.

المؤلفون الأصليون: Mohammad Mahdi, Nedko Savov, Danda Pani Paudel, Luc Van Gool

نُشر 2026-04-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mohammad Mahdi, Nedko Savov, Danda Pani Paudel, Luc Van Gool

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يرى العالم من خلال عينيك، ولكن المادة الوحيدة المتوفرة لديك هي لقطات من كاميرا مراقبة مثبتة على الحائط.

هذا هو تحدي توليد فيديو "من المنظور الخارئي إلى المنظور الذاتي" (Exo-to-Ego). الـ "Exo" هو منظور الشخص الثالث (كاميرا المراقبة)، والـ "Ego" هو منظور الشخص الأول (عينيك). الهدف هو أخذ لقطات كاميرا الحائط وتحويلها بسحر إلى فيديو يبدو تماماً كما لو كنت أنت من يسير في المكان.

المشكلة؟ عندما تنتقل من كاميرا الحائط إلى عينيك، لا يتغير المنظور بشكل سلس. الأمر يشبه محاولة القفز من ترامبولين إلى جهاز "الترابيز" (الجمباز الهوائي) بدون شبكة أمان. الزاوية تتغير فجأة، والمسافة تتبدل، والحركة تصبح متقطعة. مولدات الفيديو التقليدية المعتمدة على الذكاء الاصطناعي تكره هذه القفزات المفاجئة؛ فهي ترتبك وتنتج فيديوهات مشوشة ومليئة بالخلل.

هذه الورقة البحثية، بعنوان "من التزامن إلى التسلسل" (From Synchrony to Sequence)، تقترح طريقة ذكية لحل هذه المشكلة. إليك التفاصيل باستخدام تشبيهات بسيطة:

١. المشكلة: "القطع الحاد" (The Hard Cut)

تخيل أنك تشاهد فيلماً حيث الكاميرا مثبتة على حامل ثلاثي في زاوية الغرفة (Exo)، وفجأة، ودون سابق إنذار، تنتقل الكاميرا لتصبح أمام وجه الممثل مباشرة (Ego).

الطريقة القديمة: تحاول معظم نماذج الذكاء الاصطناعي تعلم ترجمة مباشرة: "إذا رأيت هذا الإطار من كاميرا الحائط، يجب أن أخرج ذلك الإطار من كاميرا العين".
المشكلة: نظرًا لأن المنظورين مختلفان تمامًا، يصاب الذكاء الاصطناعي بـ "ارتجاج عنق". فهو يحاول جسر الفجوة في خطوة واحدة، مما ينتج فيديو يبدو كأنه قفزة مرعبة ومخللة بدلاً من أن يكون انتقالاً سلسًا.

٢. الحل: بناء "جسر" (الاستكمال - Interpolation)

أدرك المؤلفون أنه بدلاً من إجبار الذكاء الاصطناعي على القفز، يجب علينا بناء جسر ليمشي عليه. هم يسمون هذا "فرض التزامن إلى التسلسل" (Syn2Seq-Forcing).

فكر في الأمر هكذا:

الطريقة القديمة: تطلب من رسام أن يرسم لوحة لجبل، ثم تعطيه فوراً صورة للمحيط وتقول له: "الآن ارسم المحيط". سيصاب الرسام بالارتباك بسبب هذا التحول المفاجئ.
الطريقة الجديدة: تقول للرسام: "ارسم الجبل، ثم ارسم غروباً جميلاً يتلاشى تدريجياً ليصبح المحيط، وبعد ذلك ارسم المحيط".

تقوم الورقة البحثية بإدراج قسم أوسط (استكمال) بين فيديو كاميرا الحائط وفيديو كاميرا العين.
١. البداية: فيديو كاميرا الحائط.
٢. المنتصف: فيديو "وهمي" يتم إنتاجه بواسطة ذكاء اصطناعي مساعد، يتحرك بالكاميرا بسلاسة من الحائط إلى رأسك.
٣. النهاية: فيديو كاميرا العين الفعلي.

من خلال تدريب الذكاء الاصطناعي الرئيسي على هذا التسلسل الواحد المستمر (حائط ← جسر ← عين)، يتعلم الذكاء الاصطناعي أن الانتقال هو رحلة سلسة، وليس عملية انتقال آني.

٣. السر الخفي: "فرض الانتشار" (Diffusion Forcing)

تستخدم الورقة نوعاً معيناً من الذكاء الاصطناعي يسمى "محول فرض الانتشار" (Diffusion Forcing Transformer).

التشبيه: تخيل أنك تحاول تخمين أغنية، لكنك لا تسمع إلا نوتات قليلة في كل مرة، وحجم صوت هذه النوتات يتغير عشوائياً.
كيف يعمل: يتم تدريب هذا الذكاء الاصطناعي على النظر إلى الماضي (كاميرا الحائط) والتنبؤ بالمستقبل (كاميرا العين)، لكنه يتعامل مع "نوتات الجسر" بعناية شديدة. إنه يتعلم كيفية ملء الفجوات (الاستكمال) بحيث لا تفقد الموسيقى (الفيديو) إيقاعها أبداً.

٤. لماذا يعمل هذا بشكل جيد؟

اختبر المؤلفون شيئين:
١. استكمال الفيديو (Video Interpolation): مجرد ملء الفجوة البصرية بين المنظورين.
٢. استكمال الوضعية (Pose Interpolation): ملء الفجوة أيضاً بالنسبة لحركة الكاميرا الفيزيائية (الدوران والموقع).

المفاجأة: وجدوا أن مجرد إصلاح الفجوة البصرية (إطارات الفيديو) كان كافياً لتحقيق تحسينات هائلة. حركة الكاميرا (الوضعية) ساعدت، لكن العدو الرئيسي كان "القفزة البصرية". من خلال تنعيم الانتقال البصري، استطاع الذكاء الاصطناعي أخيراً فهم كيفية تحويل منظور إلى آخر دون أن ينكسر.

٥. الصورة الكبيرة: طريق ذو اتجاهين

الجزء الأروع في هذا الإطار هو أنه ليس طريقاً باتجاه واحد فقط. نظرًا لأنهم عاملوا الأمر كله كقصة واحدة مستمرة، يمكن لنفس الذكاء الاصطناعي الآن العمل بشكل عكسي!

يمكنه تحويل Exo ← Ego (من كاميرا الحائط إلى عينيك).
ويمكنه أيضاً تحويل Ego ← Exo (من عينيك إلى كاميرا الحائط).

الملخص

باختصار، تقول هذه الورقة البحثية: "لا تجعل الذكاء الاصطناعي يقفز. اجعله يمشي."

من خلال إدراج "جسر" سلس تم إنتاجه بالذكاء الاصطناعي بين منظوري الكاميرا المختلفين، حولوا مهمة مربكة ومتقطعة إلى قصة سلسة ومستمرة. وهذا يسمح للذكاء الاصطناعي بتوليد فيديوهات عالية الجودة وواقعية لما يراه الشخص، بناءً بالكامل على لقطات مأخوذة من منظور الشخص الثالث. إنه بمثابة منح الذكاء الاصطناعي شبكة أمان حتى يتمكن أخيراً من القيام بالقفزة من "المشاهدة" إلى "الوجود".

إليك ملخص تقني مفصل لورقة البحث بعنوان "من التزامن إلى التسلسل: توليد من المنظور الخارجي إلى المنظور الذاتي عبر الاستيفاء" (Syn2Seq-Forcing).

1. تعريف المشكلة

تتناول الورقة مهمة توليد الفيديو من المنظور الخاري (Exo) إلى المنظور الذاتي (Ego): وهو تخليق فيديو من منظور الشخص الأول (الذاتي) بناءً على فيديو من منظور الشخص الثالث (الخارجي) متزامن معه، بالإضافة إلى وضعيات الكاميرا المقابلة.

التحدي الجوهي: بينما يوفر التزامن بيانات مقترنة، فإنه يسبب انقطاعات مكانية-زمانية وهندسية شديدة.
- الفجوة البصرية: الانتقال من الإطار الأخير للمشهد الخارجي إلى الإطار الأول للمشهد الذاتي غالبًا ما يتضمن تحولًا هائلاً في زاوية الرؤية، مما ينتهك افتراضات "الحركة السلسة" لنماذج الانتشار للفيديو القياسية.
- الفجوة الهندسية: وضعيات الكاميرا ( $P_x$ في نهاية التسلسل المصدر مقابل $P_g$ في بداية التسلسل المستهدف) غالبًا ما تظهر قفزات مفاجئة بدلاً من مسارات مستمرة.
قصور الطرق الحالية: تعاني نماذج "الشرط-المخرج" التقليدية (حيث يأخذ النموذج الفيديو المصدر كشرط ويخرج الهدف) من التعامل مع هذه القفزات المفاجئة، مما يؤدي إلى عدم اتساق زمني وعيوب بصرية.

2. المنهجية: Syn2Seq-Forcing

يقترح المؤلفون إطار عمل Syn2Seq-Forcing، الذي يعيد صياغة المشكلة من مهمة توليد مشروطة إلى مهمة نمذجة إشارة تسلسلية.

أ. المفهوم الجوهري: الاستيفاء كجسر للعبور

بدلاً من رسم الخرائط مباشرة من $X \to G$ ، تبني الطريقة تسلسلاً مستمراً موحداً $S$ عبر الاستيفاء بين مقاطع المنظور الخارجي (Exo) والمنظور الذاتي (Ego):
$S = [X, I, G]$
حيث:

$X$ : إطارات الفيديو من المنظور الخارجي.
$I$ : إطارات الانتقال المستوفاة التي تجسر الفجوة بين آخر إطار خارجي وأول إطار ذاتي.
$G$ : إطارات الفيديو من المنظور الذاتي.

وبالمثل، يتم توحيد تسلسل وضعية الكاميرا:
$P = [P_x, P_i, P_g]$
حيث تمثل $P_i$ وضعيات الكاميرا المستوفاة.

ب. المكونات الرئيسية

استيفاء الفيديو (WFLF):
- يستخدم المؤلفون نموذج WAN2.2 First/Last Frame (WFLF) مجمداً (وهو نسخة مكررة من Wan2.2) لتوليد إطارات الانتقال المتوسطة ( $I$ ).
- يأخذ هذا النموذج آخر إطار خارجي وأول إطار ذاتي كشروط حدودية ويولد $T-2$ من الإطارات المتوسطة لإنشاء جسر بصري سلس. وتعمل هذه الإطارات كـ "حقائق أرضية زنيفة" أثناء التدريب.
استيفاء الوضعية:
- يتم استيفاء وضعيات الكاميرا باستخدام الاستيفاء الخطي الكروي (SLERP) لمصفوفات الدوران، والاستيفاء الخطي لمتجهات الإزاحة.
- يخلق هذا مساراً هندسياً سلساً يربط الكاميرا الخارجية (الثابتة أو بطيئة الحركة) بالكاميرا الذاتية (الديناميكية).
بنية النموذج (DFoT):
- يستخدم النظام محولات الانتشار القسري (Diffusion Forcing Transformers - DFoT).
- على عكس الانتشار القياسي الذي يفترض شروطاً ثابتة، يطبق DFoT مستويات ضوضاء مستقلة لكل إطار. وهذا يسمح للنموذج بمعامل التسلسل بأكمله ( $X, I, G$ ) كإشارة واحدة حيث تشترط الإطارات الماضية الإطارات المستقبلة.
- يتم تدريب النموذج على إزالة الضوضاء من التسلسل $S^n$ مشروطاً بتسلسل الوضعية الموحد $P$ .

ج. استراتيجية التدريب

تدريب على مرحلتين:
1. التدريب المسبق: تم التدريب على 356 ألف مقطع فيديو (أزواج Exo-Ego مباشرة بدون استيفاء) لتعلم قدرات توليد الفيديو العامة.
2. الضبط الدقيق: تم التدريب على بيانات خاصة بالفئات (40 ألف مقطع) حيث يكون المدخل هو التسلسل الكامل $(X, I, G)$ مع الوضعيات المقابلة.
التفكيك العشوائي: أثناء التدريب، يختار النموذج عشوائياً مهام فرعية: إما تعلم الانتقال من المنظور الخارجي إلى الاستيفاء ( $X \to I$ ) أو من الاستيفاء إلى المنظور الذاتي ( $I \to G$ ). وهذا يجبر النموذج على تعلم كل من انتقال الجسر والتوليد النهائي.

د. الاستنتاج

أثناء الاستنتاج، يتلقى النموذج الفيديو الخارجي النظيف ( $X$ ) وتسلسل الوضعية الكامل ( $P$ ). يقوم بتوليد إطارات الانتقال ( $\hat{I}$ ) وإطارات المنظور الذاتي ( $\hat{G}$ ) في تمريرة إزالة ضوضاء واحدة، مما يضمن الاتساق الزمني عبر التسلسل بأكره.

3. المساهمات الرئيسية

تحديد المشكلة: تحديد أن الانقطاعات الناجمة عن التزامن (القفزات المكانية-الزمانية والهندسية) هي العقبة الأساسية في توليد من المنظور الخارجي إلى الذاتي، وليس فقط جودة الشرط.
إعادة الصياغة التسلسلية: اقتراح Syn2Seq-Forcing، الذي يستبدل نموذج "الشرط-المخرج" بنهج نمذجة تسلسلية باستخدام الاستيفاء لجسور فجوات زاوية الرؤية.
مكاسب الأداء بدون استيفاء الوضعية: إثبات أن استيفاء إطارات الفيديو فقط (بدون استيفاء الوضعية) يحقق تحسينات كبيرة، مما يثبت أن الانقطاع المكاني-الزماني هو الصعوبة المهيمنة.
إطار عمل موحد: إنشاء نموذج مرن يدعم بشكل طبيعي التوليد ثنائي الاتجاه (Exo2Ego و Ego2Exo) ضمن نموذج تسلسل مستمر واحد.

4. النتائج التجريبية

تم تقييم الطريقة على معيار Ego-Exo4D عبر ثلاث فئات: الدراجة (Bike)، الصحة (Health)، والطهي (Cooking).

الأداء الكمي:
- تفوق Syn2Seq-Forcing على أفضل النماذج المرجعية (بما في ذلك TrajectoryCrafter، و Wan-FCtrl، و Wan VACE، و Exo2EgoSyn) عبر جميع المقاييس (PSNR، SSIM، LPIPS).
- مثال (فئة الصحة): حقق 16.71 PSNR و 0.57 SSIM، مقارنة بـ ~15.6 PSNA لأفضل طريقة تالية.
دراسات الاستئصال (Ablation Studies):
- الاستيفاء: أدى إزالة الاستيفاء (Direct Exo2Ego) إلى انخفاض حاد في الأداء (على سبيل المثال، انخفض PSNR من 16.71 إلى 13.54 في فئة الصحة).
- استيفاء الوضعية: قدمت إضافة استيفاء الوضعية مكاسب إضافية، لكن استيفاء الإطارات وحده كان مسؤولاً عن معظم التحسن.
- تضمين الوضعية: حققت تضمينات Plücker لوضعيات الكاميرا نتائج أفضل من المتجهات العالمية (Global vectors) أو ترميز الأشعة (Ray Encoding).
- اختيار المستوفي (Interpolator): استخدام نموذج WFLF المتخصص للاستيفاء تفوق بشكل كبير على قدرات الاستيفاء الأصلية لنموذج DFoT.

5. الأهمية والعمل المستقبلي

التحول المفاهيمي: تنقل الورقة التركيز من "الاشتراط على قفزة" إلى "نمذجة مسار مستمر"، مما يربط توليد الفيديو بالواقع الفيزيائي لحركة الكاميرا.
القابلية للتعميم: لا يقت-صر إطار العمل على Exo2Ego فحسب؛ بل يقدم أساساً مبدئياً لأي مهمة تخليق عبر الرؤى (cross-view synthesis) توجد فيها قفزات في زاوية الرؤية، بما في ذلك Ego2Exo.
الاتجاهات المستقبلية: يقترح المؤلفون تحسينات محتملة عبر استيفاء عالي الجودة (خطوات انتشار أكثر)، وتقدير الوضعية المتكامل من الإطارات المولدة (باستخدام أدوات مثل ViPE)، وتوسيع قاعدة البيانات لتغطية المزيد من تنوع الحركة.

باختصار، يحل Syn2Seq-Forcing مشكلة توليد من المنظور الخارئي إلى الذاتي من خلال تنعيم "القفزة" بين الرؤى صراحةً عبر الاستيفاء، مما يمكن نماذج الانتشار من توليد فيديوهات من منظور الشخص الأول عالية الدقة ومتسقة زمنياً بناءً على ملاحظات المنظور الخارجي.