🤖 machine learning

Generative View Stitching

تقترح الورقة البحثية خوارزمية "الخياطة التوليدية للمشاهد" (Generative View Stitching - GVS)، وهي خوارزمية أخذ عينات متوافقة مع نماذج الفيديو القائمة على "الفرض التوليدي" (Diffusion Forcing) الجاهزة، تتيح توليد فيديو بتوجيه من الكاميرا يكون مستقراً، وخالياً من التصادمات، ومغلقاً للحلقات عبر أخذ عينات لسلاسل كاملة بالتوازي واستخدام "التوجيه الشامل" (Omni Guidance) للتشريط بناءً على الإطارات الماضية والمستقبلية معاً.

المؤلفون الأصليون: Chonghyuk Song, Michal Stary, Boyuan Chen, George Kopanas, Vincent Sitzmann

نُشر 2026-04-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chonghyuk Song, Michal Stary, Boyuan Chen, George Kopanas, Vincent Sitzmann

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بإخراج فيلم. لديك مسار كاميرا محدد للغاية في ذهنك: يجب أن تطير الكاميرا عبر ممر، ثم تدور حول زاوية، وتصعد درجًا حلزونيًا، وتنتهي تمامًا حيث بدأت، لتشكل حلقة مثالية (Loop).

المشكلة: المخرج "الأعمى"
مولدات الفيديو الحالية بالذكاء الاصط�طناعي تشبه المخرجين الذين لا يستطيعون رؤية سوى خطوة واحدة للأمام. فهي تولد الفيديو إطارًا تلو الآخر، وتنظر فقط إلى ما صنعته للتو.

إذا قال مسار الكاميرا "تحرك للأمام"، فسيقوم الذكاء الاصطناعي بتوليد جدار.
لكن المسار يقول أيضًا "انعطف يسارًا فورًا".
ولأن الذكاء الاصطناعي لم ينظر للمستقبل، فقد قام بتوليد جدار يعيق عملية الانعطاف.
الآن أصبحت الكاميرا عالقة. يصاب الذكاء الاصطناعي بالذعر، ويحدث خلل في الفيديو، وينهار المشهد بالكامل. وهذا ما يسمى بـ "الاصطدام" (Collision).

لحل هذه المشكلة، حاولت الطرق القديمة "بسط" (Roll out) الفيديو خطوة بخطوة، لكنها استمرت في الاصطدام بالجدرود لأنها لم تستطع التخطيط للمستقبل.

الحل: الربط التوليدي للمشاهد (Generative View Stitching - GVS)
يقترح مؤلفو هذه الورقة طريقة جديدة لصنع الفيديوهات تسمى الربط التوليدي للمشاهد (GVS). بدلًا من بناء الفيديو لبنة تلو أخرى (إطارًا تلو الآخر)، يتم بناؤه مثل لوحة الفسيفساء أو اللحاف.

إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. نهج "اللحاف" (التوليد المتوازي)

بدلًا من رسم الفيديو من اليسار إلى اليمين، تخيل أن لديك شريطًا طويلًا من القماش (الفيديو بأكمله).

الطريقة القديمة: أنت تخيط مربعًا واحدًا، ثم الذي يليه، ثم الذي يليه. إذا خيطت المربع الأول بشكل خاطئ، فسيتم إفساد اللحاف بأكمله.
طريقة GVS: تقوم بتقطيع الشريط الطويل إلى مربعات متداخلة. تضعها جميعًا على الطاولة في وقت واحد. تنظر إلى الصورة الكاملة وتضبط الحواف حيث تتداخل المربعات لتتطابق تمامًا.
النتيجة: يرى الذكما الاصطناعي "المستقبل" (نهاية الفيديو) بينما يرسم "الماضي". هو يعلم قائلًا: "أوه، أحتاج لترك مساحة هنا من أجل السلم الذي سأرسمه بعد 10 ثوانٍ". هذا يمنع الاصطدامات.

2. "التوجيه الشامل" (نظام تحديد المواقع والمرآة)

أحيانًا، مجرد النظر إلى المستقبل ليس كافيًا؛ فقد يبدو الفيديو "ضبابيًا" أو غير واضح عند التقاء المربعات.
يقدم المؤلفون تقنية تسمى التوجيه الشامل (Omni Guidance). فكر في هذا كمنح الذكاء الاصطناعي قوتين خارقتين:

نظام تحديد المواقع (GPS): يخبر الذكاء الاصطناعي: "أنت هنا، ويجب أن تنتهي هناك". (الاشتراط بناءً على مسار الكاميرا).
المرآة: تخبر الذكاء الاصطناعي: "انظر إلى ما رسمته للتو، وانظر إلى ما أنت على وشك رسمه. تأكد من أنهما يبدوان وكأنهما ينتميان لنفس الغرفة".
من خلال إجبار الذكاء الاصطناعي على الانتباه إلى كل من الماضي والمستقبل في آن واحد، يظل الفيديو حادًا ومتسقًا، دون تلك الانتقالات "الضبابية".

3. "إغلاق الحلقة" (الخدعة السحرية)

الجزء الأكثر إثارة للإعجاب هو التعامل مع الحلقات. تخيل أن الكاميرا تصعد سلمًا يبدو وكأنه يصعد إلى ما لا نهاية (سلم مستحيل)، ولكن بعد ذلك يجب أن تهبط الكاميرا تمامًا حيث بدأت.

المشكلة: إذا رسم الذكاء الاصطناعي السلالم فحسب، فقد ينتهي به الأمر أعلى بـ 10 أقدام مما بدأ منه. هكذا تنكسر الحلقة.
حل GVS: تستخدم الطريقة خدعة "الاشتراط الدوري" (Cyclic Conditioning). فهي تخبر الذكاء الاصطناعي: "يجب أن يبدو الإطار الأخير من الفيديو تمامًا مثل الإطار الأول". إنها تجبر الذكاء الاصطناعي على ربط نهاية الفيديو ببدايته، مما يخلق حلقة سلسة ولا نهائية.

لماذا يعد هذا أمرًا مهمًا؟

لا يتطلب إعادة تدريب: عادةً، لجعل الذكاء الاصطناعي يفعل شيئًا جديدًا، عليك تعليمه لشهور. GVS يشبه "المحول الجاهز للاستخدام" (Plug-and-play). فهو يعمل مع نماذج فيديو الذكاء الاصطناعي الموجودة دون الحاجة لإعادة تدريبها.
مستقر وآمن: إنه ينشئ فيديوهات طويلة (لمدة دقائق) لا تتعطل، ولا يحدث فيها خلل، وتتبع مسار كاميرا المخرج بدقة.
أشياء مستحيلة: يمكنه حتى توليد فيديوهات لأشياء غير موجودة في الواقع، مثل "السلم المستحيل"، لأنه يخطط للمسار بأكمله دفعة واحدة بدلًا من التعثر فيه خطوة بخطوة.

باختصار:
إذا كان توليد الفيديو بالذكاء الاصطناعي الحالي يشبه شخصًا يمشي في الظلام باستخدام مصباح يدوي، يصطدم بالأثاث لأنه لا يستطيع رؤية الغرفة بأكملها، فإن الربط التوليدي للمشاهد (GVS) يشبه تشغيل الأضواء للغرفة بأكملها مرة واحدة، مما يسمح للذكاء الاصطناعي بتخطيط المسار المثالي من البداية إلى النهاية دون أن يتعثر أبدًا.

إليك ملخص تقني مفصل لورقة البحث "Generative View Stitching (GVS)" المنشورة في مؤتمر ICLR 2026.

1. بيان المشكلة

تعاني نماذج انتشار الفيديو ذات التوليد التلقائي (Autoregressive - AR) الحالية، رغم قدرتها على توليد مقاطع فيديو مستقرة وطويلة، من قصور جوهري: وهو عدم القدرة على الاشتراط بناءً على المستقبل.

المشكلة: في توليد الفيديو الموجه بالكاميرا بمسار محدد مسبقاً (على سبيل المثال، لأغراض التصوير السينمائي أو محاكاة القيادة الذاتية)، تقوم نماذج AR بتوليد الإطارات بناءً على السياق الماضي فقط. إذا تطلب مسار الكاميرا تحرك الكاميرا نحو جدار أو التنقل في حلقة معقدة، فإن النموذج يولد محتوى دون وعي بالقيود المستقبلية.
النتيجة: يؤدي هذا إلى اصطدامات مع المشهد المولد (انحياز التعرض - exposure bias). وبمجرد حدوث الاصطدام، تصبح الإطارات المولدة خارج نطاق التوزيع الخاص بالنموذج، مما يؤدي إلى انهيار عملية التوليد التلقائي بسرعة.
البدائل الموجودة: توجد طرق سابقة لـ "خياطة الانتشار" (مثل CompDiffuser)، ولكنها تتطلب عادةً تدريب نموذج مخصص لعملية الخياطة، وهو أمر مكلف حوسبياً وغير قابل للتطبيق على نماذج الفيديو الجاهزة.

2. المنهجية: خياطة الرؤية التوليدية (GVS)

يقترح المؤلفون خياطة الرؤية التوليدية (GVS)، وهي خوارزمية أخذ عينات لا تتطلب تدريباً (training-free)، تمكن من توليد الفيديو الموجه بالكاميرا من خلال احترام مسار الكاميرا المحدد مسبقاً بالكامل (الماضي والمستقبل) في آن واحد.

الآلية الجوهرية

تقسم GVS تسلسل الفيديو المستهدف إلى قطع متداخلة وتولد التسلسل بأكمله بشكل متوازٍ بدلاً من التسلسل.

التوزيع التركيبي: بدلاً من توليد الإطار $t$ مشروطاً فقط بـ $t-1$ ، تقوم GVS بنمذجة توزيع قطعة مستهدفة $x_t$ مشروطة بجيرانها الزمنيين ( $x_{t-1}, x_{t+1}$ ) ومسار الكاميرا.
إزالة الضجيج المشتركة: تعتمد الطريقة على نماذج Diffusion Forcing (DF). تسمح نماذج DF بمستويات ضجيج مستقلة لكل رمز (token). تقوم GVS بتغذية القطعة المستهدفة وجيرانها المشوشين في النموذج في وقت واحد. يقوم النموذج بإزالة الضجيج عن القطعة المستهدفة مع معاملة الجيران كإشارات اشتراط، ثم يتخلص من الجيران الذين تمت إزالة الضجيج عنهم ويحدث التقدير العالمي للفيديو باستخدام القطعة المستهدفة.
لا تتطلب تدريباً: من الأهمية بمكان أن هذا يعمل مع أي نموذج فيديو جاهز تم تدريبه باستخدام Diffusion Forcing، دون الحاجة لإعادة تدريب أو تغييرات هيكلية.

الابتكارات الرئيسية

للتغلب على عدم الاتساق الزمني الضعيف الملاحظ في عمليات الخياطة المتوازية الساذجة، قدم المؤلفون مكونين حاسمين:

التوجيه الشامل (Omni Guidance):
- المشكلة: غالباً ما تؤدي الخياطة القياسية إلى انتقالات "ضبابية" أو تنعيم مفرط لأن إشارة الاشتراط من الجيران المشوشين تكون ضعيفة.
- الحل: يقوم "التوجيه الشامل" بتعديل دالة الدرجة (score function) لتوجيه التوليد صراحةً نحو الاتساق مع كل من الماضي والمستقبل. إنه يعمل فعلياً كدليل (guidance) غير تصنيفي معمّم حيث يكون "الاشتراط" هو الجيران المشوشين المتطورين مع النموذج نفسه.
- الصيغة: يقوم بتعديل الضجيء المتوقع $\tilde{\epsilon}_\theta$ عبر الجمع بين التنبؤ القياسي والحدود التي تعاقب الانحراف عن المسار والجيران الزمنيين، مع تعديلها بواسطة مقياس توجيه $\gamma$ .
الاشتراط الدوري (إغلاق الحلقة):
- المشكلة: بينما توفر الخياطة مجال استقبال متزايد، إلا أنها لا تفرض بطبيعتها اتساقاً عالمياً (على سبيل المثال، العودة إلى نفس الحالة البصرية تماماً في حلقة).
- الحل: قدم المؤلفون الاشتراط الدوري. خلال عملية إزالة الضجيج، يتم اشتراط القطع المستهدفة بالتناوب على:
  1. النوافذ الزمنية: القطع المجاورة في الزمن.
  2. النوافذ المكانية: القطع البعيدة زمنياً والقريبة مكانياً (مثل بداية ونهاية الحلقة).
- يضمن ذلك انتشار المعلومات عالمياً، مما يسم يسمح للفيديو بـ "العودة بصرياً" إلى نفس المكان، مما يتيح حلقات معقدة مثل "الدرج المستحيل".
التحكم في العشوائية:
- تستخدم الطريقة عشوائية جزئية ( $\sigma_k = \eta\sqrt{1-\alpha_{k-1}}$ ). وبينما يحسن الحد الأقصى للعشوائية الاتساق، فإنه يسبب تنعيماً مفرطاً. يسمح "التوجيد الشامل" باستخدام عشوائية جزئية، مما يقلل من التنعيم المفرط مع الحفاظ على اتساق زمني عالٍ.

3. المساهمات الرئيسية

أول خياطة لا تتطلب تدريباً للفيديو: تعد GVS أول طريقة تطبق خياطة الانتشار لتوليد الفيديو الموجه بالكاميرا دون الحاجة لنموذج مدرب خصيصاً، وهي متوافقة مع أي هيكل يعتمد على Diffusion Forcing.
التوجيه الشامل (Omni Guidance): تقنية توجيه مبتكرة تعزز الاتساق الزمني عبر تقوية الاشتراط بكل من الحالات الماضية والمستقبلية، مما يحل مشكلة "الإشارة الضعيفة" في الخياطة المتوازية.
آلية إغلاق الحلقة: استراتيجية اشتراط دوري تمكن من توليد فيديوهات طويلة ومتسقة عالمياً تغلق الحلقات، حتى للتحركات المعقدة مثل "الدرج المستحيل".
توليد خالٍ من الاصطدام: من خلال التخطيط للتسلسل بأكمله في آن واحد، تمنع GVS الكاميرا من الاصطدام بالهندسة المولدة، وهو نمط فشل شائع في النهج التلقائي (AR).

4. النتائج التجريبية

قيم المؤلفون GVS مقابل أخذ العينات التلقائي الموجه بالتاريخ (AR) و StochSync (طريقة خياطة للصور/البانوراما) عبر مسارات تحدي مختلفة (خط مستقيم، سلالم، حلقات بانورامية، الدرج المستحيل).

المقاييس:
- F2FC (الاتساق من إطار إلى إطار): تفوقت GVS على النماذج المرجعية.
- LRC (الاتساق بعيد المدى): حققت GVS إغلاقاً أفضل بكثير للحلقات.
- CA (تجنب الاصطدام): حققت GVS نسبة اصطدام 0% عبر جميع المسارات المختبرة، بينما تعرضت عينات AR للاصطدام والانهيار بشكل متكرر.
- الجودة (IQ/AQ): حافظت GVS على مقاييس جودة صور وجماليات مماثلة أو متفوقة على النماذج المرجعية.
النتائج النوعية:
- أخذ العينات التلقائي (AR): اصطدمت بالجدران، وفشلت في توليد "الدرج" بشكل صحيح (غالباً ما تصطدم بالسقف)، وأنتجت حلقات غير مترابطة.
  // ملاحظة: تم الحفاظ على السياق هنا.
- StochSync: تجنبت الاصطدامات ولكنها حققت ذلك عبر "تغيير شكل" المشهد (تغيرات جذرية في الهندسة)، مما أدى إلى اتساق زمني ضعيف.
- GVS: أنتجت فيديوهات مستقرة وخالية من الاصطدام تتبع مسار الكاميرا بأمانة، وأغلقت الحلقات بنجاح، وحافظت على تماسك زمني عالٍ.
القابلية للتوسع: أظهرت GVS القدرة على توليد فيديوهات تزيد عن 120 إطاراً وحتى 1080 إطاراً (في تجربة "الدرج اللامتناهي") مع عمليات توليد مستقرة.

5. الأهمية والتأثير

تحول في النموذج المعرفي: تتحدى GVS هيمنة أخذ العينات التلقائي (AR) لتوليد الفيديو طويل المدى. إنها تثبت أن أخذ العينات المتوازي غير التلقائي يمكن أن يكون متفوقاً عندما تكون القيود المستقبلية معروفة.
التطبيقات العملية: هذه الطريقة حاسمة للتطبيقات غير التفاعلية (offline) التي تتطلب تخطيطاً رفيع المستوى، مثل:
- التصوير السينمائي بلمسة واحدة: توليد لقطات طويلة ومستمرة بحركات كاميرا معقدة.
- محاكاة القيادة الذاتية: إنشاء بيانات اصطناعية حيث يجب على الكاميرا التنقل في مسارات محددة وخالية من الاصطدام.
- نماذج العالم (World Models): تمكين محركات الألعاب العصبية التي تحترم هندسة المشهد العالمية.
الكفاءة: من خلال الاستفادة من نماذج Diffusion Forcing الموجودة، تتجنب GVS التكلفة الهائلة لتدريب بنيات جديدة، مما يجعل التوليد المتقدم طويل المدى متاحاً للباحثين الذين يستخدمون النماذج المدربة مسبقاً القياسية.

الحدود

للاستخدام غير المتزامن (Offline) فقط: لأنها تتطلب المسار المستقبلي الكامل، لا يمكن استخدام GEV للتوليد التفاعلي في الوقت الفعلي أو البث حيث تكون وضعيات الكاميرا المستقبلية غير معروفة.
الاشتراط الخارجي: لا يزال نشر إطارات السياق الخارجي (مثل صورة مرجعية واحدة) إلى الفيديو بأكمله أمراً صعباً.
الحلقات ذات القاعدة العريضة: تواجه الطريقة صعوبة في إغلاق الحلقات التي تتضمن تحولات كبيرة في وجهة النظر (wide baselines) إذا لم يكن النموذج الأساسي قد تدرب على مثل هذه البيانات.
النوافذ الدورية اليدوية: يتم حالياً تحديد النوافذ المكانية لإغلاق الحلقات يدوياً لكل مسار، رغم أن المؤلفين يشيرون إلى أن تعلم اختيار هذه النوافذ هو توجه مستقبلي.