Video Reconstruction using Diffusion-based Image-to-Video Generation with Trajectory Guidance
تقترح هذه الورقة مسار عمل لانتشار الصور إلى الفيديو موجّه بالمسار، يقوم بإعادة بناء الإطارات المفقودة في لقطات الطائرات المسيرة البحرية من خلال تكييف نموذج مُدرب مسبقاً على بيانات التتبع بنظام تحديد المواقع العالمي (GPS) المسقطة، محققاً جودة بصرية وواقعية حركة فائقة مقارنة بالنماذج المرجعية التقليدية للاستكمال، دون الحاجة إلى ضبط دقيق خاص بالمجال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد فيديو مباشر من طائرة بدون طيار (درون) لقاربين صغيرين يبحران في المحيط. فجأة، يحدث خلل في الاتصال بالإنترنت، ويختفي جزء من الفيديو. تجد نفسك أمام فجوة: ترى القاربين في البداية، وتراهما في النهاية، لكن المنتصف مفقود.
عادةً، تحاول الحواسيب ملء هذه الفجوة عبر التخمين لما حدث بينهما، تماماً مثل طفل يحاول توصيل نقطتين بخط مستقيم. ولكن إذا كانت القوارب تتحرك بسرعة أو تنعطف، فإن الخط المستقيم سيبدو مزيفاً وضبابياً.
تقترح هذه الورقة البحثية طريقة أذكى لإصلاح هذا الفيديو. فبدلاً من مجرد التخمين بناءً على الصورة، يستخدم الكمبيوتر "خريطة سرية" تحملها القوارب بالفعل: وهي بيانات نظام تحديد المواقع العالمي (GPS).
المشكلة: تخمين ضبابي
فكر في طرق إصلاح الفيديو التقليدية (مثل تلك المستخدمة في الأفلام القديمة أو البرامج القياسية) كرسام يحاول إعادة رسم مشهد من خلال النظر فقط إلى الألوان الموجودة على اللوحة. إذا تحركت القوارب بسرعة، سيقوم الرسام بتمويه الطلاء، مما يخلق فوضى ضبابية. هو لا يعرف أين ذهبت القوارب بالفعل، بل يعرف فقط أنها تحركت "إلى مكان ما".
الحل: "الدليل الشبح" الموجه بنظام GPS
بنى المؤلفون مسار عمل يعمل مثل محرك دمى موجه بنظام GPS. وإليك كيف يعمل ذلك، خطوة بخوة:
- الإطار المرجعي: يبدأ الكمبيوتر بآخر صورة واضحة للقوارب قبل انقطاع الفيديو.
- قرائن الـ GPS: كانت القوارب ترسل إحداثيات موقعها الدقيقة (خطوط الطول والعرض) إلى ملف سجل، حتى أثناء تعطل الفيديو.
- الترجمة: يأخذ الكمبيوتر أرقام الـ GPS هذه ويترجمها إلى "أسهم بكسلية" على الشاشة. الأمر يشبه رسم سهم صغير على الصورة يوضح بالضبط أين يجب أن يكون القارب في الثانية التالية، بناءً على حركته في العالم الحقيقي.
- الفنان السحري (نموذج الانتشار - Diffusion Model): يغذي الكمبيوتر هذه الصورة المشروحة لفنان ذكاء اصطناعي قوي (يسمى نموذج الانتشار). هذا الفنان مدرب على ملايين الفيديوهات ليفهم كيف تبدو المياه والضوء والحركة.
- عادةً، قد يخمن هذا الذكاء الاصطناعي مسار القارب عشوائياً.
- ولكن لأن المؤلفين أعطوه أسهم الـ GPS، فإن الذكاء الاصطناعي مُجبر على رسم القارب وهو يتحرك تماماً حيث يقول الـ GPS إنه ذهب.
النتيجة: إعادة بناء واقعية
اختبر المؤلفون هذه الطريقة مقابل تقنيات التخمين "التقليدية". وهذا ما وجدوه:
- المنافسون "الضبابيون": أنتجت الطرق التقليدية (مثل Optical Flow و RIFE) فيديوهات كانت إما ناعمة جداً (تبدو كرسوم متحركة) أو ذات حركة خاطئة. بدت وكأنها "متوسطة الحسابات" بدلاً من أن تكون حقيقية.
- الفائز الموجه بالـ GPS: أنتجت الطريقة التي تستخدم بيانات الـ GPS إطارات بدت الأكثر طبيعية.
- الحركة: تحركت القوارب بسرعة واتجاه واقعيين، ولم تكتفِ بمجرد الانزلاق عبر الشاشة.
- النسيج (Texture): بدت تفاصيل المياه والقارب حادة وطبيعية، وليست ضبابية.
- الدقة: انتهى الأمر بالقوارب في المواقع الدقيقة التي حددها الـ GPS.
العقبة
يعترف المؤلفون أن هذه كانت تجربة تشغيلية على مقطع قصير جداً (ثانيتين فقط) مع وجود قاربين فقط. الأمر يشبه اختبار محرك سيارة جديدة على مضمار قصير قبل قيادتها عبر البلاد. كما أن الكمبيوتر كان لا يزال بحاجة إلى تدخل بشري للنقر على القوارب لمرة واحدة لتحديد: "هذا هو القارب الأخضر، وهذا هو الأصفر"، حتى يتمكن من مطابقة بيانات الـ GPS مع كل سفينة.
الخلاصة
تظهر هذه الورقة البحثية أنه إذا كان لديك فيديو بأجزاء مفقودة، ولكن لديك أيضاً سجلات الـ GPS للأجسام الموجودة في الفيديو، يمكنك استخدام بيانات الـ GPS هذه لـ "توجيه" الذكاء الاصطناعي نحو إعادة بناء الفيديو المفقود. إنه يشبه إعطاء الذكاء الاصطناعي نظام ملاحة GPS حتى لا يضطر للتخمين أين تذهب الأجسام؛ بل يتبع الخريطة فحسب، مما ينتج فيديو يبدو أكثر واقعية بكثير مما لو كان عليه التخمين بمفرده.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.