Beyond the Frame: Generating 360 Panoramic Videos from Perspective Videos
تقدم هذه الورقة إطار عمل مبتكرًا لتوليد فيديوهات بانورامية بزاوية 360 درجة واقعية ومتسقة مكانيًا وزمنيًا من مدخلات منظور قياسية، وذلك عبر الاستفوتادة من بيانات منسقة بزاوية 360 درجة وتوظيف عمليات مدركة للهندسة والحركة للتغلب على تحديات توسيع مجال الرؤية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد فيلماً على شاشة هاتف ذكي صغيرة جداً. يمكنك رؤية الشخصية الرئيسية وهي تسير في شارع، لكن لا يمكنك رؤية ما يحدث خلفهم، أو إلى يسارهم، أو فوق رؤوسهم. أنت عالق في "نفق".
الآن، تخيل لو كان بإمكانك سحب جدران شاشة الفيلم تلك للخارج بسحر ما، لتكشف عن العالم بأكمله—بزاوية 360 درجة، حولك تماماً، مثل فقاعة عملاقة. هذا هو بالضبط ما يدور حوله هذا البحث الموسوم بـ "ما وراء الإطار" (Beyond the Frame).
لقد طور الباحثون نموذج ذكاء اصطناعي جديداً يسمى آرغوس (Argus) (تيمناً بالعملاق اليوناني ذي المئة عين) يمكنه أخذ فيديو قياسي ضيق وتوسيع نطاقه ليصبح فيديو بانورامياً غامراً بزاوية 360 درجة.
إليك كيف فعلوا ذلك، مشروحاً ببعض التشبيهات من الحياة اليومية:
1. المشكلة: "رؤية النفق" في الذكاء الاصطناعي
نماذج توليد الفيديو الحالية بارعة في صنع مقاطع قصيرة، لكنها تعاني من "رؤية النفق". إذا طلبت منها إظهار ما يحدث خلف الكاميرا، فإنها تكتفي بالتخمين أو تخترع أشياء لا تتناسب مع بقية المشهد. الأمر يشبه محاولة إكمال أحجية الصور المقطوعة (الجيغسو) بينما تملك فقط القطعة المركزية ولا تملك أي فكرة عن شكل الحواف.
2. الحل: التعلم من كاميرات "360 درجة"
لتعليم "آرغوس" كيف يرى العالم بأكمله، لم يكتفِ الباحثون باستخدام الأفلام العادية، بل ذهبوا للصيد في محيط مختلف: فيديوهات 360 درجة (من النوع الذي تراه على يوتيوب حيث يمكنك سحب الماوس للنظر حولك).
- التشبيه: تخيل أنك تريد تعلم كيفية خبز كعكة مثالية. بدلاً من مجرد قراءة وصفة، تشاهد آلاف الفيديوهات لأشخاص يخبزون الكعك من كل الزوايا. تعلم "آرغوس" من خلال دراسة ملايين هذه الفيديوهات "الشاملة لكل الاتجاهات" ليفهم كيف يبدو العالم عندما تحرك رأسك.
3. الخدع السحرية (كيف يعمل؟)
تحويل فيديو ضيق إلى فيديو واسع أمر صعب لأن على الذكاء الاصطناعي تخمين ما يحدث في الظلام. استخدم الفريق ثلاث حيل ذكية لجعل الذكاء الاصطناعي أكثر ذكاءً:
الخدعة 1: "اليد الثابتة" (محاكاة حركة الكاميرا)
الناس الحقيقيون الذين يحملون الكاميرات يهتزون، ويميلون، ويلتفون. إذا قمت فقط بتغذية الذكاء الاصطناعي بفيديوهات مهتزة عشوائية، فسيصاب بالارتباك. صمم الباحثون "يداً آلية" تحاكي الحركة البشرية الطبيعية. هذا علم الذكاء الاصطناعي: "حسناً، عندما تميل الكاميرا للأعلى، تتحرك السماء للأعلى، والأرض للأسفل. فهمت ذلك".الخدعة 2: "البوصلة الثابتة" (محاذاة الإطارات القائمة على الرؤية)
تخيل أنك تحاول رسم خريطة لمدينة، ولكن في كل مرة ترسم فيها شارعاً جديداً، تقوم بتدوير الورقة بحيث يصبح الشمال في مكان مختلف. ستكون النتيجة فوضوية.
حرص الباحثون على أنه مهما تحركت الكاميرا في الفيديو المدخل، يظل الذكاء الاصطناعي دائماً يحتفظ بـ "السماء" في الأعلى و"الأرض" في الأسفل في خريطته الداخلية. حافظ هذا على اتساق العالم ومنع الذكاء الاصطناعي من الشعور بالدوار.الخدعة 3: "اللحم المتصل" (فك التشفير الممزوج)
عندما تلف خريطة مسطحة حول كرة أرضية، يلتقي الحافة اليسرى والحافة اليمنى. في الفيديو، هذا هو مكان "الدرز" أو "الوصلة". إذا لم يكن الذكاء الاصطناعي حذراً، فقد تبدو الحافة اليسرى من الصورة كأنها شجرة، والحافة اليمنى كأنها سيارة، مما يخلق خللاً غريباً عند التقائهما.
علم الباحثون الذكاء الاصطناعي توليد الفيديو مرتين: مرة بشكل طبيعي، ومرة أخرى بشكل مقلوب بمقدار 180 درجة. ثم قاموا بـ "مزج" الاثنين معاً، مثل خلط الطلاء، لتنعيم أي حواف خشنة. الآن، يصبح الانتقال من اليسار إلى اليمين غير مرئي.
4. ماذا يمكن لـ "آرغوس" أن يفعل؟ (القوى الخارقة)
بمجرد أن تعلم "آرغوس" كيف يرى العالم بأكمله، فتح بعض القدرات الجديدة الرائعة:
- تثبيت الفيديو دون قص الأطراف: عادةً، لإيقاف الفيديو المهتز من أن يبدو متذبذباً، يتعين عليك قص (قص الأطراف) الحواف، مما يجعل الصورة أصغر. يمكن لـ "آرගوس" تثبيت الفيديو مع الاحتفاظ بالرؤية الكاملة لأنه يعرف ما يحدث في المناطق "المقصوصة".
- كاميرا "السفر عبر الزمن": يمكنك مشاهدة فيديو لسيارة تقترب، ثم تطلب من "آرغوس": "أرني كيف كان شكل السيارة من الجانب"، رغم أن الكاميرا الأصلية كانت من الأمام فقط. سيقوم "آرغوس" بتوليد تلك الرؤية الجديدة لك.
- حل الألغاز (الأسئلة والأجوبة التفاعلية): تخيل فيديو لسيارة تقترب من ممر مشاة. قد يقول ذكاء اصطناعي قياسي: "لا أستطيع رؤية ما إذا كانت السيارة قد اصطدمت بالممر". لكن "آرغوس" يمكنه تدوير الرؤية للنظر من الجانب، ليكشف: "آه، نعم، المصد الأمامي بالتأكيد على ممر المشاة!". إنه يساعد البشر على فهم المشهد بشكل أفضل من خلال السماح لهم بالنظر حولهم.
الخلاصة
يقدم هذا البحث نموذج "آرغوس"، وهو نموذج يعمل مثل عدسة كاميرا سحرية. يأخذ فيديو ضيقاً ومملاً ويحوله إلى عالم كامل بزاوية 360 درجة يشعرك بالواقعية والاتساق. إنها خطوة كبيرة نحو جعل الفيديوهات تبدو أقل شبهاً بمشاهدة شاشة وأكثر شبهاً بالخطوات داخل المشهد نفسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.