← أحدث الأبحاث
💻 computer science

Grounded-Exo2Ego: Structured Semantic Grounding for Robust Exocentric-to-Egocentric Video Generation

تقدم هذه الورقة Grounded-Exo2Ego، وهو إطار عمل لانتشار الفيديو ثنائي الفروع يجمع بين الارتكاز الهندسي وفرع تجذير دلالي مبتكر وخوارزمية إعادة تحديد موقع الكاميرا لتوليد فيديوهات من منظور الشخص الأول (egocentric) من مدخلات من منظور خارجي (exocentric) بشكل قوي، محققاً أداءً هو الأفضل في فئته على مجموعة بيانات EgoExo4D من خلال تحسين البنية وتوليد البيانات الاصطناعية بشكل مؤتمت بالكامل.

المؤلفون الأصليون: Shengze Wang, Michael Stengel, Tianye Li, Seonwook Park, Amrita Mazumdar, Koki Nagano, Alex Trevithick, Shalini De Mello

نُشر 2026-08-24
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Shengze Wang, Michael Stengel, Tianye Li, Seonwook Park, Amrita Mazumdar, Koki Nagano, Alex Trevithick, Shalini De Mello

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد مقطع فيديو لشخص يطهو من الجانب الآخر من المطبخ. ترى المشهد بأكمله: الموقد، والمنضدة، وحركات الطاهي. الآن، تخيل أنك قادر على الانتقال فوراً لتغيير هذا المنظور لترى بالضبط ما يراه الطاهي، كما لو كنت ترتدي عينيه. هذه القدرة على تحويل عرض الشخص الثالث إلى عرض الشخص الأول هي الهدف من جهد علمي جديد يسمى "توليد الفيديو من المنظور الخارجي إلى المنظور الذاتي" (exocentric-to-egocentric video generation). إنها خطوة حاسمة لبناء روبوتات يمكنها التعلم من خلال مشاهدة فيديوهات البشر، ولخلق تجارب واقع افتراضي غامرة حيث يمكن للمستخدمين إعادة عيش لحظات من منظور شخص آخر. ومع ذلك، فإن تحويل فيديو تم تصويره من الخارج إلى عرض من الداخل أمر صعب للغاية. فغالباً ما تفشل أدوات الرؤية الحاسوبية القياسية، التي تعمل بشكل جيد في تغيير الزوايا في مشهد ثابت، هنا؛ فعندما تنتقل الكاميرا من عرض واسع إلى لقطة قريبة، تجد الحواسيب صعوبة في تخمين ما هو مخفي خلف الأشياء أو كيف ينبغي أن يبدو المشهد من زاوية مختلفة تماماً، مما يؤدي غالداً إلى أجزاء مشوهة أو ضبابية أو مفقودة من الصورة.

لقد طور فريق من الباحثين في شركة "إنفيديا" (NVIDIA) نظاماً جديداً يسمى "Grounded-Exo2Ego" لحل هذه المشكلة. وبدلاً من الاعتماد على الطرق المعتادة التي تحاول فرض ملاءمة هندسية بين المنظور الخارجي والمنظور الداخلي، قاموا ببناء إطار عمل يفهم شكل الغرفة والأشياء المحددة داخلها. وجد الباحثون أن المحاولات السابقة فشلت لأن أفضل تخمين للحاسوب حول الشكل ثلاثي الأبعاد للغرفة كان خاطئاً في كثير من الأحيان، خاصة بالنسبة لأجزاء المشهد التي كانت مخفية عن الكاميرا الأصلية. وعندما حاول الحاسوب استخدام هذه الخرائط ثلاثية الأبعاد المعيبة لتوليد منظور جديد، كانت النتيجة فيديو مليئاً بالثقوب والأسطح المشوهة. ولإصلاح ذلك، يستخدم النظام الجديد نهجاً ثنائي المسارات؛ حيث يعمل أحد المسارين كدليل هيكلي، باستخدام خريطة ثلاثية الأبعاد تقريبية للمشهد لإخبار الحاسوب بمكان الجدرب والأرضيات. أما المسار الثاني، وهو الابتكار الرئيسي، فيعمل كدليل دلالي (semantic guide)؛ فهو يحدد أشياءً معينة في الفيديو، مثل شخص، أو دراجة، أو قدر طبخ، ويخبر الحاسوب بالضبط كيف يجب أن تبدو تلك الأشياء وأين تنتمي، حتى لو كانت الخريطة ثلاثية الأبعاد غير مكتملة أو مكسورة.

كما اكتشف الباحثون خللاً خفياً في كيفية تدريب هذه الأنظمة. ففي العالم الحقيقي، لا تتطابق الكاميرا التي يرتديها الشخص تمام التطابق مع إعادة البناء ثلاثي الأبعاد للغرفة التي يقوم بها الحاسوب. وهذا التباين يعني أنه عندما يحاول الحاسوب التعلم من بيانات الفيديو الحقيقية، فإنه يحاول في الأساس التعلم من خريطة مشوهة لا تتماشى مع الواقع الذي يُفترض به محاكاته. ولحل هذه المشكلة، ابتكر الفريق عملية جديدة لإعادة محاذاة موقع الكاميرا داخل الخريطة ثلاثية الأبعاد غير المثالية للحاسوب قبل بدء التدريب، مما يضمن أن يتعلم الحاسوب من صورة متسقة. علاوة على ذلك، ومن أجل تزويد النظام بأمثلة مثالية للتعلم منها، بنوا محركاً مؤتمتاً بالكامل ينشئ آلاف الفيديوهات الاصطناعية. وفي هذه العوالم المولدة حاسوبياً، يضعون شخصيات ثلاثية الأبعاد متحركة في غرف متنوعة ويسجلونها من منظور خارجي وداخلي معاً، مما يوفر للنموذج بيانات خالية من العيوب لا تستطيع الكاميرات في العالم الحقيقي التقاطها بسهولة.

وعند اختبار النظام على مجموعة بيانات صعبة من الفيديوهات الواقعية التي تتضمن أنشطة مثل الرياضة، والطبخ، وإصلاح الدراجات، تفوق النظام الجديد بشكل كبير على الأساليب الموجودة. فقد أنتج فيديوهات أكثر حدة ودقة، وأفضل بكثير في الحفاظ على الأشياء في مكانها الصحيح. فعلى سبيل المثال، بينما كانت الطرق القديمة تفشل غالباً في إعادة بناء الأشخاص بالكامل أو تضعهم في أماكن خاطئة، نجح النظام الجديد في توليد مشاهد واضحة للأشخاص ومحيطهم. وأظهرت النتائج أنه من خلال الجمع بين فهم تقريبي لتخطيط الغرفة وفهم مفصل للأشياء داخلها، ومن خلال التدريب على بيانات تمت محاذاتها بعناية ومُدعمة بأمثلة اصطناعية، استطاع الحاسوب أخيراً سد الفجوة بين مشاهدة مشهد ورؤية ما يراه شخص آخر بعينيه. ويشير هذا العمل إلى أنه لكي تتمكن الآلات من فهم وتكرار التجارب البشرية حقاً، فإنها تحتاج إلى النظر لما وراء الهندسة البسيطة وتعلم معنى الأشياء التي تحاول تجسيدها.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →