EgoRelight: Egocentric Human Capture and Illumination Recovery for Relightable and Photoreal Avatar Rendering
يُعد EgoRelight إطار عمل شمولياً يُمكّن من التواجد عن بُعد في الواقع المختلط الغامر عبر الالتقاط المتزامن لحركة كامل الجسم، وتخليق صور رمزية (avatars) واقعية للغاية وقابلة لإعادة الإضاءة، واستعادة خرائط بيئة ذات نطاق ديناميكي عالٍ من خلال شاشة عرض واحدة مثبتة على الرأس.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك ترتدي نظارات عالية التقنية (سماعة رأس) تحتوي على كاميرات تنظر إلى قدميك ويديك، وكاميرات أخرى تنظر إلى العالم من حولك. الهدف من هذه الورقة البحثية، EgoRelight، هو تحويلك إلى توأم رقمي مثالي وواقعي للغاية يمكن إسقاطه في أي لعبة فيديو أو غرفة اجتماعات افتراضية، ليبدو تماماً كما تبدو في الواقع—حتى لو كانت الإضاءة في تلك الغرفة الجديدة مختلفة تماماً.
إليك كيف يعمل النظام، مقسماً إلى ثلاث خطوات بسيطة باستخدام تشبيهات من الحياة اليومية:
1. "محرك خيال الظل" (التقاط شكلك)
المشكلة: عادةً ما ترى الكاميرات الموجودة في سماعة الرأس العالم الذي أمامك فقط. وهي تواجه صعوبة في رؤية جسدك، خاصة ملابسك، بسبب "الانسداد الذاتي" (رأسك يحجب الرؤية عن جسمك).
الحل: يستخدم المؤلفون الكاميرات التي تنظر للأسفل نحو جسدك مثل محرك خيال الظل الذي يراقب ظلاً.
- التشبيه: تخيل أنك تقف في غرفة بها ضوء ساطع فوقك. تنظر الكاميرات الموجودة في نظاراتك للأسفل وترى "ظل" جسدك وملابسك. يستخدم النظام هذه الرؤية لبناء هيكل عظمي ثلاثي الأبعاد لحركتك وخريطة مفصلة لسطح جسدك.
- السحر: النظام لا يكتفي بالتخمين، بل يستخدم معلومات العمق (مدى بعد الأشياء) لإنشاء شبكة (mesh) ثلاثية الأبعاد دقيقة لجسمك، بما في ذلك تجاعيد قميصك، مما يضمن أن النسخة الرقمية تتحرك تماماً مثلك.
2. "بدلة الحرباء" (جعلك تبدو واقعياً في أي ضوء)
المشكلة: معظم الشخصيات الرقمية لديها إضاءة "مدمجة". إذا سجلت شخصية في غرفة مشمسة، فستبدو غريبة ومعتمة عندما تضعها في غرفة خافتة الإضاءة. لا يمكنها تغيير لون بشرتها أو طريقة انعكاس الضوء عن قميصها.
الحل: يعلم نظام EgoRelight التوأم الرقمي كيف يكون "حرباء".
- التشبيه: فكر في الرمز التعبيري (Avatar) الرقمي كأنه يرتدي بدلة خاصة مكونة من طبقتين:
- الطبقة غير اللامعة (Diffuse): تشبه اللون الأساسي لبشرتك أو قميصك. هي لا تلمع، بل تمتص الضوء فقط.
- الطبقة اللامعة (Specular): تشبه البريق على بشرتك أو الانعكاس على سترة مبللة.
- التدريب: لتعليم البدلة كيفية التفاعل مع الضوء، قام الباحثون بتصوير أشخاص في "منصة ضوئية" (Lightstage)—وهي قبة ضخمة بها مئات الأضواء التي يمكنها الوميض بأي نمط. يتعلم النظام كيف يرتد الضوء من بشرتك وملابسك الخاصة.
- النتيجة: عندما تدخل غرفة افتراضية جديدة، يحسب النظام كيف يصطدم الضوء الجديد بـ "بدلة الحرباء" الخاصة بك. يقوم بفصل الأجزاء اللامعة عن الأجزاء غير اللامعة، مما يسمح له بإظهارك بشكل واقعي تماماً تحت شمس الشاطئ أو في كهف مظلم، دون أن تبدو كدمية بلاستيكية.
3. "محقق الضوء" (مسح الغرفة)
المشكلة: لجعل التوأم الرقمي يبدو واقعياً في غرفة جديدة، يحتاج الكمبيوتر إلى معرفة طبيعة الإضاءة في تلك الغرفة بدقة.
الحل: يستخدم النظام الكاميرات الموجودة في سماعة الرأس والتي تنظر للأمام لمسح الغرفة وتحديد الإضاءة.
- التشبيه: تخيل أنك تدخل غرفة ويسألك الكمبيوتر: "هل المكان ساطع أم مظلم؟ هل الضوء دافئ (أصفر) أم بارد (أزرق)؟"
- الحيلة: يأخذ النظام صورة سريعة بزاوية 360 درجة للغرفة (والتي تكون عادةً مجرد صورة مسطحة ومنخفضة الجودة) ويستخدم توأمك الرقمي كـ "أداة معايرة". يقوم برسم التوأم داخل تلك الصورة ويتحقق: "هل يبدو التوأم صحيحاً هنا؟" إذا بدا التوأم مائلاً للون الأحمر أو الأخضر أكثر من اللازم، يقوم النظام بتعديل خريطة إضاءة الغرفة حتى يندمج التوأم بشكل مثالي. هذا يخلق "خريطة ضوء" عالية الجودة للغرفة.
النتيجة النهائية: التواجد عن بُعد في الواقع المختلط
بمجرد عمل الأجزاء الثلاثة معاً، تحصل على تجربة "التواجد عن بُعد في الواقع المختلط" (Mixed Reality Telepresence).
- السيناريو: أنت في غرفة معيشتك ترتدي سماعة الرأس. صديقك في مكتبه.
- التأثير: يراك صديقك (توأمك الرقمي) جالساً على كرسي المكتب الخاص به. ولأن النظام التقط إضاءتك وشكلك ثلاثي الأبعاد، ستبدو وكأنك موجود هناك بالفعل. إذا أشعل صديقك مصباحاً في مكتبه، سيصطدم الضوء بوجهك وملابسك بشكل واقعي. وإذا حركت يدك، ستتحرك اليد الرقمية معها.
ما تستطيع الورقة (وما لا تستطيع) فعله
- تستطيع: إنشاء توأم رقمي كامل الجسم وواقعي للغاية من مجرد سماعة رأس. يمكنها جعل هذا التوأم يبدو حقيقياً في ظروف إضاءة جديدة. كما يمكنها مسح الغرفة لتطابق الإضاءة.
- لا تستطيع (بعد): العمل في الوقت الفعلي على هاتف عادي (فهي بطيئة حالياً، حيث تستغرق حوالي ربع ثانية لكل إطار). تتطلب جلسة "تدريب" خاصة في استوديو به العديد من الأضواء لتعلم مظهرك المحدد أولاً. كما أنها تعاني قليلاً في ضوء الشمس الخارجي الشديد أو البيئات المظلمة جداً لأن كاميرات سماعة الرأس لها إعدادات ثابتة.
باختاً، EgoRelife هي طريقة جديدة لتحويل الشخص إلى ممثل رقمي يمكنه السير في أي عالم افتراضي ويبدو وكأنه ينتمي إلى هناك تماماً، متفاعلاً مع الضوء تماماً كما يفعل البشر الحقيقيون.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.