LumiTokens: 3D Relighting via Token-Space Lighting Transformation
تُعد LumiTokens إطار عمل مبتكرًا لإعادة الإضاءة ثلاثية الأبعاد يتجاوز التفكيك الصريح للمواد ومعادلات الرندرة من خلال تحويل رموز المشهد الكامنة المدمجة مباشرة إلى صور مُعاد إضاءتها عبر محرر يعتمد على الانتباه الذاتي، مما يتيح تعديلات إضاءة موحدة وتدريجية وقابلة للتركيب لمصادر ضوء متنوعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلتقط صورة لشخصية في استوديو أفلام أو لمنتج في مختبر، وترغب في وضعها في عالم مختلف تماماً. قد ترغب في أن تقف تلك الشخصية تحت التوهج الدافئ لغروب الشمس، أو أن يوضع ذلك المنتج على منضدة مطبخ تضيئها نافذة صباحية. لعقود من الزمن، عانت الرسوميات الحاسوبية من أجل تحقيق هذه المهمة. فلجعل جسم ثلاثي الأبعاد يبدو واقعياً في ضوء جديد، تطلبت الطرق التقليدية عملية مضنية للهندسة العكسية للجسم. كان على الفنانين والخوارزميات تجريد طبقات الصورة لمعرفة شكل الجسم، وملمسه، ومدى لمعانه أو خشونة سطحه. وفقط بعد حل هذا اللغز المعقد، كان بإمكانهم إعادة تجميع الصورة تحت ضوء جديد. كان هذا النهج بطيئاً، وغالباً ما يتطلب مئات الصور ليعمل بشكل صحيح، وكان محدوداً بمدى قدرة الحاسوب على تخمين الخصائص الفيزيائية للمادة.
حاولت موجة جديدة من التكنولوجيا حل هذه المشكلة باستخدام الذكاء الاصطناعي لتخمين كيف يجب أن تبدو الصورة الجديدة ببساطة، تماماً كما يرتجل الرسام مشهداً. وبينما يمكن لهذه الأساليب أن تنتج نتائج جميلة، إلا أنها غالباً ما تعاني في الحفاظ على اتساق مظهر الجسم عند النظر إليه من زوايا مختلفة. فإذا حركت الكاميرا حول الجسم، قد يبدو الضوء صحيحاً من جانب واحد ولكنه يبدو خاطئاً من جانب آخر، مما يكسر إيهام العالم ثلاثي الأبعاد الصلب. علاوة على ذلك، كان تغيير الضوء يعني البدء في عملية الرسم بأكملها من الصفر؛ إذ لم تكن هناك طريقة لحفظ حالة الجسم ثم مجرد إضافة مصباح أو تحريك الشمس دون إعادة توليد كل شيء.
قدم باحثون من جامعة نورث إيسترن وشركة أدوبي ريسيرش (Adobe Research) نهجاً جديداً يسمى "لومي توكنز" (LumiTokens) يغير طريقة تفكيرنا في هذه المشكلة. فبدلاً من محاولة معرفة الشكل الفيزيائي لجسم ما أو تخمين الصورة النهائية بكسل تلو الآخر، يتعامل نظامهم مع المشهد ثلاثي الأبعاد بأكمله كمجموعة مدمجة من "التوكنز الرقمية" (Digital Tokens). فكر في هذه التوكنز كملخص رقمي عالي الكفاءة ومضغوط للجسم، يحتوي على هندسته ومظهره، ولكن دون أن يكون مرتبطاً بأي وصف فيزيائي محدد مثل نموذج ثلاثي الأبعاد أو شبكة من النقاط. وقد اكتشف الباحثون أنه يمكنهم التلاعب بهذا الملخص مباشرة؛ فمن خلال تغذية النظام بوصف لمصدر ضوء جديد، يمكنهم تحويل هذه التوكنز لتعكس ظروف الإضاءة الجديدة، ثم فك تشفير النتيجة إلى صورة جديدة عالية الجودة.
جوهر هذه الطريقة هو أداة يسمونها "محرر توكنز المشهد" (Scene Token Editor). يأخذ هذا المكون الملخص المضغوط للمشهد ووصف الضوء الجديد، ويمزجهما معاً باستخدام آلية تشبه كيفية ربط محرك البحث بين الأفكار ذات الصلة. لا يحتاج النظام إلى معرفة الإحداثيات ثلاثية الأبعاد الدقيقة للجسم أو فيزياء كيفية ارتداد الضوء عن السطح، بل يتعلم تعديل التوكنز بحيث تقع الظلال بشكل صحيح، وتسطع الإضاءات في أماكنها الصحيحة، وتبدو الانعكاسات طبيعية عندما يتم تحويلها مرة أخرى إلى صورة. ومن الأهمية بمكان أن هذه العملية تعمل مع أنواع مختلفة من الأضواء، سواء كانت سماءً واسعة، أو مصباحاً نقطياً واحداً، أو لوحة مضيئة كبيرة؛ حيث يقوم النظام بتحويل كل مصادر الضوء هذه إلى لغة مشتركة من أشعة الضوء، مما يسمح له بالتعامل معها بشكل موحد.
واحدة من أهم قدرات هذا النظام الجديد هي أنه يسمح بالتحرير التدريجي. ولأن النظام يعمل على الملخص المضغوط بدلاً من الصورة النهائية، يمكن للمستخدم بناء مشهد إضاءة مصدرًا تلو الآخر؛ حيث يمكنهم البدء ببيئة أساسية، ثم إضافة ضوء رئيسي، ثم إضافة ضوء تعبئة، مع قيام كل خطوة بتعديل نفس الملخص الأساسي. يتذكر النظام التغييرات التي تم إجراؤها في الخطوة السابقة، لذا لا يحتاج المستخدم للبدء من جديد أو إعادة حساب المشهد بأكمله مع كل إضافة جديدة. وهذا يخلق سير عمل مرناً حيث يمكن تصميم الإضاءة بشكل تراكمي، تماماً مثل إضافة المكونات إلى طبق طعام، مع الحفاظ على مظهر متسق من كل زاوية.
اختبر الباحثون نظامهم على آلاف الأجسام ثلاثية الأبعاد، بدءاً من الأشكال البسيطة وصولاً إلى النماذج المعقدة ذات الأسطح اللامعة والشفافة. ووجدوا أن طريقتهم أنتجت صوراً بدقة ووضوح يضاهيان أفضل التقنيات الموجودة، وفي حالات كثلة، كانت متفوقة عليها. وعندما قارنوا نتائجهم بالطرق الأخرى التي تعتمد على تخمين الصورة النهائية أو تلك التي تحاول الهندسة العكسية للفيزياء، أظهرت "لومي توكنز" أخطاءً أقل في كيفية تفاعل الضوء مع الجسم. فقد تجنبت الأخطاء الشائعة مثل الظلال غير المتسقة أو الإضاءة التي تبدو مختلفة اعتماداً على زاوية الكاميرا. واستطاع النظام أخذ حفنة قلي س من الصور فقط لجسم ما وإعادة إضاءته في ظروف لم يسبق له رؤيتها، منتجاً نتائج تبدو منطقية من الناحية الفيزيائية.
يشير هذا العمل إلى مسار جديد لإنشاء الأصول ثلاثية الأبعاد للأفلام، وألعاب الفيديو، والواقع الافتراضي. فمن خلال الابتعاد عن الحاجة إلى تعريف المواد الفيزيائية صراحةً أو تشغيل عمليات محاكاة فيزيائية ثقيلة، أظهر الباحثون أن الإضاءة يمكن التعامل معها كتحويل مباشر للجوهر الرقمي للمشهد. لا يدعي النظام أنه يفهم فيزياء الضوء كما يفهمها عالم الفيزياء البشري، لكنه تعلم محاكاة النتيجة البصرية بفعالية تجعل الفرق غير مرئي للعين. يوفر هذا النهج طريقة أسرع وأكثر مرونة لجلب الأجسام الرقمية إلى عوالم جديدة، مما يسمح للمبدعين بضبط الحالة المزاجية والأجواء في المشهد بمستوى من التحكم كان من الصعب تحقيقه سابقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.