Unwarping the Lens: A Physics-Grounded Approach to Video Glasses Removal
تقترح هذه الورقة JFSnet، وهو إطار عمل لإزالة النظارات من الفيديو قائم على الفيزياء، يقوم بنقل المعرفة متعددة المشاهد من نموذج توليدي تجاري عبر تعزيز البيانات الاصطناعية والمحاكاة البصرية لتحقيق استعادة عالية الدقة ومتسقة زمنياً مع منع انحراف الهوية.
في عالم الصور الرقمية، تُعد الوجوه أكثر المعالم تميزاً التي نعرفها. فنحن نتعرف فوراً على الأصدقاء والمشاهرات والغرباء من خلال الترتيب الفريد لعيونهم وأنوفهم وأفواههم. ومع ذلك، عندما يرتدي الشخص نظارات طبية، يقف حاجز بصري معقد بين المشاهد والوجه الحقيقي. فالعدسات ليست مجرد قطع مسطحة من البلاستيك؛ بل هي أسطح منحنية تحني الضوء، فتُكبر أو تُصغر الملامح خلفها، بينما تلقي الإطارات بظلالها وتخلق انعكاسات حادة. لعقود من الزمن، حاول علماء الحاسوب تعليم الآلات كيفية إزالة هذه النظارات من الصور ومقاطع الفيديو، آملين في الكشف عن الوجه القابع تحتها. اعتمدت المحاولات المبكرة غالباً على تخمين كيف قد يبدو الوجه المخفي، باستخدام مكتبات ضخمة من الوجوه البشرية لملء الفراغات. وبينما استطاعت هذه الأساليب أحياناً إنتاج عين تبدو منطقية، إلا أنها فشلت تكراراً في الحفاظ على الهوية الحقيقية للشخص، حيث كانت تغير تعبيراته بالخطأ، أو تُزيح نظرة عينيه، أو تُموه التفاصيل الدقيقة التي تجعل الوجه فريداً. لقد كان التحدي يكمن في إزالة الزجاج دون فقدان ملامح الشخص.
لقد طور فريق من الباحثين الآن نهجاً جديداً يعامل إزالة النظارات الطبية ليس كلعبة تخمين، بل كمسألة فيزيائية. فبدلاً من مطالبة الذكاء الاصطناعي بتخيل ما يكمن تحت العدسات، قاموا ببناء نظام يفهم كيف يتصرف الضوء فعلياً عندما يمر عبر الزجاج. أنشأ الباحثون مسار عمل يقوم أولاً بتوليد آلاف الأزواج الاصطناعية من الوجوه: مجموعة واحدة تظهر شخصاً بدون نظارات، وأخرى تظهر نفس الشخص وهو يرتدي النظارات. ولضمان تطابق هذه الأزواج تماماً، استخدموا عملية تصفية متطورة لاستبعاد أي صور يختلف فيها وضع الجسم أو التعبير ولو بشكل طفيف. ثم، وبدلاً من الاعتماد فقط على هذه الصور المولدة، قاموا بمحاكاة الفيزياء الفعلية لانكسار الضوء. لقد حسبوا كيف ستحني عدسة معينة الضوء القادم من عين الشخص، مما يخلق تشوهاً واقعياً يمكن للحاسوب تعلم كيفية عكسه. سمحت هذه العملية بتدريب شبكة متخصصة، أطلقوا عليها اسم "الشبكة المكانية-السمات المشتركة" (joint feature-spatial network)، لتعمل كزر "تراجع" رقمي للنظارات.
تعد نتائج هذه الطريقة خطوة كبيرة للأمام في كيفية فهم الآلات للفيديو وتحريره. فعند اختبارها على آلاف الصور الشخصية عالية الدقة، نجح النظام في إزالة النظارات مع الحفاظ على هوية الشخص سليمة، محققاً مستوى من التفاصيل لم تستطع الأساليب السابقة مضاهاته. وفي مقاطع الفيديو، حيث يتحرك الشخص ويتغير الضوء، حافظ النظام على نتيجة ثابتة وخالية من الوميض، محافظاً على الاتجاه الدقيق لنظرة الشخص وعلى الحركات الدقيقة لعضلات وجهه. وفي مقارنات مباشرة مع أدوات متقدمة أخرى، بما في ذلك محررات الفيديو التجارية ومولدات الصور، فضل المراقبون البشر هذا النهج الجديد باستمرار لقدرته على جعل الوجه يبدو كالشخص الأصلي. ويعمل النظام بسرعة ملحوظة، حيث يعالج الفيديو بمعدل يقارب ثمانية وعشرين إطاراً في الثانية، وهو ما يكفي للتطبيقات التي تعمل في الوقت الفعلي.
كما أظهر الباحثون أن طريقتهم تتجنب العثرات الشائعة للتقنيات السابقة. فكثير من الأنظمة السابقة كانت "تهلوس" ملامح جديدة، مثل تغيير لون عين الشخص أو تغيير شكل ابتسامته، لأنها كانت تحاول توليد وجه جديد من الصفر. ومن خلال ترسيخ تدريبهم في القوانين الفيزيائية للبصريات، تعلم النظام الجديد ببساطة عكس التشوه الناتج عن العدسة، ليكشف عن الوجه الموجود هناك بالفعل. وهذا التمييز أمر بالغ الأهمية: فالنظام لا يخترع شخصاً جديداً، بل يكشف عن الشخص الذي كان محجوباً. تؤكد الدراسة أنه من خلال الجمع بين القوة الإبداعية لمولدات الصور واسعة النطاق والقواعد الصارمة للفيزياء، يمكن تحقيق مستوى من الدقة كان بعيد المنال سابقاً. ويشير العمل إلى أن مستقبل التحرير الرقمي لا يكمي فقط في توليد محتوى جديد، بل في فهم الواقع الفيزيائي للضوء الذي يصنعه.
ملخص تقني: فك تشفير العدسة: نهج قائم على الفيزياء لإزالة النظارات من الفيديو
بيان المشكلة
يمثل الإزالة عالية الدقة للنظارات الطبية من الفيديو تحديًا كبيرًا في تعديل سمات الوجه. فخلافًا للاحتجابات القياسية، تُعد النظارات عناصر بصرية معقدة تسبب تشوهات انكسارية تعتمد على العمق وانعكاسات لامعة تعتمد على زاوية الرؤية، مما يؤدي غالبًا إلى حجب البنية الجيومترية للوجه الكامنة. وتواجه الأساليب الحالية التي تعتمد على النماذج التوليدية العشوائية (مثل شبكات GAN أو نماذج الانتشار) صعوبة في الفصل بين هذه التأثيرات البصرية والبنية الحقيقية للوجه. ونتيجة لذلك، تعاني هذه الطرق غالبًا من "انزياح الهوية" (identity drift)، حيث تبتعد ملامح التعبير أو الوضعية أو السمات الهيكلية الفريدة للشخص المستعاد عن الأصل. علاوة على ذلك، فإن التطبيق إطارًا بإطار لهذه النماذج يؤدي غالبًا إلى حدوث وميض زمني (temporal flickering) بسبب الافتقار إلى القيود عبر النطاق الزمني.
المنهجية
يقترح المؤلفون إطار عمل نقل مبتكر يربز بين النماذج التوليدية واسعة النطاق ومبادئ الاستعادة الفيزيائية. يتكون خط المعالجة من ثلاثة مكونات رئيسية: تنسيق البيانات، والتعزيز القائم على الفيزياء، وبنية استعادة متخصصة.
1. إنشاء وتصفية البيانات التوليدية
يتم تخليق بيانات التدريب باستخدام Nano Banana (Gemini 3 Pro Image)، وهو نموذج توليدي ذو جودة تجارية.
التخليق: لكل هوية اصطناعية، يقوم النموذج بتوليد 13 مجموعة صور عالية الدقة تلتقط وضعيات رأس وتعبيرات متنوعة، بوجود نظارات وبدونها.
المحاذاة: لمعالجة عدم المحاذاة المكانية المتأصلة في النماذج التوليدية، يستخدم المؤلفون مش (mesh) تشويه As-Rigid-As-Possible (ARAP). يعمل هذا المش على محاذاة الوجه "النظيف" مع الوضعية والتهيئة الدقيقة للصورة "التي ترتدي النظارات" باستخدام قيود العلامات المميزة (landmarks) وفقدان فوتومتري متعدد المقاييس.
التصفية: تضمن عملية تصفية صارمة ثلاثية المراحل جودة البيانات:
تصفية L1: تزيل العينات ذات التحولات الكبيرة في وضعية الرأس، أو اتجاه النظر، أو الهوية عبر تحليل الخلفية والعين.
الاتساق الهيكلي: تستبعد الهويات التي أدخل فيها النموذج التوليدي انزياحًا غير مرغوب فيه في التعبيرات.
وكيل إعادة البناء: يقوم نموذج U-Net خفيف الوزن بعملية استعادة أولية؛ حيث يتم استبعاد الهويات ذات خطأ إعادة البناء العالي (مما يشير إلى وجود عدم محاذاة متبقية أو عيوب). تنتج هذه العملية مجموعة بيانات منسقة تضم 1,860 هوية (24,180 زوجًا من الصور).
2. التعزيز التدريبي القائم على الفيزياء
للتغلب على تحيز البساطة في النماذج التوليدية فيما يتعلق بالتأثيرات البصرية، قدم المؤلفون خط تعزيز قائم على الفيزياء يعمل أثناء التدريب:
محاكاة الانكسار: باستخدام ملاءمة وجه بارامترية ثلاثية الأبعاد وتقدير العمق أحادي البعد، يحاكي النظام الخصائص البصرية للعدسات. يتم إرسال الأشعة عبر أسطح عدسة كروية محددة بقوى ديوبتر مستهدفة (باستخدام قاعدة فوغل/Vogel's Rule)، ويُطبق قانون سنيل (Snell's law) لحساب الالتواء الانكساري. يؤدي هذا إلى إنشاء مجال التواء كثيف (W) يحاكي التكبير/التصغير المعتمد على العمق.
محاكاة الانعكاس: يتم توليد الانعكاسات اللامعة باستخدام خرائط بيئة عكسية مرتبطة بصورة الشخص، ومحاكاة في نطاق المدى الديناميكي العالي (HDR) لالتقاط الإضاءة الساطعة وطلاء العدسات المتغير.
مدخل التدريب: مدخل التدريب النهائي I هو تركيبة من صورة النظارات التوليدية والوجه النظيف المحاكى فيزيائيًا: I=(1−Mlens)⋅Gglasses+Mlens⋅(W(Gclean)+R)+ϵ حيث Mlens هي قناع العدسة، وW هو الالتواء الانكساري، وR هي طبقة الانعكاس.
3. بنية JFSnet
تعمل شبكة الاستعادة، JFSnet (شبكة الميزات المشتركة والمكانية)، مباشرة في مساحة البكسل للحفاظ على التفاصيل عالية التردد التي تضيع غالبًا في نماذج الانتشار الكامنة.
المشفر (Encoder): يستخدم مشفر DINOv2 (ViT-L/14) مدرب مسبقًا لالتقاط سمات الهوية الدلالية المستقرة والثابتة تجاه التشوهات المحلية. يتم ضبط الطبقات الأربع الأخيرة فقط.
المفكك (Decoder): يستخدم مفكك تلاففي يعتمد على ResNet لإعادة بناء ملامح الوجه الدقيقة.
وصلات التخطي (Skip Connections): تضمن وصلات التخطي المباشرة من الصورة المدخلة تجاوز عنق الزجاجة المعلوماتي، مما يضمن احتفاظ الشبكة بالتفاصيل غير المحجوبة بالنظارات.
الاتساق الزمني: لمنع الوميض دون استخدام تقدير تدفق مكلف، تفرض النماذج التكافؤ بالترجمة (translation equivariance) أثناء التدريب. تفرض دالة الفقد (Ltemp) أن تتبادل الشبكة مع الإزاحات المكانية الصغيرة، مما يضمن تحرك الملامح المستعادة بشكل متسق مع حركة الشخص.
المساهمات الرئيسية
إطار عمل نقل حتمي: يصيغ المؤلفون إزالة النظارات من الفيديو كعملية نقل غير متصلة (offline transfer) من نموذج توليدي سابق إلى نموذج حتمي يعمل للأمام (feed-forward)، حيث يجمع بين المجموعات التوليدية المنسقة والتعزيز القائم على الفيزياء.
بنية JFSnet: بنية هجينة تجمع بين ViT وCNN تدمج الميزات الدلالية مع إعادة البناء المكاني، مما يتيح الحفاظ على الهوية والاتساق الزمني.
التعزيز القائم على الفيزياء: خط معالجة مبتكر يحاكي انكسار وانعكاس العدسات الواقعي، مما يسمح للنموذج بتعلم عكس تشوهات بصرية محددة بدلاً من الاعتماد فقط على التخيّل (hallucination).
التقييم الشامل: تقييم واسع النطاق على مجموعات بيانات FFHQ وCelebV-Text المنسقة، مما يظهر أداءً متفوقًا في الحفاظ على اتجاه النظر، والاستقرار الزمني، والنزاهة الهيكلية مقارنة بالنماذج المرجعية الأخرى.
النتائج
الأداء الكمي: على مجموعة بيانات FFHQ (12,163 صورة)، تحقق الطريقة مسافة فريديه-إنسبشن (FID) قدرها 0.379 وخطأ معلمة L2 قدره 0.632، متفوقة على النماذج المرجعية مثل Nano Banana وProPainter ونماذج الانتشار المختلفة.
سرعة الاستنتاج: تعمل النماذج بسرعة 27.68 إطار في الثانية (FPS)، مما يجعلها مناسبة لتطبيقات الفيديو في الوقت الفعلي.
الدراسات الإدراكية: في الدراسات المستخدمة على تسلسلات فيديو CelebV-Text، تم تفضيل النهج باستمرار على النماذج المرجعية القائمة على الانتشار وGAN (بما في ذلك Runway Gen-4.5) من حيث اتساق اتجاه النظر، والاستقرار الزمني، وجودة الاستعادة الإجمالية.
دراسة الاستئصال (Ablation): تؤكد التجارب أن محاكاة الانكسار/الانعكاس وفقدان التكافؤ بالترجمة ضروريان لتحقيق درجات FID منخفضة واستقرار زمني.
الأهمية
يدعي البحث أنه يسد الفجوة بين النماذج التوليدية واسعة النطاق والاستعادة الفيزيائية. ومن خلال نقل المعرفة متعددة المشاهد والواقعية الفوتوغرافية للنموذج التوليدي إلى بنية متخصصة مدربة على بيانات محاكاة فيزيائيًا، يحقق هذا النهج دقة هيكلية عالية مع الحفاظ على الأداء في الوقت الفيد. يعالج هذا العمل القيود المحددة للنماذج الاحتمالية في الحفاظ على الهوية والتعبير، ويقدم حلاً يحترم القيود الهندسية والبصرية للوجه البشري. ويضع المؤلفون هذا العمل كخطوة للأمام في التعديل المحلي الدقيق، متجاوزين مجرد نقل الأسلوب العالمي للتعامل مع الاحتجابات البصرية المعقدة بموثوقية حتمية.