Through Van Gogh's Eyes: Global Style Transfer with Diffusion Mod
تقدم هذه الورقة البحثية "نقل الأسلوب العالمي" (GST)، وهو نموذج جديد لتخليق الصور الفنية يستفيد من توجيه الأسلوب العالمي وتوجيه محاذاة المحتوى لتجميع أعمال فنية متعددة لفنان مستهدف في صورة محتوى واحدة، مما يتغلب على قيود الأساليب الحالية في التقاط توزيع الأسلوب العالمي للفنان مع الحفاظ على البنية الدلالية وتقليل الانحياز الناتج عن النصوص.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك ناقد فني مسافر عبر الزمن، وقد خطوت للتو إلى غرفة مليئة باللوحات الرقمية. تريد أن تعرف: لو كان رسام مشهور مثل فان جوخ حياً اليوم، كيف سيرسم شارعاً في مدينة حديثة أو قطة تجلس على سياج؟ هذا هو جوهر "توليف الصور الفني"، وهو مجال تحاول فيه الحواسيب محاكاة البصمات البصرية الفريدة للفنانين البشر. لفترة طويلة، امتلكت الحواسيب طريقتين رئيسيتين للقيام بذلك. كانت الأولى تشبه آلة تصوير ضوئية صارمة: حيث تأخذ لوحة واحدة محددة وتجبر صورة جديدة على أن تبدو مطابقة لها تماماً، لكنها غالباً ما كانت تغفل عن الصورة الأكبر لمسيرة الفنان بأكملها. أما الطريقة الثانية، فكانت تشبه طلب رسم "بأسلوب فان جوخ" من روبوت باستخدام الكلمات فقط. ورغم مرونتها، إلا أنها غالباً ما جعلت الروبوت يعتمد بشدة على اللوحات الأكثر شهرة وأيقونية (مثل "ليلة النجوم") مراراً وتكراراً، متجاهلاً بقية أعمال الفنان المتنوعة. السؤال الكبير الذي يحاول العلماء الإجابة عليه هو: كيف يمكننا تعليم الكمبيوتر فهم "روح" الفنان بأكملها—نطاق أساليبه، وألوانه، وضربات فرشاته بالكامل—دون مجرد نسخ لوحة شهيرة واحدة أو الاعتماد على وصف نصي قد يخدع الكمبيوتر؟
يقدم هذا البحث حلاً ذكياً جديداً يسمى "نقل الأسلوب العالمي" (GST)، والذي يعمل كطالب فنون ماهر يدرس مكتبة كاملة من أعمال فنان ما قبل أن يمسك بالفرشاة. فبدلاً من النظر إلى لوحة واحدة فقط أو الاستماع إلى أمر نصي، يقوم نظام الباحثين بجمع مئات الأعمال الفنية من فنان واحد (مثل فان جوخ، أو مونيه، أو رينوار) ويتعلم "الأسلوب العالمي" الذي يربط بينها جميعاً. إنهم يسمونه نهج "الكثير إلى واحد" لأنه يأخذ العديد من اللوحات المصدر ويمزجها في دليل أسلوب موحد لصورة جديدة واحدة.
لإنجاح ذلك، بنى الفريق أداتين خاصتين. الأداة الأولى هي "توجيه الأسلوب العالمي" (GSG). تخيل أن هذه الأداة بمثابة خاتم فك رموز سري يعيش داخل عقل الكمبيوتر. فبدلاً من مطالبة الكمبيوتر بأن "يكون فان جوخ" عبر الكلمات، تنظر هذه الأداة إلى الأنماط البصرية في مئات اللوحات وتحسب "إزاحة الأسلوب"—وهي دفعة رياضية تخبر الكمبيوتر بكيفية تغيير ألوانه وأنسجته ليتناسب مع شخصية الفنان الحقيقية والواسعة. والأهم من ذلك، وجد الباحثون أنه من خلال تدريب هذه الأداة باستخدام عبارة ثابتة ومملة مثل "لوحة" لكل عمل فني، استطاعوا تجريد الأداة من تأثير النص. وهذا يعني أن الكمبيوتر يتعلم بحت من خلال ما "يراه"، وليس مما "يقرأه"، متجنباً الانحياز حيث يكتفي بنسخ الأعمال الشهيرة المرتبطة بالنصوص فقط.
الأداة الثانية هي "توجيه محاذاة المحتوى" (CAG). تخيل أنك ترسم بورتريه لصديقك بأسلوب فان جوخ؛ فأنت تريد ضربات الفرشاة السميكة والملتفة، لكنك لا تزال تريد أن يبدو وجهه هو، وليس شخصاً غريباً. إن (CAG) هو شبكة الأمان التي تثبت وجه الصديق في مكانه بينما تسمح لأسلوب الفنان بتشويه وتغيير بقية الصورة. وهي تستخدم طريقة "خالية من التدريب" (بمعنى أنها لا تحتاج إلى وقت تعلم إضافي) للتحقق باستمرار من أن الصورة الجديدة تحافظ على نفس الهيكل الأساسي للصورة الأصلية، حتى مع تغير الأسلوب.
النتائج واعدة للغاية. فعندما اختبر الباحثون نظامهم على أكثر من 80,000 عمل فني من قاعدة بيانات WikiArt، وجدوا أن تقنية (GST) أنتجت صوراً تبدو أقرب إلى الذات الحقيقية والمتنوعة للفنان مقارنة بالطرق القديمة. وبينما كانت التقنيات الأخرى غالباً ما تتعثر في شكل واحد شهير أو تنتج نتائج ضبابية وغير متسقة، نجحت (GST) في التقاط "الطيف" الكامل للفنان. فعلى سبيل المثال، عند توليد صور بأسلوب فان جوخ، لم يكتفِ النظام بنسخ "ليلة النجوم" فحسب؛ بل خلق مجموعة متنوعة من المشاهد الملتوية والمزخنة التي بدت أصيلة لمجمل أعماله. وتشير البيانات إلى أن هذه الطريقة نجحت في تجنب "حفظ" بعض الأنماط الشهيرة فقط، وبدلاً من ذلك تعلمت تمثيلاً أغنى وأكثر دقة للهوية البصرية للفنان، مع الحفاظ في الوقت نفسه على موضوع الصورة الأصلي قابلاً للتمييز.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.