DuET: Dual Expert Trajectories for Diffusion Image Editing
تُعدُّ DuET طريقة استدلالٍ لا تتطلب تدريباً تعمل على تعزيز تحرير الصور القائم على النماذج الانتشارية عبر الانتقال مؤقتاً من خلال مرحلة تحويل النص إلى صورة لضمان توافق أفضل مع التعليمات المستهدفة مع الحفاظ على السلامة الهيكلية، مع وجود متغير انتقائي يعمل على تحسين التوازن بين دقة التحرير والحفاظ على المصدر بشكل أكبر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يمكنك فيه التحدث إلى حاسوب وتطلب منه رسم أي شيء تتخيله. لسنوات، بنى العلماء نماذج "تحويل النص إلى صورة" تعمل مثل لوحات رسم سحرية: تكتب "قطة ترتدي قبعة"، فتقوم هي برسمها. ولكن ماذا لو أردت تغيير صورة موجودة بالفعل؟ رب সম্ভবত تريد استبدال القطة بكلب، أو تحويل يوم مشمس إلى يوم عاصف. هنا يأتي دور نماذج "تحرير الصور". فهي تأخذ صورتك الأصلية وتعليماتك الجديدة، ثم تحاول إعادة كتابة الصورة مع الحفاظ على الأجزاء التي لم تطلب تغييرها تماماً كما هي.
الجزء الصعب هو أن نماذج التحرير هذه تشبه الفنانين الحذرين للغاية. ولأنها تظل متمسكة بالصورة الأصلية طوال الوقت الذي تعمل فيه، فإنها أحياناً تصبح خائفة جداً من إجراء تغييرات كبيرة. إذا طلبت منها تحويل منزل صغير إلى قلعة ضخمة، فقد تكتفي بجعل المنزل أكبر قليلاً، مما يترك بقية المشهد يبدو غريباً أو عالقاً في الماضي. إنها تركز بشدة على عدم إفساد الأصل لدرجة أنها تفشل في اتباع تعليماتك الجديدة بشكل كامل. تتناول هذه الورقة البحثية تلك المشكلة تحديداً: كيف نجعل هؤلاء الفنانين الرقميين جريئين بما يكفي لإجراء تغييرات كبيرة دون فقدان روح الصورة الأصلية؟
يقدم المؤلفون خدعة ذكية جديدة تسمى DuET (مسارات الخبراء المزدوجة). فكر في عملية تحرير الصورة كرحلة طويلة من لوحة فارغة إلى تحفة فنية مكتملة. عادةً ما يسلك الحاسوب هذه الرحلة في "وضع التحرير"، حيث ينظر باستمرار إلى الصورة الأصلية لضمان عدم الابتعاد كثيراً عنها. تقترح طريقة DuET مساراً مختلفاً: في جزء محدد وقصير من الرحلة، يجب على الحاسوب التوقف عن النظر إلى الصورة الأصلية تماماً. بدلاً من ذلك، ينتقل إلى "وضع تحويل النص إلى صورة"، حيث يستمع فقط إلى وصفك للمشهد الجديد. الأمر يشبه موسيقياً يعزف عادةً مع موسيقى خلفية (الصورة الأصلية)، ولكنه، لبضع مقطوعات من الأغنية، يرتدي سماعات عازلة للضوضاء ويبتكر عزفاً منفرداً (سولو) بناءً على النوتة الموسيقية (تعليماتك) فقط. هذا يسم يسمح للحاسوب بإعادة تنظيم المشهد بالكامل ليتناسب مع رؤيتك.
بعد هذا "العزف المنفرد" القصير، ينزع الحاسوب السماعات ويعود إلى "وضع التحرير" لبقية الرحلة. الآن، بعد أن تم إجراء التغييرات الهيكلية الكبيرة، يمكنه النظر مجدداً إلى الصورة الأصلية لملء التفاصيل الدقيقة والتأكد من أن الإضاءة والأنسجة لا تزال تبدو طبيعية. تُظهر الورقة أن هذه الرقصة من "التحرير ← تحويل النص إلى صورة ← التحرير" تعمل بشكل أفضل بكثير من مجرد الالتزام بنمط واحد طوال الوقت. فهي تجعل النتيجة النهائية تشبه ما طلبته أكثر وتبدو أكثر طبيعية، خاصة في التغييرات الكبيرة مثل استبدال جسم كامل أو تغيير البيئة المحيطة.
ومع ذلك، وجد الباحثون عقبة. فعندما يتوقف الحاسوب عن النظر إلى الصورة الأصلية، ولو للحظة، فإنه أحياناً يغير أجزاءً من الصورة كنت تريد إبقاءها كما هي تماماً. إنها مقايضة: تحصل على تعديل أفضل وأكثر دقة، لكنك قد تفقد القليل من دقة الصورة الأصلية. تقيس الورقة هذا باستخدام درجة تسمى SSIM، والتي تتحقق من مدى تشابه البكسلات. ووجدوا أنه بينما تحسن الطريقة الجديدة الأجزاء "الممتعة" من الصورة (مثل مدى اتباعها للتعليمات ومدى طبيعتها)، فإن درجة "الحفاظ على الأصل" تنخفض قليلاً.
ولكن إليكم الجزء الرائع حقاً: يقترح المؤلفون أن هذه المقايضة ليست قاعدة صارمة. فقد ابتكروا نسخة أكثر ذكاءً تسمى Selective DuET. تعمل هذه النسخة مثل شرطي المرور؛ فقبل بدء الرحلة، يلقي نظرة سريعة على الصورة ليرى مدى "تمسك" الحاسوب بالأصل. إذا كانت الصورة تحتاج إلى تغيير ضخم (مثل تحويل منزل إلى شجرة)، يقول شرطي المرور: "انطلق، قم بالعزف المنفرد!". أما إذا كانت الصورة تحتاج فقط إلى تعديل طفيف، فيقول: "لا داعة لتغيير الوضع، استمر في التحرير فقط". ومن خلال استخدام طريقة "العزف المنفرد" المحفوفة بالمخاطر فقط عندما تكون ضرورية للغاية، وجدوا طريقة للحصول على تعديلات عالية الجودة دون أن تنخفض درجة الحفاظ على الأصل بطريقة يمكن للبشر ملاحظتها.
باختصار، تثبت الورقة أنك لست بحاجة لتدريب روبوت جديد فائق التعقيد لتحرير الصور بشكل أفضل. أنت فقط بحاجة لتعليم الروبوتات الموجودة متى تتوقف عن النظر إلى الصورة الأصلية ومتى تبدأ في الاستماع فقط إلى كلماتك. إنه تحديث بسيط ومجاني يجعل تحرير الفن الرقمي أكثر مرونة وإبداعاً، مما يوضح أنه في بعض الأحيان، لكي تحصل على النتيجة المثالية، يجب أن تكون مستعداً للتخلي عن الماضي للحظة واحدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.