Towards Controllable Image Generation through Representation-Conditioned Diffusion Models
تقترح هذه الورقة إطار عمل لتوليد الصور القابل للتحكم يستفيد من التمثيلات المستمدة من نماذج التعلم الذاتي مسبقة التدريب لتهيئة عمليات الانتشار، مما يعزز جودة التوليد غير المشروط مع تمكين التحكم السلس والمتمايز في التباينات الناتجة دون الحاجة إلى مجموعات بيانات موسومة واسعة النطاق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك فناناً سحرياً يمكنه رسم أي لوحة تريدها، لكنك لا تستطيع التحدث إليه إلا عبر همسات غامضة مثل "اجعلها جميلة" أو "اجعلها مخيفة". هذه هي الطريقة التي تعمل بها مولدات الصور بالذكاء الاصطناعي الحالية (التي تسمى نماذج الانتشار - Diffusion Models). إنها مذهلة في إنشاء فن جميل، ولكن إذا أردت تغيير تفصيل صغير واحد فقط — مثل تحويل شعر شخص من البني إلى الأحمر دون تغيير شكل وجهه أو الخلفية — فغالباً ما يكون الأمر أشبه بمحاولة توجيه سفينة عملاقة باستخدام عود أسنان. قد تنجح في ضبط لون الشعر، لكنك قد تغير بالخطأ عمر الشخص أو حالة الطقس في الصورة أيضاً.
تقدم هذه الورقة البحثية طريقة جديدة للتحدث مع هذا الفنان السحري. فبدلاً من استخدام الكلمات فقط، يعلم المؤلفون الفنان كيف "يستمع" إلى لغة سرية من المخططات البصرية.
النهج الجديد: نظام المخطط (The Blueprint System)
بنى المؤلفون نظاماً يتكون من جزأين يعملان معاً كفريق واحد:
- المترجم (المُشفّر - The Encoder): تخيل مترجماً فائق الذكاء درس ملايين الصور. هذا المترجم لا يتحدث الإنجليزية أو الإسبانية؛ بل يتحدث لغة "المخططات البصرية". عندما تعرض عليه صورة لكنيسة أو وجه، فإنه يحول تلك الصورة فوراً إلى رمز فريد وموجز (قائمة من الأرقام) يلتقط جوهر الصورة. استخدم المؤلفون نموذجاً "مُدرباً ذاتياً" (يسمى DINO) للقيام بذلك. لقد تعلم النموذج فهم الصور بمجرد النظر إليها، دون الحاجة إلى تسميات من البشر.
- الرسام (نموذج الانتشار - The Diffusion Model): هذا هو الفنان. بدلاً من التخمين لما يجب رسمه بناءً على وصف نصي، ينظر هذا الفنان إلى "المخطط البصري" المقدم من المترجم ويرسم الصورة لتطابق ذلك الرمز.
لماذا يعد هذا أفضل؟
تدعي هذه الورقة أن هذه الطريقة توفر قوتين خارقتين رئيسيتين:
1. الانتقالات السلسة (تأثير "التلاشي" - The "Fade" Effect)
إذا أردت تحويل صورة لكنيسة إلى صورة لقلعة، يمكنك أخذ "مخطط" الكنيسة و"مخطط" القلعة وخلطهما معاً في المنتصف.
- الطريقة القديمة: مع الطرق القياسية، غالباً ما يؤدي خلطهما إلى ضبابية مشوشة أو قفزة مفاجئة وحادة من صورة إلى أخرى.
- طريقة هذه الورقة: وجد المؤلفون أن خلط هذه المخططات يخلق تلاشياً تدريجياً وسلساً. حيث تتحول الصورة ببطء من كنيسة إلى قلعة، وتتغير التفاصيل بشكل طبيعي خطوة بخطوة، بدلاً من حدوث انقطاع أو خلل تقني.
2. التحكم في التفاصيل (تأثير "المقبض" - The "Knob" Effect)
اكتشف المؤلفون أنه يمكنك تدوير "مقابض" محددة في مساحة المخطط لتغيير سمات معينة.
- المقبض "المُشرف عليه" (The Supervised Knob): إذا عرضت على النظام الكثير من الصور لأشخاص بشعر أشقر، فسوف يتعلم "مخطط الشعر الأشقر". يمكنك بعد ذلك أخذ صورة لشخص بشعر داكن، وإضافة "المخطط الأشقر" إليها، وسيقوم الذكاء الاصطناعي بتغيير شعره إلى الأشقر مع إبقاء كل شيء آخر كما هو.
- المقبض "غير المُشرف عليه" (The Unsupervised Knob): حتى بدون إخبار الذكاء الاصطناعي بما يبدو عليه "الشعر الأشقر"، يمكن للنظام العثور على الأنماط من تلقاء نفسه. ومن خلال تحليل المخططات، وجد النظام "مقابض" تتحكم بشكل طبيعي في أشياء مثل حجم الجبهة، أو طول الشعر، أو لون الخلفية. إنه يشبه العث تجد لوحة تحكم مخفية داخل كود الصورة تتيح لك تعديل سمات محددة.
النتائج
اختبر المؤلفون ذلك على صور للكنائس والوجوه (Celeb-A). ووجدوا أن:
- الصور حافظت على جودة عالية حتى عندما أجروا تغييرات كبيرة.
- كانت التغييرات سلسة (لا توجد قفزات مفاجئة).
- كانت التغييرات منفصلة (تغيير الشعر لم يغير الجنس أو الخلفية عن طريق الخطأ).
باختختصار
فكر في هذه الورقة كأنها تُعلم فناناً من الذكاء الاصطناعي لغة جديدة. بدلاً من إعطائه تعليمات غامضة، هم يعطونه مخططاً بصرياً دقيقاً. هذا يسمح للفنان ليس فقط برسم صور أفضل، بل ويسمح لك بدفع الصورة بلطف في اتجاهات محددة — مثل تدوير مقبض لتغيير لون الشعر أو تلاشي صورة مبنى إلى آخر بسلاسة — دون كسر بقية الصورة. إنها خطوة نحو جعل توليد الصور بالذكاء الاصطناعي أكثر قابلية للتنبؤ والتحكم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.