Personalizing Text-to-Image Generation to Individual Taste
تقدم هذه الورقة PAMELA، وهي مجموعة بيانات وإطار عمل تنبؤي مبتكر مصمم لنمذجة وتحسين توليد الصور من النصوص وفقاً لتفضيلات المستخدم الفردية، مما يثبت أن نماذج المكافأة الشخصية يمكنها التنبؤ بالأحكام الجمالية الذاتية بدقة أكبر من الأساليب الحالية القائمة على مستوى المجموعات.
تخيل أنك دخلت إلى معرض فني ضخم وعالي التقنية. في الماضي، كان المعرض يضم لوحة واحدة عملاقة على الجدار يتفق الجميع على أنها "جيدة". كانت آمنة، وجميلة، وتلقى إعجاب الشخص العادي. ولكن إذا دخلت وقلت: "أنا في الواقع أفضل الفن التجريدي المظلم والغامض"، سيكتفي المعرض بهز كتفيه قائلاً: "عذراً، هذه هي اللوحة الوحيدة التي لدينا".
هذا هو بالضبط كيف يعمل الذكاء الاصطناعي الحالي لتحويل النص إلى صورة (Text-to-Image AI). تكتب أمراً (مثل "قطة على أريكة")، ويعطيك الذكاء الاصطناعي النسخة التي يحبها "الإنسان المتوسط". إنه يتجاهل حقيقة أنك قد تعشق قطط "السايبربانك" ذات الألوان النيون، بينما يفضل صديقك قطط الألوان المائية.
تقدم هذه الورقة البحثية نظاماً جديداً يسمى PAM∃LA (يُنطق "باميلا") والذي يغير قواعد اللعبة. إليك التفاصيل بكلمات بسيطة:
1. المشكلة: فخ "الذوق المتوسط"
نماذج الذكاء الاصطنا؟ الحالية مدربة لإرضاء الجمهور، وليس الفرد.
التشبيه: تخيل طباخاً في مطعم يطهو فقط "الطبق الأكثر شعبية" للجميع. إذا طلبت طعاماً حاراً وطلب صديقك طعاماً حلواً، سيقوم الطباخ ببساطة بصنع طبق معتدل وباهت يكون مقبولاً للجميع ولكنه ليس مثالياً لأي أحد.
الواقع: أنظمة المكافأة في الذكاء الاصطناعي الحالية (التي تعمل كـ "حكام" يخبرون الذكاء الاصطناعي بما يبدو جيداً) مدربة على ملايين التقييمات لإيجاد الصورة "المتوسطة" الجيدة. إنها تغفل حقيقة أن الذوق أمر شخصي للغاية.
2. الحل: مدرب الذوق الشخصي
قام الباحثون ببناء مجموعة بيانات ضخمة جديدة ومدرب ذكي لإصلاح هذه المشكلة.
مجموعة البيانات (اختبار الذوق): قاموا بتوليد 5000 صورة متنوعة (من الفن السريالي إلى الصور الواقعية) وجعلوا 200 شخص مختلف يقيمونها. والأهم من ذلك، لم يسألوا فقط: "هل هذا جيد؟"، بل سألوا: "هل يعجبك أنت؟".
النتيجة: جمعوا 70,000 تقييم. هذا يشبه وجود 200 ناقد طعام مختلف يتذوقون كل طبق، بدلاً من وجود رئيس طهاة واحد فقط يقرر ما هو جيد.
المتنبئ (المدرب): قاموا بتدريب نموذج ذكاء اصطناعي جديد (متنبئ PAM∃LA) ليفحص ثلاثة أشياء قبل الحكم على الصورة:
الصورة: كيف تبدو؟
الأمر النصي: ماذا طُلب؟
المستخدم: من الذي ينظر إليها؟ (عمره، جنسه، وتقييماته السابقة).
3. كيف يعمل: "نظام تحديد المواقع الشخصي"
اعتبر مولد الذكاء الاصطناعي مثل سيارة، والأمر النصي هو الوجهة.
الطريقة القديمة: نظام تحديد المواقع (الذكاء الاصطناعي) يقود الجميع إلى نفس "الطريق الخلاب" لأن الخريطة تقول إنه أفضل منظر.
طريقة PAM∃LA: نظام تحديد المواقع يتعلم أسلوب قيادتك.
إذا كان المستخدم (أ) يحب الصور ذات التباين العالي والمظلمة والغامضة، سيقوم الذكاء الاصطناعي بتعديل الأمر النصي لجعل الصورة أكثر قتامة ودرامية.
إذا كان المستخدم (ب) يحب الصور المشرقة والمشمسة والملونة، سيقوم الذكاء الاصطناعي بتعديل نفس الأمر النصي لجعل الصورة أكثر إشراقاً وحيوية.
السحر: لقد استخدموا نفس الأمر النصي لأشخاص مختلفين، ونجح الذكاء الاصطناعي في توجيه النتائج لتناسب ذوق كل شخص فريد.
4. النتائج: البشر يفضلون التخصيص الحقيقي
اختبر الباحثون هذا مع بشر حقيقيين.
الاختبار: عرضوا على الناس صوراً صنعتها "الذكاء الاصطناعي المتوسط" مقابل صور صنعها "الذكاء الاصطناعي المخصص".
النتيجة: فضل الناس بشكل ساحق الصور المصنوعة خصيصاً لهم.
المفاجأة: عندما حاولوا تحسين الصور باستخدام حكام "الذكاء الاصطناعي المتوسط" القدامى، أصبحت الصور في الواقع أسوأ؛ حيث أصبحت مشبعة بشكل مفرط، غريبة، وتبدو كفن ذكاء اصطناعي نمطي. أما المدرب الشخصي، فقد حافظ على واقعية وجمال الصور، لكن مع تطويعها لتناسب عين الناظر.
5. لماذا يهم هذا الأمر؟
تثبت هذه الورقة أن الذوق ليس مسألة رياضية لها إجابة واحدة صحيحة.
للفنانين: يعني هذا أنه يمكنك أخيراً الحصول على ذكاء اصطناعي يولد فناً يطابق أسلوبك الخاص، وليس فقط "الأسلوب الشائع".
للمستقبل: يوضح هذا أنه لكي يكون الذكاء الاصطناعي مفيداً حقاً، نحتاج إلى التوقف عن تدريبه لإرضاء "الشخص المتوسط" والبدء في تدريبه على فهمك أنت.
باختيرة: PAM∃LA يشبه منح كل مستخدم قيم فني شخصي يعرف بالضبط ما يحبه، بدلاً من إجبار الجميع على النظر إلى نفس المعرض "لأفضل الأعمال". إنه يحول الذكاء الاصطناعي من مصنع عام إلى خياط يصمم حسب الطلب.
إليك ملخص تقني مفصل لورقة البحث بعنوان "تخصيص توليد الصور من النص إلى الفرد بناءً على ذوقه الشخصي" (PAM∃LA).
1. بيان المشكلة
تتفوق نماذج الانتشار الحالية من "النص إلى الصورة" (T2I) (مثل Flux 2 وStable Diffusion) في توليد صور عالية الدقة، لكنها تعاني من قصور جوهري: فهي تعمل على تحسين النتائج وفقًا لـ الإجماع على مستوى السكان بدلاً من تفضيلات المستخدم الفردي.
فجوة الذاتية: الحكم الجمالي مسأًلة ذاتية للغاية. فالمستخدمان اللذان يكتبان نفس المطالبة (Prompt) غالبًا ما يرغبان في نتائج بصرية مختلفة جذريًا (مثل الإضاءة، التكوين، الأسلوب)، ومع ذلك تتعامل الأنظمة الحالية مع جميع المستخدمين بشكل متماثل.
محدودية نماذج المكافأة الحالية: يتم تدريب نماذج المكافأة الحالية (مثل ImageReward وHPS) على تفضيلات بشرية "متوسطة" ومجمعة. وهي تفشل في التقاط الفروق الدقيقة الفردية وغالبًا ما تعتمد على مجموعات بيانات قديمة أو غير منقحة، مما يؤدي إلى "اختراق المكافأة" (reward hacking) حيث تنتج النماذج صورًا عامة، أو مشبعة بشكل مفرط، أو ذات طابع أسلوبي معين يبدو كأنه "ذكاء اصطناعي"، مما يقلل من الجودة الإدراكية لمستخدمين محددين.
ندرة البيانات: تركز مجموعات البيانات الموجودة لتقييم الجماليات إما على التصوير الفوتوغرافي الواقعي (متجاهلة عيوب الذكاء الاصطناعي) أو على صور مولدة بالذكاء الاصطناعي ذات تقييمات مستخدمين شحيحة (تقييم واحد إلى 4 لكل صورة)، مما يجعل من المستح المستحيل تدريب نماذج قوية للتخصيص في زمن صفر (zero-shot personalization).
2. المنهجية
يقترح المؤلفون إطار عمل PAM∃LA (نموذج الجماليات الشخصي والتقييمات واسعة النطاق)، والذي يتكون من مجموعة بيانات مبتكرة ونموذج تنبؤي.
أ. مجموعة بيانات PAM∃LA
الحجم: تحتوي على 70,000 تقييم عبر 5,077 صورة متنوعة.
الكثافة: يتم تقييم كل صورة من قبل 15 مستخدمًا فريدًا، مما يوفر توزيعًا كثيفًا للتفضيلات الذاتية.
المحتوى: تم توليد الصور باستخدام نماذج متطورة (Flux 2 وNano Banana) لتقليل العيوهات البصرية. تغطي مجموعة البيانات مجالين رئيسيين:
الفني: التكوينات الكلاسيكية (المناظر الطبيعية، الصور الشخصية، الطبيعة الصامتة).
الواقعي الفوتوغرافي: المواضيع التجارية والسينمائية (العمارة، الطعام، الموضة).
الترميز (Annotation): يقوم المستخدمون بتقييم الصور على مقياس من 5 درجات (من سيئ إلى ممتاز). تتضمن مجموعة البيانات البيانات الديموغرافية للمستخدم (العمر، الجنس، الجنسية، التعليم، الخبرة الفنية) والبيانات الوصفية للصورة.
التقسيمات: تم تقسيم البيانات إلى:
المستخدمين المرئيين (Seen Users): الاختبار على أزواج (مطالبة-صورة) جديدة للمستخدمين الموجودين في التدريب.
المستخدمين غير المرئيين (Unseen Users): اختبار التعلم القليل (few-shot) حيث يتنبأ النموذج بالتقييمات لمستخدمين جدد بناءً على مجموعة سياقية صغيرة (k=15) من تقييماتهم.
ب. متنبئ PAM∃LA (بنية النموذج)
المتنبئ هو محول متعدد الوسائط مشروط بالمستخدم مصمم لتقدير درجة جمالية شخصية.
تضمينات المدخلات (Input Embeddings):
البصري والنصي: يتم استخراجهما عبر مشفر SigLIP2 مجمد من الصورة والمطالبة الخاصة بها. ما يتم ترميزه عبر مشفر Llama-Embed-Nemotron-8B المجمد.
هوية المستخدم: جدول تضمين قابل للتعلم يلتقط التفضيلات المميزة للمستخدمين الذين تمت رؤيتهم أثناء التدريب.
الدمج (Fusion): يتم إسقاط جميع الميزات إلى بُعد مشترك ودمجها في تسلسل رموز مع رمز [CLS] قابل للتعلم.
المعالجة: يقوم مشفر محول دمج ضحل بمعالجة التسلسل.
المخرجات: يمر تمثيل [CLS] عبر رأس انحدار خطي للتنبؤ بدرجة الجمالية.
استراتيجية التدريب:
التدريب المشترك: يتم تدريب النموذج بشكل مشترك على PAM∃LA وLAPIS (الأعمال الفنية) وPARA (الصور الفوتوغرافية) لضمان المتانة عبر المجالات البصرية.
التخصيص القليل (للمستخدمين غير المرئيين): بالنسبة للمستخدمين الجدد، يبني النموذج "متجه ملف تعريف التفضيلات" عن طريق حساب متوسط مرجح بالتقييم لتضمينات الصور الخاصة بهم. ثم يسترجع أقرب K من المستخدمين من التدريب بناءً على هذا الملف التعريفي ويقوم باستكمال (interpolation) تضمينات المستخدم المتعلمة الخاصة بهم لإنشاء التنبؤ.
ج. توجيه الصور عبر تحسين المطالبة
يستخدم إطار العمل تحسين المطالبة التكراري المدفوع بالمكافأة:
يقوم نموذج لغوي كبير (LLM) بتوليد تنويعات للمطالبة.
يتم رندرة الصور باستخدام نموذج (T2I).
يقوم متنبئ PAM∃LA بتسجيل درجات الصور.
يتم اختيار المطالبة ذات الدرجة الأعلى للاكتشاف في التكرار التالي. هذه العملية توجه التوليد نحو ذوق المستخدم المحدد دون الحاجة إلى ضبط دقيق (fine-tuning) لنموذج الانتشار نفسه.
3. المساهمات الرئيسية
مجموعة بيانات PAM∃LA: أول معيار واسع النطاق لتقييم (T2I) الشخصي، والتي تتميز بتغطية كثيفة متعددة المقيمين (15 تقييمًا/صورة) على المحتوى المولد بالذكاء الاصطناعي، مما يسد الفجوة بين الجماليات الحسابية والذكاء الاصطناعي التوليدي.
متنبئ مكافأة شخصي: نموذج مبتكر يتفوق على نماذج المكافأة الحالية على مستوى السكان في التنبؤ بتفضيلات المستخدم الفردية، محققًا تعميمًا قويًا لـ "الصفر" (zero-shot) للمستخدمين غير المرئيين عبر التعلم القليل.
التوجيه الفعال: إثبات أن تحسين المطالبة البسيط الموجه بالمكافآت الشخصية يمكن أن يحسن جودة الصور بشكل كبير لمستخدمين محددين، متجنبًا "مظهر الذكاء الاصطناعي العام" المرتبط بنماذج المكافأة العالمية.
رؤى ديموغرافية: تحليل يظهر أن العوامل الديموغرافية (مثل العمر) تؤثر بشكل كبير على التفضيلات الجمالية، وأن النماذج العالمية تفرط في التكيف (overfit) دون قصد مع تحيزات مجموعات المقيّمين المهيمنة.
4. النتائج
الأداء الكمي
دقة التنبؤ: في مجموعة الاختبار المحجوزة، يتفوق PAM∃LA على جميع النماذج المرجعية (LAION, ImageReward, HPSv3, Q-Align) في كل من مقاييس مستوى المستخدم ومستوى السكان.
User SROCC: 0.4514 (مقابل 0.4019 لـ HPSv3).
User Pairwise Accuracy: 0.6631 (مقابل 0.6427 لـ HPSv3).
Population PLCC: 0.6116 (مع الحفاظ على أداء SOTA في المتوسطات العالمية).
التفضيلات المتباعدة: يتنبأ النموذج بشكل صحيح بالتفضيلات في الحالات "الصعبة" حيث يختلف المستخدمون (دقة 61.44% للمستخدمين المرئيين)، وهي مهمة تفشل فيها نماذج الإجماع (حيث تكون احتمالية التخمين العشوائي هي المعيار).
النتائج النوعية ودراسة المستخدم
تفضيل المستخدم: في دراسة زوجية (15,300 تقييم)، كانت الصور التي تم تحسينها لتناسب ذوق مستخدم معين باستخدام PAM∃LA مفضلة بشكل كبير مقارنة بالصور غير المحسنة والصور المحسنة باستخدام النماذج العامة (HPSv3, Q-Align).
الحفاظ على الجودة: على عكس النماذج العالمية التي غالبًا ما تقلل الواقعية أو تزيد من تشبع الصور أثناء التحسين، يقوم PAM∃LA بتوجيه الصور من خلال ضبط العناصر التكوينية (الإضاءة، الزاوية، وجهة النظر) مع الحفاظ على الواقعية الفوتوغرافية.
الاتساق: عمليات التحسين قابلة لإعادة الإنتاج؛ حيث يتقارب النموذج باستمرار نحو نفس العناصر الأسلوبية لمستخدم معين عبر عمليات أخذ العينات المختلفة لـ LLM.
التحيز الديموغرافي: كشفت الدراسة أن النماذج العالمية تعامل التشبع العالي كمعيار عالمي للجودة، بينما يظهر PAM∃LA أن المستخدمين الأصغر سنًا يفضلون تشبعًا أعلى بينما قد يفضل المستخدمون الأكبر سنًا جماليات مختلفة، مما يسلط الضال على التحيزات الخفية في نماذج الإجماع.
5. الأهمية والخاتمة
تؤسس هذه الورقة على أن التخصيص أمر بالغ الأهمية للجيل القادم من الذكاء الاصطناعي التوليدي. ومن خلال الانتقال من الجاذبية البشرية "المتوسطة" نحو مواءمة الذوق الفردي، يثبت PAM∃LA أن:
الذاتية قابلة للتعلم: يمكن نمذجة التفضيلات الجمالية الفردية بفعالية باستخدام مجموعات بيانات واسعة وكثيفة ومحولات متعددة الوسائط.
الإجماع ليس مثاليًا: التحسين من أجل "الجمهور" غالبًا ما يقلل من التجربة للفرد، مما يؤدي إلى مخرجات عامة.
جودة البيانات مهمة: التقييمات عالية الجودة والمتنوعة والكثيفة ضرورية لالتقاط دقة الحكم البشري.
إن إصدار مجموعة بيانات ونموذج PAM∃LA يوفر معيارًا قياسيًا للمجتمع للمضي قدمًا في مواءمة (T2I) الشخصية، مما ينقل المجال من توليد صور "جيدة" إلى توليد صور "جيدة بالنسبة لك".