🤖 machine learning

Personalized Image Generation via Human-in-the-loop Bayesian Optimization

تقدم هذه الورقة MultiBO، وهو إطار عمل للتحسين البايزي التفضلي متعدد الخيارات يستفيد من التغذية الراجعة البشرية التفضيلية المتكررة لتوجيه نماذج الانتشار نحو الصورة الذهنية المحددة للمستخدم، مما يسد بفعالية الفجوة التي تتركها المطالبات اللغوية وحدها.

المؤلفون الأصليون: Rajalaxmi Rajagopalan, Debottam Dutta, Yu-Lin Wei, Romit Roy Choudhury

نُشر 2026-02-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rajalaxmi Rajagopalan, Debottam Dutta, Yu-Lin Wei, Romit Roy Choudhury

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة محددة للغاية في ذهنك. ربما هي المشهد الدقيق للشارع الذي نشأت فيه، أو مخلوق خيالي بألوان محددة جداً. تحاول وصف هذه الصورة لـ "فنان ذكاء اصطناعي" قوي باستخدام الكلمات (وهو ما يسمى بـ "المطالبة" أو الـ prompt). يحاول الذكاء الاصطناعي بذل قصارى جهده ويعطيك صورة. تكون قريبة، لكنها ليست دقيقة تماماً. تحاول إصلاحها بمزيد من الكلمات، لكنك تصطدم بحائط مسدود: لا توجد كلمات كافية لوصف التفاصيل الدقيقة التي تحتاج لتغييرها.

تقدم هذه الورقة البحثية طريقة جديدة لسد هذه الفجوة. بدلاً من مجرد التحدث إلى الذكاء الاصطناعي، أنت تلعب معه لعبة "حار وبارد" (Hot and Cold)، ولكن مع لمسة ذكية.

إليك كيف يعمل MultiBO، مشروحاً ببساطة:

1. المشكلة: "حد الكلمات"

فكر في الذكاء الاصطناعي كطباخ يتحدث لغة محدودة. أنت تريد طبقاً بمذاق يشبه تماماً وصفة جدتك السرية. تقول للطباخ: "اجعله أكثر حدة"، فيضيف المزيد من الفلفل. لكن ربما لم تكن تريد "مزيداً من الفلفل"؛ بل كنت تريد نوعاً معيناً من الأعشاب. لا يمكنك شرح الفرق بالكلمات. الفجوة بين ما "تراه" في عقلك وما "يصنعه" الذكاء الاصطناعي أوسع من أن تُختصر في اللغة وحدها.

2. الحل: لعبة "اختبار المذاق"

بدلاً من أن تطلب من الذكاء الاصطناعي أن يخمن كلماتك، تقترح الورقة البحثية أن تطلب من الذكاء الاصطنانا أن يريك أربع نسخ مختلفة من الصورة في وقت واحد.

الطريقة القديمة: يريك الذكاء الاصطناعي صورة واحدة. تقول "لا". يريك الذكاء الاصطناعي أخرى. تقول "لا". هذا يستغرق وقتاً طويلاً ويسبب الإحباط.
طريقة MultiBO: يريك الذكاء الاصطناعي أربع صور جنباً إلى جنب. أنت ببساطة تشير إلى النسخة التي تبدو الأقرب لصورتك الذهنية. لا تحتاج لشرح لماذا؛ أنت فقط تختار الفائز.

3. السر الخفي: "البوصلة السحرية" (التحسين البايزي - Bayesian Optimization)

يستخدم الذكاء الاصطناعي أداة رياضية ذكية تسمى التحسين البايزي ليتعلم من اختيارك.

تخيل أنك تحاول العثور على أعلى قمة في سلسلة جبال يغطيها الضباب (صورتك المثالية). لا يمكنك رؤية الجبل بأكله.
في كل مرة تختار فيها فائزاً من بين الخيارات الأربعة، يحصل الذكاء الاصطناعي على "قراءة بوصلة". يتعلم قائلاً: "حسناً، القمة تقع على الأرج Likely في ذلك الاتجاه، وليس هذا".
الحيلة الخاصة بالورقة البحثية هي أنه من خلال إعطائك أربعة خيارات بدلاً من اثنين فقط، فإنك تعطي الذكاء الاصطناعي قراءة بوصلة أقوى بكثير. إنه يتعلم بشكل أسرع ويصل إلى قمة الجبل (صورتك المثالية) في خطوات أقل.

4. "عجلة القيادة" (تشويه الانتباه الذاتي - Self-Attention Warping)

قد تتساءل: "كيف يقوم الذكاء الاصطناعي بتغيير الصورة فعلياً؟"

عادةً ما تكون نماذج الذكاء الاصطناعي مثل آلات ضخمة ومعقدة تحتوي على آلاف الأزرار الصغيرة. تدويرها عشوائياً أمر بطيء وفوضوي.
لا يعبث MultiBO بكل الأزرار. بل يركز على جزء محدد من الآلة يسمى طبقة "الانتباه الذاتي" (Self-Attention). فكر في هذا كـ "عدسة التركيز" الخاصة بالذكاء الاصطناعي.
بدلاً من محاولة إعادة بناء الصورة بالكامل من الصفر، يقوم MultiBO بـ تشويه (مط، إزاحة، أو ثني) الميزات التي ينظر إليها الذكاء الاصطناعي بالفعل بلطف. الأمر يشبه أخذ صورة واستخدام مرآة "ملاهي" لتعديل شكل الأنف أو منحنى الابتسامة، بدلاً من محاولة رسم وجه جديد من الصفر. هذا يجعل التغييرات دقيقة وسريعة.

5. النتيجة: تحفة فنية مخصصة

اختبرت الورقة البحثية هذا مع أشخاص حقيقيين.

الإعداد: كان لدى الناس صورة مستهدفة في أذهانهم وصورة أولية كانت "جيدة" ولكن ليست مثالية.
العملية: عرض عليهم الذكاء الاصطناعي مجموعات من الصور. اختار الناس المفضلات لديهم. استخدم الذكاء الاصطناعي هذه الاختيارات لتعديل "عدسة التركيز" وتوليد مجموعات جديدة وأفضل.
النتيجة: بعد حوالي 50 جولة من هذه اللعبة البسيطة "اختر الأفضل"، أنتج الذكاء الاصطناعي صورة كانت قريبة بشكل مذهل مما كان يدور في ذهن الشخص.

لماذا هذا مميز؟

لا حاجة للتدريب: لم يكن الذكاء الاصطناعي بحاجة لإعادة تعلم أو تغذيته بآلاف الأمثلة الجديدة. لقد تعلم مباشرة منك في الوقت الفعلي.
التفوق على المقاييس: غالباً ما يحاول الذكاء الاصطناعي التحسين من أجل درجة رياضية (مثل "ما مدى جمال هذا؟"). لكن البشر أفضل في الحكم على "ما أردته حقاً". يستخدم MultiBO الإنسان كحكم، وليس درجة حاسوبية، وقد نجح في ذلك بشكل أفضل من الطرق التي تعتمد على الدرجات الحاسوبية.
الكفاءة: من خلال عرض 4 خيارات في وقت واحد وتعديل "عدسة التركيز" فقط، أنجز المهمة بسرعة دون جعل المستخدم ينتظر طويلاً.

باختاً، يحول MultiBO عملية توليد الصور من محادثة محبطة إلى لعبة بسيطة من "اختر الأفضل"، باستخدام رياضيات ذكية للوصول بسرعة إلى ما تخيلته بالضبط.

ملخص تقني: التوليد الشخصي للصور عبر التحسين البايزي القائم على تدخل الإنسان

1. بيان المشكلة

على الرغم من التقدم السريع في نماذج الانتشار (مثل FLUX وStable Diffusion 3)، لا تزال هناك فجوة جوهرية بين الصورة الذهنية للمستخدم ( $x^*$ ) وأفضل صورة يمكن الوصول إليها ( $x_p^*$ ) من خلال الأوامر اللغوية وحدها. تنشأ هذه الفجوة لأن مساحة الصور ذات أبعاد أعلى من اللغة، كما أن المفردات اللغوية للمستخدم محدودة، وتفتقر النماذج المشتركة بين اللغة والصورة (مثل CLIP) إلى المثالية المتأصلة.

بينما يستطيع المستخدمون غالبًا تحديد متى تكون الصورة المولدة "أقرب" إلى هدفهم الذهني من صورة سابقة، إلا أنهم يواجهون صعوبة في صياغة التغييرات اللغوية المحددة المطلوبة لسد هذه الفجوة. الطرق الحالية التي تعتمد على الأوامر اللغوية، أو تلك التي تتطلب تدريبًا مكثفًا خارج الخط (offline) باستخدام مجموعات بيانات ضخمة (مثل RLHF أو DiffusionDPO)، هي إما غير كافية للتخصيص الفائق أو مكلفة حاسوبيًا. يصيغ البحث هذا الأمر كـ مشكلة تحسين الصندوق الأسود القائمة على تدخل الإنسان في الحلقة (human-in-the-loop): كيف يمكن تحسين الصورة بشكل تكراري باستخدام التفضيلات النوعية فقط من المستخدم، دون الوصول إلى دالة الرضا الداخلية للمستخدم أو الهدف الحقيقي $x^*$ .

2. المنهجية: MultiBO

يقترح المؤلفون MultiBO (التحسين البايزي للتفضيل متعدد الخيارات)، وهو إطار عمل تفاعلي خالٍ من التدريب، يعمل على تحسين توليد الصور عن طريق تعديل التمثيلات الداخلية لنموذج الانتشار بناءً على تفضيلات المستخدم.

المكونات الأساسية

تعالج المنهجية تحديين رئيسيين: الأبعاد العالية لمساحة الصور، وصعوبة الحصول على تقييمات عددية دقيقة من المستخدمين.

أ. التحسين البايزي للتفضيل متعدد الخيارات (Multi-choicePBO)

بدلاً من المقارنات الثنائية القياسية (A مقابل B)، يعرض MultiBO على المستخدم مجموعة من $K$ من الصور ويطلب منه اختيار أفضل $N$ من الخيارات ( $N$ من أصل $K$ ).

MultiwiseGPR: لنمذجة دالة الرضا الكامنة $f$ للمستخدم من هذا التغذية الراجعة المعقدة، قدم المؤلفون نموذج احتمالية MultiwiseGaussian Process Regression (MultiwiseGPR). يوسع هذا النموذج نماذج Binomial-Probit/Logit المستخدمة في تحسين التفضيل الثنائي إلى إطار عمل Multinomial-Logit؛ حيث يقوم برسم خريطة لاحتمالية اختيار المستخدم لمجموعة فرعية محددة من الصور إلى قيم الدالة الكامنة، مما يسمح للنظام باستنتاج $f$ بكفاءة أكبر وبعدد أقل من الاستعلامات.
دالة الاستحواذ ذات الفضاء الفرعي المتوازن الديناميكي (DBS): إن دالة Expected Improvement (EI) القياسية تكون مستعصية حسابيًا عند التحسين عبر $K$ $K$ من الخيارات بشكل مشترك. يقترح المؤلفون DBS، وهي دالة استحواذ خفيفة الوزن تقوم بـ:
1. حساب عينة واحدة من Expected Improvement ( $x_{EI}$ ).
2. إنشاء $K$ من نقاط "المرتكز" (متجهات الجسر) بين التقدير الحالي للأفضل ( $\hat{x}^*$ ) و $x_{EI}$ .
3. أخذ عينات من الاضطرابات من فضاء فرعي ديناميكي $\Omega \subseteq Y$ . يتم تحديد هذا الفضاء الفرعي بواسطة الفجوة الطيفية لمصفوفة تغاير التدرج (gradient covariance matrix) للاحتمالية اللاحقة لـ GPR، مما يضمن أن الخيارات $K$ المعروضة على المستخدم تغطي الأبعاد الأكثر أهمية بصريًا في الفضاء الكامن مع الحفاظ على التنوع.

ب. تشويه الانتباه الذاتي (Self-Attention Warping)

التحسين المباشر في الفضاء الكامن عالي الأبعاد ( $D \approx 16k$ ) غير ممكن. بدلاً من ذلك، يقوم MultiBO بالتحسين داخل آلية الانتباه الذاتي لنموذج الانتشار (تحديدًا مصفوفات الاستعلام، والمفتاح، والقيمة $Q, K, V$ ).

فضاء التحويل: يتم تقييد التحسين في مساحة من تحويلات التشوه (warping transformations) الصالحة (تركيبة من تحويلات Affine وThin-Plate Spline) المطبقة على ميزات الانتباه.
المنطق: يتحكم الانتباه الذاتي في السمات المكانية، والملمس، والشكل. من خلال تشويه هذه الميزات، يمكن لـ MultiBO إحداث تغييرات دلالية عالمية ومحلية دون تكلفة الأبعاد المرتبطة بتحسين مساحة البكسل. وهذا يتجنب الحاجة إلى الانتباه المتقاطع (cross-attention) المرتبط بالأمر النصي ويركز على صقل المخرج البصري.

سير العمل

التهيئة: توليد صورة أولية $x_p^*$ من أمر نصي.
التكرار (حتى $B$ من الجولات):
- تقوم وحدة DBS باقتراح $K$ من معاملات التشوه.
- يتم تطبيق هذه المعاملات على ميزات الانتباه الذاتي لنموذج الانتشار لتوليد $K$ من الصور المرشحة.
- يختار المستخدم أفضل $N$ من الصور.
- يقوم نموذج MultiwiseGPR بتحديث اعتقاده اللاحق لدالة الرضا $f$ .
- تتكرر العملية حتى استنفاد الميزانية $B$ ، لينتج عن ذلك الصورة المحسنة النهائية $\hat{x}^*$ .

3. المساهمات الرئيسية

إطار عمل التفضيل متعدد الخيارات: يوضح البحث أن التغذية الراجعة بنظام $N$ -out-of- $K$ توفر معلومات أغنى بكثير من المقارنات الثنائية، مما يقلل من عبء الاستعلام على المستخدم. وقد تمت صياغة ذلك رياضيًا عبر احتمالية MultiwiseGPR ودالة الاستحواذ المقابلة لها.
التحسين في مساحة الانتباه: على عكس الطرق التي تحسن نواقل الضجيج أو مساحة البكسل، يقوم MultiBO بتحسين ميزات الانتباه الذاتي ( $Q, K, V$ ) باستخدام مساحة تحويل مشروطة. وهذا يوازن بين الحاجة إلى تحرير تعبيري وبين الجدوى الحسابية.
التخصيص الخالي من التدريب: لا يتطلب النهج أي تدريب خارج الخط على مجموعات بيانات ضخمة أو ضبط دقيق (fine-tuning) لنموذج الانتشار. إنه يعمل بالكامل أثناء وقت الاستدلال، مما يجعله مستقلاً عن النموذج وقابلًا للتكيف مع تفضيلات كل مستخدم على حدة.
اختيار الفضاء الفرعي الديناميكي: تحدد دالة الاستحواذ DBS الأبعاد الأكثر تأثيرًا للتحسين بشكل تكيفي، مما يمنع عملية البحث من الانهيار في تنويعات زائدة عن الحاجة.

4. النتائج التجريبية

قيم المؤلفون MultiBO مقابل خمس فئات من النماذج المرجعية: نماذج المحاذاة القائمة على التفضيل (DiffusionDPO, IterComp)، وطرق الاستدلال الخالية من التدريب (DEMON, DNO, DAS)، والنسخ الموجهة بالمقاييس من MultiBO.

المحاذاة مع الهدف: تفوق MultiBO بشكل كبير على جميع النماذج المرجعية في مقاييس CLIP-I2I و LPIPS (التي تقيس التشابه مع الهدف $x^*$ )، محققًا نتائج مقاربة للحد الأعلى "الخبير" (Oracle) الموجه بـ L2. ومن الجدير بالذكر أنه تفوق على النسخ التي تم فيها استبدال الإنسان بنماذج مكافأة آلية (مثل MultiBOCLIP-I2I)، مما يؤكد أن التغذية الراجعة البشرية تلتقط الفروق الدقيقة التي تغفل عنها المقاييس الوسيطة.
مقايسات التفضيل: حقق MultiBO درجات تنافسية أو متفوقة في مقاييس المكافأة القياسية (ImageReward, Aesthetic, HPSv2) مقارنة بالطرق القائمة على التدريب، رغم عدم استخدامه لأي بيانات تدريب.
المتانة: على عكس بعض النماذج المرجعية (مثل DNO, DAS) التي عانت من "اختراق المكافأة" (توليد صور سيئة تحقق درجات عالية في مقاييس معينة)، حافظ MultiBO على السلامة البصرية.
التقييم البشري: في دراسة مع 30 متطوعًا، حقق MultiBO معدل فوز بنسبة 70.82% في اختيار الصورة الأقرب للهدف، متفوقًا بشكل كبير على جميع النماذج المرجعية (حيث كان ثاني أفضل نموذج يحقق 15.60%).
دراسات الاستئصال (Ablation Studies):
- Multiwise مقابل Pairwise: أظهرت التغذية الراجعة متعددة الخيارات ( $K=4$ ) تقاربًا أسرع وجودة أعلى من المقارنة الثنائية ( $K=2$ ).
- حجم مجموعة الخيارات: وفرت $K=4$ التوازن الأمثل بين كسب المعلومات والعبء المعرفي للمستخدم؛ بينما أدت $K=10$ إلى عوائد متناقصة.
- اختيار الطبقات: أدى تحرير طبقات الانتباه الذاتي المتوسطة إلى المتأخرة (طبقات فك التشفير) إلى أفضل تحكم مكاني دون تدمير البنية الدلالية.
- الخطوات الزمنية (Timesteps): وفر التحرير خلال خطوات إزالة الضجيج المبكرة إلى المتوسطة أكبر قدر من حرية التوجيه.

5. الأهمية والادعاءات

يدعي المؤلفون أن MultiBO يقلص بفعالية "الميل الأخير" من الفجوة بين خيال المستخدم ومخرجات النموذج التوليدي. تكمن أهميته في:

الكفاءة: تحقيق تخصيص عالي الدقة مع حوالي 50 استعلامًا فقط من المستخدم، وتجنب التكلفة الحسابية لتدريب نماذج مكافأة ضخمة.
التصميم المتمحور حول الإنسان: من خلال الاستفادة من قدرة الإنسان على الحكم على الجودة النسبية (التفضيل) بدلاً من الجودة المطلقة (التقييم)، يتجاوز النظام قيود الأوامر اللغوية ونماذج المكافأة غير الكاملة.
العملية: النهج خالٍ من التدريب ومستقل عن النموذج، مما يوفر مسارًا قابلاً للتطبيق لتوليد صور مخصص للغاية دون الحاجة إلى مجموعات بيانات ضخمة أو أجهزة متخصصة للتدريب.

يقر المؤلفون بوجود قيود، مشيرين إلى أن التحسين قد يتوقف في السيناريوهات التي تكون فيها تفضيلات المستخدم غامضة (خيارات سيئة/جيدة بالتساوي)، وأن مساحة التشوه المقيدة قد تحد من نطاق التعديلات الممكنة مقارنة بتحسين مساحة الكامن الكاملة. ويُقترح كعمل مستقبلي دمج مقدمات مستنيرة من نماذج مكافأة مدربة مسبقًا واستكشاف استراتيجيات تحسين عالية الأبعاد تتناسب مع هندسة الانتشار الكامن.