ملخص تقني: DyCoRM: نمذجة المكافأة الديناميكية الواعية بالمعايير لتوليد الصور من النصوص

1. بيان المشكلة

بينما حققت نماذج توليد الصور من النصوص (T2I) تقدماً كبيراً في إنتاج صور عالية الجودة، تتجه مطالب المستخدمين نحو مخرجات تلبي متطلبات محددة وذات صلة بالمهام. تعتمد نماذج المكافأة وأطر التقييم الحالية بشكل كبير على أبعاد ثابتة ومحددة مسبقاً أو إشارات تفضيل إجمالية. وتفشل هذه النهج في التكيف مع الطبيعة الديناميكية لأحكام المستخدم، حيث تختلف معايير التقييم بشكل كبير بناءً على النص (prompt)، وزوج الصور، وحالة الاستخدام المقصودة (على سبيل المثال، إعطاء الأولوية لوضوح النص لمهام التصميم مقابل النبرة العاطفية لسرد القصص).

يتمثل التحدي الجوهري المحدد في أن النماذج الحالية لا تستطيع تفكيك عملية التقييم إلى خطوتين متمايزتين: (1) استنتاج المعايير ذات الصلة بالمهمة من سياق النص وزوج الصور، و(2) نمذجة تفضيلات الصور مشروطة بتلك المعايير المحددة. وبناءً على ذلك، تعاني النماذج الحالية في تحديد الأولويات للجوانب الصحيحة للصورة عندما تتطلب مهام مختلفة معايير تقييم مختلفة.

2. المنهجية

2.1 بناء البيانات: DyCoDataset-20K و DyCoBench-1K

لتمكين نمذجة واعية بالمعايير والديناميكية، قام المؤلفون ببناء مجموعة بيانات ومعيار اختبار جديدين:

• DyCoDataset-20K: مجموعة بيانات تضم 4,876 نصاً، و23,378 زوجاً من الصور، و94,572 معياراً دقيق التفاصيل. يتضمن مسار البناء ما يلي:
  • توليد النصوص: استخدام GPT-4o لتوليد نصوص متنوعة يتم التحكم فيها بواسطة ستة مكونات (الموضوع، المظهر، المشهد، الحركة، التنسيق، الإخراج النهائي) لتباين درجة التعقيد.
  • الحصول على الصور: توليد 5-6 صور لكل نص من مجموعة تضم 14 نموذجاً (بما في ذلك النماذج المملوكة والنماذج مفتوحة المصدر) لضمان تنوع المقارنات.
  • التعليق البشري: بروتوكول مكون من مرحلتين حيث يقوم المعلقون أولاً بصياغة معايير دقيقة التفاصيل ذات صلة بكل زوج (نص-صورة)، ثم إجراء مقارنات ثنائية تحت كل معيار نهائي. يتم الاحتفاظ بالتسميات فقط إذا اتفق أكثر من 70% من المعلقين.
• DyCoBench-1K: معيار اختبار منسق مستمد من مجموعة البيانات، يحتوي على 192 نصاً و822 زوجاً من الصور. وهو مصمم لاختبار قدرات التقييم الديناميكي، بما في ذلك حالات انعكاس التفضيل حيث يتغير الفائز بناءً على المعيار المختار.

2.2 بنية النموذج: DyCoRM

DyCoRM هو إطار عمل لنمذجة المكافأة يتكون من مرحلتين:

• المرحلة 1: ترسيخ المعايير (Criterion Grounding): يأخذ النموذج نصاً وزوج صور كمدخل، ويقوم بتوليد مجموعة من المعايير الدقيقة ذات الصلة بالمهمة ($C = \{c_1, c_2, ..., c_M\}$). يتم تدريب هذا كمسألة توليد تسلسلي تلقائي الانحدار باستخدام خسارة التقاطع المتقاطع (cross-entropy loss) مقابل المعايير المعلقة بشرياً.
• المرحلة 2: تعلم المكافأة المشروط بالمعيار: بالنظر إلى النص، وزوج الصور، ومعيار محدد (أو مجموعة معايير)، يتنبأ النموذج بالتفضيل بين الصور. استقصى المؤلفون كلاً من دوال الخسارة للنقطة الواحدة (pointwise) وللأزواج (pairwise)، ووجدوا أن خسارة الأزواج (pairwise loss) تحقق باستمرار أداءً أفضل. يتعلم النموذج إخراج احتمالية تشير إلى أي صورة هي المفضلة تحت الشرط المحدد.

2.3 التطبيق: DyCoPick

يمد تطبيق DyCoPick إطار نمذجة المكافأة ليشمل مرحلة اختيار التوليد. ويعمل عبر ثلاث مراحل:

1. توليد المرشحين: تقوم نماذج متعددة لتوليد الصور من النصوص بتوليد مرشحين لنص معين.
2. حل المعايير: إذا قدم المستخدم معايير، يتم استخدامها؛ وإلا، يقوم النظام تلقائياً باستخلاص المعايير ذات الصلة بالمهمة من النص والمرشحين.
3. الاختيار القائم على المعيار: يقوم DyCoRM بإجراء مقارنات ثنائية بين المرشحين تحت كل معيار لاختيار أفضل مخرج لتحقيق التوافق الشخصي مع التفضيلات.

3. المساهمات الرئيسية

1. إطار عمل DyCoRM: أول إطار عمل لنمذجة المكافأة يقوم صراحةً بتفكيك التقييم إلى ترسيخ المعايير وتعلم التفضيل المشروط بالمعيار، مما يسمح للنماذج بتكييف الأحكام مع متطلبات المهام المتنوعة.
2. DyCoDataset-20K و DyCoBench-1K: بناء مجموعة بيانات واسعة النطاق بمعايير ديناميكية ودقيقة التفاصيل، ومعيار اختبار مصمم خصيصاً لتقييم نماذج المكافأة تحت أحكام ديناميكية محددة بالمعايير، متجاوزاً بذلك التسميات الإجمالية الثابتة للتفضيلات.
3. DyCoPick: تطبيق عملي يوضح كيفية دمج نمذجة المكافأة الديناميكية الواعية بالمعايير في مسارات توليد الصور من النصوص لاختيار المخرجات المخصصة.

4. النتائج التجريبية

قام المؤلفون بتقييم DyCoRM على DyCoBench-1K وأربعة معايير اختبار عابرة للمجالات (ImageReward, Pick-a-Pic, HPDv2, HPDv3).

• الأداء على DyCoBench-1K: تفوق DyCoRM بشكل كبير على كل من نماذج مكافأة T2I المتخصصة (مثل HPSv3, ImageReward) ونماذج اللغات الكبيرة متعددة الوسائط (LMMs) العامة في إعدادات المعيار الواحد، والمعايير المتعددة، والتفضيلات الإجمالية. على سبيل المثال، في إعداد التفضيل الإجمالي، حقق DyCoRM دقة قدرها 0.791 (معامل كوهنز كابا 0.772)، مقارنة بـ 0.732 لأفضل نموذج أساسي تالٍ (HPSv3).
• التعميم: في المعايير العابرة للمجالات، حافظ DyCoRM على أداء تنافسي، مما أظهر أن تدريبه على المعايير الديناميكية يعمم على مهام تقييم التفضيل الإجمالي القياسية.
• القدرة الديناميكية: أظهر التحليل أن أداء DyCoRM يظل قوياً عبر مستويات صعوبة المهام وعدد المعايير المتغيرة، مما يشير إلى أنه يتكيف مع ظروف التقييم المتغيرة بدلاً من الاعتماد على قواعد ثابتة.
• الدراسة البشرية (DyCoPick): في دراسة بشرية قارنت DyCoPick مقابل نماذج المكافأة الأخرى كمحددات، كان DyCoPick هو المفضل في جميع الإعدادات (الإجمالي، المعيار الواحد، والمعايير المتعددة)، مع مزايا قوية بشكل خاص في التقييمات المحددة بالمعايير.

5. الأهمية والادعاءات

يزعم البحث أنه وضع أول إطار عمل لنمذجة المكافأة للتقييم الديناميكي ودقيق التفاصيل في توليد الصور من النصوص. ومن خلال تحويل النموذج من التنبؤ بالتفضيل الثابت إلى التقييم الدينماكي الواعي بالمعايير، يعالج هذا العمل محدودية النماذج الحالية التي لا تستطيع التكيف مع متطلبات المستخدم المحددة. ويرى المؤلفون أن هذا النهج يتيح توافقاً أكثر دقة بين المخرجات المولدة ونية المستخدم، مما يسد الفجوة بين التقييم غير المتصل (offline) والاختيار العملي أثناء التوليد. وتؤكد الدراسة أنه بينما يعد جمع المعايير الديناميكية أكثر تكلفة من التسمية الثابتة للتفضيلات، فإن مجموعة البيانات وإطار العمل الناتجين يوفران أساساً ضرورياً للجيل القادم من أنظمة توليد الصور المخصصة.