💻 computer science

Trust Your Critic: Robust Reward Modeling and Reinforcement Learning for Faithful Image Editing and Generation

تقدم هذه الورقة إطار عمل FIRM، وهو إطار شامل يتميز بنماذج مكافأة قوية، ومجموعات بيانات منسقة، واستراتيجية مكافأة مبتكرة قائمة على "القاعدة والمكافأة" (Base-and-Bonus) للتغلب على الهلوسة في الأنظمة الحالية وتحقيق دقة فائقة في الالتزام بالتعليمات في مجالي تحرير وتوليد الصور.

المؤلفون الأصليون: Xiangyu Zhao, Peiyuan Zhang, Junming Lin, Tianhao Liang, Yuchen Duan, Shengyuan Ding, Changyao Tian, Yuhang Zang, Junchi Yan, Xue Yang

نُشر 2026-03-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiangyu Zhao, Peiyuan Zhang, Junming Lin, Tianhao Liang, Yuchen Duan, Shengyuan Ding, Changyao Tian, Yuhang Zang, Junchi Yan, Xue Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم فناناً موهوباً ولكنه فوضوي قليلاً (ذكاء اصطناعي) كيف يرسم أو يعدل الصور بناءً على تعليماتك. تقول له: "ارسم قطة تجلس على سجادة حمراء". يقوم الفنان برسم قطة، لكنها زرقاء، والسجادة خضراء.

في الماضي، كنا نستخدم "حكماً" (نموذج مكافأة) لتقييم الفنان. لكن كانت هناك مشكلة، فقد كانت الأحكام القديمة مثل نقاد فن يتخيلون أشياء غير موجودة. فقد ينظرون إلى القطة الزرقاء ويقولون: "واو، لون رائع!" لأنهم ارتبكوا، أو قد يخطئون ويغفلون عن حقيقة أن القطة لا تجلس على السجادة أصلاً. ولأن الحكم كان يعطي درجات سيئة، استمر الفنان في ارتكاب الأخطاء، ظناً منه أنه يبلي بلاءً حسناً.

هذا البحث، FIRM (نمذجة مكافأة الصور المخلصة - Faithful Image Reward Modeling)، يقدم "حكماً" جديداً، صارماً للغاية ودقيقاً جداً، لإصلاح هذه المشكلة. وإليك كيف فعلوا ذلك، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: الحكم "المتخيل"

أحكام الذكاء الاصطناعي الحالية (القائمة على النماذج اللغوية الكبيرة) بارعة في الدردشة، لكنها سيئة في رصد التفاصيل الدقيقة في الصور.

العيب: إذا طلبت من الذكاء الاصطناعي "تغيير القميص إلى اللون الأحمر"، وقام بتغيير القميص إلى اللون البرتقالي، فقد يعطيه حكم سيء درجة 5/5 لأنه "قريب بما يكفي". أو قد يرتبك ويعطي درجة منخفضة حتى لو تم تنفيذ المهمة بشكل مثالي.
النتيجة: يتم "مكافأة" الفنان الآلي لقيامه بالشيء الخاطئ، أو يشعر بالارتباك حول ماهية الشيء "الجيد". وهذا ما يسمى "اختراق المكافأة" (Reward Hacking) — حيث يجد الذكاء الاصطناعي ثغرة للحصول على درجة عالية دون تنفيذ المهمة فعلياً.

2. الحل: بناء حكم أفضل (FIRM)

بنى المؤلفون نظاماً جديداً لتدريب "حكم مثالي". لم يكتفوا بطلب تقييم الصور من الذكاء الاصطناعي؛ بل علموه كيف يقيمها باستخدام حيلتين ذكيتين:

الحيلة أ: "المحقق الفارق" (من أجل التعديل)

عند تعديل صورة، يكون سؤال الذكاء الاصطناً "هل هذا التعديل جيد؟" أمراً صعباً. الأمر يشبه سؤال إنسان: "هل هذه الجملة صحيحة نحوياً؟" دون إظهار الجملة الأصلية له.

الإصلاح: يقوم نظام FIRM أولاً بجعل الذكاء الاصطناعي يعمل كـ محقق. ينظر إلى صور "قبل" و"بعد" ويكتب قائمة بما تغير بالضبط (مثلاً: "تحول القميص من الأزرق إلى الأحمر، لكن الخلفية بقيت كما هي").
النتيجة: بمجرد حصول الذكاء الاصطناعي على قائمة الاختلافات هذه، يصبح من الأسهل بكثير تقييم التعديل. يقرأ الحكم تقرير المحقق ويقول: "آه، لقد تغير القميص إلى الأحمر كما هو مطلوب، ولم يتغير شيء آخر. الدرجة: 5/5". هذا يمنع الذكاء الاصطناعي من تفويت التفاصيل.

الحيلة ب: "طباخ القائمة" (من أجل التوليد)

عند إنشاء صورة جديدة من الصفر، يمكن أن تكون التعليمات معقدة (مثل: "كلب يرتدي قبعة، ويمسك ببالون، في حديقة، مع غروب الشمس").

الإصلاح: بدلاً من مجرد النظر إلى الصورة، يعمل النظام أولاً كـ طباخ يقرأ الوصفة ويكتب قائمة تحقق.
1. هل يوجد كلب؟
2. هل يرتدي الكلب قبعة؟
3. هل يوجد بالون؟
4. هل هو وقت غروب الشمس؟
النتيجة: يقوم حكم الذكاء الاصطناعي بعد ذلك بالمرور على قائمة التحقق واحداً تلو الآخر. لا يمكنه مجرد "التخمين" للدرجة؛ بل يجب عليه التحقق من كل عنصر. هذا يمنع الذكاء الاصطناعي من التخيل (تخيل أشياء ليست موجودة).

3. استراتيجية "الأساس والمكافأة" (لتجنب الغش)

حتى مع وجود حكم جيد، قد يحاول الفنان الآلي الغش.

سيناريو الغش: إذا قال الحكم: "سأعطيك نقاطاً مقابل الحفاظ على الصورة الأصلية آمنة"، فقد يقرر الفنان ببساطة عدم تغيير أي شيء على الإطلاق للحصول على درجة مثالية في السلامة، رغم أنك طلبت منه تعديلاً.
الإصلاح: ابتكر المؤلفون صيغة تسجيل درجات خاصة تسمى "الأساس والمكافأة" (Base-and-Bonus).
- القاعدة: يجب عليك تنفيذ المهمة (الأساس) للحصول على أي نقاط.
- المكافأة: فقط بعد تنفيذ المهمة، تحصل على نقاط إضافية مقابل الحفاظ على بقية الصورة آمنة (الاستمرارية).
- التشبيه: تخيل لعبة فيديو. لا تحصل على نقاط لمجرد الوقوف ساكناً (الاستمرارية). أنت تحصل على نقاط فقط إذا هزمت الزعيم (التنفيذ). وبمجرد هزيمة الزعيم، تحصل على نقاط إضافية إذا لم تكسر درعك الخاص (الاستمرارية). هذا يجبر الذكاء الاصطناعي على القيام بالعمل الفعلي.

4. النتائج: لوحة فنية رائعة

اختبر المؤلفون هذا النظام الجديد (FIRM) مقابل الأحكام القديمة وأفضل نماذج الذكاء الاصطناعي المتاحة.

النتيجة: أصبحت نماذج الذكاء الاصطناعي التي تدربت باستخدام حكم FIRM أفضل بكثير في اتباع التعليمات. توقفت عن التخيل، وتوقفت عن تجاهل التفاصيل، وتوقفت عن محاولة غش النظام.
الاختبارات المعيارية: أنشأوا "امتحاناً نهائياً" (FIRM-Bench) حيث قام البشر بتقييم النتائج. سجلت النماذج المدربة بنظام FIRM درجات أعلى من معظم النماذج الأخرى، بما في ذلك النماذج الضخمة والمغلقة مثل GPT-4 وGemini.

ملخص

فكر في FIRM كـ معلم فن ماهر لا يكتفي بقول "عمل جيد" أو "عمل سيء".

يجعل الطالب أولاً يسرد بالضبط ما قام بتغييره (المحقق).
يعطي الطالب قائمة تحقق صارمة لاتباعها (الطباخ).
يضمن أن الطالب يقوم بالفعل بالعمل قبل مكافأته على كونه حذراً (الأساس والمكافأة).

من خلال استخدام هذه الطريقة، يظهر البحث أننا نستطيع تعليم الذكاء الاصطناعي ليكون أكثر موثوقية، وطاعة، وإبداعاً، محولين إياه من مجرد رسام عشوائي إلى فنان مخلص.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ثق بناقدك: نمذجة مكافأة قوية وتعلم تعزيزي لإنشاء وتحرير الصور بأمانة" (FIRM).

1. بيان المشكلة

أصبح التعلم التعزيزي (RL) نموذجاً مهيمناً لمحاذاة نماذج توليد وتحرير الصور من النص إلى الصورة (T2I) مع التفضيلات البشرية. ومع ذلك، تعاني مسارات التعلم التعزيزي الحالية من عقبة حرجة: نماذج المكافأة (النقاد) غير الموثوقة.

الهلوسة والضجيج: نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) العامة، عند استخدامها كنماذج مكافأة صفرية القدرة (zero-shot)، غالباً ما تهلوس، وتتجاهل الكائنات، وتفتقر إلى الاستدلال المكاني الدقيق.
التحسين المضلل: تؤدي هذه الدرجات المشوشة إلى "اختراق المكافأة" (reward hacking)، حيث تقوم النماذج بتحسين الإشارات الخاطئة (على سبيل المثال، الحفاظ على الصورة الأصلية لتعظيم درجات الاتساق مع تجاهل تعليمات التحرير، أو توليد ظلال سوداء للطلبات القصيرة لاستيفاء مقاييس اتباع التعليمات).
نقص التخصص: تعتمد الطرق الحالية غالباً على نماذج MLLM عامة تفشل في التمييز بين التنفيذ الدقيق (هل حدث التعديل؟) والاتساق (هل ظل بقية الجزء من الصورة كما هو؟).

2. المنهجية: إطار عمل FIRM

يقترح المؤلفون إطار عمل FIRM (نمذجة مكافأة الصور الأمينة)، وهو نظام شامل يتكون من مسارات مخصصة لتنسيق البيانات، ونماذج مكافأة قوية، وصيغ مكافأة مبتكرة للتعلم التعزيزي.

أ. مسارات تنسيق البيانات المصممة خصيصاً

بدلاً من استخدام درجات MLLM الخام، يقدم FIRM مسارات متميزة للتحرير والتوليد لتخليق بيانات مكافأة عالية الجودة.

مسار FIRM-Edit (نهج "الأولوية للاختلاف"):
- الرؤية: تواجه نماذج MLLM صعوبة في الحكم مباشرة على ما إذا كان التعديل مثالياً، لكنها تتفوق في تحديد الاختلافات بين صورتين.
- العملية:
  1. استخراج الاختلاف: يقوم نموذج MLLM متطور بتحليل الصور المصدر والمعدلة لإنشاء وصف نصي مفصل للاختلافات البصرية (التغييرات الواضحة والتفصيلية).
  2. التسجيل: يتم تغذية هذا الوصف التفصيلي للاختلاف، جنباً إلى جنب مع التعليمات الأصلية وزوج الصور، إلى مقيم MLLM قوي.
- المقاييس: يقوم المقيم بتسجيل بُعدين منفصلين:
  - التنفيذ (Execution): دقة اتباع تعليمات التحرير.
  - الاتساق (Consistency): الحفاظ على المناطق غير المعدلة.
- مجموعات البيانات: تم إنشاء FIRM-Edit-370K (330 ألف عينة) عبر تنسيق بيانات من مجموعات مفتوحة وإعادة كتابة التعليمات اصطناعياً لضمان توزيع متوازن للدرجات المنخفضة والعالية.
مسار FIRM-Gen (نهج "التخطيط ثم التسجيل"):
- الرؤية: يؤدي التقييم الشامل المباشر إلى تقييمات فجة. إن التفكيك الهيكلي يحاكي العمليات المعرفية البشرية.
- العملية:
  1. التخطيط: يعمل نموذج لغوي قوي (Qwen3-32B) كـ "مخطط"، حيث يستخرج قائمة مرجعية من المعايير الدقيقة (الموضوعات، السمات، الأسلوب، القيود السلبية) من طلب المستخدم.
  2. التسجيل: يعمل نموذج MLLM قوي (Qwen3-VL-235B) كـ "مقيم"، باستخدام القائمة المرجعية المولدة لإجراء تحقق خطوة بخطوة من الصورة مقابل الطلب.
- مجموعات البيانات: تم إنشاء FIRM-Gen-293K باستخدام مطالبات وصور متنوعة مولدة بواسطة نماذج مختلفة (Flux, SDXL, إلخ) لمنع الإفراط في التخصيص (overfitting) لعيوب مولدات محددة.

ب. نماذج المكافأة القوية

النماذج: تم تدريب نموذجين متخصصين بـ 8 مليارات معلمة، وهما: FIRM-Edit-8B و FIRM-Gen-8B، واللذان تم استهلالهما من Qwen3-VL-8B-Instruct.
الاختبار المعياري: تم إنشاء اختبار معياري جديد، FIRM-Bench، يضم 807 عينة مصنفة بشرياً (301 للتنفيذ في التحرير، 256 للاتساق، 250 للتوليد) للتحقق بدقة من النقاد.

ج. صيغ المكافأة المبتكرة للتعلم التعزيزي

لمنع اختراق المكافأة أثناء تدريب النماذج التوليدية، يقترح المؤلفون استراتيجية "القاعدة والزيادة" (Base-and-Bonus):

للتحرير: التنفيذ المعدل بالاتساق (CME)
- المشكلة: التوزين الخطي البسيط ( $R = w_1 C + w_2 E$ ) يجعل النماذج تخرج صوراً غير متغيرة لتعظيم الاتساق ( $C$ ) مع تجاهل التنفيذ ( $E$ ).
- الحل: $R_{CME} = \text{Execution} \times (w_1 + w_2 \times \text{Consistency})$ .
- الأثر: يصبح التنفيذ شرطاً ضرورياً. إذا فشل النموذج في التحرير (تنفيذ منخفض)، يتم كبح المكافأة الإجمالية بغض النظر عن الاتساق. يعمل الاتساق كإشارة تشكيل فقط بعد إجراء تعديلات ذات معنى.
للتوليد: المحاذاة المعدلة بالجودة (QMA)
- المشكلة: تستغل النماذج المطالبات القصيرة عبر توليد مخرجات تافهة (مثل الظلال السوداء) التي تتبع التعليمات تقنياً ولكنها تفتقر إلى الدقة البصرية.
- الحل: $R_{QMA} = \text{InsFollowing} \times (w_1 + w_2 \times \text{Quality})$ .
- الأثر: بمجرد أن يكون اتباع التعليمات مرتفعاً، يتم تعديل المكافأة بواسطة جودة الصورة، مما يمنع النموذج من الاستقرار عند الحلول منخفضة الدقة.

3. المساهمات الرئيسية

إطار عمل FIRM: نظام بيئي كامل لتدريب نماذج مكافأة قوية ومتخصصة في المهام، يتميز بنهج "الأولوية للاختلاف" (للتحرير) و"التخطيط ثم التسجيل" (للتوليد).
مجموعات ونماذج عالية الجودة: إصدار FIRM-Edit-370K، و FIRM-Gen-293K، ونماذج المكافأة المقابلة FIRM-Edit-8B و FIRM-Gen-8B.
FIRM-Bench: اختبار معياري شامل مصنف بشرياً يثبت أن نماذج FIRM تحقق محاذاة فائقة مع الحكم البشري مقارنة بالنماذج المملوكة (GPT-5, Gemini) والنماذج مفتوحة المصدر (Qwen3-VL, InternVL).
صيغ المكافأة: تقديم استراتيجيات CME و QMA التي تحد من اختراق المكافأة وتوازن بين الأهداف المتضاربة في التعلم التعزيزي بفعالية.
أداء الحالة الراهنة (SOTA): تحقق النماذج الناتجة، FIRM-Qwen-Edit و FIRM-SD3.5، نتائج هي الأفضل حالياً في كل من مهام التحريد والتوليد.

4. النتائج التجريبية

أداء الاختبار المعياري (FIRM-Bench)

التحرير: حقق FIRM-Edit-8B أدنى متوسط خطأ مطلق (MAE) قدره 0.62 (التنفيذ: 0.53، الاتساق: 0.73)، متفوقاً على GPT-5 (0.67) وجميع النماذج المرجعية مفتوحة المصدر.
التوليد: حقق FIRM-Gen-8B متوسط خطأ مطلق قدره 0.51، متفوقاً على GPT-5 (0.52) وأكبر نموذج مفتوح المصدر Qwen3-VL-235B (0.56)، رغم امتلاكه عدداً أقل بكثير من المعلمات.

أداء التعلم التعزيزي اللاحق

تحرير الصور (FIRM-Qwen-Edit):
- حقق درجة قياسية جديدة قدرها 7.84 في GEditBench و 4.42 في ImgEdit.
- تفوق على النماذج المدربة باستخدام نماذج مكافأة Qwen3-VL-8B/32B العامة، والتي أظهرت مكاسب طفيفة أو حتى انخفاضاً في الأداء بسبب الإشارات المشوشة.
- تطلب 2,400 عينة تدريب فقط لمضاهاة أداء النماذج المدربة على 27 ألف عينة.
توليد الصور (FIRM-SD3.5):
- حقق 0.77 في GenEval، و 87.16 في DPGBench، و 77.12 في TIIF.
- تفوق بشكل كبير على نماذج مدعومة بموارد ضخمة مثل BAGEL و OmniGen2، مما يثبت أن إشارات المكافأة عالية الجودة أكثر أهمية من مجرد حجم المعلمات.

دراسات الاستئصال (Ablation Studies)

أكدت منحنيات المكافأة أن استراتيجيات CME و QMA تمنع "الانهيار" الذي لوحظ في استراتيجيات التوزين الخطي.
أظهرت النماذج متعددة الوسائط العامة (Qwen3-VL) أنها تمنح درجات عالية اصطناعياً للصور غير المعدلة (في التحرير) أو درجات منخفضة لعمليات التوليد المعقدة (في التوليد)، مما يؤكد الحاجة إلى نقاد متخصصين.

5. الأهمية

تثبت هذه الورقة أن جودة الناقد هي العامل المحدد في الذكاء الاصطناعي التوليدي القائم على التعلم التعزيزي. ومن خلال الانتقال من نماذج MLLM العامة المعرضة للهلوسة إلى نماذج مكافأة متخصصة ومحسنة عبر المسارات، يوضح FIRM أن:

استراتيجية تنسيق البيانات مهمة: كيفية تخليق بيانات المكافأة (مثل "الأولوية للاختلاف" أو "القائمة المرجعية") لا تقل أهمية عن بنية النموذج نفسه.
صيغة المكافأة أمر حاسم: الصيغ الرياضية مثل CME و QMA ضرورية لمحاذاة مشهد التحسين مع النية البشرية، ومنع الحلول المتدهورة.
الكفاءة: يمكن لنماذج المكافأة المتخصصة دفع أداء الحالة الراهنة (SOTA) بخطوات تدريب وبيانات أقل بكثير مقارنة باستخدام النماذج العامة.

يرسي هذا العمل معياراً جديداً للدقة والالتزام بالتعليمات في الذكاء الاصطناعي التوليدي، مع إتاحة جميع مجموعات البيانات والنماذج والبرمجيات علناً لتعزيز المزيد من الأبحاث.