💬 NLP

EditReward: A Human-Aligned Reward Model for Instruction-Guided Image Editing

تقدم الورقة البحثية EditReward، وهو نموذج مكافأة متوافق مع التفضيلات البشرية تم تدريبه على مجموعة بيانات تفضيلات بشرية جديدة واسعة النطاق يحقق أداءً هو الأفضل في فئته في تقييم تحرير الصور الموجه بالتعليمات ويقوم بفلترة البيانات عالية الجودة بفعالية لتحسين تدريب نماذج التحرير مفتوحة المصدر بشكل كبير.

المؤلفون الأصليون: Keming Wu, Sicong Jiang, Max Ku, Ping Nie, Minghao Liu, Wenhu Chen

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Keming Wu, Sicong Jiang, Max Ku, Ping Nie, Minghao Liu, Wenhu Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ ماهر يحاول تعليم روبوت كيفية الطبخ. تعطي الروبوت وصفة: "حوّل قطعة اللحم (الستيك) السادة هذه إلى تحفة فنية من اللحم الطري متوسط الاستواء مع جانب من الهليون".

أحياناً، يقوم الروبوت بعمل رائع. وأحياناً أخرى، يحرق اللحم حتى يصبح متفحماً، أو يحول الهليون بالخطأ إلى كومة من الصخور. لكي يتحسن، يحتاج الروبوت إلى متذوق (نموذج مكافأة) ليخبره: "عمل جيد!" أو "حاول مجدداً".

المشكلة هي أن معظم "المتذوقين" المتاحين حالياً إما:

روبوتيون للغاية: يتأكدون من أن درجة حرارة اللحم صحيحة، لكنهم لا يهتمون إذا كان طعمه لذيذاً أم لا.
منحازون للغاية: تم تدريبهم بواسطة روبوتات أخرى، لذا فهم يكتفون بنسخ أخطاء بعضهم البعض.
مكلفون للغاية: أفضل متذوقي الطعام من البشر نادرون وبطيئون.

يقدم هذا البحث EDITREWARD، وهو متذوق ذكي للغاية مصمم خصصاً لـ تحرير الصور. إليك كيف يعمل، مقسماً إلى مفاهث بسيطة:

1. مجموعة بيانات "اختبار التذوق" (EDITREWARD-DATA)

قبل بناء المتذوق الجديد، احتاج المؤلفون إلى مكتبة ضخمة من الأمثلة "الجيدة" و"السيئة".

الطريقة القديمة: كانوا عادةً يطلبون من أشخاص عشوائيين على الإنترنت تقييم الصور. هذا يشبه طلب رأي حشد من الناس في تقييم وجبة حائزة على نجمة ميشلان؛ البعض قد يحبها، والبعض قد يكرهها، وكثيرون قد يكونون مجرد مخمنين. البيانات هنا "مشوشة".
الطريقة الجديدة: استأجر المؤلفون طهاة خبراء (مدققين بشريين مدربين) للنظر في آلاف عمليات تحرير الصور.
اللمسة المميزة: لم يكتفوا بإعطاء درجة واحدة فقط (مثل "5 من 10"). بل أعطوا درجتين منفصلتين:
1. هل اتبع التعليمات؟ (هل قام فعلاً بتحويل اللحم إلى متوسط الاستواء؟)
2. هل هو جميل؟ (هل يبدو لذيذاً وواقعياً، أم كأنه لعبة بلاستيكية؟)
النتيجة: أنشأوا مكتبة من 200,000 مثال تم تقييمه بعناًية. هذا هو "المعيار الذهبي" لمجموعة البيانات.

2. المتذوق الجديد (نموذج EDITREWARD)

باستخدام هذه المكتبة عالية الجودة، قاموا بتدريب نموذج ذكاء اصطناي جديد يسمى EDITREWARD.

كيف يفكر: بدلاً من مجرد التخمين، ينظر إلى الصورة الأصلية، والتعليمات، والنتيجة. ثم يسأل نفسه سؤالين: "هل استمع الروبوت للتعليمات؟" و "هل يبدو المظهر جيداً؟".
التعامل مع الارتباك: أحياناً، تكون الصورة مثالية في اتباع التعليمات لكن مظهرها غريب نوعاً ما، أو تبدو رائعة لكنها أغفلت تفصيلاً ما. النماذج القديمة ترتبك أمام هذا. أما EDITREWARD فهو ذكي بما يكفي ليقول: "حسناً، إنها عملية موازنة"، ويعطي درجة دقيقة. حتى أنه يتعلم من "حالات التعادل" (عندما تكون صورتان جيدتان بنفس القدر) من خلال تحليل لماذا هما جيدتان بطرق مختلفة.

3. تحدي "اختبار التذوق" (EDITREWARD-BENCH)

لإثبات أن متذوقهم الجديد هو الأفضل، أنشأوا امتحاناً جديداً وأكثر صعوبة يسمى EDITREWARD-BENCH.

الامتحان: بدلاً من مجرد مقارنة صورتين (أ مقابل ب)، فإنهم أحياناً يعرضون ثلاث أو أربع صور معاً ويطلبون من النموذج ترتيبها بشكل مثالي.
الدرجة: تفوق EDITREWARD على الأبطال الحاليين (مثل GPT-4o و GPT-5) في هذا الامتحان. إنه يتوافق بشكل أفضل بك הרבה مع ما يعتقده البشر فعلياً بشأن التحرير "الجيد".

4. الاختبار الواقعي: تنظيف مطبخ فوضوي

الجزء الأكثر إثارة في البحث هو ما فعلوه بهذا المتذوق الجديد.

المشكلة: توجد مجموعة بيانات ضخمة وفوضوية لتحرير الصور تسمى "ShareGPT-4o-Image". تحتوي على 46,000 مثال، ولكن الكثير منها عبارة عن "قمامة" (تعديلات سيئة، أو تعليمات خاطئة). تدريب روبوت على هذه الفوضى يجعل الروبوت سيئاً.
الحل: استخدموا EDITREWARD ليعمل كـ فلتر (مرشح). نظر إلى جميع الأمثلة الـ 46,000 واختار فقط الـ 20,000 الأعلى جودة.
النتيجة: أخذوا روبوتاً (Step1X-Edit) ودربوه فقط على تلك الـ 20,000 مثال النظيفة.
- قبل: كان الروبوت جيداً (الدرجة: 6.4/10).
- بعد: أصبح الروبوت مذهلاً (الدرجة: 7.1/10).
- الدرس المستفاد: من الأفضل التدريب على 20,000 مثال مثالي بدلاً من 46,000 مثال فوضوي. لقد نجح EDITREWARD في تنظيف المطبخ لكي يتعلم الروبوت بشكل صحيح.

الملخص

فكر في EDITREWARD كأنه ناقد فني صارم للغاية ومدرب تدريباً عالياً قرأ كل الكتب المتعلقة بتحرير الصور.

تعلم من 200,000 مثال تم تقييمها بعناية.
هو أفضل في الحكم على الفن من نقاد الذكاء الاصطناعي "المشهورين" الحاليين.
والأهم من ذلك، يمكنه تنظيف بيانات التدريب الفوضوية، مما يساعد أدوات تحرير الصور مفتوحة المصدر على اللحاق بالعمالقة المغلقين والمكلفين (مثل تلك التابعة لـ OpenAI أو Google).

يقوم المؤلفون بإصدار هذا "الناقد"، و"مكتبة الفن المُقيم"، و"الامتحان" للجمهور، على أمل مساعدة الجميع في بناء روبوتات أفضل لتحرير الصور في المستقبل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "EDITREWARD: نموذج مكافأة متوافق مع البشر لتحرير الصور الموجه بالتعليمات".

1. بيان المشكلة

شهد تحرير الصور الموجه بالتعليمات تقدماً كبيراً في النماذج مغلقة المصدر (مثل GPT-Image-1، وSeedream)، لكن النماذج مفتوحة المصدر لا تزال متأخرة. وتتمثل العقبة الرئيسية في الافتقار إلى نموذج مكافأة موثوق ومتوافق مع البشر قادر على توسيع نطاق بيانات التدريب الاصطناعية عالية الجودة.

عيوب المكافآت الحالية: تعتمد الطرق الحالية على:
- مقاييس الإدراك الحسي (مثل LPIPS): تفشل في التقاط التوافق الدلالي مع تعليمات المستخدم.
- مقاييس السمات (مثل CLIP): تفشل في التقاط دلالات التحرير المحددة.
- النماذج اللغوية البصرية (VLM) كحكم: النماذج اللغوية البصرية العامة ليست محسنة لمهام التحرير وغالباً ما تظهر توافقاً ضعيفاً مع التفضيلات البشرية.
- مجموعات البيانات الموجودة: تعتمد غالباً على تعليقات توضيحية مشوشة مستمدة من مصادر جماعية أو تسميات زائفة من نماذج مملوكة، مما يؤدي إلى عدم الاتساق والتحيز.

2. المنهجية

يقترح المؤلفون حلاً يتكون من ثلاثة أجزاء: مجموعة بيانات عالية الدقة، وبنية نموذج مكافأة متخصص، ومعيار تقييم صارم.

أ. EDITREWARD-DATA (بناء مجموعة البيانات)

النطاق والمصدر: مجموعة بيانات واسعة النطاق تضم حوالي 200 ألف زوج من التفضيلات. وهي تجمع 9,557 زوجاً من (التعليمات-الصورة) من ستة معايير مرجعية قائمة (مثل GEdit-Bench، وMagicBrush، وEmuEdit).
التوليد: لكل تعليمة، تم توليد 12 صورة مرشحة باستخدام ستة نماذج رائدة (مثل Step1X-Edit، وFlux-Kontext، وQwen-Image-Edit، إلخ) مع بذور عشوائية متعددة لتجنب انحياز النموذج.
بروتوكول التعليق التوضيحي:
- تعليق الخبراء: اتبع الخبသူ المدربون بروتوكولاً صارماً، حيث قاموا بتقييم 7 مرشحين يتم اختيارهم عشوائياً لكل تعليمة.
- التقييم متعدد الأبعاد: على عكس مخططات الدرجة الواحدة، قام المعلقون بتقييم الصور على مقي de Likert مكون من 4 نقاط عبر بُعدين متميزين:
  1. اتباع التعليمات (IF): الدقة الدلالية، والاكتمال، والحصرية (عدم حدوث تغييرات غير مطلوبة).
  2. الجودة البصرية (VQ): المعقولية، والخلو من العيوب، والجماليات.
- ضبط الجودة: تم تحقيق اتفاق عالٍ بين المعلقين (Inter-Annotator Agreement) (بلغت قيمة $\alpha$ لكريبندورف حوالي 0.67 لـ IF، و0.60 لـ VQ)، مما يؤكد موثوقية البيانات.

ب. EDITREWARD (بنية النموذج والتدريب)

العمود الفقري (Backbone): يستخدم النموذج نماذج لغوية بصرية (VLM) قوية (Qwen2.5-VL-7B أو MiMo-VL-7B) كمستخرجات للسمات.
رأس مكافأة متعدد المهام: بدلاً من درجة قياسية واحدة، يستخدم النموذج نهج التعلم متعدد المهام (MTL) مع رؤوس منفصلة للبعدين (IF وVQ).
نمذجة الوعي بعدم اليقين: مستوحى من HPSv3، يتنبأ النموذج بتوزيع غاوسي ( $s \sim \mathcal{N}(\mu, \sigma^2)$ ) لكل بُعد بدلاً من درجة حتمية. وهذا يلتقط عدم اليقين المتأصل في الأحكام البشرية، خاصة في الحالات الغامضة.
دوال الخسارة:
- خسارة التصنيف متعددة الأبعاد والواعية بعدم اليقين: تجمع المتوسطات المتوقعة ( $\mu$ ) للبعدين (باستخدام استراتيجيات مثل المتوسط، أو الحد الأدنى، أو المجموع) لحساب احتمالات التفضيل بين أزواج الصور.
- فك الارتباط عند التساوي (Tie Disentanglement): استراتيجية مبتكرة لتعزيز البيانات حيث يتم تفكيك الأزواج "المتساوية" (التي لها نفس الدرجة الإجمالية) إلى عينتين تدريبيتين بناءً على القوة البعدية (على سبيل المثال، الصورة (أ) تتفوق في IF، والصورة (ب) تتفوق في VQ)، مما يجبر النموذج على تعلم المقايضات الدقيقة.

ج. EDITREWARD-BENCH (معيار التقييم)

التصميم: معيار جديد مشتق من الجزء المخصص للاختبار في مجموعة البيانات، ويتميز بـ تصنيف التفضيل متعدد الطرق (الثلاثي والرباعي) بدلاً من المقارنات الثنائية البسيطة.
الصعوبة: يتضمن حالات تحدي ذات فروق طفيفة في الدرجات لاختبار القدرة التمييزية الدقيقة.
الحقيقة الأرضية (Ground Truth): تم التعليق عليها من قبل ثلاثة خبراء مستقلين مع التحقق المتبادل لضمان متانة العلامات.

3. المساهمات الرئيسية

EDITREWARD-DATA: إطلاق مجموعة بيانات تفضيلات واسعة النطاق (200 ألف)، عالية الدقة لعمليات تحرير الصور الموجهة بالتعليمات، والتي تتميز بالتعليق اليدوي من قبل الخبراء والتقييم متعدد الأبعاد (IF وVQ).
EDITREWARD: نموذج مكافأة متطور تم تدريبه على هذه المجموعة من البيانات، وأظهر توافقاً فائقاً مع التفضيلات البشرية مقارنة بالنماذج اللغوية البصرية العامة والنماذج المملوكة.
EDITREWARD-BENCH: معيار جديد وتحدٍ يتضمن مهام تفضيل متعددة الطرق توفر تقييماً أكثر قوة لاتساق تصنيف نموذج المكافأة.
إطار عمل تنقية البيانات: إثبات استخدام نموذج المكافأة لتصفية مجموعات البيانات المشوشة، مما يحسن بشكل كبير أداء النماذج اللاحقة.

4. النتائج التجريبية

أداء المعيار المرجعي:
- GenAI-Bench: حقق EDITREWARD (ببنية MiMo-VL) نسبة 65.72%، متفوقاً على GPT-5 (59.61%) وADIEE (59.96%).
- AURORA-Bench: سجل 63.62%، متفوقاً بشكل كبير على OpenAI-GPT-4o (50.81%).
- EDITREWARD-BENCH: حقق دقة إجمالية بنسبة 38.42%، متفوقاً على النماذج المتخصصة مثل Gemini-2.5-Flash (38.02%) وGPT-5 (37.81%).
- ImagenHub: حقق معامل ارتباط سبيرمان قدره 36.18، وهو منافس للأنظمة المملوكة الرائدة.
التطبيق اللاحق (تنقية البيانات):
- استخدم المؤلفون EDITREWARD لاختيار أفضل 20 ألف عينة عالية الجودة من مجموعة بيانات ShareGPT-4o-Image المشوشة.
- أدى ضبط نموذج Step1X-Edit الدقيق على هذه المجموعة المنقحة إلى تحسين درجة GEdit-Bench الإجمالية من 6.7 (المجموعة الكاملة المشوشة) إلى 7.1 (المجموعة المنقحة)، مما جعله منافساً لنماذج رفيعة المستوى مثل Doubao-Edit.
- يؤكد هذا أن جودة البيانات التي يتم تنقيتها بواسطة نموذج مكافأة موثوق أكثر تأثيراً من مجرد حجم البيانات الضخم.
دراسات الاستئصال (Ablation Studies):
- تفوقت خسارة عدم اليقين الثنائية بشكل كبير على الانحدار النقطي.
- تفوقت البنى متعددة الرؤوس (رؤوس منفصلة لـ IF وVQ) على البنى ذات الرؤوس المشتركة.
- حققت استراتيجية تجميع "المتوسط" (Mean) لأشكال الدرجات متعددة الأبعاد أفضل النتائج.

5. الأهمية

سد الفجوة: يوفر هذا العمل أداة حاسمة لسد الفجوة في الأداء بين نماذج تحرير الصور مفتوحة المصدر والمملوكة من خلال تمكين توسيع نطاق البيانات التدريبية عالية الجودة.
التقدم المنهجي: يرسخ حقيقة أن نمذجة التفضيل البشري في تحرير الصور تتطلب مناهج متعددة الأبعاد وواعية بعدم اليقين بدلاً من الدرجات الشمولية الواحدة، مع الإقرار بالمقايضة بين دقة التعليمات والواقعية البصرية.
مورد للمجتمع: من خلال إصدار مجموعة البيانات والنموذج والمعيار بموجب رخصة CC-BY-NC-SA، يُمكّن المؤلفون المجتمع البحثي من بناء أنظمة تحرير صور أفضل وأكثر توافقاً.
الفائدة العملية: يثبت التطبيق الناجح في تنقية البيانات أن نماذج المكافأة ليست مجرد أدوات تقييم، بل هي مكونات أساسية لتدريب الجيل القادم من الذكاء الاصطناائي التوليدي.