💻 computer science

EditCaption: Human-Aligned Instruction Synthesis for Image Editing via Supervised Fine-Tuning and Direct Preference Optimization

تقترح الورقة البحثية EditCaption، وهو مسار معالجة ما بعد التدريب يتكون من مرحلتين يجمع بين الضبط الدقيق الخاضع للإشراف وتحسين التفضيل المباشر لمعالجة أوضاع الفشل المنهجي في نماذج الرؤية واللغة، مما يؤدي إلى توليد ثلاثيات تعليمات عالية الجودة ومتوافقة مع التفضيلات البشرية تعمل على تحسين أداء تحرير الصور بشكل كبير مقارنة بالنماذج المرجعية المتطورة.

المؤلفون الأصليون: Xiangyuan Wang, Honghao Cai, Yunhao Bai, Tianze Zhou, Haohua Chen, Yao Hu, Xu Tang, Yibo Chen, Wei Zhu

نُشر 2026-04-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiangyuan Wang, Honghao Cai, Yunhao Bai, Tianze Zhou, Haohua Chen, Yao Hu, Xu Tang, Yibo Chen, Wei Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم فناناً آلياً (روبوت) كيف يرسم. أنت لا تكتفي فقط بإظهار صورة "قبل" وصورة "بعد" له، بل يجب عليك إعطاؤه وصفة (تعليمات) حول كيفية تحويل الصورة الأولى إلى الثانية بدقة.

على سبيل المثال، إذا كانت صورة "قبل" تُظهر كلباً في حديقة، وصورة "بعد" تُظهر نفس الكلب وهو يرتدي قبعة على الجانب الأيسر، فإن الوصفة يجب أن تقول: "ضع قبعة على أذن الكلب اليسرى".

المشكلة هي أننا عندما نطلب من حواسيب الذكاء الاصطناي الضخمة والذكية (التي تسمى نماذج الرؤية واللغة - Vision-Language Models) كتابة هذه الوصفات تلقائياً، فإنها غالباً ما ترتبك. قد تقول: "ضع قبعة على أذن الكلب اليمنى"، أو قد تنسى ذكر أن القبعة حمراء، أو قد تخطئ في زاوية الصورة. إذا اتبع الفنان الآلي وصفة سيئة، فستكون اللوحة الناتجة خاطئة.

هذه الورقة البحثية، التي تحمل عنوان EditCaption، تتحدث عن إصلاح قدرة الروبوت على كتابة هذه الوصفات لتكون مثالية.

الأخطاء الثلاثة الكبرى

وجد المؤلفون أنه عندما يحاول الذكاء الاصطناعي وصف الفرق بين صورتين، فإنه يرتكب ثلاثة أنواع محددة من "الهلوسة" (الأخطاء):

خلط "اليمين واليسار": يقلب الذكاء الاصطناعي الاتجاهات؛ حيث يعتقد أن "اليسار" هو "اليمين".
ارتباك "زاوية الكاميرا": لا يفهم الذكاء الاصطناعي ما إذا كانت الكاميرا قد اقتربت أم أن الشخص قد استدار، فيخطئ في فهم المنظور.
مشكلة "الوصف الغامض": يقول الذكاء الاصطناي "غيّر اللون" بدلاً من "غيّر القميص من الأزرق إلى الأحمر". إنه يغفل عن التفاصيل الصغيرة والمهمة.

في الواقع، اختبر المؤلفون ذلك ووجدوا أن ما يقرب من النصف (47%) من الوصفات التي كتبتها أفضل نماذج الذكاء الاصطناعي كانت معطلة لدرجة أن الإنسان لا يمكنه استخدامها لتدريب فنان آلي.

الحل: معسكر تدريبي من خطوتين

لإصلاح ذلك، ابتكر المؤلفون نظاماً جديداً يسمى EditCaption. اعتبره بمثابة معسكر تدريبي من خطوتين للذكاء الاصطناعي، مصمم لتحويله من طالب مرتبك إلى محرر بارع.

الخطوة 1: مرحلة "الواجب المنزلي" (الضبط الدقيق الخاضع للإشراف)

أولاً، جمعوا 100,000 زوج من الصور. طلبوا من ذكاء اصطناي ذكي كتابة الوصفات الأولية، ولكنهم استخدموا "مدقق جودة" (أداة تسمى EditScore) لتصفية الوصفات السيئة.

ثم جاء الجزء الأهم: تدخل البشر. نظر أشخاص حقيقيون إلى الـ 100,000 وصفة المتبقية وقاموا بتصحيحها؛ فقد صححوا خلط اليمين واليسار، ووضحوا زوايا الكاميرا، وأضافوا التفاصيل المفقودة (مثل "قبعة حمراء" بدلاً من مجرد "قبعة"). درس الذكاء الاصطناي هذه الـ 100,000 وصفة المثالية مثل طالب يدرس كتاباً مدرسياً. يُسمى هذا الضبط الدقيق الخاضع للإشراف (SFT).

الخطوة 2: مرحلة "المناظرة" (تحسين التفضيل المباشر)

حتى بعد دراسة الكتاب المدرسي، ظل الذكاء الاصطناي يرتكب بعض الأخطاء الطفيفة. لذا، أقام المؤلفون "مناظرة".

عرضوا على الذكاء الاصطناي زوجاً من الصور وطلبوا منه كتابة وصفة. كتب الذكاء الاصطناي وصفة "جيدة ولكن بها عيب" (مثلاً: "ضع قبعة على اليمين"). ثم كتب إنسان وصفة مثالية (مثلاً: "ضع قبعة على اليسار").

بعد ذلك، عُرضت النسختان على الذكاء الاصطناي وقيل له: "نسخة الإنسان هي الفائزة. عليك أن تتعلم لماذا نسخة الإنسان أفضل وتتوقف عن ارتكاب الخطأ الذي ارتكبته للتو". هذه العملية، التي تسمى تحسين التفضيل المباشر (DPO)، تُعلم الذكاء الاصطناي تجنب عاداته السيئة المحددة من خلال مقارنة أخطائه بالكمال البشري.

النتائج: هزيمة العمالقة

اختبر المؤلفون ذكاءهم الاصطناي الجديد (المبني على نموذج يسمى Qwen3-VL) ضد نماذج ذكاء اصطناي شهيرة أخرى، بما في ذلك بعض العمالقة باهظي الثمن والمغلقين المصدر مثل Gemini و GPT-4.

الدرجة: سجل ذكاؤهم الاصطناي الجديد 4.712 من 5 في اختبار صعب، متفوقاً على القادة السابقين.
الاختبار البشري: قبل هذا التدريب، كانت تعليمات الذكاء الاصطناي عديمة الفائدة بنسبة 47% من الوقت. بعد هذا التدريب ذي الخطوتين، انخفض معدل "عدم الفائدة" إلى 23% فقط، وقفز معدل "الصحة" إلى 66%.

الصورة الكبيرة

لماذا يهم هذا؟
بناء ذكاء اصطناعي يمكنه تعديل الصور أمر صعب لأنك تحتاج إلى ملايين الأمثلة من صور "قبل/بعد" مع تعليمات مثالية. وتوظيف البشر لكتابة ملايين التعليمات أمر مكلف للغاية وبطيء.

يوفر EditCaption طريقة قابلة للتوسع لتوليد هذه التعليمات تلقائياً. إنه يشبه بناء آلة يمكنها كتابة وصفات طهي مثالية لطباخ آلي. وبمجرد أن يتعلم الطباخ الآلي من هذه الوصفات المثالية، يمكنه إنشاء صور مذهلة جديدة لنا، متبعاً أوامرنا بدقة دون ارتباك بشأن اليمين أو اليسار أو الألوان.

باختصار: لقد وجدوا أن الذكاء الاصطناعي كان سيئاً في إعطاء التوجيهات، فبنوا نظاماً لتعليمه الطريقة الصحيحة باستخدام التصحيحات البشرية، وأثبتوا أن هذا المعلم الجديد يجعل الذكاء الاصطناي أذكى من أي نموذج آخر تقريباً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "EditCaption: Human-Aligned Instruction Synthesis for Image Editing via Supervised Fine-Tuning and Direct Preference Optimization."

1. بيان المشكلة

تعالج الورقة عقبة حرجة في توسيع نطاق توجيه تحرير الصور (instruction-guided image editing)، وهي نقص الثلاثيات التدريبية عالية الجودة (الصورة المصدر، الصورة الهدف، وتعليمات التحرير الدقيقة). وبينما تُستخدم نماذج الرؤية واللغة (VLMs) غالبًا لأتمتة توليد هذه التعليمات، حدد المؤلفون ثلاثة أنماط فشل منهجية في مخرجات هذه النماذج عند تطبيقها على الاستنتاج بين أزواج الصور:

عدم الاتساق في التوجه (Orientation Inconsistency): تخلط النماذج كثيرًا بين العلاقات الاتجاهية (على سبيل المثال، وصف إزاحة نحو اليسار بأنها نحو اليمين).
غموض وجهة النظر (Viewpoint Ambiguity): تفشل النماذج في توصيف تغيرات المنظور أو تغيرات حركة الكاميرا بدقة بين الصورتين المصدر والهدف.
الافتقار إلى التفاصيل الدقيقة (Lack of Fine-Grained Detail): غالبًا ما تكون الأوصاف عامة، وتغفل التغييرات الحرجة على مستوى السمات (مثل اللون، الملمس، أو تعديلات كائنات محددة).

كشف التقييم البشري أن أكثر من 47% من التعليمات التي تولدها النماذج الأساسية القوية تحتوي على أخطاء حرجة (P0) تجعلها غير صالحة للاستخدام في تدريب نماذج التحرير اللاحقة. والسبب الجذري هو أن نماذج الرؤية واللغة مدربة لتعظيم احتمالية الرموز (token likelihood) من أجل الطلاقة اللغوية، مما يجعلها غير حساسة للهياكل المكانية والعلاقية الدقيقة المشفرة في أزواج الصور.

2. المنهجية: مسار عمل EditCaption

يقترح المؤلفون EditCaption، وهو مسار عمل مرحلي من مرحلتين قابل للتوسع، مصمم لمواءمة نماذج الرؤية واللغة مع التوقعات البشرية فيما يتعلق بالدقة المكانية والسمات. يستخدم المسار نماذج Qwen3-VL.

المرحلة الأولى: الضبط الدقيق الخاضع للإشراف (SFT)

بناء البيانات: تم بناء مجموعة بيانات مكونة من 100 ألف زوج من الصور.
- التوليد الأولي: تقوم نماذج GLM بتوليد أوصاف أولية.
- تصفية الجودة: يقوم نموذج مكافأة مفتوح المصدر، EditScore، بتصفية التعليمات غير المتوافقة أو الغامضة.
- التحسين البشري: يقوم المقيّمون البشريون بتصحيح العينات المتبقية لضمان الدقة الدلالية، والوضوح المكاني (حل مشكلات اليمين/اليسار/المواقع النسبية)، وأوصاف السمات الدقيقة.
الهدف: استخدام خسارة الإنتروبيا المتقاطعة القياسية لغرس قدرة النموذج الأساسية على توليد تعليمات مهيكلة ودقيقة.

المرحلة الثانية: تحسين التفضيل المباشر (DPO)

بناء البيانات: تم إنشاء مجموعة بيانات مكونة من 10 آلاف زوج من التفضيلات لاستهداف أنماط الفشل المحددة في التحليل.
- العينات المرفوضة ( $y_r$ ): هي مخرجات النموذج المدرب بـ SFT والتي تظهر أخطاءً منهجية (مشكلات في التوجه، أو وجهة النظر، أو التفاصيل).
- العينات المختارة ( $y_w$ ): هي التعليمات التي صححها البشر والتي تعالج هذه الأخطاء بشكل صريح.
الهدف: يتم تطبيق DPO لمواءمة النموذج مع الحكم البشري، مما يزيد مباشرة من احتمالية اختيار التعليمات المفضلة على المخرجات الفاشلة دون الحاجة إلى نموذج مكافأة صريح. تستهدف هذه المرحلة الأخطاء المنهقية المتبقية التي لا يستطيع SFT وحده إصلاحها.

3. المساهمات الرئيسية

تحليل الفشل المنهجي: تقدم الورقة أدلة كمية (عبر التقييم البشري على 400 زوج) تحدد عدم الاتساق في التوجه، وغموض وجهة النظر، والافتقار إلى التفاصيل الدقيقة كفئات خطأ مهيمنة في توليد التعليمات القائم على نماذج الرؤية واللغة.
مسار عمل ثنائي المرحلة قابل للتوسع: تقديم إطار عمل مبتكر لبناء البيانات والتدريب يجمع بين 100 ألف من بيانات SFT المحسنة بشريًا مع 10 آلاف من أزواج التفضيلات الموثقة بشريًا لعملية DPO.
أداء رائد (State-of-the-Art): إثبات أن الجمع بين SFT و DPO يتفوق بشكل كبير على النماذج والأساليب مفتوحة المصدر الحالية، أو يقترب من أو يتجاوز النماذج المغلقة الضخمة (مثل Gemini-3-Pro و GPT-4.1).

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث معايير: مجموعة Eval-400 الخاصة بالبحث، و ByteMorph-Bench (الذي يركز على الحركة غير الصلبة وتحولات الكاميرا)، و HQ-Edit (تعليمات عالية الدقة وتفصيلية).

التقييم الموضوعي (الدرجة الموزونة):
- حقق نموذج Qwen3-VL-235B (SFT+DPO) درجة قدرها 4.712 في Eval-400، متفوقًا على Gemini-3-Pro (4.706)، و GPT-4.1 (4.220)، و Kimi-K2.5 (4.111).
- في معيار ByteMorph-Bench الصعب، سجل نموذج 235B درجة 4.588، متجاوزًا بشكل كبير Gemini-3-Pro (4.522) و GPT-4.1 (3.412).
- كما أظهر النموذج الأصغر 32B (SFT+DPO) أداءً قويًا (4.386 في Eval-400)، متفوقًا على النماذج الأساسية الأكبر مثل Qwen3.5-397B.
التقييم البشري:
- تقليل الأخطاء الحرجة: انخفض معدل الأخطاء الحرجة (P0) من 47.75% (النموذج الأساسي) إلى 23% بعد التدريب ثنائي المرحلة.
- تحسين الدقة: تحسن معدل صحة التعليمات من 41.75% إلى 66%، وهو ما يضاهي أداء Gemini-3-Pro.
دراسة الاستئصال (Ablation Study):
- أدى استخدام DPO بمفرده إلى أداء ضعيف، مما يؤكد ضرورة وجود أسبقية توليدية قوية (تم تأسيسها بواسطة SFT) قبل أن يكون تحسين التفضيل فعالاً.
- حقق SFT + DPO باستمرار أفضل النتائج، مما يثبت الطبيعة التكاملية للمرحلتين: SFT يبني القدرة الأساسية، بينما يقوم DPO بتصحيح الأخطاء المنهجية المتبقية.

5. الأهمية

يوفر هذا العمل حلاً عمليًا وفعالًا لـ بناء البيانات القابل للتوسع في مجال تحرير الصور. ومن خلال الانتقال من مجرد الوصف الآلي البسيط إلى مسار تدريب موجه بشريًا ومستهدف للأخطاء، يتيح EditCaption إنشاء مجموعات بيانات تعليمات وصور عالية الجودة كانت في السابق باهظة التكلفة لبنائها يدويًا. تشير النتائج إلى أنه مع المواءمة المستهدفة (SFT+DPO)، يمكن للنماذج مفتوحة المصدر أن تضاهي أو تتفوق على النماذج المملوكة والمغلقة في مهام الاستنتاج المكاني المعقدة، مما يوفر مسارًا واعدًا لتدريب نماذج التأسيس للجيل القادم من تحرير الصور.