🤖 AI

EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing

يقدم EdiVal إطار عمل ومعياراً آلياً متمحوراً حول الكائنات للتقييم دقيق التفاصيل ومتعدد الجولات لتعديل الصور القائم على التعليمات، معالجاً القيود الحالية من خلال تفكيك الصور إلى كائنات دلالية لقياس اتباع التعليمات، واتساق المحتوى، والجودة البصرية بدقة دون الاعتماد على صور مرجعية مقترنة.

المؤلفون الأصليون: Tianyu Chen, Yasi Zhang, Zhi Zhang, Peiyu Yu, Shu Wang, Zhendong Wang, Kevin Lin, Xiaofei Wang, Zhengyuan Yang, Linjie Li, Chung-Ching Lin, Jianwen Xie, Oscar Leong, Lijuan Wang, Ying Nian Wu, Mingyua

نُشر 2026-03-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tianyu Chen, Yasi Zhang, Zhi Zhang, Peiyu Yu, Shu Wang, Zhendong Wang, Kevin Lin, Xiaofei Wang, Zhengyuan Yang, Linjie Li, Chung-Ching Lin, Jianwen Xie, Oscar Leong, Lijuan Wang, Ying Nian Wu, Mingyuan Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك محرر صور سحرياً. تقول له: "ضع حصاناً في هذا الحقل"، فيفعل ذلك. ثم تقول: "اجعل الحصان غزالاً"، فيتغير. ثم تقول: "اجعل الغزال بنياً"، فيتغير مرة أخرى.

المشكلة هي: كيف تعرف ما إذا كان المحرر يقوم بعمل جيد حقاً؟

إذا نظرت إلى الصور فحسب، فمن الصعب معرفة ما إذا كان المحرر قد ارتبك، أو حذف أشياء خاطئة، أو جعل الصورة تبدو غريبة. طرق اختبار محررات الصور الحالية تشبه محاولة تقييم مقال طالب من خلال النظر فقط إلى الإملاء، أو بمقارنته بمقال واحد "مثالي" ربما كتبه طالب آخر. إنها تغفل عن الصورة الكبيرة.

يقدم هذا البحث EdiVal-Agent، وهو "مساعد تدريس ذكي للغاية" مصمم لتقييم محررات الصور هذه بدقة متناهية.

إليك كيف يعمل، مقسماً إلى تشبيهات بسيطة:

1. نهج "خبير الليغو" (التركيز على الأشياء)

معظم محررات الذكاء الاصطناعي تنظر إلى الصورة بأكملها ككتلة ضبابية. أما EdiVal-Agent فهو مختلف؛ إذ يعمل مثل خبير الليغو.

الخطوة 1: التفكيك. قبل أن يبدأ المحرر حتى، يقوم EdiVal-Agent بتفكيك الصورة إلى "قطع الليغو" الفردية (الأشياء). هو يحدد: "هذه لافتة معدنية صفراء"، "هذا عمود خشبي بني"، "هذه سماء زرقاء".
الخطوة 2: التعليمات. بعد ذلك، ينشئ سلسلة من مهام التحرير بناءً على تلك القطع المحددة. "غير العمود إلى رمادي"، "أضف مقعداً بجانب اللافتة".
الخطوة 3: التقييم. عندما ينتهي المحرر، لا يكتفي EdiVal-Agent بالنظر إلى الصورة بأكملها، بل يفحص القطع المحددة. هل تحول العمود بالفعل إلى رمادي؟ هل لا تزال اللافتة موجودة؟ هل ظهر المقعد في المكان الصحيح؟

2. التقرير المدرسي المكون من ثلاثة أجزاء

يعطي EdiVal-Agent المحرر تقريراً مدرسياً يتضمن ثلاث درجات محددة، باستخدام أدوات مختلفة لكل منها:

الدرجة 1: هل استمعت؟ (اتباع التعليمات)
- التشبيه: تخيل معلماً صارماً يدقق في واجب الرياضيات المنزلي.
- كيف يعمل: إذا كانت التعليمات هي "أزل الكلب"، يستخدم EdiVal-Agent "كاشف أشياء" متخصصاً (مثل جهاز كشف المعادن عالي التقنية) لمسح الصورة. إذا اختفى الكلب، يحصل على نقطة. إذا ظل الكلب موجوداً، أو ظهر كلب جديد بالخطأ، فإنه يخسر نقاطاً. إنه يجمع بين هذه البيانات الصلبة وبين "عقل ذكي" (نموذج رؤية لغوي - Vision-Language Model) للتحقق مما إذا كان معنى التغيير صحيحاً.
الدرجة 2: هل كسرت شيئاً؟ (اتساق المحتوى)
- التشبيه: تخيل أنك تقوم بتجديد مطبخ. تريد طلاء الخزائن باللون الأزرق، لكنك لا تريد أن تسقط الثلاجة بالخطأ أو تغير بلاط الأرضية.
- كيف يعمل: هذا هو الجزء الأصعب في التحرير متعدد الخطوات. إذا طلبت ثلاثة تغييرات متتالية، فغالباً ما يفسد المحرر أول تغييرين بالخطأ. يتتبع EdiVal-Agent كل "قطعة ليغو" لم يكن من المفترض تغييرها. هو يتحقق: "هل لا تزال اللافتة الصفراء صفراء؟ هل لا تزال الأرضية كما هي؟" إذا غير المحرر اللافتة الصفراء إلى حمراء أثناء محاولته إصلاح العمود، فإن EdiVal-Agent يكشف ذلك فوراً.
الدرجة 3: هل يبدو جيداً؟ (الجودة البصرية)
- التشبيه: تخيل ناقداً فنياً محترفاً.
- كيف يعمل: أحياناً يتبع المحرر التعليمات بدقة لكنه يجعل الصورة تبدو ككتلة ضبابية أو يضيف آثاراً غريبة ومضيئة. يستخدم EdiVal-Agent "نموذج تفضيل بشري" (ذكاء اصطناعي مدرب ليفكر كأنه ناقد فني بشري) لتقييم مدى طبيعية وجمال الصورة النهائية.

3. تحدي "تعدد الخطوات" (Multi-Turn)

يركز البحث بشكل مكثف على التحرير متعدد الخطوات (القيام بالعديد من التعديلات بالتتابع).

المشكلة: فكر في الأمر كأنها لعبة "الهاتف المكسور" (Telephone). في الخطوة الأولى، يكون الذكاء الاصطناعي نشيطاً ودقيقاً. ولكن بحلول الخطوة الثالثة أو الرابعة، يبدأ في الارتباك بسبب عمله السابق. قد ينسى كيف كانت الصورة الأصلية أو يبدأ في "الهلوسة" (صنع أشياء ليست موجودة أصلاً).
الاكتشاف: اختبر المؤلفون 16 نموذجاً من أفضل محررات الذكاء الاصطناعي. ووجدوا أنه بينما تكون بعض النماذج (مثل Seedream 4.0 و Nano Banana) مثل عدائي الماراثون الممتازين الذين يحافظون على الاتساق حتى بعد خطوات عديدة، فإن نماذج أخرى (مثل Qwen-Image-Edit) تشبه عدائي المسافات القصيرة (Sprinters) الذين يبدأون بسرعة ولكنهم ينهارون بشدة بعد بضع خطوات، فاقدين الاتساق والجودة.

لماذا هذا مهم؟

قبل هذا البحث، كنا نقيم محررات الصور بمسطرة مصنوعة من المطاط. لم نكن نستطيع الوثوق بالنتائج.

EdiVal-Agent يعطينا مسطرة فولاذية.
يساعد المطورين على معرفة سبب فشل الذكاء الاصطنا الخاص بهم بدقة (على سبيل المثال: "إنه رائع في إضافة الأشياء، لكنه سيء جداً في الحفاظ على ثبات الخلفية").
ينشئ معياراً (EdiVal-Bench)، وهو اختبار معياري يجب أن تجتازه جميع محررات الذكاء الاصطناعي المستقبلية، مما يضمن أن الجيل القادم من الأدوات سيكون أكثر ذكاءً، وأكثر موثوقية، وأفضل في اتباع التعليمات المعقدة.

باختاً: EdiVal-Agent هو الحكم النهائي لتحرير الصور بالذكاء الاصطناعي، ليتأكد أنه عندما تطلب غزالاً بنياً في غابة، تحصل بالفعل على غزال بني في غابة، وليس حصاناً أرجوانياً في مطبخ.

إليك ملخص تقني مفصل لورقة البحث بعنوان "EdiVal-Agent: إطار عمل متمحور حول الكائنات للتقييم الآلي دقيق التفاصيل لتحرير الصور متعدد الخطوات".

1. بيان المشكلة

لقد تقدم تحرير الصور القائم على التعليمات بشكل سريع، لكن التقييم الموثوق لا يزال يشكل عقبة. تعاني بروتوكولات التقييم الحالية من مشكلتين هيكليتين رئيسيتين:

الاعتماد على المراجع المقترنة: تقارن العديد من المعايير مخرجات النماذج مقابل صور معدلة "حقيقية" (ground-truth). ومع ذلك، فإن فضاء التعديلات الصالحة متعدد الأنماط (هناك العديد من النتائج الصحيحة الممكنة)، والمرجع الواحد لا يلتقط سوى تنفيذ واحد فقط. علاوة على ذلك، غالبًا ما يتم توليد المراجع بواسطة نماذج سابقة، مما يجعلها ترث تحيزاتها وقيودها.
قصور نماذج الرؤية واللغة (VLMs) في وضع الصفر (Zero-Shot): تعتمد الطرق الحالية بشكل كبير على نماذج الرؤية واللغة للحكم على التعديلات. ومع ذلك، تعاني هذه النماذج من:
- الاستدلال المكاني: فهي ضعيفة في التحقق من مواضع الكائنات وعلاقاتها.
- الهلوسة: غالبًا ما تهلوس بوجود كائنات، أو سمات، أو أعداد.
- الحساسية: تفشل في ملاحظة التغييرات الدقيقة على مستوى البكسل الضرورية لاتساق المحتوى.
- المعايرة الجمالية: غالبًا ما تكون غير معايرة فيما يتعلق بالعيوب التوليدية وتفضيلات الجمال البشرية.

تجعل هذه القيود من الصعب تقييم التحرير متعدد الخطوات بدقة، حيث يجب على النموذج تنفيذ سلسلة من التعليمات مع الحفاظ على الاتساق مع الخطوات السابقة والصورة الأصلية.

2. المنهجية: EdiVal-Agent

يقترح المؤلفون EdiVal-Agent، وهو إطار تقييم آلي دقيق التفاصيل قائم على منظور متمحور حول الكائنات. يتكون خط العمل من ثلاث مراحل:

المرحلة 1: التفكيك (Decomposition)

المدخلات: صورة أساسية.
العملية: يقوم نموذج رؤية ولغة (مثل GPT-4o) بتحليل الصورة لتحديد الكائنات الواضحة في المقدمة.
المخرجات: قائمة JSON مهيكلة للكائنات مع سماتها (المادة، اللون، النص، العدد) وعلم منطقي (boolean) يحدد ما إذا كانت في المقدمة (foreground).
التحقق: يُستخدم Grounding-DINO للتحقق من هذه الكائنات وتحديد صناديق الإحاطة (bounding boxes). يتم الاحتفاظ فقط بالاكتشافات الموثوقة لتغذية "مجمع كافة الكائنات" (All Objects Pool).

المرحلة 2: توليد التعليمات (Instruction Generation)

الآلية: يقوم الوكيل بتوليد تعليمات متنوعة وسياقية عبر عدة خطوات (الافتراضي $MAX\_TURNS = 3$ ).
مجمعات الكائنات الديناميكية: يحافظ النظام على ثلاثة مجمعات متطورة:
1. $P_{all}$ : جميع الكائنات التي ظهرت على الإطلاق.
2. $P_{unch}$ : الكائنات الأصلية التي لم يتم تعديلها بعد (للتحقق من الاتساق).
3. $P_{avail}$ : الكائنات القابلة للتعديل حاليًا.
أنواع التعليمات: يأخذ النظام عينات من 9 أنواع من التعليمات عبر 6 فئات:
- مركزي على الموضوع (Subject-centric): إضافة، إزالة، استبدال.
- مركزي على السمات (Attribute-centric): تغيير اللون، تغيير المادة.
- علاقاتي (Relational): تغيير الموقع.
- عددي (Counting): تغيير العدد.
- نصي (Text): تغيير النص.
عام (Global): تغيير الخلفية.
التكيف: إذا تطلبت خطوة ما تغيير الخلفية، يقوم النظام بتعطيل تسجيل اتساق الخلفية للخطوات اللاحقة ويقصر التعديلات المستقبلية على كائنات المقدمة لضمان قابلية المقارنة.

المرحلة 3: التقييم (Evaluation)

يقدم الإطار ثلاثة مقاييس مبتكرة:

EdiVal-IF (اتباع التعليمات): يقيس ما إذا كان قد تم تنفيذ التعليمات.
- المهام الرمزية (Symbolic Tasks) (إضافة، إزالة، استبدال، موقع، عدد): يستخدم كاشف كائنات مفتوح المفردات (Grounding-DINO) للتحقق من وجود/غياب الكائنات، وأعداد صناديق الإحاطة، والعلاقات الهندسية (مثل $x_A < x_B$ ).
- المهام الدلالية (Semantic Tasks) (اللون، المادة، النص، الخلفية): يستخدم نموذج رؤية ولغة (Qwen2-VL) على قصاصات الكائنات الموجهة من الكاشف للتحقق من التغييرات الدلالية (مثل "هل العمود رمادي؟").
- التسجيل: معدل النجاح متعدد الخطوات هو الناتج المنطقي (AND) للدرجات عبر جميع الخطوات في السلسلة.
EdiVal-CC (اتساق المحتوى): يقيس الحفاظ على المحتوى غير المستهدف.
- يحسب التشابه الدلالي بين الصورة الأساسية ( $I_0$ $I_{0}$ ) والصورة الحالية ( $I_t$ $I_{t}$ ) من أجل:
  - الكائنات غير المتغيرة: يتم قص الكائنات الموجودة في $P_{unch}$ ومقارنتها باستخدام سمات DINOv3.
  - الخلفية: يتم مقارنة منطقة الخلفية (باستثناء جميع صناديق إحاطة الكائنات من $P_{all}$ ) باستخدام تشابه بكسل-بكسل (L1) أو تشابه DINO.
- الصيغة: $EdiVal\text{-}CC = \frac{1}{2} (s_{bg} + \text{avg}(s_{o}))$ .
EdiVal-VQ (الجودة البصرية):
- يستخدم HPSv3 (درجة التفضيل البشري الإصدار الثالث)، وهو نموذج مدرب على التفضيلات البشرية، لقياس الجودة الجمالية.
- يبلغ عن التغير المطلق ( $\Delta$ ) من الصورة الأساسية لاكتشاف الانحراف نحو "التجميل" أو العيوب.
EdiVal-O (الدرجة الإجمالية):
- هو المتوسط الهندسي لـ EdiVal-IF و EdiVal-CC لموازنة اتباع التعليمات والاتساق.

3. المساهمات الرئيسية

إطار عمل EdiVal-Agent: خط عمل آلي بالكامل ومستقل عن الأدوات يجمع بين الاستدلال الرمزي (الكواشف) والاستدلال الدلالي (نماذج VLMs) لتقييم التحرير متعدد الخطوات بدقة عالية.
EdiVal-Bench: معيار جديد تم بناؤه باستخدام الوكيل، يضم 1,716 تعليمات عبر 9 أنواع و3 خطوات، تم تقييمها على 572 صورة من العالم الحقيقي. يغطي 16 نموذجًا من أحدث النماذج (In-Context AR، وFlow-Matching، وDiffusion).
تفوق الاتفاق البشري: يحقق EdiVal-IF اتفاقًا بنسبة 81.3% مع المقيمين البشر، متفوقًا بشكل كبير على نماذج VLMs في وضع الصفر (75.2%) ونماذج CLIP الأساسية (65.4%).
تحليل شامل: توفر الورقة أول مقارنة منهجية بين التحرير متعدد الخطوات داخل السياق (نماذج AR) مقابل التحرير متعدد الخطوات الخالي من السياق (نماذج Diffusion/Flow) والتحرير أحادي الخطوة المعقد.

4. النتائج والرؤى الرئيسية

قيم المعيار 16 نموذجًا، بما في ذلك النماذج مغلقة المصدر (GPT-Image-1/1.5, Nano Banana, Seedream 4.0) والمفتوحة المصدر (Qwen-Image-Edit, FLUX variants, Step1X-Edit).

أفضل المؤدين:
- حقق Seedream 4.0 أفضل أداء إجمالي (المركز الأول)، موازنًا بين اتباع التعليمات القوي، والاتساق العالي، وزمن الاستجابة المنخفض.
- حقق GPT-Image-1.5 تحسنًا ملحوظًا عن GPT-Image-1، خاصة في اتساق المحتوى عبر الخطوات.
- تفوق Nano Banana 2 على سلفه في اتباع التعليمات والدرجة الإجمالية.
أنماط الفشل الخاصة بالنماذج:
- انحياز التعرض (Exposure Bias): أظهرت النماذج مفتوحة المصدر مثل Qwen-Image-Edit و Step1X-Edit تدهورًا حادًا في الأداء في الخطوات المتأخرة (على سبيل المثال، انخفض Qwen من 78.36 إلى 41.93 في EdiVal-O من الخطوة 1 إلى الخطوة 3). يشير هذا إلى أنها مدربة على صور حقيقية وتجد صعوبة في التكيف مع مخرجاتها الاصطناعية.
- مشكلات الاتساق: تفوق GPT-Image-1 في اتباع التعليمات، لكنه حل قريب من ذيل القائمة في اتساق المحتوى، حيث كان يغير غالبًا الكائنات غير المستهدفة.
- زمن الاستجابة مقابل الجودة: غالبًا ما تحسن الإصدارات الأحدث المتانة على حساب زيادة زمن الاستجلة (على سبيل المثال، Nano Banana 2 أبطأ بـ ~2.5 مرة من Nano Banana).
متعدد الخطوات مقابل أحادي الخطوة المعقد:
- النماذج التي لا تعاني من انحياز التعرض (مثل Nano Banana) قدمت أداءً أفضل في إعدادات متعددة الخطوات (التحسين خطوة بخطوة).
- النماذج ذات انحياز التعرض القوي (مثل Qwen-Image-Edit) كانت أحيانًا تؤدي بشكل أفضل في أحادية الخطوة المعقدة (التعليمات المدمجة)، لأنها تتجنب تراكم الأخطاء الناتج عن التوليد المتسلسل.
عيوب الجودة البصرية:
- انحراف السطوع (Luminance Drift): أظهرت نماذج مثل Qwen-Image-Edit عيوبًا تدريجية في السطوع والتعرض الزائد عبر الخطوات، وهي عيوب يمكن اكتشافها عبر الإحصائيات منخفضة المستوى، ولكن غالبًا ما تغفل عنها نماذج VLMs.

5. الأهمية

سد فجوة التقييم: ينتقل EdiVal-Agent إلى ما وراء مجرد مطابقة البكسلات أو تسجيل VLMs غير الموثوق، مما يوفر معيارًا قويًا وقابلًا للتفسير للجيل القادم من نماذج تحرير الصور.
تشخيص تحديات تعدد الخطوات: يحدد إطار العمل صراحةً "انحياز التعرض" و"تراكم الأخطاء" كأنماط فشل حرجة في أنظمة تحرير الصور متعددة الخطوات الحالية، مما يوجه الأبحاث المستقبلية نحو استراتيجيات التدريب (مثل RLHF مع مكافآت التقييم).
مورد للمجتمع: من خلال إصدار الكود، والبيانات، وخط عمل التقييم، يتيح المؤلفون للمجتمع اختبار النماذج بدقة وتحسينها، مما يسرع الانتقال من النماذج البحثية إلى التطبيقات العملية.