💻 computer science

MIRAGE: Benchmarking and Aligning Multi-Instance Image Editing

تقدم هذه الورقة MIRAGE، وهو إطار عمل لا يتطلب تدريباً يستفيد من نماذج الرؤية واللغة وإزالة الضجيج المتوازي متعدد الفروع لحل تحديات الإفراط في التحرير وعدم المحاذاة المكانية في تحرير الصور متعددة العناصر، إلى جانب معيار جديد لتقييم هذا الاتساق دقيق التفاصيل.

المؤلفون الأصليون: Ziqian Liu, Stephan Alaniz

نُشر 2026-04-08

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziqian Liu, Stephan Alaniz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك فنان رقمي تعمل مع مساعد ذكاء اصطناعي قوي جدًا، ولكنه مرتبك قليلاً. لديك صورة لشارع مزدحم به خمس سيارات إطفاء حمراء متطابقة مصطفة في صف واحد.

لقد أعطيت تعليمات معقدة للذكاء الاصطناعي:

"لوّن الشاحنة الأولى باللون الأزرق، وضع سلماً على الثانية، غيّر عجلات الثالثة إلى اللون الذهبي، أزل الرابعة تماماً، واجعل الخامسة تبدو صدئة."

المشكلة: المساعد "المتحمس أكثر من اللازم"

نماذج الذكاء الاصطناعي الحالية (مثل FLUX.2 أو Qwen-Image-Edit) تشبه المساعد الذي يسمع كلمة "سيارة إطفاء" فيتحمس بشدة. وبدلاً من الاستماع إلى أي شاحنة تريد تغييرها، يصاب بالذعر ويحاول إصلاح جميع الشاحنات في وقت واحد.

النتيجة: تطلب منه تلوين الشاحنة الأولى بالأزرق، وفجأة تصبح كل الشاحنات الخمس زرقاء. تطلب منه إزالة الشاحنة الرابعة، فيقوم بالخطأ بمسح الشاحنة الثالثة أيضاً. الأمر يشبه محاولة تعديل صفحة معينة في كتاب، لكن الذكاء الاصطناعي يعيد كتابة الفصل بأكم له في كل مرة.

يحدث هذا لأن الذكاء الاصطناعي يجد صعوبة في التمييز بين "الشاحنة الموجودة في أقصى اليسار" و"الشاحنة الموجودة في المنتصف" عندما تبدو جميعها متشابهة للغاية.

الحل: MIRAGE (الـ "رئيس العمال الذكي")

يقدم مؤلفو هذه الورقة نظاماً جديداً يسمى MIRAGE. فكر في MIRAGE ليس كمجرد رسام جديد، بل كـ رئيس عمال ذكي يقف بينك وبين الرسام.

إليك كيف يعمل MIRAGE، باستخدام تشبيه بسيط:

1. المترجم (تحليل VLM)

أولاً، يأخذ رئيس العمال (MIRAGE) جملتك المعقدة ويقسمها إلى مهام صغيرة ومحددة. بدلاً من قول "أصلح الشاحنات"، يكتب رئيس العمال قائمة مهام:

المهمة أ: اذهب إلى الشاحنة الأكثر يساراً ولوّنها بالأزرق.
المهمة ب: اذهب إلى الشاحنة الوسطى وأضف سلماً.
المهمة ج: اذهب إلى الشاحنة الأكثر يميناً واجعلها صدئة.

يستخدم رئيس العمال "نموذج لغة ورؤية" (ذكاء اصطناعي فائق الذكاء يمكنه الرؤية والقراءة) ليشير بدقة إلى الشاحنة الصحيحة لكل مهمة.

2. محطات العمل المتوازية (التعديل متعدد الفروع)

بدلاً من أن يحاول الرسام القيام بكل شيء في حركة واحدة ضخمة وفوضوية، يقوم MIRAGE بإعداد خمس محطات عمل منفصلة.

عامل واحد يركز فقط على الطلاء الأزرق للشاحنة اليسرى.
عامل آخر يركز فقط على إضافة السلم للشاحنة الوسطى.
يعملون في نفس الوقت (بالتوازي).

3. منطقة "ممنوع اللمس" (مسار المرجع)

هذا هو الجزء الأهم. بينما يقوم العمال بطلاء شاحناتهم المحددة، يضع MIRAGE درعاً زجاجياً واقياً فوق كل شيء آخر في الصورة (الطريق، السماء، والشاحنات الأخرى).

إذا قام العامل الذي يلون الشاحنة الزرقاء بسكب الطلاء بالخطأ على السماء، فإن الدرع الزجاجي سيمنعه.
تظل الخلفية تماماً كما كانت في الصورة الأصلية، دون مساس أو تغيير.

لماذا يعد هذا أمراً مهماً؟

تقدم الورقة أيضاً اختباراً جديداً (يسمى MIRA-Bench) لمعرفة مدى براعة نماذج الذكاء الاصطناعي هذه حقاً. قبل ذلك، كانت الاختبارات سهلة (مثل "غير لون القطة الوحيدة في الصورة"). الآن، الاختبار صعب: "غير لون القطة التي على اليسار، أزل القطة التي في المنتصف، وأضف قبعة للقطة التي على اليمين".

النتائج:
عندما اختبر المؤلفون "رئيس العمال الذكي" (MIRAGE) مع أفضل الرسامين الآليين المتاحين:

قبل MIRAGE: كان الذكاء الاصطناعي يخطئ بنسبة 60-70% من الوقت، حيث يغير الأشياء الخطأ أو يفسد الخلفية.
بعد MIRAGE: نجح الذكاء الاصطناعي في المرة تقريباً في كل مرة. لقد اتبع التعليمات بدقة دون حذف الشاحنة الخطأ أو طلاء السماء بالخطأ.

الخلاصة

MIRAGE هي حيلة ذكية لا تتطلب إعادة تدريب الذكاء الاصطناعي من الصفر. إنها ببساطة تعمل كـ وسيط يقوم بـ:

تفكيك التعليمات المعقدة إلى مهام بسيطة واحدة تلو الأخرى.
عزل الكائن المحدد المراد تغييره.
حماية بقية الصورة من الضرر العرضي.

إنه يحول عملية التعديل الفوضوية والمبعثرة إلى عملية جراحية دقيقة، مما يسمح لنا أخيراً بتعديل المشاهد المعقدة التي تحتوي على عناصر متعددة متشابهة دون أن يصاب الذكاء الاصطناعي بالارتباك.

إليك ملخص تقني مفصل لورقة البحث بعنوان "MIRAGE: Benchmarking and Aligning Multi-Instance Image Editing".

1. بيان المشكلة

لقد تقدمت عملية تحرير الصور الموجهة بالتعليمات بشكل كبير مع نماذج مثل FLUX.2 و Qwen-Image-Edit. ومع ذلك، تعاني هذه النماذج الرائدة (SOTA) في سيناريوهات تعدد المثيلات المعقدة (multi-instance scenarios) حيث تحتوي الصورة الواحدة على كائنات متعددة متشابهة (مثل ثلاث منحوتات متطابقة أو خمسة كلاب متشابهة) تتطلب تعديلات متميزة ومستقلة بناءً على تعليمات مركبة.

تعاني النماذج الحالية في هذه الإعدادات من نمطي فشل أساسيين:

الإفراط في التحرير (Over-editing): تطبيق تعديل مخصص لمثيل واحد على جميع المثيلات المتشابهة في الصورة (على سبيل المثال، تغيير مادة جميع المنحوتات بدلاً من المنحوتة الموجودة في أقصى اليسار فقط).
عدم المحاذاة المكانية (Spatial Misalignment): الفشل في تحديد المثيل المستهدف بدقة، مما يؤدي إلى تطبيق التعديلات على الكائن الخطأ أو إجراء تعديلات غير مقصودة على الخلفية.

تفتقر الاختبارات المرجعية (benchmarks) الحالية إلى الكثافة والتعقيد اللازمين لتشخيص هذه الأخطاء الدقيقة، حيث تركز بشكل أساسي على تعديلات الكائن الواحد أو التعبيرات المرجعية البسيطة.

2. المنهجية

تقترح الورقة نهجاً ذا شقين: اختبار مرجعي جديد (MIRA-Bench) وإطار عمل لا يتطلب تدريباً (MIRAGE).

أ. MIRA-Bench: اختبار مرجعي جديد

من أجل تقييم تحرير تعدد المثيلات بصرامة، أنشأ المؤلفون MIRA-Bench، وهو أول اختبار مرجعي مصمم خصيصاً لهذه المهمة.

التكوين: 100 ثلاثية (صورة-تعليمات-قناع) عالية الجودة.
التعقيد: تحتوي كل صورة على 3 إلى 5 مثيلات متشابهة من نفس الكائن.
التعليمات: تتضمن كل عينة 5 تعليمات تحرير تركيبية متزامنة (على سبيل المثال، "غيّر الموجود في أقصى اليسار إلى X، أزل الموجود في المنتصف، أضف Y إلى الموجود في أقصى اليمين...").
خط إنتاج البناء:
1. توليد الصور: يستخدم FLUX.2 لتخليق صور بناءً على مطالبات تضمن وجود مثيلات متعددة متميزة ذات سمات محلية فريدة.
2. توليد التعليمات: يستخدم نموذج لغة رؤية (VLM, Qwen3-VL) لتوليد 5 تعديلات ذرية لكل صورة، مما يضمن وجود تطابق واحد لواحد مع مثيلات محددة.
3. الحقيقة الأرضية (Ground Truth): يستخدم نموذج (VLM) للتنبؤ بصناديق الإحاطة (bounding boxes)، والتي يتم تحسينها بواسطة SAM2 لتوليد أقنعة تجزئة دقيقة للتقييم.

ب. إطار عمل MIRAGE: المحاذاة الإقليمية لتعدد المثيلات عبر التحرير الموجه

إن MIRAGE هو إطار عمل للاستدلال لا يتطلب تدريباً (training-free)، مصمم للعمل مع نماذج الانتشار الحالية (مثل FLUX.2 أو Qwen-Image-Edit) لحل مشكلات الإفراط في التحرير وعدم المحاذاة. يعمل الإطار في مرحلتين:

1. تحليل التعليمات وتحديد الموقع المستهدف (بناءً على VLM)

يعمل نموذج (VLM) (مثل Qwen3-VL) كمحلل لتفكيك التعليمات العالمية المعقدة إلى $K$ من المهام الفرعية الذرية.
لكل مهمة فرعية، يستخرج الـ (VLM) تعبيراً مرجعياً (على سبيل المثال، "السلحفاة الموجودة في أقصى اليسار") ويتنبأ بـ صندوق إحاطة لتلك المنطقة المحددة.
ينشئ هذا مجموعة من الأزواج على مستوى المنطقة: $(x^k, I^k)$ ، حيث $x^k$ هي المنطقة المقصوصة و $I^k$ هي تعليمات التحرير المحددة.

2. استراتيجية إزالة الضجيج المتوازية متعددة الفروع
يستخدم MIRAGE استراتيجية استدلال هجينة تقوم بتشغيل فرع عالمي و $K$ من الفروع الإقليمية بالتوازي:

المرحلة المبكرة ( $t > \rho T$ ):
- يكون الفرع العالمي غير نشط.
- يقوم كل فرع إقليمي بعملية إزالة ضجيج مستقلة على منطقته المقصوصة المحددة ( $x^k$ ) بناءً على تعليمته المحددة ( $I^k$ ).
- يتم رسم التمثيلات الكامنة (latent representations) الناتجة مكانياً مرة أخرى على شبكة الصورة الكاملة واستبدالها فوق الكوامن الخلفية (المشتقة من الانتشار الأمامي للصورة المرجعية).
- الهدف: حقن تعديلات دلالية دقيقة في مناطق محددة في وقت مبكر من عملية التوليد.
المرحلة المتأخرة ( $t \le \rho T$ ):
- تنتهي الفروع الإقليمية.
- يتولى الفرع العالمي المهمة، حيث يقوم بعملية إزالة ضجيج شرطية على الصورة الكاملة باستخدام التعليمات العالمية.
- والأهم من ذلك، أن المناطق الخلفية (خارج الأقنعة المستهدفة) تكون مقيدة للمسار المرجعي (الانتشار الأمامي للصورة الأصلية) لمنع الانحراف. يتم تحديث المناطق المستهدفة فقط بواسطة الفرع العالمي.
- الهدف: صقل التفاصيل وضمان التماسك العالمي مع الحفاظ الصارم على سلامة الخلفية.

3. المساهمات الرئيسية

MIRA-Bench: اختبار مرجعي جديد يسد فجوة حرجة في تقييم تحرير الصور، ويتميز بمشاهد متعددة المثيلات تحتوي على 3-5 كائنات متشابهة و5 تعليمات تركيبية لكل صورة.
إطار عمل MIRAGE: طريقة قابلة للتشغيل المباشر (plug-and-play) ولا تتطلب تدريباً، تعمل على تحسين دقة نماذج الانتشار السائدة بشكل كبير دون الحاجة إلى تدريب إضافي أو ضبط دقيق للنماذج.
استراتيجية استدلال مبتكرة: تقديم نهج إزالة ضجيح متوازٍ متعدد الفروع مدمج مع مسار مرجعي للحفاظ على الخلفية، مما يفصل بفعالية بين تعديلات الهدف واستقرار الخلفية.

4. النتائج التجريبية

قيم المؤلفون MIRAGE على MIRA-Bench وعلى RefEdit-Bench الحالي باستخدام نماذج SOTA (مثل FLUX.2 و Qwen-Image-Edit-2511) ومقاييس مثل EditScore (اتباع المطالبة، الاتساق، والجودة الإدراكية).

الأداء الكمي:
- أدى دمج MIRAGE مع FLUX.2 [Dev] إلى تحسين اتباع المطالبة (PF) من 6.98 إلى 8.09 وتحسين الاتساق (Cons) من 8.38 إلى 9.01 على MIRA-Bench.
- تفوق نموذج FLUX.2 المدعوم بـ MIRAGE على نموذج GPT-Image-1.5 المملوك لشركة OpenAI في كل من PF والاتساق في مهام تعدد المثيلات المعقدة.
- لوحظت تحسينات كبيرة عبر جميع النماذج الأساسية، مع مكاسب في الاتساق تصل إلى +0.7 نقطة.
الأداء النوعي:
- نجح MIRAGE في حل مشكلة الإفراط في التحرير (على سبيل المثال، تغيير عيون الكلب المحدد فقط دون التأثير على الآخرين) وعدم المحاذاة المكانية (على سبيل المثال، إزالة الماعز الخامس في صف مكون من 5 ماعز بشكل صحيح).
- تم تعزيز الحفاظ على الخلفية بشكل كبير، مما منع "الانحراف" الذي يحدث غالباً في تحرير الانتشار القياسي.
الكفاءة:
- يتميز MIRAGE بكفاءة حسابية. فبينما يستغرق التحرير المتسلسل (تطبيق التعليمات واحدة تلو الأخرى) وقتاً أطول بنحو 5 أضعاف ويراكم الأخطاء، يقوم MIRAGE باستدلال مشترك في مسار واحد.
- هو في الواقع أسرع بنسبة ~15% من النموذج الأساسي وحده لأن التعديلات الإقليمية تتم على مساحات كامنة مقصوصة أصغر خلال المراحل المبكرة.

5. الأهمية والتأثير

حل عقبة حرجة: يعالج MIRAGE عقبة "تعدد المثيلات" التي أعاقت نشر تحرير الصور الموجه بالتعليمات في السيناريوهات الواقعية حيث نادراً ما تكون المشاهد مكونة من كائن واحد.
قابلية التوسع دون تدريب: من خلال تجنب الضبط الدقيق (fine-tuning)، يمكن تطبيق MIRAGE فوراً على أي نموذج انتشار SOTA جديد، مما يجعله حلاً عالي القابلية للتوسع.
معيار قياسي: يضع MIRA-Bench معياراً جديداً لتقييم التحكم الدقيق، مما يدفع المجتمع لتطوير نماذج قادرة على التعامل مع الاستدلال التركيبي المعقد بدلاً من مجرد نقل الأنماط العالمي.
المتانة: يثبت إطار العمل أن فصل مهام "التحديد المحلي" (عبر VLM) و"التوليد" (عبر الانتشار)، مع مزامنتهما عبر مسار مرجعي، هو استراتيجية متفوقة للحفاظ على الاتساق المكاني في التعديلات المعقدة.

في الختام، يمثل MIRAGE خطوة هامة نحو جعل تحرير الصور بالذكاء الاصطناğu موثوقاً في مشاهد الكائنات المتعددة المعقدة، حيث يقدم حلاً قوياً لا يتطلب تدريباً يتفوق حتى على النماذج المملوكة لشركات في مهام محددة عالية الصعوبة.