IMAGHarmony: Controllable Image Editing with Consistent Object Quantity and Layout
تقدم الورقة البحثية IMAGHarmony، وهو إطار عمل فعال من حيث المعلمات يتيح تحرير الصور بشكل قابل للتحكم مع الحفاظ على اتساق عدد الأجسام وتخطيطها، وذلك عبر استخدام وحدة واعية بالتناغم واختيار ضوضاء موجه بالتفضيلات، وقد تم التحقق من صحته من خلال تجارب مكثفة ومن خلال معيار HarmonyBench الجديد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صورة لحديقة مزدحمة بها عشر بطات تسبح في بركة. تريد استخدام الذكاء الاصطناعي لتغيير البطات إلى عشر بجعات، ولكن لديك قاعدتان صارمتان للغاية:
- يجب أن يكون لديك عشر بجعات بالضبط (لا أكثر ولا أقل).
- يجب أن تبقى البجعات في نفس الأماكن تماماً حيث كانت البطات (لا تظهر بجعات فجأة على العشب أو تختفي في الماء).
معظم محررات الصور الحالية بالذكاء الاصطناعي تشبه الرسامين المتحمسين ولكنهم خرقاء؛ إذا طلبت منهم "تغيير البط إلى بجع"، فقد يقومون بـ:
- رسم ثلاث بجعات فقط.
- رسم خمس عشرة بجعة.
- نقل البجعات إلى منتصف البركة، تاركين أماكنها الأصلية فارغة.
- رسم بجعة على شجرة عن طريق الخطأ.
تقدم هذه الورقة البحثية أداة جديدة تسمى IMAGHarmony تعمل مثل مصمم رقصات منضبط تماماً. فهي لا تكتفي بتغيير "زي" الأشياء فحسب، بل تضمن بقاء "الرقصة" بأكملها (التخطيط وعدد الراقصين) كما هي تماماً.
إليك تفصيل بسيط لكيفية عملها، باستخدام تشبيهات من الحياة اليومية:
1. المشكلة: "الرسام الخرقاء"
نماذج الذكاء الاصطناعي الحالية بارعة في اتباع التعليمات مثل "اجعل الأمر يبدو كمدينة سايبربانك" أو "حول القطة إلى كلب". ولكن عندما يكون هناك العديد من الأشياء (مثل سرب من الطيور أو مجموعة من السيارات)، فإنها تصاب بالارتباك. تفقد القدرة على العد، أو تعيد ترتيب الأشياء، أو تدمج الأشياء معاً. الأمر يشبه طلب تغيير جميع المكعبات الحمراء بمكعبات زرقاء من طفل، لكنه بدلاً من ذلك يرمي نصف المكعبات ويضع الباقي فوق بعضها في برج.
2. الحل: IMAGHarmony
ابتكر المؤلفون نظاماً يحل هذه المشكلة من خلال التركيز على خدعتين رئيسيتين: وحدة التناغم (Harmony Module) و محدد الضجيج (Noise Selector).
الخدعة رقم 1: "وحدة التناغم" (حافظ المخطط)
تخيل عقل الذكاء الاصطناعي كمصنع يبني الصور. عادةً، يستمع المصنع فقط لأمر النص الخاص بك ("اجعلها بجعات").
- IMAGHarmony تضيف مشرفاً خاصاً يسمى وحدة الوعي بالتناغم (HA Module).
- كيف تعمل: قبل أن يبدأ المصنع في بناء الصور، ينظر هذا المشرف إلى صورتك الأصلية ("المخطط"). يقوم بعدّ البطات وتحديد مواقعها بدقة.
- التشبيه: تخيل أنك تقوم بتجديد غرفة. بدلاً من مجرد إخبار العمال، "ضع أثاثاً جديداً"، فإنك تعطي لهم مخطط أرضية يقول: "أبقِ الطاولة هنا تماماً، والكرسي هناك تماماً، وتأكد من وجود أربعة كراسي بالضبط". وحدة الـ HA تجبر الذكاء الاصطناعي على احترام مخطط الأرضية هذا أثناء تغيير نمط الأثاث.
- أين يحدث ذلك: وجدت الورقة البحثية أن أفضل مكان لوضع هذا المشرف هو في "القبو العميق" لعقل الذكاء الاصطناعي (طبقة محددة تسمى Down4). هذا هو المكان الذي يقرر فيه الذكاء الاصطناعي التخطيط العام الكبير، وليس مجرد التفاصيل الصغيرة مثل الملمس. ومن خلال تثبيت التخطيط مبكراً، تترتب بقية الصورة بشكل مثالي.
الخدعة رقم 2: "محدد الضجيج" (لاعب النرد المحظوظ)
يبدأ توليد الصور بالذكاء الاصطناعي بشاشة مليئة بالضجيج الساكن (مثل تشويش التلفاز) ثم يتم تنظيفها ببطء لتكشف عن صورة. النمط المحدد لذلك "التشويش" الأولي (يسمى البذرة - Seed) هو ما يحدد النتيجة النهائية.
- المشكلة: أحياناً، تختار بذرة تكون مجرد "حظ سيئ". حتى لو حاول الذكاء الاصطناعي بذل قصارى جهده، فإن ذلك الضجيج الأولي المحدد يجعل من المستحيل الحفاظ على صف البط. قد ينتهي الأمر بالذكاء الاصطناعي في فوضى عارمة.
- الحل: بدلاً من رمي النرد مرة واحدة والأمل في الحصول على نتيجة جيدة، تقوم IMAGHarmony برمي النرد خمس مرات (أو بضع مرات) خلف الكواليس.
- التشبيه: تخيل أنك تحاول خبز كعكة مثالية. بدلاً من خلط الخليط مرة واحدة والأمل في أن ترتفع، تقوم بخلط خمس دفعات صغيرة. تقوم بتذوقها بسرعة لترى أي منها يبدو واعداً أكثر. تختار الأفضل وتخبز الكعكة الكاملة باستخدام تلك العجينة المحددة.
- النتيجة: يضمن "اختيار الضجيج الموجه بالتفضيل" (PNS Strategy) أن يبدأ الذكاء الاصطناعي بأفضل "مخطط" ممكن للحفاظ على العدد والتخطيط بشكل صحيح.
3. "منصة التناغم" (تجربة القيادة)
لإثبات فعاليتها، أنشأ المؤلفون اختباراً جديداً يسمى HarmonyBench.
- أنشأوا مئات الحالات الاختبارية: "غير 5 تفاحات إلى 5 برتقالات"، "غير 10 سيارات إلى 10 شاحنات"، "غير الخلفية إلى غابة".
- قارنوا IMAGHarmony بأفضل أدوات الذكاء الاصطناعي المتاحة حالياً.
- النتيجة: فازت IMAGHarmony في كل مرة تقريباً. بينما فقدت الأدوات الأخرى العد أو حركت الأشياء من مكانها، حافظت IMAG harmony على الأعداد والمواقع بدقة، حتى مع المشاهد المعقدة التي تحتوي على أكثر من 15 جسماً.
4. لماذا يعد هذا أمراً مهماً (الكفاءة)
عادةً، لجعل الذكاء الاصطناعي بهذا الذكاء، تحتاج إلى:
- ملايين الصور التدريبية.
- قدرة حوسبة هائلة.
- كميات ضخمة من الذاكرة.
IMAGHarmony خفيفة الوزن بشكل مدهش.
- لم تحتج سوى إلى 200 صورة تدريبية (مثل ألبوم صور صغير) لتعلم الحيلة.
- لم تضف سوى قدر ضئيل جداً من "قوة العقل" الإضافية (10.6 مليون معلمة/parameter) إلى الذكاء الاصطناعي الحالي.
- تعمل بسرعة فائقة.
الملخص
IMAGHarmony تشبه إعطاء فنان ذكاء اصطناعي كتاب قواعد صارم و تميمة حظ.
- كتاب القواعد (وحدة HA): "لا تحرك الأشياء. لا تغير عدد الأشياء. فقط غير مظهرها".
- تميمة الحظ (استراتيجية PNS): "لنحاول بضع نقاط انطلاق مختلفة ونختر أفضلها في اتباع القواعد".
النتيجة هي محرر صور موثوق، دقيق، ولا يحذف أشياءك المفضلة بالخطأ أو ينقلها إلى الجانب الخاطئ من الصورة. إنها تجلب "النظام" إلى عالم توليد الصور الفوضوي بالذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.