MRT: Masked Region Transformer for Layered Image Generation and Editing at Scale
تقدم هذه الورقة نموذج MRT، وهو نموذج انتشار مناطق مقنع (masked region diffusion model) بـ 20 مليار معلمة تم تدريبه على 10 ملايين عينة ليوحد مهام تحويل النص إلى طبقات، والصورة إلى طبقات، والطبقات إلى طبقات، لتحقيق توليد وتحرير صور شفافة متعددة الطبقات في الوقت الفعلي وبأفضل حالة ممكنة، بجودة وكفاءة متفوقتين مقارنة بالأنظمة التجارية والمتزامنة الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك محرر صور رقمي، مثل فوتوشوب، حيث يمكنك العمل مع "طبقات" منفصلة. يمكنك تحريك مربع نص، أو تغيير خلفية، أو استبدال أيقونة دون إفساد بقية الصورة.
الآن، تخيل ذكاءً اصطناعيًا لا يصنع مجرد صورة مسطحة ونهائية، بل يبني هذه الصورة طبقة تلو الأخرى، تمامًا كما يفعل المصمم البشري.
هذا هو بالضبط ما يدور حوله بحث "MRT: Masked Region Transformer". إليك شرح مبسط لما قاموا ببنائه وكيف يعمل، باستخدام بعض التشبيهات من الحياة اليومية.
المشكلة الكبيرة: "الكعكة المسطحة" مقابل "الكعكة ذات الطبقات"
معظم مولدات الصور بالذكاء الاصطناعي اليوم تشبه الخبازين الذين يصنعون فقط كعكات مسطحة. هم يعطونك صورة نهائية، ولكن إذا أردت تغيير الكرزة الموجودة في الأعلى، فعليك إعادة طلاء الكعكة بأكملها. لا يمكنك بسهولة تحريك الكرزة أو تغيير الكريمة دون إفساد الإسفنج.
أراد الباحثون ذكاءً اصطناعيًا يخبز كعكة ذات طبقات. أرادوا نظامًا يولد الإسفنج، والحشوة، والكريمة، والكرز كقطع منفصلة وقابلة للتحريك يمكن تعديلها لاحقًا. وهذا ما يسمى بـ "توليد الصور متعدد الطبقات" (Layered Image Generation).
الحل: MRT (الشيف الماهر)
بنى الفريق من أبحاث Canva نموذج ذكاء اصطناعي ضخمًا يسمى MRT (Masked Region Transformer). فكر فيه كأنه "شيف ماهر" درس أكثر من 10 ملايين تصميم جرافيكي مختلف (ملصقات، منشورات، إعلانات) ليتعلم كيفية بناء هذه الكعكات ذات الطبقات من الصفر.
إليك ثلاث "قدرات خارقة" يمتلكها هذا الشيف:
1. "الوصفة السحرية" (من النص إلى الطبقات)
يمكنك إعطاء الذكاء الاصطناعي وصفًا نصيًا، مثل "ملصق لحفلة ديسكو مع كرة متوهجة وعلامة 'خصم 20%'".
- الذكاء الاصطناي القديم: سيرسم صورة مسطحة للديسكو.
- MRT: يرسم الخلفية، وكرة الديسكو، والنص كـ طبقات منفصلة وشفافة. يمكنك أخذ طبقة النص وتحريكها إلى اليسار، أو تغيير كرة الديسكو إلى نجمة، وستظل بقية الملصق مثالية.
2. "الهندسة العكسية" (من الصورة إلى الطبقات)
هذا يشبه أخذ كعكة جاهزة ومسطحة وفصل مكوناتها مرة أخرى إلى عناصرها الأصلية.
- المهمة: تقوم بتحميل صورة مسطحة (مثل لقطة شاشة لموقع إلكتروني أو ملصق).
- وظيفة MRT: يحدد ما ينتمي إلى الخلفية، وما هو النص، وما هي الصور. ثم يقوم بـ "تقشيرها" وفصلها إلى طبقات منفصلة وقابلة للتعديل.
- الخدعة: يزعم البحث أن هذا يعمل بشكل رائع، حتى في التصاميم المعقدة التي تحتوي على عناصر متداخلة كثيرة، وهو أسرع وأكثر دقة بكثير من الأدوات الأخرى المتاحة حاليًا.
3. "الخلط والمطابقة" (من الطبقات إلى الطبقات)
هذا هو جزء التعديل. يمكنك إعطاء الذكاء الاصطناعي تصميمًا وتقول له "أضف طبقة جديدة هنا" أو "غير نمط هذه الطبقة المحددة لتناسب بقية التصميم".
- مثال: لديك ملصق به سماء زرقاء. تريد إضافة شمس جديدة. يقوم MRT بإضافة الشمس بطريقة تناسب الإضاءة والنمط الخاص بالسماء الموجودة تمامًا. أو، ترفع صورة لقطة وتقول "اجعل هذه القطة تبدو كملصق كرتوني يناسب هذا الملصق". يقوم MRT بالتحويل فورًا.
السر وراء ذلك: كيف فعلوا ذلك؟
1. خدعة "الفيض" (اللوحة الضخمة)
عادةً، عندما يرسم الذكاء الاصطناعي صورة، فإنه يقطع أي شيء يخرج خارج الإطار (مثل غصن شجرة يبرز من جانب الصورة).
- ابتكار MRT: علموا الذكاء الاصطناعي الرسم على لوحة ضخمة وغير مرئية أكبر من الصورة النهائية. هذا يسمح للعناصر بـ "الفيض" أو الخروج عن الحواف.
- لماذا يهم هذا: إذا أردت تحريك غصن الشجرة الخارج هذا إلى الجانب الآخر من الملصق لاحقًا، فإن الذكاء الاصطناعي قد حفظ الغصن كاملاً، وليس فقط الجزء الذي كان مرئيًا. إنه يحافظ على القطع كاملة وقابلة للتعديل.
2. لعبة "القناع" (Masking)
تخيل أنك تلعب لعبة حيث يتعين عليك تخمين ما يوجد تحت البطانية.
- من النص إلى الطبقات: يبدأ الذكاء الاصطناعي بلوحة فارغة مليئة بالضجيج (مثل التشويش على تلفاز قديم) ثم يملأ الطبقات.
- من الصورة إلى الطبقات: يُعطى الذكاء الاصطناعي الصورة النهائية (تم رفع البطانية) ولكن يُطلب منه "قناع" (تغطية) الخلفية والنص، ثم "إعادة رسم" تلك الأجزاء تحديدًا لفصلها.
- باستخدام تقنية "القناع" هذه، يمكن لنفس عقل الذكاء الاصطناعي التعامل مع الكتابة من الصفر، وتفكيك الأشياء، وتعديلها، كل ذلك في آن واحد.
3. تسريع العملية (التقطير - Distillation)
عادةً، يستغرق توليد صورة معقدة متعددة الطبقات وقتًا طويلاً (مثل انتظار كمبيوتر بطيء لمعالجة الصورة).
- استخدم الباحثون تقنية تسمى التقطير (Distillation). فكر في هذا كشيف ماهر (المعلم البطيء والمثالي) يعلم متدربًا (الطالب السريع) كيفية طهي نفس الطبخة في 8 خطوات بدلاً من 50.
- النتيجة: يمكن للذكاء الاصطناعي الآن توليد هذه التصاميم المعقدة متعددة الطبقات في الوقت الفعلي (حوالي 3 إلى 6 ثوانٍ) دون فقدان الكثير من الجودة.
النتائج
يقارن البحث بين MRT ونماذج الذكاء الاصطناعي الرائدة والأدوات التجارية الأخرى.
- الجودة: في اختبارات المستخدمين، فضل الناس نتائج MRT على الأنظمة الأخرى لأن الطبقات كانت أنظف، والنصوص كانت أفضل، والقطع كانت تتناسب مع بعضها البعض بشكل طبيعي أكثر.
- السرعة: هو أسرع بـ 10 إلى 100 مرة من نموذج منافس يسمى "Qwen-Image-Layered" عند تفكيك الصور المعقدة.
- الذاكرة: يستخدم ذاكرة كمبيوتر أقل بكثير، مما يعني أنه يمكن تشغيله على بطاقات رسوميات قوية قياسية دون الانهيار.
باختًاصر
يقدم البحث أداة تعامل الصور الرقمية ليس كلوحات ثابتة، بل كـ مجموعات "ليجو" قابلة للتعديل. يمكنه بناء هذه المجموعات من وصف نصي، وتفكيك صورة جاهزة للكشف عن قطع الليجو، أو استبدال القطع لتغيير التصميم — كل ذلك مع الحفاظ على القطع كاملة، حتى لو برزت خارج حواف الصندوق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.