Images in Sentences: Scaling Interleaved Instructions for Unified Visual Generation
تقدم الورقة البحثية نموذج INSET، وهو نموذج توليد بصري موحد يدمج الصور كرموز مفردات أصلية ضمن التعليمات النصية ويستفيد من محرك بيانات قابل للتوسع يضم 15 مليون عينة متداخلة ليتفوق بشكل كبير على الأساليب الحالية في اتساق الصور المتعددة واتباع التعليمات المعقدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول إعطاء أمر محدد للغاية ومعقد لفنان.
الطريقة القديمة (مشكلة "بطاقة الفهرس")
تعمل معظم مولدات الصور بالذكاء الاصطناعي حالياً مثل أمين مكتبة لا يفهم سوى الأرقام. إذا أردت صورة بها كلب محدد من صورة واحدة، وقبعة محددة من صورة أخرى، وخلفية محددة من صورة ثالثة، فعليك أن تقول: "ارسم صورة باستخدام الكلب من الصورة رقم 1، والقبعة من الصورة رقم 2، والخلفية من الصورة رقم 3".
يتعين على الذكاء الاصطناعي تذكر أي رقم يتوافق مع أي صورة أثناء محاولته الرسم. ومع إضافة المزيد من الصور، يرتبك الذكاء الاصطناعي؛ فينسى أي قبعة تذهب مع أي كلب، أو يتجاهل الصور الإضافية تماماً. الأمر يشبه محاولة التلاعب بخمس كرات مع عصب العينين؛ في النهاية، ستسقط إحداها حتماً.
الطريقة الجديدة: "الصور في الجمل" (Inset)
تقدم الورقة البحثية نموذجاً جديداً يسمى Inset (الصور في الجمل). بدلاً من معاملة الصور كملفات منفصلة مرقمة، يعامل Inset الصور مثل الكلمات في الجملة.
تخيل أنك تكتب قصة، ولكن بدلاً من كتابة كلمة "كلب"، تقوم بلصق صورة صغيرة ومثالية لذلك الكلب تحديداً داخل الجملة.
- الطريقة القديمة: "ضع الكلب من الصورة 1 على الكرسي".
- طريقة Inset: "ضع [صورة الكلب] على الكرسي".
لأن الصورة موجودة مباشرة بجانب كلمة "كرسي" في الجملة، لا يحتاج الذكاء الاصطناعي للتخمين أو التذكر؛ فالمعنى موجود هناك، في قلب النص. هذا يسمح للذكاء الاصطناعي بالتعامل مع تعليمات معقدة تحتوي على صور متعددة دون ارتباك.
كيف دربوا الذكاء الاصطناعي (مصنع البيانات)
لتعليم الذكاء الاصطناعي القيام بذلك، لم يستطع الباحثون العثور على أمثلة كافية على الإنترنت لأنها نادرة. لذا، قاموا ببناء محرك بيانات قابل للتوسع (مصنع آلي للبيانات).
- للصور الفوتوغرافية: أخذوا ملايين الصور واستخدموا ذكاءً اصطناعياً آخر لتفكيكها. حددوا كل جسم (مثل "مزهرية حمراء" أو "قط أزرق")، وكتبوا جملة عن ذلك الجسم، ثم أدخلوا الصورة الفعلية لذلك الجسم مباشرة في الجملة حيث يوجد الوصف.
- للفيديوهات: نظروا إلى الفيديوهات لتعليم الذكاء الاصطناعي كيف تتغير الأشياء. إذا أظهر الفيديو قطة تقفز، فقد أنشأوا تعليمات تقول: "خذ القطة من البداية [صورة قط جالس] واجعلها تقفز [صورة قط يقفز]". هذا يعلم الذكاء الاصطناعي فهم الحركة والتحول، وليس مجرد النسخ الثابت.
لقد أنشأوا 15 مليون من هذه "الجمل المصورة" لتدريب النموذج.
النتائج
اختبروا هذا النموذج الجديد في تحدٍ صعب يسمى InterleaveBench، والذي يتضمن دمج العديد من الصور في طلب واحد معقد.
- النتيجة: عندما طُلب منه استخدام صورتين، أدى Inset بشكل جيد. ولكن عندما طُلب منه استخدام 5 صور، انهارت النماذج القديمة، بينما استمر Inset في التحسن. كان أكثر دقة بشكل ملحوظ في الحفاظ على مظهر الأجسام كما هي في الأصل وفي اتباع التعليمات النصية.
- الميزة الإضافية: نظرًا لأن الذكاء الاصطناعي تعلم معاملة الصور كجزء من التعليمات، فإنه يمكنه أيضاً القيام بـ التعديل. يمكنك أن تريه صورة لقميص محدد وتقول له: "ضع هذا الققميص على الشخص في الصورة"، وسيقوم بنسخ التصميم الدقيق لهذا القميص، بدلاً من مجرد التخمين لما يبدو عليه "القميص" بشكل عام.
باختصار
تزعم الورقة البحثية أنه من خلال وقف الذكاء الاصطناعي عن استخدام "الأرقام" للإشارة إلى الصور وبدلاً من ذلك السماكنه من "قراءة" الصور كما لو كانت كلمات، يمكننا إنشاء أدوات أقوى بكثير لإنشاء وتعديل الصور المعقدة. لقد أثبتوا ذلك من خلال بناء مكتبة ضخمة من أمثلة التدريب، وإظهار أن نموذجهم الجديد يتفوق على جميع المنافسين مفتوحي المصدر الحاليين، خاصة عندما تصبح المهام معقدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.