DivCon: Divide and Conquer for Complex Numerical and Spatial Reasoning in Text-to-Image Generation
يقدم DivCon إطار عمل "فرق تسد" الذي يفصل عملية توليد النص إلى صورة إلى خطوات مبسطة من الاستدلال العددي/المكاني وتوليد الكائنات التدريجي، مما يمكّن النماذج خفيفة الوزن من تحقيق دقة تخطيط وجودة إدراكية فائقة للمطالبات المعقدة متعددة الكائنات دون الاعتماد على نماذج لغوية كبيرة مغلقة المصدر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك فنان تحاول رسم لوحة بناءً على وصف دقيق ومعقد يعطيك إياه أحدهم.
المشكلة:
إذا طلبت من فنان ذكاء اصطناعي قياسي (مثل "Stable Diffusion" الشهير) أن يرسم: "خمس تفاحات حمراء، وعصفورين أزرقين، وقطة تجلس بين كرسي وشجرة،" فإنه غالباً ما يرتبك. قد يرسم ثلاث تفاحات بدلاً من خمس، أو يضع القطة فوق الشجرة، أو ينسى العصافير تماماً. الأمر يشبه طلب الرسم من رسام موهوب مع جعله يتلاعب بالكثير من التعليمات المحددة في وقت واحد؛ حيث يشعر بالارتباك ويفشل في المهمة.
الحل القديم:
تضمنت المحاولات السابقة لإصلاح ذلك توظيف "مدير مشروع فائق الذكاء" (نموذج ذكاء اصطناعي ضخم ومكلف مثل GPT-4) ليقوم أولاً برسم مسودة أولية (مخطط) لأماكن وجود كل شيء، ثم يسلم هذه المسودة إلى الرسام.
- الجانب السلبي: هذا "المدير" مكلف للغاية للتشغيل، ويصعب الوصول إليه، ويتطلب قدرة حوسبة هائلة. كما أن الرسام لا يزال يحاول رسم المشهد بأكره دفعة واحدة، مما يؤدي إلى وقوع أخطاء في الأجزاء الصعبة.
الحل الجديد: DivCon (فرق تسد)
ابتكر مؤلفا هذه الورقة، يوهاو جيا وونهان تان، طريقة أكثر ذكاءً تسمى DivCon. بدلاً من محاولة القيام بكل شيء في وقت واحد، يقومون بتقسيم المهمة إلى أجزاء أصغر يمكن التحكم فيها. فكر في الأمر كبناء منزل: أنت لا تحاول بناء السقف والجدران والسباكة في ثانية واحدة، بل تقوم بذلك خطوة بخوة.
إليك كيف يعمل DivCon، باستخدام تشبيهات بسيطة:
المرحلة الأولى: "المخطط الذكي" (توقع التخطيط)
بدلاً من طلب ذكاء اصطناعي فائق التكلفة لرسم الخطة الكاملة، يستخدم DivCon ذكاءً اصطناعياً صغيراً وخفيف الوزن (مثل متدرب ذكي) ويعطيه قائمة مهام من خطوتين:
- الخطوة (أ): التحقق من الرياضيات والمنطق. أولاً، يقرأ المتدرب الجملة فقط ويقوم بعدّ العناصر. "حسناً، أنا أسمع 'خمس تفاحات' و'عصفورين'." هو لا يحاول رسمها بعد؛ بل يقوم فقط بالعمليات الحسابية ويدون المواقع.
- الخطوة (ب): خطة الرسم. بمجرد أن يعرف المتدرب الأعداد والمواقع الدقيقة، يقوم برسم المربعات التقريبية (مثل المخطط الهندسي) لمكان وجود تلك العناصر.
لماذا هذا رائع: من خلال فصل عملية "العد" عن عملية "الرسم"، يمكن لبرنامج كمبيوتر صغير ورخيص أن يؤدي وظيفة أفضل من برنامج ضخم ومكلف. الأمر يشبه إعطاء آلة حاسبة لطالب لحل المسألة الرياضية، ثم السماكنه على رسم اللوحة. النتيجة هي مخطط هندسي مثالي دون التكلفة العالية.
المرحلة الثانية: "الرسم التدريجي" (توليد الصورة)
الآن بعد أن أصبح لدينا المخطط، نحتاج إلى رسم اللوحة. يحاول الذكاء الاصطناعي القياسي رسم الصورة بأكملها مرة واحدة، لكن DivCon يفعل ذلك بشكل مختلف:
- الجولة الأولى: "الأشياء السهلة" أولاً. يقوم الذكاء الاصطناعي برسم المشهد بأكمله، لكنه يولي اهتماماً إضافياً للأشياء "السهلة" (مثل كرسي كبير وبسيط).
- المراجعة. ينظر الذكاء الاصطناعي إلى عمله الخاص. "هممم، الكرسي يبدو رائعاً. لكن 'الخمس تفاحات' تبدو باهتة، و'القطة' تبدو غريبة."
- الجولة الثانية: إصلاح الأجزاء الصعبة. يقوم الذكاء الاصطناعي بتجميد الأجزاء الجيدة (الكرسي) ويعيد رسم الأجزاء الفوضوية فقط (التفاح والقطة). إنه يركز كل طاقته على إصلاح التفاصيل الصعبة دون إفساد الأشياء الجيدة.
التشبيه: تخيل أنك تقوم بتعديل صورة. بدلاً من محاولة إصلاح الصورة بأكملها مرة واحدة، تستخدم أداة "ختم الاستنساخ" لإصلاح العيوب في الوجه فقط مع ترك الخلفية دون تغيير. يقوم DivCon بذلك تلقائياً.
النتائج
- دقة أفضل: يحصل على الأعداد الصحيحة (5 تفاحات، وليس 3) والمواقع الصحيحة (القطة بين الكرسي والشجرة، وليس فوق الشجرة).
- أرخص: يستخدم نماذج ذكاء اصطناعي صغيرة ومفتوحة المصدر بدلاً من الحاجة إلى حاسوب خارق بمليارات الدولارات.
- أسرع: لأنه يصلح المشكلات في خطوتين مركزتين بدلاً من خطوة واحدة فوضوية، فإنه يعمل بكفاءة في الواقع.
باخت-الاختصار:
DivCon يشبه توظيف مدير مشروع يقوم بتقسيم مهمة كبيرة ومخيفة إلى خطوات صغيرة وسهلة، ثم رسام يقوم بإصلاح أخطائه واحداً تلو الآخر. النتيجة هي لوحة فنية تتبع التعليمات بدقة، دون الحاجة إلى ميزانية ضخمة لإنتاجها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.