iMontage: Unified, Versatile, Highly Dynamic Many-to-many Image Generation

تخيل أنك تحاول تعليم روبوت ليكون فناناً بارعاً. لفترة طويلة، كان لدينا نوعان مختلفان تماماً من الروبوتات. النوع الأول كان بارعاً في رسم لوحة واحدة مثالية بناءً على وصف ما، ولكن إذا طلبت منه رسم قصة كاملة من خمسة مشاهد مختلفة، فإنه يصاب بالارتباك، وتبدو الشخصيات وكأنها أشخاص مختلفون في كل إطار. أما النوع الثاني، فكان روبوت فيديو، تدرب على الأفلام؛ كان يعرف كيف يجعل الأشياء تتحرك بسلاسة وكيف يحافظ وجه الشخصية على ثباته أثناء مشيها في الشارع. لكن هذا الروبوت كان جامداً بعض الشيء؛ فقد اعتاد على الحركة المستمرة والناعمة، وعانى عندما طُلب منه القيام بتغييرات مفاجئة وصادمة أو الانتقال بين مشاهد مختلفة تماماً دون انتقال سلس.

السؤال الكبير في هذا الركن من علوم الحاسوب هو: هل يمكننا بناء فنان واحد يمتلك أفضل ما في العالمين؟ هل يمكننا إنشاء نموذج يفهم التدفق السلس للوقت مثل روبوت الفيديو، ولكنه يمتلك أيضاً الحرية الإبداعية الجامحة للقفز بين صور ومشاهد مختلفة مثل كتاب الصور؟ هذا هو التحدي الذي تسعى ورقة بحثية جديدة بعنوان iMontage إلى حله. فهي تتساءل عما إذا كان بإمكاننا أخذ "دماغ الحركة" القوي لنموذج توليد الفيديو وإعادة تدريبه للتعامل مع مزيج فوضوي ومتعدد من الصور (من-إلى-متعدد)، لإنشاء أداة يمكنها إنشاء لوحات قصصية (storyboards) كاملة أو تحرير صور متعددة في وقت واحد مع الحفاظ على الاتساق في كل شيء.

---

سحر iMontage: فنان لوحات قصصية مع آلة زمن

تعرف على iMontage، وهو نموذج ذكاء اصطناği جديد يعمل كمولد صور خارق وشامل. فكر فيه كمدير رقمي يمكنه أخذ حفنة من الصور المرجعية وتعليمات نصية، ثم ينتج فوراً سلسلة كاملة من الصور الجديدة التي تروي قصة متماسكة. سواء كنت تريد تعديل صورة واحدة، أو دمج ثلاث شخصيات مختلفة في مشهد جديد، أو إنشاء قصة مصورة من أربعة إطارات حيث تتغير ملابس الشخصية والخلفية بشكل جذري، فإن iMontage يحاول القيام بكل ذلك دفعة واحدة.

السر هنا هو أن المبدعين لم يبنوا روبوتاً من الصفر. بدلاً من ذلك، أخذوا نموذج فيديو مدرباً مسبقاً — وهو نظام مشهور بالفعل بقدرته على فهم كيفية تحرك الأشياء وتغيرها بمرور الوقت — وأعطوه وظيفة جديدة. عادةً، تُدرب نماذج الفيديو على مقاطع مستمرة وسلسة (مثل شخص يمشي). وهي ليست معتادة على "القطع الحاد" (hard cuts) أو القفزات المفاجئة حيث يتغير المشهد فوراً. افترض المؤلفون أنه إذا استطاعوا حقن المحتوى المتنوع والمتوحش لبيانات الصور داخل إطار الفيديو السلس هذا، فيمكنهم الحصول على أفضل ما في العالمين: اتساق الفيديو ونطاق ديناميكية ألبوم الصور.

كيف يعمل: خدعة "الإطار الزائف" (Pseudo-Frame)

لإنجاح هذه المهمة، كان على الفريق تعليم نموذج الفيديو أن يرى الصور ليس كفيلم مستمر، بل كمجموعة مرنة من "الإطارات" التي يمكن توزيعها في أماكن مختلفة. لقد استخدموا خدعة ذكية تسمى Marginal RoPE (وهو اسم تقني لنظام تحديد المواقع).

تخيل خطاً زمنياً طويلاً. عادةً، يرى نموذج الفيديو الإطارات 1، 2، 3، 4، 5 بجانب بعضها البعض مباشرة. ومع ذلك، يعامل iMontage الصور المدخلة (المراجع التي تقدمها له) كـ "إطارات" في بداية الخط الزمني (الرأس)، والصور المخرجة (الصور الجديدة التي ينشئها) كـ "إطارات" في نهاية الخط الزمني (الذيل). ويترك فجوة كبيرة فارغة في المنتصف. هذا يخبر الذكاء الاصطناعي: "مهلاً، هذه الصور القليلة الأولى هي أدلتك، وهذه الصور الأخيرة هي ابتكاراتك الجديدة. لا تحاول جعلها تتدفق بسلاسة في بعضها البعض مثل فيلم؛ بل عاملها كخطوات متميزة في قصة". هذا التغيير البسيط يمنع النموذج من الارتباك حول ما إذا كان يشاهد فيديو أم يولد مجموعة جديدة من الصور.

التدريب: التعلم من الفوضى

لا يمكنك فقط أن تقول لروبوت الفيديو "كن مبدعاً" وتتوقع أن يعمل. كان على الفريق تنسيق مجموعة بيانات ضخمة وفوضوية لتعليمه. لم يستخدموا فيديوهات سلسة فحسب؛ بل بحثوا خصيصاً عن مقاطع ذات حركة عالية و"قطعات حادة" (تغيرات المشاهد المفاجئة) لتعليم النموذج كيفية التعامل مع الانتقالات الديناميكية. كما مزجوا ملايين أزواج تعديل الصور، حيث يتعين على الروبوت تعلم تغيير لون قميص أو إزالة جسم ما.

قاموا بتدريب النموذج باستخدام استراتيجية يسمونها CocktailMix. تخيل طالباً يتعلم الرياضيات والفن والموسيقى. إذا ألقيت عليه المواد الثلاث في وقت واحد، فقد يصاب بالإرهاق. وإذا علمته مادة واحدة في كل مرة، فقد ينسى المادة الأولى بحلول الوقت الذي يصل فيه إلى الثالثة. وجد المؤلفون أن أفضل طريقة كانت البدء بالمهام الأسهل، ثم إضافة المهام الأصعب ببطء مع تقليل التركيز تدريجياً على المهام السهلة. ساعد هذا النهج القائم على "ترتيب الصعوبة" النموذج على تعلم كل شيء، من التعديلات البسيطة إلى لوحات القصص المعقدة متعددة الصور، دون أن يفقد تركيزه.

ما يمكنه فعله (وما لا يمكنه فعله)

النتائج مبهرة. في الاختبارات، أظهر iMontage قدرته على:

• تعديل الصور (واحد لواحد): تغيير لون رداء أو إزالة صندوق مقصات، محققاً أداءً يضاهي النماذج التجارية الرائدة.
• دمج المراجع (كثير لواحد): أخذ صورة لشخص، وصورة لدب قطبي، وصورة لقارب، وإنشاء صورة جديدة حيث يتواجدون جميعاً في مشهد متماسك.
• توليد القصص (كثير لكثير): إنشاء تسلسل من الصور (مثل لوحة القصة/الستوري بورد) حيث تتحرك الشخصية عبر مشاهد مختلفة، مع الحفاظ على هويتها حتى مع تغير الخلفية وزوايا الكاميرا بشكل جذري.

تشير الورقة البحثية إلى أن هذا النهج يتفوق على الطرق السابقة التي حاولت توحيد هذه المهام، خاصة عندما يتعلق الأمر بالحفاظ على مظهر الشخصيات المتسق عبر الصور المختلفة والتعامل مع التغيرات المفاجئة والديناميكية في المشهد. وفي دراسات المستخدمين، قيم الناس iMontage بدرجة أعلى من النماذج مفتوحة المصدر الأخرى من حيث اتباع التعليمات والحفاظ على اتساق الشخصيات.

ومع ذلك، يعترف المؤلفون بحدود النموذج. في الوقت الحالي، يعمل النموذج بشكل أفضل مع ما يصل إلى أربع صور مدخلة وأربع صور مخرجة. لم يتم اختباره بعد على قصص طويلة ومعقدة للغاية تضم عشرات الإطارات. أيضاً، رغم براعته في أشياء كثيرة، إلا أنه ليس مثالياً؛ فقد يواجه أحياناً صعوبة في التفاصيل المحددة جداً والتي يصعب تعريفها.

الخلاصة

يمثل iMontage خطوة مهمة للأمام لأنه يثبت أنك لست بحاجة لبناء نوع جديد تماماً من الذكاء الاصطناعي لحل مشاكل الصور المعقدة. من خلال إعادة التفكير في كيفية تغذية نموذج الفيديو بالبيانات — عبر معاملة الصور كـ "إطارات زائفة" مرنة بدلاً من مج-تدفق فيلم جامد — يمكننا إنشاء أداة تكون متسقة ومبدعة في آن واحد. وهذا يشير إلى أن مستقبل توليد الصور لا يتعلق بامتلاك أداة منفصلة لكل وظيفة، بل ببناء "مخرج" متعدد الاستخدامات يمكنه إدارة الإنتاج بأكمله، من أول مسودة إلى لوحة القصة النهائية.