The Cow of Rembrandt - Analyzing Artistic Prompt Interpretation in Text-to-Image Models

ملخص تقني: بقرة رامبرانت: تحليل تفسير المطالبات الفنية في نماذج تحويل النص إلى صورة

بيان المشكلة
بينما أظهرت نماذج الانتشار (diffusion models) لتحويل النص إلى صورة (txt2img) قدرات مذهلة في توليد محتوى فني من خلال التعلم من مليارات الصور، إلا أن السؤال الجوهري حول كيفية تمثيل هذه النماذج داخلياً وفصلها لمفاهيم "المحتوى" (ما يتم تصويره) و"الأسلوب" (كيفية تصويره) لا يزال غير مستكشف. غالباً ما تعامل الرؤية الحاسوبية التقليدية المحتوى والأسلوب كعناصر متعامدة، ومع ذلك، لا تتلقى نماذج الانتشار أي توجيه صريح فيما يتعلق بهذا التمييز أثناء التدريب. وبناءً على ذلك، ليس من الواضح ما إذا كانت هذه النماذج تفكك هذه العناصر مفاهيمياً أم تعاملها كتمثيلات متشابكة.

المنهجية
يتقصى المؤلفون كيفية ترميز نماذج الانتشار القائمة على المحولات (transformer-based) للمحتوى والأسلوب من خلال تحليل التوزيع المكاني لخرائط الحرارة لآلية الانتباه المتقاطع (cross-attention). تتبع الدراسة النهج التقني التالي:

• البيانات والمطالبات: تم إنشاء مجموعة بيانات مكونة من 16,000 مطالبة فريدة باستخدام 80 فئة من الكائنات من مجموعة MS-COCO و50 واصفاً للأسلوب (23 فناناً و27 حركة فنية) من WikiArt. تم استخدام أربعة قوالب مطالبات مختلفة لعزل متغيرات المحتوى والأسلوب (مثل: "لوحة لـ <المحتوى> بأسلوب <الأسلوب>").
• النموذج: أُجريت التجارب باستخدام نموذج Stable Diffusion XL (SDXL)، وهو نموذج مفتوح المصدر يسمح بالوصول إلى التمثيلات الداخلية.
• تحليل الانتباه: تستخدم الدراسة خرائط الإسناد التابعة لـ DAAM (Diffusion Attentive Attribution Maps) لاستخراج خرائط الإسناد الخاصة بكل رمز (token). تقوم هذه الخرائط بتصور العلاقة المكانية بين رموز المطالبة المحددة وبكسلات الصورة عن طريق تجميع مصفوفات الانتباه المتقاطع عبر الأبعاد المكانية والزمنية والمعمارية لشبكة U-Net لتقليل الضجيج.
• المقياس الكمي: لقياس الفصل بين المحتوى والأسلوب، يتم تحويل خرائط الإسناد المستمرة إلى أقنعة ثنائية. يتم حساب "الاتحاد فوق التقاطع" (IoU) بين قناع رمز المحتوى ($IoU_{CS}$) وقناع رمز الأسلوب. ويتم مقارنة ذلك بمتوسط $IoU$ المرجعي ($mIoU_B$) المحسوب عبر جميع أزواج الرموز الممكنة في المطالبة لمراعاة آفاق الانتباه العامة.
• مقياس الأهمية: تم تقديم مقياس فرق، $\Delta = mIoU_B - IoU_{CS}$. تشير قيمة $\Delta$ الموجبة إلى أن رموز المحتوى والأسلوب تنتبه إلى مناطق مكانية متميزة (فصل)، بينما تشير القيمة السالبة إلى ارتباط مكاني أعلى وتشابك مفاهيمي.

النتائج الرئيسية
يقدم التحليل رؤى كمية ونوعية حول سلوك النموذج:

• الفصل العام: في المتوسط، تكون قيمة $IoU_{CS}$ أقل بكثير من المرجع $mIoU_B$ (مع $p < 0.001$)، مما يشير إلى أن رموز المحتوى والأسلوب تؤثر عموماً على مناطق متكاملة في الصورة المولدة. حيث تنشط رموز المحتوى بشكل أساسي المناطق المتعلقة بالكائن، بينما تؤثر رموز الأسلوب على مناطق الخلفية والنسيج.
• التباين حسب الرمز: درجة الفصل ليست موحدة؛ فهي تختلف بشكل كبير بناءً على مصطلحات المحتوى والأسلوب المستخدمة.
  • فصل عالٍ: تُظهر المصطلحات المتعلقة بالحيوانات (مثل الزرافة، الخراف) والحركات الفنية التصويرية (مثل الواقعية الجديدة، الروكوكو) قيم $\Delta$ عالية، مما يشير إلى فك تشابك مكاني واضح.
  • فصل منخفض/سالب: يُظهر مصطلح "شخص" (person) أدنى قيم لـ $\Delta$. ومن الملاحظ أن الفنان "رامبرانت" هو المكون الأسلوبي الوحيد الذي سجل متوسط $\Delta$ سالباً، مما يشير إلى أن النموذج يخلط بين الأسلوب والمحتوى.
• الملاحظات النوعية:
  • في حالات الفصل العالي، تُظهر خرائط الحرارة مناطق متميزة للموضوع والأسلوب.
  • في حالات الفصل المنخفض (مثل أسلوب رامبرانت)، ينشط رمز الأسلوب في المناطق المرتبطة بالموضوع نفسه. فعلى سبيل المثال، عند توليد "بقرة بأسلوب رامبرانت"، يبدو أن النموذج يقوم بـ "إلباس" البقرة، حيث يطبق الأسلوب على ملابس الكائن، مما يوحي بأن النموذج يفسر أسلوب رامبرانت كونه مرتبطاً جوهرياً بأشكال بشرية أو تصويرية معينة.
  • تكشف الحالات الحدية أن الموضوعات التي تظهر تكراراً في سياقات أسلوبية معينة (مثل النساء في لوحات كيرشنر) قد يتم استيعابها من قبل النموذج كعناصر أسلوبية بحد ذاتها.

الأهمية والمساهمات
يزعم البحث أنه يقدم أول تحقيق منهجي في كيفية فهم النماذج التوليدية واسعة النطاق للتمييز بين المحتوى الفني والأسلوب داخلياً دون إشراف صريح. وتتمثل المساهمات الرئيسية فيما يلي:

1. الفهم الناشئ: تشير النتائج إلى أن نماذج الانتشار تُظهر فهماً ناشئاً، وإن كان غير كامل، للتمييز بين المحتوى والأسلوب، وغالباً ما تفصل بين هذه المفاهيم مكانياً أثناء التوليد.
2. السلوك المدفوع بالبيانات: تسلط الدراسة الضوء على أن سلوك النموذج يتأثر بشدة ببيانات التدريب الخاصة به؛ حيث يمكن أن يؤدي التواجد المتكرر للموضوعات والأساليب في مجموعة بيانات التدريب إلى تشابك مفاهيمي حيث تنتبه رموز الأسلوب إلى مناطق المحتوى.
3. الأدوات: يطلق المؤلفون الكود البرمجي، ومجموعة البيانات، وأداة استكشافية لتصور خرائط الانتباه لتسهيل المزيد من الأبحاث في قابلية تفسير النماذج التوليدية.

يخلص العمل إلى أنه بينما يوجد فصل عام، فإن التفاعل المحدد بين المحتوى والأسلوب ليس بسيطاً ويعتمد بشدة على المطالبات الفنية المحددة والخصائص الإحصائية لمتن البيانات (corpus).