StyleVAR: Controllable Image Style Transfer via Visual Autoregressive Modeling

إليك ملخص تقني مفصل لورقة البحث بعنوان "StyleVAR: نقل أسلوب الصور القابل للتحكم عبر النمذجة التلافلية البصرية (Visual Autoregressive Modeling)."

1. بيان المشكلة

تتناول الورقة مسألة نقل أسلوب الصور المعتمد على المرجع (reference-based image style transfer)، وهي مهمة تهدف إلى توليد صورة مخرجة تحافظ على الدلالات الهيكلية والتخطيط المكاني لـ صورة المحتوى (content image) مع تبني النسيج الفني، ولوحة الألوان، والأنماط من صورة الأسلوب (style image).

التحديات الرئيسية:

• عملية التوازن: يجب على النماذج منع "الإفراط في التنميط" (الذي يشوه أشكال الأجسام ويكسر التماسك الدلالي) و"ضعف التنميط" (الذي يؤدي إلى صورة أصلية لم تتغير إلا قليلاً).
• قصور الطرق الحالية:
  • الطرق القائمة على CNN/GAN: غالباً ما تتطلب تدريباً لأنماط محددة، وتعاني من عدم الاستقرار، أو تفتقر إلى القدرة على التعميم.
  • الطرق القائمة على الانتشار (Diffusion-based): رغم جودتها العالية، إلا أنها مكلفة حاسوبياً بسبب خطوات إزالة الضجيج المتكررة، وغالباً ما تعتمد على ضوابط معقدة قائمة على النصوص (prompts) بدلاً من التكييف المباشر من صورة إلى صورة.
• قصور النماذج التلاففية (Autoregressive - AR): النماذج التلاففية القياسية (رمز تلو الآخر) غير فعالة للصور بسبب الافتقار إلى الوعي بالبنية ثنائية الأبعاد/متعددة المقاييس، مما يؤدي إلى بطء في أخذ العينات وجودة ضعيفة مقارنة بنماذج الانتشار.

2. المنهجية

يقترح المؤلفون StyleVAR، وهو إطار عمل يعمل على تكييف نموذج النمذجة التلاففية البصرية (VAR) لنقل الأسلوب. بدلاً من توليد الرموز (tokens) بشكل تسلسلي، يقوم VAR بتوليد الصور مقياساً بمقياس (من الخشن إلى الناعم).

أ. البنية الأساسية: الانتباه المتقاطع الممزوج (Blended Cross-Attention)

يعمل النموذج في فضاء كامن متعلم باستخدام VQ-VAE لتحويل الصور إلى رموز منفصلة عبر مقاييس متعددة ($1\times1$ إلى $16\times16$).

• الصياغة: يتم توليد الصورة المستهدفة $R$ تلاففياً مشروطة بسجل الرموز المولدة سابقاً ($r_{<k}$)، ورموز الأسلوب ($S$)، ورموز المحتوى ($C$).
  $$P(x | x_s, x_c) = \prod_{k=1}^{K} P(r_k | r_{<k}, s_k, c_k)$$
• آلية الانتباه المتقاطع الممزوج:
  • على عكس الانتباه المتقاطع القياسي حيث يكون الهدف هو الاستعلام (Query - $Q$)، يقوم StyleVAR بتعيين ميزات الهدف كـ مفتاح (Key - $K$) وقيمة (Value - $V$)، بينما تعمل ميزات الأسلوب والمحتوى كاستعلام (Query - $Q$).
  • التعليل: يضمن هذا أن النموذج يجمع سجل توليده الخاص (للحفاظ على الاستمرارية التلاففية) بينما يستخدم الأسلوب والمحتوى كـ "استعلام بحث" للتأكيد بشكل انتقائي على الجوانب ذات الصلة من ذلك السجل.
  • المعادلة: $h_{new} = h + [\alpha \cdot \text{Attn}(s_k, h, h) + (1-\alpha) \cdot \text{Attn}(c_k, h, h)]$، حيث $\alpha$ هو معامل المزج.

ب. استراتيجية التدريب ثنائية المراحل

لسد الفجوة بين دقة مستوى الرمز والجودة الإدراكية، يستخدم المؤلفون خط تدريب مكون من مرحلتين:

1. الضبط الدقيق الخاضع للإشراف (SFT):

   • تم التدريب على مجموعة بيانات كبيرة من الثلاثيات (محتوى، أسلوب، هدف).
   • يحسن خسارة التقاطع المحندي (cross-entropy loss) على مستوى الرمز باستخدام استراتيجية "إجبار المعلم" (teacher-forcing).
   • القصور: دقة الرمز لا تضمن بالضرورة الدقة الإدراكية (على سبيل المثال، قد يؤدي رمز مختلف قليلاً إلى نتيجة متطابقة بصرياً، أو قد يبدو رمز "صحيح" خاطئاً إدراكياً).

2. الضبط الدقيق بالتعزيز (GRPO):

   • الخوارزمية: تستخدم تحسين السياسة النسبي للمجموعات (GRPO)، والتي تلغي الحاجة إلى شبكة ناقد (critic network) منفصلة. تقوم الخوارزمية بأخذ عينات من مجموعة $G$ من المسارات لـ "مطالب" واحد، وتقييمها، وحساب المزايا بالنسبة لمتوسط المجموعة.
   • دالة المكافأة: تستخدم DreamSim، وهو مقياس تشابه إدراكي مُعاير وفقاً للتقدير البشري، لتقييم الصورة المفككة مقابل الحقيقة الأرضية (ground truth).
   • تخصيص الائتمان الواعي للمقياس (PANW): ابتكار حاسم. في نماذج VAR، تحتوي المقاييس الدقيقة (مثل $16\times16$) على رموز أكثر بـ 256 مرة من المقاييس الخشنة (مثل $1\times1$). المتوسط البسيط سيجعل المقاييس الدقيقة تهيمن على التدرجات، متجاهلة الهيكل العام. يطبق المؤلفون وزن التقييس لكل إجراء (PANW)، حيث يتم وزن الرموز عكسياً بالنسبة لدقتها المكانية ($w_t \propto (h_k \cdot w_k)^{-\alpha}$). يضمن هذا أن المقاييس الخشنة (التي تتحكم في التخطيط) تتلقى إشارة تدرج كافية.
   • تحديث المرجع التكراري: يتم تحديث سياسة المرجع ($\pi_{ref}$) ديناميكياً مع تحسن النموذج، مما يمنع عقوبة KL من إعاقة التقدم.

3. المساهمات الرئيسية

1. استخدام VAR لنقل الأسلوب: نجح في تكييف إطار عمل النمذجة التلاففية البصرية لنقل أسلوب الصور، مستفيداً من التوليد متعدد المقاييس (من الخشن إلى الناعم) لتحقيق حفظ هيكلي أفضل.
2. الانتباه المتقاطع الممزوج: قدم تكويناً مبتكراً للانتباه حيث تعمل الأنماط (الأسلوب والمحتوى) كاستعلامات لسجل الهدف، مما يوازن بين الاستمرارية الهيكلية وحقن الأسلوب.
3. GRPO مع PANW: اقترح إطار عمل للتعلم التعزيزي للتوليد البصري يحل مشكلة "صراع السياسة غير المتزامن" في النماذج متعددة المقاييس عبر وزن التقييس لكل إجراء، مما يضمن عدم التضحية بالهيكل العالمي لصالح النسيج المحلي.
4. التحسين الإدراكي: أثبت أن التحسين المباشر للمقاييس الإدراكية (DreamSim) عبر التعلم التعزيزي (RL) يعطي نتائج متفوقة مقارنة بالإشراف على مستوى الرموز وحده.

4. النتائج التجريبية

تم تقييم النموذج على ثلاث معايير: OmniStyle-150K (داخل التوزيع)، ImagePulse (قريب من التوزيع)، و COCO+WikiArt (خارج التوزيع).

• الأداء الكمي:
  • يتفوق StyleVAR (نسختا SFT و GRPO) باستمرار على نموذج AdaIN المرجعي عبر جميع المقاييس: خسارة الأسلوب (Style Loss)، خسارة المحتوى (Content Loss)، LPIPS، SSIM، DreamSim، وتماثل CLIP.
  • مكاسب GRPO: تحقق مرحلة GRPO تحسناً إضافياً على نسخة SFT، خاصة في مقاييس DreamSim و CLIP Similarity، مما يؤكد أن الضبط الموجه بالمكافأة يشحذ التوازن بين الأسلوب والمحتوى.
  • حفظ الهيكل: تحسينات ملحوقة في SSIM (تصل إلى +0.26) و LPIPS تشير إلى حفظ فائق لهندسة المحتوى مقارنة بطرق مطابقة الإحصاءات الميزية.
• الأداء النوعي:
  • يتفوق الأسلوب في نقل الأنسجة مع الحفاظ على البنية الدلالية، خاصة في المناظر الطبيعية والمشاهد المعمارية.
• مقايضة الكفاءة: بينما ينتج StyleVAR جودة أعلى، إلا أنه أبطأ من نماذج التغذية الأمامية مثل AdaIN (0.4 ثانية مقابل 0.007 ثانية لكل عينة) بسبب عملية أخذ العينات التلاففية.

5. القيود والعمل المستقبلي

• فجوة التعميم: يعاني النموذج مع صور الإنترنت غير المرئية، ويرجع ذلك على الأرجب إلى الإفراط في التخصيص (overfitting) لمجموعة محدودة من صور المحتوى الفريدة في مجموعة التدريب (حوالي 1,800 صورة محتوى فريدة لـ 150 ألف ثلاثية).
• خصوصية المجال: ينخفض الأداء بشكل كبير عند التعامل مع وجوه البشر. يعزو المؤلفون ذلك إلى التعقيد العالي لتضاريس الوجه وحساسية النظام البصري البشري الشديدة لأي شذوذ هيكلي في الوجوه.
• سرعة الاستدلال: الطبيعة التلاففية تجعله أبطأ من النماذج المعتمدة على التغذية الأمامية؛ قد يستكشف العمل المستقبلي طرق التقطير (distillation) أو فك التشفيد المتوازي.

6. الأهمية

يمثل StyleVAR خطوة هامة للأمام في التوليد المتحكم به للصور. من خلال الجمع بين الكفاءة الهيكلية للنمذجة التلاففية البصرية والمواءمة الإدراكية للتعلم التعزيزي (GRPO)، فإنه يقدم بديلاً قوياً لنماذج الانتشار لنقل الأسلوب. إن تقديم PANW هو أمر لافت للنظر بشكل خاص، حيث يوفر حلاً مبدئياً لمشكلة تخصيص الائتمان في النماذج التوليدية متعددة المقاييس، مما يضمن عدم طغيان تفاصيل النسيج المحلي على القرارات الهيكلية العالمية. يشير هذا العمل إلى اتجاه واعد للنماذج التوليدية المستقبلية التي تتطلب التزاماً صارماً بكل من بنية المحتوى والقيود الأسلوبية.