Repurposing Image Diffusion Models for Training-Free Music Style Transfer on Mel-spectrograms

ملخص تقني: Stylus – نقل أسلوب الموسيقى بدون تدريب عبر نماذج انتشار الصور المُعاد توظيفها

بيان المشكلة
يهدف نقل أسلوب الموسيقى إلى دمج العناصر الهيكلية لمقطع مصدر (اللحن، الإيقاع) مع السمات الأسلوبية لمقطع مرجعي (الجرس الصوتي، الملمس). وبينما حققت النماذج التوليدية الحديثة تقدماً في إنشاء الموسيقى، تواجه النهج الحالية "صفرية المعرفة" (zero-shot) قيوداً كبيرة. فالتكييف القائم على النصوص (مثل MusicLM وRiffusion) غالباً ما يفشل في التقاط الفروق الدقيقة والمحددة لنماذج صوتية معينة، مما يؤدي إلى أنماط خشنة أو غير متوافقة بدقة. ومن ناحية أخرى، فإن طرق انتشار "الصوت-إلى-الصوت" (مثل MusicTI) التي تعتمد مباشرة على إشارات صوتية، تتطلب عادةً تدريباً خاصاً بالمهمة، أو ضبطاً دقيقاً لمشفرات الأسلوب، أو التكيف مع فئات أسلوبية محددة مسبقاً. هذا الاعتماد على التدريب الإضافي يعيق القابلية للتوسع ويمنع النشر "صِفري المعرفة" للخصائص الجرسية الجديدة أو غير المصنفة. علاوة على ذلك، تعتمد العديد من الطرق الحالية على تقنيات تقدير الطور التكرارية مثل Griffin–Lim لإعادة بناء الموجة، والتي غالباً ما تسبب عيوباً مسموعة مثل التلطيخ الزمني والأصوات المعدنية.

المنهجية: إطار عمل Stylus
يقترح المؤلفون Stylus، وهو إطار عمل يعمل بدون تدريب يقوم بإعادة توظيف نموذج انتشار صور مدرب مسبقاً (تحديداً Stable Diffusion v1.5) للقيام بنقل أسلوب الموسيقى مباشرة في نطاق مخطط ميل (Mel-spectrogram). الفرضية الأساسية هي التعامل مع مخططات ميل كصور مهيكلة في الزمان والتردد، والاستفادة من الأولويات المكانية العامة التي تعلمتها نماذج انتشار الصور بدلاً من الانتظامات التوافقية الخاصة بالمجال الصوتي.

تتكون المنهجية من ثلاثة مكونات رئيسية:

1. التلاعب بالأسلوب القائم على الانتباه (Attention-Based Style Manipulation):
يعمل Stylus عن طريق التلاعب بطبقات الانتباه الذاتي لنموذج انتشار الصور المدرب مسبقاً. وهو يستفيد من التحيز الاستقرائي بأن استعلامات الانتباه الذاتي ($Q$) تثبت الهندسة الهيكلية، بينما تشفر المفاتيح ($K$) والقيم ($V$) الملمس الأسلوبي.

• العملية: يقوم الإطار بعملية عكس DDIM لكل من مخطط ميل المحتوى والأسلوب للحصول على تمثيلاتهما الكامنة. خلال عملية التوليد العكسي، يتم حقن ميزات المفتاح والقيمة ($K, V$) من مخطط ميل الأسلوب في طبقات الانتباه الذاتي لتوليد المحتوى.
• الحفاظ على الاستعلام (Query Preservation): لمنع تدمير البنية الموسيقية للمصدر، يتم الحفاظ على استعلامات المحتوى الأصلية ($Q_{mc}$) ودمجها مع الاستعلامات المولدة ($Q_{mo}$) باستخدام معلم فائق $\gamma$: $\bar{Q} = \gamma Q_{mc} + (1-\gamma)Q_{mo}$. يضمن هذا بقاء التخطيط الهيكلي سليماً مع تعديل الملمس.
• التهيئة (Initialization): يتم تهيئة الضجيج الكامن المنسق عبر دمج التمثيلات الكامنة للأسلوب والمحتوى بواسطة AdaIN.

2. إعادة البناء الحافظ للطور (Phase-Preserving Reconstruction):
للتخفيف من العيوب الشائعة في عكس المخطط الطيفي (مثل تلك الناتجة عن Griffin–Lim)، يستخدم Stylus استراتيجية الحفاظ على الطور. بدلاً من تقدير طور جديد من مخطط ميل السعة المعدل، يعيد الإطار استخدام الطور من الصوت الأصلي للمحتوى. يضمن هذا النهج الاستقرار الصوتي والدقة الإدراكية العالية دون الحاجة إلى تدريب إضافي، مما يسمح بفعالية بنقل السمات الأسلوبية عبر نطاق السعة مع تثبيت الطور.

3. شدة الأسلوب القابلة للتحكم (التدرج في التوجيه - Guidance Scaling):
لمعالجة صلابة التبديل البسيط للمفاتيح والقيم، والذي يفرض خياراً ثنائياً بين المحتوى والأسلوب، قدم Stylus استراتيجية استكمال مستوحاة من توجيه التصنيف الخالي من الفئة (CFG):
$$\phi_{blended} = \phi_{content} + \alpha \cdot (\phi_{style} - \phi_{content})$$
يسمح هذا بتعديل مستمر لقوة التنسيق، حيث تحافظ قيم $\alpha$ المنخفضة على الدقة الهيكلية، بينما تبرز قيم $\alpha$ العالية الخصائص الأسلوبية.

المساهمات الرئيسية

• إطار عمل بدون تدريب: اقتراح Stylus، وهو منهج يصيغ نقل أسلوب الموسيقى كعملية تلاعب بالانتباه لمخططات ميل الصور باستخدام نموذج انتشار صور ثابت ومدرب مسبقاً، مما يلغي الحاجة إلى تدريب خاص بالمهمة أو ضبط دقيق.
• التلاعب والتحكم في إعادة البناء: تقديم آلية تحكم في التلاعب بالانتباه (عبر $\alpha$ و$\gamma$) واستراتيجية إعادة بناء حافظة للطور تعمل على تحسين المرونة والدقة الإدراكية معاً.
• تقييم شامل صِفري المعرفة: تقييم شامل يثبت أن الأولويات المكانية العامة يمكن إعادة توظيفها بفعالية لتحويل مخططات ميل مهيكلة بشكل "صِفري المعرفة".

النتائج التجريبية
قام المؤلفون بتقييم Stylus مقابل النماذج المرجعية المتطورة، بما في ذلك MusicGen وMusicTI، باستخدام مجموعة بيانات MusicTI (253 مقطعاً صوتياً).

• الأداء الكمي: في تقييم واسع النطاق لـ 13,246 مزيجاً من المحتوى والأسلوب، حقق Stylus درجة أعلى بنسبة 34.1% في الحفاظ على المحتوى مقارنة بـ MusicTI. كما أظهر أداءً فائقاً في ملاءمة أسلوب المؤثرات الصوتية (أعلى بنسبة 11.9% من MusicTI).
• التقييم البشري: أظهرت دراسة شملت 65 مشاركاً صالحاً و2,925 تقييماً أن Stylus تفوق بشكل كبير على النماذج المرجعية في الجودة الإدراكية الإجمالية (3.38 مقابل ≤2.69) وفي الحفاظ على المحتوى (4.29 مقابل ≤2.95).
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن إزالة حقن المفتاح أو القيمة يؤدي إلى تدهور الأداء بشكل حاد. كما أكدت تجربة التدرج في التوجيه ($\alpha$) وجود مقايضة بين الالتزام بالأسلوب والحفاظ على المحتوى. علاوة على ذلك، ثبت أن إعادة البناء الحافظ للطور ينتج جودة إدراكية وتماسكاً موسيقياً أعلى مقارنة بإعادة بناء Griffin–Lim، رغم وجود مقايضة محتملة في الإشارات الدقيقة المعتمدة على الطور.

الأهمية والادعاءات
يزعم البحث أن Stylus يثبت الفرضية القائلة بأن الأولويات المكانية العامة التي تعلمتها نماذج انتشار الصور يمكن إعادة توظيفها بقوة للتحويل "صِفري المعرفة" لمخططات ميل مهيكلة. من خلال التعامل مع الصوت كصور، يتجاوز الإطار قيود النماذج الأصلية للصوت المقيدة بالقواعد الموسيكية المتعلمة، مما يتيح تحويلاً مرناً للأسلوب القائم على النماذج المثال. يربط هذا العمل بين معالجة الإشارات الصوتية والرؤية الحاسوبية التوليدية، ويقدم حلاً قابلاً للتوسع لإنشاء موسيقى مخصصة تحافظ على التكامل الهيكلي مع تحقيق نقل أسلوب عالي الدقة دون التكلفة الحسابية للتدريب الإضافي. يشير المؤلفون إلى أنه بينما يضحي النهج بالحساسية تجاه الإشارات الصوتية الدقيقة (مثل تبعات الطور) مقابل المتانة، فإنه يوفر أساساً قوياً للأعمال المستقبلية التي تهدف إلى تعزيز استعادة التفاصيل الصوتية مع الاحتفاظ بالاستدلال بدون تدريب.