Genre Controlled Music Generation via Activation Steering

ملخص تقني: التحكم في النوع الموسيقي عبر توجيه التنشيط

بيان المشكلة
ينتقل توليد الموسौقى الحاسوبي بشكل متزايد نحو الأنماط غير التقليدية، مما يخلق طلباً على طرق تسمح بدمج دقيق وقابل للتحكم للعناصر الموسيقية المتنوعة. وبينما استفادت الأعمال السابقة في مجال توليد الموسيقى الشرطية من المطالبات القائمة على النصوص (مثل أوصاف النوع أو الحالة المزاجية) أو الضبط الدقيق للتحكم في الآلات والأوتار، فإن هذه الأساليب غالباً ما تتطلب موارد حوسبة كبيرة أو تفتقر إلى التحكم الدقيق. كما أن تقنيات التدخل أثناء الاستنتاج (inference-time intervention) المستخدمة سابقاً قد طُبقت بشكل كبير على السمات المنفصلة أو النماذج اللغوية، مما ترك فجوة في وجود طرق خفيفة الوزن وفعالة للتحكم في المفاهيم المستمرة وغير الثنائية مثل الأنواع الموسيقية في نماذج المحولات ذات التوليد الذاتي (autoregressive transformers).

المنهجية
يقترح المؤلفون طريقة للتحكم الدقيق في النوع الموسيقي باستخدام تدخلات أثناء الاستنتاج على نموذج المحول التوليدي ذاتي التكرار، MusicGen. وتستند هذه الطلاقة إلى التفسير الآلي (mechanistic interpretability) وهندسة التنشيط (activation engineering)، مستلهمة من التقنيات المستخدمة لتفسير النماذج اللغوية الكبيرة (LLMs).

1. تحديد المفهوم والجس المباشر الخطي (Linear Probing):

• يقوم المؤلفون بتحليل تنشيطات التيار المتبقي (residual stream) ومخرجات طبقة الانتباه في MusicGen لتحديد مكان تمثيل المفاهيم الموسيقية (تحديداً الأنواع: الروك، الكلاسيك، الإلكترونيك، والجاز) خطياً.
• يطبقون خوارزمية $k$-means clustering على التنشيطات عبر الطبقات، ويقيمون مؤشر راند المعدل (ARI) والمعلومات المتبادلة الموحدة (NMI) لتحديد الطبقة التي يكون فيها تمثيل النوع الأكثر تميزاً.
• الجس المباشر الخطي (Linear Probes): يتم تدريب مصنف خطي (probe) على تنشيطات التيار المتبقي ($h^l_a$) لطبقات محددة للتنبؤ بتصنيفات النوع. يتعلم الجس الخطي رسم خرائط $\hat{y} = W^\top h^l_a + b$. ويتم تحديد الطبقة التي تحقق أعلى دقة في الجس كالموقع الأمثل للتمثيل الخطي للمفهوم.

2. توجيه التنشيط (Activation Steering):

• بمجرد تحديد الطبقة المثلى ومتجه التوجيه (المستمد من أوزان الجس)، يقوم المؤلفون بإجراء تدخل أثناء الاستنتاج.
• يتم إضافة متجه توجيه بوحدة مقدار ($r^l$) إلى تنشيطات التيار المتبقي قبل الطبقة المستهدفة. يتم تعديل التدخل بواسطة معامل $\alpha$ (يتم البحث عنه في النطاق $[0.3, 1.0]$) ويتم تطبيقه كالتالي:
  $$h^l_i \leftarrow h^l_i + \frac{\alpha r^l}{1 + \alpha}$$
• يُطبق هذا التدخل بشكل انتقائي على التيار المتبقي الشرطي، مما يسمح للنموذج بتوجيه التوليد نحو نوع مستهدف مع الحفاظ على الميزات الأخرى مثل الإيقاع (tempo) والخطوط اللحنية، والتي يفترض المؤلفون أنها ممثلة في طبقات مختلفة.

3. الإعداد التجريبي:

• تستخدم التجارب نموذج musicgen-small ومجموعة بيانات متوازنة من مقاطع صوتية مدتها 10 ثوانٍ من مجموعة بيانات lewtun/music_genres (900 عينة لكل فئة للروك، الكلاسيك، الإلكترونيك، والجاز).
• تم اختبار الانتقالات في أزواج (على سبيل المثال: كلاسيك $\leftarrow$ إلكترونيك، روك $\leftarrow$ كلاسيك) ومقارنتها بخط أساس حيث يتم تحقيق الانتقالات فقط من خلال المطالبة النصية.

المساهمات الرئيسية
يحدد البحث ثلاث مساهمات رئيسية:

1. التوجيه القابل للتحكم من قبل المستخدم: طريقة تمكن المستخدمين من توجيه تنشيطات MusicGen لتحقيق تحكم محدد في النوع دون الحاجة لإعادة تدريب النموذج.
2. التوسع في المفاهيم المستمرة: توسيع تقنيات توجيه التنشيط فعالة الحوسبة، والتي استُخدمت سابقاً للسمات المنفصلة، لتشمل المفاهيم المستمرة وغير الثنائية مثل الأنواع الموسيقية.
3. التحقق: تقييم شامل باستخدام مقاييس كمية (مبنية على CLAP) ودراسات استماع بشرية (اختبارات 2AFC) للتحقق من أن توجيه التنشيط يعزز التحكم في النوع مع الحفاظ على التماسك الموسيقي.

النتائج
قيمت الدراسة الطريقة من خلال منظورين:

• كمياً (درجات CLAP): باستخدام نموذج clap-htsat-unfused للتصنيف الصوتي الصفري، قاس المؤلفون مدى تشابه الصوت المولد مع تصنيفات النوع المستهدفة. أظهرت النتائج أن التوجيه أنتج باستمرار تحولات إيجابية أكبر في درجات CLAP مقارنة بالمطالبة النصية. على سبيل المثال، في انتقال "الكلاسيك $\leftarrow$ إلكترونيك"، حققت الطريقة الموجهة $\Delta$CLAP قدره $+0.2057$، مقارنة بـ $+0.1276$ للمطالبة النصية.
• نوعياً (دراسة استماع بشرية): كشفت دراسة الاختيار القسري بين بديلين (2AFC) شملت 24 مشاركاً (7 موسيقيين مدربين و17 غير متخصصين) عن تفضيل مستمر للعينات الموجهة على خطوط الأساس النصية عبر جميع انتقالات الأنواع. أظهر الموسيقيون المدربون دقة عالية في تفضيل العينات الموجهة (مثلاً 80.5% لـ روك $\leftarrow$ كلاسيك، $p < 0.0001$)، كما أظهر الجمهور العام تفضيلاً ملحوظاً في معظم الحالات.

الأهمية والادعاءات
يزعم البحث أن توجيه التنشيط يوفر بديلاً خفيف الوزن، وقابلاً للتفسير، وفعالاً للضبط الدقيق الثقيل أو التكييف القائم على النصوص فقط لتوليد الموسيقى القابل للتحكم. ومن خلال صياغة توجيه التنشيط كتفاعل يمكن للبشر التحكم فيه، يوضح العمل أن سلوكيات النماذج القابلة للتفسير يمكن أن تمكن سير العمل الإبداعي المشترك.

يشير المؤلفون بتواضع إلى أنه بينما تعمل درجات CLAP كوسيط مفيد لمحاذاة النوع، إلا أنها قد تلتقط سمات موسيقية مترابطة (مثل الجرس، الإيقاع، والوزن) بدلاً من دلالات النوع الصريحة. ويُعرض قوة التوجيه كمعامل تفاعلي للمستخدمين بدلاً من كونه معاملاً ثابتاً. ويخلص العمل إلى أن هذا النهج يثبت إمكانية تدخلات وقت الاستنتاج للتلاعب بالسمات الموسيقية حتى في غياب عينات متباينة بوضوح، مما يمهد الطريق لاستراتيجيات أكثر عمومية وقابلية للتفسير في توليد الموسيقى القابل للتحكم.