Go witheFlow: Real-time Emotion Driven Audio Effects Modulation
تقدم هذه الورقة نظام "witheFlow"، وهو نظام مفتوح المصدر وخفيف الوزن يعزز الأداء الموسيقي في الوقت الفعلي من خلال التعديل التلقائي للمؤثرات الصوتية بناءً على سمات مستخرجة من كل من الإشارات الحيوية والصوت نفسه، وذلك لجسّر الفجوة بين التعبير العاطفي البشري والتعاون الآلي.
تخيل موسيقياً يعزف على آلة موسيقية، ولكن بدلاً من مجرد سماع النغمات، تشعر موسيقاه أيضاً بحالته المزاجية. هذه هي الفكرة الجوهرية وراء witheFlow، وهو نظام جديد مصمم لمساعدة الموسيقيين والآلات على العمل معاً في الوقت الفعلي.
إليك شرح مبسط لكيفية عمله، باستخدام تشبيهات من الحياة اليومية:
الفكرة الكبرى: مساعد طيار موسيقي
تخيل الموسيوسيقي كسائق، وآلته الموسيقية كسيارة. عادةً، يتحكم السائق في كل شيء. مع witheFlow، تمتلك السيارة مساعد طيار ذكي لا يقود السيارة نيابة عنه، بل يضبط ببراعة شديدة الراديو، والمصاب الأمامية، وصوت المحرك بناءً على شعور السائق وكيف يبدو الطريق (الموسيقى).
الهدف ليس استبدال الموسيقي أو كتابة الأغنية له. بدلاً من ذلك، الهدف هو جعل الموسيقى تبدو أكثر تعبيراً من خلال تعديل "نكهة" الصوت تلقائياً (مثل إضافة الصدى، أو التشويه، أو التردد) لتناسب الحالة الداخلية للموسيقي.
كيف "يقرأ" الموسيقي
يستخدم النظام طريقتين رئيسيتين لفهم ما يحدث:
مستشعرات الجسم (فحص "القلب والعقل"): يرتدي الموسيقي مستشعرات خاصة غير جراحية (مثل ساعة ذكية أو عصابة رأس).
عصابة الرأس (EEG): تستمع إلى موجات الدماغ لترى ما إذا كان الموسيقي مركزاً (مثل صقر يراقب فريسته) أو مسترخياً (مثل قطة تغط في نوم عميق تحت الشمس).
حزام الصدر (ECG): يراقب القلب لقياس التوتر. فكر في هذا كـ "مقياس للتوتر" يخبرنا ما إذا كان الموسيقي هادئاً أم في حالة "الكر والفر".
الميكروفون (الأذن): يستمع النظام أيضاً إلى الموسيقى التي تُعزف فعلياً. يقوم بتحليل الصوت لتخمين العاطفة وراء النغمات نفسها؛ هل هي سعيدة وحيوية (طاقة عالية، مزاج إيجابي) أم حزينة وبطيئة؟
سحر "لوحة التحكم"
بمجرد أن يعرف النظام مزاج الموسيقي ومزاج الموسيقى، يعمل كأنه مهندس صوت ذكي يجلس أمام لوحة التحكم.
كتاب القواعد: يتبع النظام مجموعة من القواعد البسيطة (مثل الوصفة). على سبيل المثال:
إذا كان الموسيقي متوتراً والموسيقى هادئة: قد يضيف النظام تأثيراً صوتياً "جامحاً" أو "فوضوياً" ليتناسب مع ذلك التوتر، أو ربما يضيف تأثيراً مهدئاً لتهدئته (اعتماداً على القاعدة المختارة).
إذا كان الموسيقي في قمة التركيز: قد يقوم بشحذ الصوت ليتناسب مع تلك الكثافة.
النتيجة: تتغير الموسي التي تخرج من السماعات فوراً. إذا أصبح الموسيقي متوتراً، قد يصبح الصوت أكثر حدة أو "ضبابية". وإذا استرخى، قد يصبح الصوت أكثر سلاسة ودفئاً.
لماذا هذا الأمر مهم
يؤكد البحث أن البشر هم لا يزالون هم المتحكمون.
لا وجود لـ "الصندوق الأسود": النظام ليس ذكاءً اصطناعياً غامضاً يكتب الأغنية. إنه أداة تستجيب للإنسان.
التحكم: يمكن للموسيقي إيقاف تشغيل النظام أو تغيير القواعد في أي وقت باستخدام دواسة قدم، تماماً مثل إيقاف تشغيل مثبت السرعة.
الخصوصية: يعمل النظام على جهاز كمبيوتر محمول أمام الموسيقي مباشرة. إنه لا يرسل معدل ضربات القلب أو موجات الدماغ الخاصة به إلى السحابة (الإنترنت)، مما يحافظ على أمان بياناته الشخصية.
الوضع الحالي
في الوقت الحالي، هذا يعتبر إثباتاً للمفهوم. فكر فيه كنموذج أولي عامل أو "نسخة تجريبية" بناها الباحثون واختبروها مع موسيقيين.
الموسيقيون الذين جربوا النظام قالوا إنه كان شعوراً جيداً، خاصة عندما كانوا يرتجلون (يؤلفون الموسيقى في اللحظة).
لا يزال الباحثون يعملون على جمع المزيد من البيانات لجعل النظام أكثر ذكاءً، لكن الفكرة الأساسية تعمل بالفعل: جسدك وموسيقاك يمكنهما التحدث مع بعضهما البعض، والكمبيوتر يساعد في ترجمة هذا الحوار إلى صوت.
باختختصار، witheFlow هو جسر بين مشاعرك الداخلية والصوت الذي تبدعه، مما يجعل الأداء يبدو أكثر حيوية واتصالاً، دون انتزاع عجلة الإبداع من يد الإنسان.
ملخص تقني لـ "Go witheFlow: تعديل المؤثرات الصوتية المعتمد على العاطفة في الوقت الفعلي"
بيان المشكلة تتركز تطبيقات الذكاء الاصطناعي الحالية في الموسيقى بشكل أساسي على التوليد المستقل، أو التصنيف، أو التوصية، مما يضع الذكاء الاصطناعي غالبًا في موقع البديل للإبداع البشري بدلاً من كونه أداة تعاونية. علاوة على ذلك، تعالج تقنيات الموسيقى التقليدية الإشارات الصوتية بمعزل عن السياق، متجاهلةً الحالة العاطفية والفسيولوجية للعازف في الوقت الفعلي. هناك نقص في الأنظمة التي تستخدم ذكاءً اصطناعيًا خفيف الوزن ومحليًا لتوفير تغذية راجعة فورية ومنخفضة زمن التأخير للمؤدين الحيّين، مما يسد الفجوة بين الحالة الداخلية للموسيقي ومخرجاته الصوتية دون إدخال زمن التأخير أو الأعباء الحسابية المرتبطة بالحلول القائمة على السحابة.
المنهجية يقترح المؤلفون witheFlow، وهو نظام لإثبات المفهوم مصمم لتعزيز الأداء الموسيقي في الوقت الفعلي من خلال التعديل التلقائي للمؤثرات الصوتية بناءً على دمج الإشارات الحيوية وتحليل الصوت. تم تنفيذ النظام بلغة بايثون (Python)، وهو يعمل محليًا على جهاز كمبيوتر محمول، ويتواصل عبر بروتوكول MIDI مع محطة عمل صوتية رقمية (DAW).
تتكون البنية من ثلاث مكونات رئيسية:
استخراج ميزات الإشارات الحيوية:
المستشعرات: يستخدم النظام مستشعرات تخطيط كهربية الدماغ (EEG) وتخطيط كهربية القلب (ECG) من الفئة التجارية.
معالجة EEG: يتم أخذ عينات من الإشارات بتردد 250 هرتز من الأقطاب الكهربائية عند O1 وO2 وT3 وT4. يتم استخراج القدرة من نطاقات ألفا (8-13 هرتز) وبيتا (13-30 هرتز) عبر نوافذ منزلقة مدتها 4 ثوانٍ. يتم اشتقاق مقياسين: الانتباه (قدرة بيتا / (ألفا + بيتا)) والاسترخاء (قدرة ألفا / (ألفا + بيتا)).
معالجة ECG: يتم أخذ عينات بتردد 1000 هرتز. يتم حساب مؤشر بايفسكي للضغط (SI) باستخدام نافذة منزلقة مدتها 15 ثانية (بتحليل 30 نافذة كل منها 0.5 ثانية). يحدد هذا المؤشر مستوى الضغط من خلال عكس التوازن بين نشاط الجهاز العصبي الودي ونظير الودي.
المتانة: يتضمن النظام كشفًا للشوائب (Artifact detection). إذا تم اكتشاف شوائب مستمرة (مثل سوء الاتصال)، يتم إيقاف تشغيل الجهاز المتأثر. بالنسبة للشوائب العابرة في EEG، يتم استخراج الميزات من الأقطاب المتبقية؛ وإذا فشلت جميعها، يتم تعويض القيم من الخطوات الزمنية السابقة.
منظم عواطف الصوت (Audio Emotion Regressor):
النموذج: يُستخدم بنية PANNs CNN10، المدربة على مجموعة بيانات DEAM. تم استبدال طبقة التصنيف النهائية بمنظم خطي لإخراج قيمتين: التكافؤ (Valence) والاستثارة (Arousal).
المدخلات: يتم خفض معدل أخذ عينات الصوت "الجاف" (غير المعالج) إلى 30 كيلو هرتز ومعالجته في نوافذ مدتها 5 ثوانٍ.
القصور: يشير المؤلفون إلى أن ضبط المعلمات الفائقة (Hyperparameter tuning) ضئيل، وأن مجموعات البيانات الحالية تحتوي عادةً على إنتاجات كاملة بدلاً من العروض المنفردة، وهو هدف لتطوير مجموعات البيانات المستقبلية.
منطق المزج القائم على القواعد:
الآلية: يقوم النظام بتوجيه الصوت الجاف عبر سلاسل مؤثرات متوازية متعددة في محطة العمل الرقمية (DAW). تقوم وحدة منطق المزج بتعديل كسب (Gain) كل قناة ديناميكيًا بناءً على مزيج من الحالة الفسيولوجية للمؤدي (الضغط، الانتباه) والحالة العاطفية للصوت (التكافؤ، الاستثارة).
التكوين: يتم تحديد المنطق عبر ملفات YAML قابلة للتخصيص تحتوي على قواعد (مثل stress < x < attention). تُطلق هذه القواعد وظائف بايثون لتعزيز أو كبح قنوات مؤثرات معينة.
الاستراتيجية: تهدف مجموعات القواعد الحالية إلى مواءمة المزيج الخارج مع قصد المؤدي. فعلى سبيل المثال، تحت حالة الضغط العالي/الانتباه العالي، يقوم النظام بتعزيز المؤثرات التي تكون "بعيدة" عن الإشارة الجافة في فضاء (Valence-Arousal)، لخلق بيئة صوتية متباينة. وتحت حالة الضغط المنخفض/الانتباه المنخفض، يتم تعزيز المؤثرات القريبة من الإشارة الجافة ذات الاستثارة المنخفضة.
التحكم: يمكن للمؤدين تعديل قوة هذه القواعد أو تجاوزها تمامًا عبر دواسات MIDI القدمية.
المساهمات الرئيسية
بنية النظام: تقديم witheFlow، وهو نظام مفتوح المصدر وخفيف الوزن يدمج الإشارات الحيوية وتحليل الصوت لتعديل المؤثرات الصوتية في الوقت الفعلي دون الاعتماد على السحابة.
نهج الذكاء الاصطناعي الهجين: مزيج من تعلم الآلة (لتنظيم العواطف واستخراج ميزات الإشارات الحيوية) والمنطق الشفاف القائم على القواعد (لقرارات المزج) لضمان القابلية للتفسير والتحكم.
التنفيذ المحلي: تصميم يعطي الأولوية لزمن التأخير المنخفض، وخصوصية البيانات، وسهولة النقل، مما يسمح للنظام بالعمل بالكامل على جهاز محلي.
آليات المتانة: تنفيذ الكشف عن الشوائب والتبديل التكيفي للقواعد للحفاظ على الوظائف أثناء تدهور إشارة المستشعرات.
النتائج والتقييم تقدم الورقة البحثية النظام في مرحلة إثبات المفهوم.
تعليقات المستخدمين: تم تطوير واختبار النظام بالتعاون مع عدة موسيقيين. أفاد المشاركون بتجربة إيجابية بشكل عام، خاصة خلال جلسات الارتجال، مشيرين إلى أن استجابة النظام لحالتهم الداخلية فتحت آفاقًا تعبيرية جديدة.
الحالة التقنية: نجح النظام في توجيه الصوت، ومعالجة الإشارات الحيوية، وتطبيق تعديلات الكسب القائمة على القواعد في الوقت الفعلي. ومع ذلك، يذكر المؤلفون صراحةً أنه لم يتم إجراء ضبط كبير للمعلمات الفائقة، وأن مجموعة بيانات مخصصة متعددة الآلات للعروض المنفردة قيد التطوير حاليًا لتحسين منظم الصوت.
الأهمية والادعاءات يضع المؤلفون witheFlow ليس كمؤلف مستقل، بل كأداة تحافظ على الوكالة الإبداعية البشرية مع تسخير الذكاء الاصطناعي للتعامل مع المعالجة التقنية.
التعاون المتمحور حول الإنسان: يهدف النظام إلى خلق "بيئة محررة" حيث يعمل الذكاء الاصطناعي كأداة تعزيز بدلاً من منافس، مما يسمح للمؤدين بالتركيز على التعبير عن الذات.
الوعي الحيوي: من خلال خلق اتصال مباشر بين التجربة العاطفية الداخلية والمخرجات الصوتية، يسهل النظام "الوعي الحيوي" والتكامل بين العقل والجسد للموسيقيين.
الاتجاهات المستقبلية: تحدد الورقة اتجاهات بحثية تشمل إنشاء أطر تقييم رسمية، وتطوير مجموعات بيانات أكبر تحتوي على إشارات حيوية وعروض منفردة، واستكشاف بنيات هجينة حيث تتعامل النماذج المحلية القابلة للتفسير مع التفاعل في الوقت الفعلي بينما تقدم الأنظمة السحابية رؤى رفيعة المستوى.
الموقف الأخلاقي: يؤكد المؤلفون على أهمية الخصوصية (من خلال المعالجة المحلية)، والموافقة المستنيرة، وقدرة المؤدي على تجاوز النظام لضمان السلامة النفسية والحفاظ على ملكية الأداء.