تقترح هذه الورقة نهج انتشار مقنع مع ثلاثة تعديلات محددة لنمذجة شبكات إيقاعية متعددة محتملة، مما يتيح تتبعاً متماسكاً للإيقاع يقضي على المخرجات غير الصالحة مثل النبضات الهابطة المتتالية وتغيرات الإيقاع العشوائية.
المؤلفون الأصليون:Francesco Foscarin, Filip Korzeniowski, Richard Vogl
تخيل أنك تحاول تعليم روبوت كيف ينقر بقدمه على إيقاع أغنية ما. هذا هو عالم استرجاع المعلومات الموسيقية (MIR)، وهو مجال يستخدم فيه العلماء الحواسيب لفهم الهياكل الخفية للموسيقى. المهمة المحددة هنا هي "تتبع الإيقاع" (beat tracking): أي جعل الكمبيوتر يحدد بالضبط متى تضرب الطبول، والأهم من ذلك، أي من تلك الضربات تمثل بداية مقطع موسيقي جديد (النبضة القوية أو الـ "downbeat"). يبدو الأمر بسيطاً، لكن الموسيقى مخادعة؛ فقد يكون للأغنية إيقاع ثابت، أو قد تغير إيقاعها، أو قد يشعر المستمع بالإيقاع بطريقة تختلف عن شخص آخر.
لفترة طويلة، حاولت الحواسيب حل هذه المشكلة عبر النظر إلى الأغنية وتخمين الإيقاع في نظرة واحدة خاطفة وسريعة جداً. فهي تتنبأ بالنبضة لكل جزء صغير من الوقت دفعة واحدة. والمشكلة هي أن هذه الحواسيب غالباً ما ترتبك؛ فإذا كانت الأغنية غامضة، قد يحاول الكمبيوتر أن يكون شيئين في آن واحد، مما ينتج مخرجاً فوضوياً حيث يتضاعف الإيقاع فجأة، أو تحدث نبضتان لـ "بداية المقطع" متتاليتين. ولإصلاح هذه الفوضى، عادة ما يضطر المهندسون إلى وضع مجموعة صارمة من القواعد فوق تخمين الكمبيوتر، مثل معلم صارم يجبر الروبوت على النقر فقط في زمن 4/4 المثالي. لكن هذا البحث يسأل: ماذا لو استطعنا تعليم الكمبيوتر كيف يفكر بعناية أكبر قبل أن ينقر بقدمه، حتى لا يحتاج إلى ذلك المعلم الصارم؟
يقترح مؤلفو هذا البحث، العاملون في Moises AI، طريقة جديدة لتدريب هذه الروبوتات المهووسة بالإيقاع باستخدام ما يسمى بـ نموذج الانتشار المقنع (Masked Diffusion Model). فكر في هذا الأمر كأنه لعبة "خمن الأغنية" التي تُلعَب باستخدام أحجية (بازل). بدلاً من محاولة حل الأحجية بأكملها في خطوة واحدة، يبدأ الكمبيوتر بلوحة فارغة حيث تكون جميع مواضع النبضات مخفية (مقنعة). يقوم بتخمين أول لبعض المواضع، ثم يستخدم تلك التخمينات لتحسين المواضع التالية، ليكشف الإيقاع كاملاً خطوة بخ bước. هذه العملية "التكرارية" تسمح للنموذج بتغيير رأيه وتصحيح تخميناته الأولى، مما يبني إيقاعاً متماسكاً ومنطقياً بدلاً من كونه خليطاً فوضوياً.
وجد الباحثون أن هذا النهج التدريجي يحل مشكلة "الروبوت المرتبك". في تجاربهم، أظهروا أن الطريقة القديمة (التخمين بمرة واحدة) غالباً ما تنتج نتائج مضطربة، مثل إيقاع يتضاعف أو يتقلص فجأة، أو نبضات "بداية مقطع" متتالية لا معنى موسيقي لها. وباستخدام طريقة الانتشار المقنع الجديدة، تعلم النموذج اختيار تفسير واحد صالح للإيقاع والالتزام به. لم يكتفوا بالتخمين فحسب، بل قاموا بقياس النتائج أيضاً. ففي مجموعة اختبار قياسية تضم 993 أغنية، قلل نظامهم الجديد بشكل كبير من هذه الأخطاء "غير المتماسكة". على سبيل المثال، انخفض عدد المرات التي تنبأ فيها النموذج بنبضتين متتاليتين لبداية المقطع من متوسط 0.25 لكل مسار إلى 0.02 فقط. كما تحسن استقرار الإيقاع بشكل كبير، حيث انخفضت أخطاء "تضاعف أو تقليص الإيقاع" من 0.75 حدوث لكل مسار إلى 0.12.
والأهم من ذلك، يجادل البحث ضد فكرة أننا بحاجة إلى الاعتماد على قواعد معالجة لاحقة ثقيلة وصلبة (مثل "الشبكة البايزية الديناميكية" أو DBN) لإصلاح هذه الأخطاء. فرغم أن هذه القواعد يمكنها إجبار الروبوت على التصرف، إلا أنها غالباً ما تفسد الموسيقى إذا كانت الأغنية ذات موازين زمنية معقدة أو تغييرات مفاجئة في السرعة. ويقترح المؤلفون أنه من خلال تحسين التفكير الداخلي للنموذج عبر عملية التقنيع التكرارية هذه، ينتج الكمبيوتر نتائج أفضل بشكل طبيعي دون الحاجة إلى تلك العكازات الخارجية. كما أشاروا إلى أنه بينما تستغ-رق طريقتهم وقتاً أطول في التشغيل (حوالي 8 خطوات بدلاً من خطوة واحدة)، إلا أن ذلك يستحق العناء من أجل وضوح المخرجات. وقد وجدوا أيضاً أن دمج تنبؤات نماذج متعددة ("الجمع بين النماذج" أو ensemble) يجعل النتائج أكثر موثوقية، رغم أن هذا يزيد من وقت الحوسبة.
باختصار، يشير البحث إلى أنه من خلال السماح للكمبيوتر بـ "التفكير" في الإيقاع على مراحل بدلاً من تخمينه دفعة واحدة، يمكننا الحصول على فهم للموسيقى يشبه فهم البشر بشكل أكبر. فالنموذج لا يخرج مجرد قائمة من الأرقام، بل يبني قصة متماسكة للإيقاع، ويتعامل مع الأغاني الصعبة بمرونة لم تستطع الأنظمة القدسة الصلبة مضاهاتها. وبينما يعترف المؤلفون بأن هذا النهج يتطلب وقتاً أطول للتدريب وقدرة حوسبية أكبر، فإن النتائج تظهر مساراً واضحاً نحو حواسيب يمكنها حقاً "الشعور" بالوزن الموسيقي، حتى عندما تصبح الموسيقى معقدة.
بيان المشكلة تعتمد النهج الحالية للشبكات العصبية (NN) في تتبع الإيقاع (beat) والنبضة القوية (downbeat) عادةً على استراتيجية تنبؤ لكل إطار في خطوة واحدة. تفترض هذه المنهجية ضمنياً وجود مخرج واحد صالح لأي مدخل معطى. ومع ذلك، غالباً ما يحتوي المحتوى الموسيقي على غموض، مما يسمح بوجود مستويات مترية متعددة أو مواقع نبضات معقولة من الناحية الأسلوبية. وعند مواجهة هذا النوع من الغموض، تنتج الشبكات العصبية القياسية غالباً مخرجات غير متسقة، مثل نبضات قوية متتالية أو تضاعف/تقليص عشوائي لسرعة الإيقاع (tempo)، حتى في الحالات التي تغيب فيها هذه الأنماط عن بيانات التدريب. وبينما يمكن لتقنيات المعالجة اللاحقة المكثفة مثل الشبكات البايزية الديناميكية (DBNs) فرض قيود لإصلاح هذه الأعراض، إلا أنها لا تعالج السبب الجذري داخل الشبكة العصبية نفسها، وقد تؤدي إلى تدهور الأداء في الموسيقى المعقدة ذات الموازين الزمنية المتغيرة. علاوة على ذلك، فإن النماذج ذاتية الانحدار (autoregressive models)، التي يمكنها نظرياً نمذجة مخرجات متعددة صالحة، تسبب مشكلات في زمن انتقال الاستدلال (inference latency) أو تراكم الأخطاء عند تطبيقها على تتبع الإيقاع.
المنهجية يقترح المؤلفون إطار عمل نموذج الانتشار المقنع (Masked Diffusion Model - MDM) تم تكييفه خصيصاً لتتبع الإيقاع. بخلاف نماذج الخطوة الواحدة القياسية، يقبل نموذج MDM كلاً من المدخلات الصوتية والمتواليات الجزئية للمخرجات (النبضات والنبضات القوية). أثناء الاستدلال، يقوم النموذج بالكشف عن الرموز (tokens) بشكل تكراري، حيث يبني تسلسل المخرجات الكامل عبر تمريرات أمامية متعددة. يتيح ذلك للنموذج اختيار تفسير واحد صالح في وقت مبكر من العملية، ثم ملء بقية التسلسل بشكل متسق.
لتكييف نموذج MDM القياسي (تحديداً إطار LLaDA) مع مجال تتبع الإيقاع، قدم المؤلفون ثلاثة تعديلات حاسمة:
القناع المستقل للنبضات والنبضات القوية: على عكس نماذج MDM اللغوية التي تقنع تدفقاً واحداً من الرموز، يتضمن تتبع الإيقاع قناتين متمايزتين (النبضات والنبضات القوية) بمستويات ندرة مختلفة (النبضات القوية أقل كثافة بنحو 4 أضعاف). يقوم المؤلفون بقناع هاتين القناتين بشكل مستقل خلال كل من التدريب والاستدلال. يضمن ذلك أن يتعلم النموذج درجات ثقة منفصلة لكل قناة، مما يمنع حدوث خلل حيث تهيمن الإطارات غير الحدثية (اللوغيتات السالبة) على مقياس الثقة ويتم إلغاء قناعها قبل الأوان.
جدول زمني متوازن لإزالة القناع (Balanced Unmasking Scheduler): تميل استراتيجيات إزالة القناع القائمة على الثقة القياسية إلى الكشف عن الإطارات غير الحدثية أولاً لأن اللوغيتات السالبة غالباً ما تكون أكثر ثقة من الموجبة. ولمنع عدم التطابق بين التدريب والاستدلال، اقترح المؤلفون جدولاً زمنياً متوازناً لإزالة القناع. في كل خطوة استدلال، يتم تقسيم ميزانية إزالة القناع بين الإطارات الموجبة والسالبة المتوقعة بناءً على النسبة الحالية للإطارات الموجبة إلى السالبة للتوقعات المقنعة، مما يضمن مزيجاً متوازناً من الإطارات الحدثية وغير الحدثية التي يتم الكشف عنها.
اختيار القمة (Peak-Picking) بين خطوات الاستدلال: غالباً ما تتنبأ شبكات تتبع الإيقاع بتنشيطات تنتشر عبر إطارات مجاورة. في عملية الانتشار التكرارية، يمكن أن يؤدي ذلك إلى تجمعات من رموز "الحدث" (EVENT) المتجاورة، وهو سيناريو لم يظهر أثناء التدريب (حيث تكون الأحداث عبارة عن نبضات مفردة). يطبق المؤلفون خطوة معالجة لاحقة لاختيار القمة بعد كل خطوة استدلال. عندما يتم الكشف عن "حدث" جديد، يتم إجبار جميع الإطارات ضمن نافذة القرب على أن تصبح "لا حدث" (NO_EVENT). بالإضافة إلى ذلك، يفرض النظام قاعدة موسيقية: كل نبضة قوية يتم الكشف عنها تُفعل تلقائياً نبضة (beat) في نفس الموقع، مما يضمن الاتساق دون الاعتماد على قيود DBN الصارمة.
المساهمات الرئيسية
تكييف مبتكر للبنية: توضح الورقة كيفية تعديل بنية تتبع إيقاع قياسية (Beat This) لتعمل كنموذج انتشار مقنع مع تغييرات هيكلية طفيفة، باستخدام تنشيطات SwiGLU وجداول تضمين مستقلة للنبضات والنبضات القوية.
آلية استدلال متسقة: من خلال تحسين التوقعات بشكل تكراري، يحل النموذج الغموض عبر الالتزام بتفسير متري واحد متسق في وقت مبكر من العملية، بدلاً من إخراج خليط من الحلول المتنافسة.
استراتيجيات تدريب واستدلال متخصصة: يعالج تقديم قناع مستقل للقنوات، وإزالة القناع المتوازنة، واختيار القمة المرحلي تحديات عدم توازن الملصقات (labels)، وصياغة المهام المتعددة، والدقة الزمنية في تتبع الإيقاع.
النتائج تم تقييم النهج المقترح على مجموعة بيانات GTZAN ومقارنته بالأنظمة الرائدة (SOTA)، بما في ذلك نموذج Beat This الأصلي، وGagneré et al. [6]، وRu et al. [5].
تحسينات المقاييس: يحسن نهج MDM بشكل كبير مقاييس CMLt (تتبع المستوى المتري المتتالي) وAMLt (تتبع المستوى المتري الغامض)، وهي مقاييس تقيس استقرار الفواصل بين النبضات وتكون حساسة للغاية للتغيرات غير المتسقة في سرعة الإيقاع.
مكاسب الأداء: يحقق نظام MDM التجميعي (باستخدام 8 خطوات استدلال) قيمة CMLt للنبضات القوية تبلغ 76.4 وAMLt تبلغ 88.5، متفوقاً على نموذج Beat This غير الانتشاري ذي الحجم المماثل (67.3 و79.1 على التوالي) ومتفوقاً على النظام المماثل في الحجم من Gagneré et al. [6] دون استخدام معالجة DBN لاحقاً.
المقارنة مع أنظمة DBN: يتساوى نظام MDM مع نموذج MusicFM+HingeNet [5] الأكبر بكثير (الذي يمتلك 10 أضعاف عدد المعلمات) من حيث المقاييس الفائزة، رغم عدم استخدامه لمعالجة DBN.
الاتساق: تظهر التقييمات اليدوية والحسابات الاستدلالية انخفاضاً جذرياً في السلوكيات غير المتسقة. بالنسبة للاستدلال المكون من 8 خطوات، ينخفض متوسط عدد النبضات القوية المتتالية من 0.25 إلى 0.02 لكل مسار، وتنخفض حالات تضاعف/تقليص سرعة الإيقاع من 0.75 إلى 0.119.
الأهمية والادعاءات تزعم الورقة أن الأهمية الأساسية لهذا العمل هي القدرة على توليد مخرجات تتبع إيقاع متسقة دون الاعتماد على المعالجة اللاحقة المكثفة القائمة على القيود (DBNs) التي غالباً ما تفشل في الموسيقى المعقدة. ومن خلال نمذجة مخرجات متعددة محتملة واختيار واحدة من خلال الاستدلال التكراري، يعالج نهج MDM السبب الجذري للتوقعات غير المتسقة للشبكات العصبية.
يشير المؤلفون إلى أنه بينما تتكبد الطريقة تكاليف حوسبية أعلى (دورات تدريب أطول ووقت استدلال يتناسب مع عدد الخطوات)، إلا أنها تقدم مزايا عملية تتجاوز الدقة. وتحديداً، تسمح القدرة على قبول المخرجات الجزئية بتصحيح "الإنسان في الحلقة" (user-in-the-loop)، حيث يمكن للمستخدم تصحيح مواضع نبضات معينة وترك النموذج يكمل البقية، مما قد يسرع عملية التدوين للمقطوعات الصعبة. وتخلص الورقة إلى أن هذه النتائج قابلة للتعميم على مهام أخرى في استرجاع المعلومات الموسيقية (MIR) تعاني من مشكلة تعدد المخرجات الصالحة، مثل التعرف على التآلفات (chord recognition) وتقسيم البنية الموسيقية.