Token-Based Audio Inpainting via Discrete Diffusion
تقدم هذه الورقة إطار عمل جديد للانتشار المنفصل القائم على الرموز (token-based discrete diffusion) يعمل بفعالية على استعادة الأجزاء المفقودة الطويلة في التسجيلات الصوتية المتدهورة من خلال الاستفضاء من أجهزة الترميز (tokenizers) سابقة التدريب ودمج التنظيم القائم على المشتقات والانتقالات الامتصاصية القائمة على المدى للتفوق على النماذج المرجعية الحالية في مجموعتي بيانات MusicNet وMAESTRO.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك أسطوانة فينيل قديمة وعزيزة على قلبك لسيمفونيتك المفضلة. على مر السنين، تعثرت الإبرة، أو ربما تسبب انسكاب القهوة في إتلاف بضع ثوانٍ من الموسيقى. يمكنك سماع النوتات قبل الفجوة والنوتات بعدها، لكن المنتصف ليس سوى صمت أو ضجيج ساكن. هدفك هو ملء هذه القطعة المفقودة بشكل مثالي بحيث لا يستطيع أحد معرفة أنها كانت تالفة.
هذه هي مشكلة الترميم الصوتي (Audio Inpainting).
لفترة طويلة، حاولت الحواسيب إصلاح ذلك من خلال النظر إلى الموجات الصوتية الخام (الخطوط المتعرجة) أو مخططات التردد (مثل الخريطة المرئية للصوت). ولكن عندما تكون القطعة المفقودة طويلة — كأن تكون جملة موسيقية كاملة — فإن هذه الطرق غالباً ما ترتبك. قد تملأ الفجوة بضجيج آلي غريب أو نوتة لا تتناسب مع اللحن. الأمر يشبه محاولة إكمال جملة عبر تخمين كلمات عشوائية؛ قد يكون القواعد النحوية سليمة، لكن المعنى يضيع.
النهج الجديد: تحويل الموسيقى إلى قطع "ليغو" (LEGO)
يقدم البحث طريقة جديدة تسمى AIDD (الترميم الصوتي عبر الانتشار المنفصل). بدلاً من محاولة إصلاح الموجات الصوتية الخام مباشرة، قرر المؤلفون ترجمة الموسيقى أولاً إلى لغة مختلفة: الرموز المنفصلة (Discrete Tokens).
فكر في الإشارة الصوتية ليس كنهر مستمر من الماء، بل كسلسلة طويلة من قطع الليغو.
- الطريقة القديمة: محاولة إصلاح جسر مكسور عن طريق صب المزيد من الماء فوقه.
- الطريقة الجديدة: تفكيك الجسر، وتحويل الجزء المكسور إلى كومة من قطع الليغو المحددة، ثم الطلب من خبير بناء أن يكتشف بالضبط أي قطع الليغو تناسب الفراغ لإعادة بناء الجسر بشكل مثالي.
إليك كيف يعمل "بناء الليغو" هذا، مقسماً إلى ثلاث خطوات بسيطة:
1. المترجم (Tokenization)
أولاً، يستخدم الكمبيوتر أداة تسمى WavTokenizer. تخيل هذا كمترجم يستمع إلى الموسيقى ويحول كل صوت إلى رمز قصير، مثل تسلسل من الأرقام أو الرموز (على سبيل المثال: "نوتة دو"، "ضربة طبل"، "صمت").
- لماذا نفعل ذلك؟ من الأسهل للكمبيوتر التنبؤ بالكلمة التالية في جملة (أو قطعة الليغو التالية في تسلسل) بدلاً من التنبؤ بالشكل الدقيق لقطرة ماء. هذا يسمح للكمبيوتر بفهم معنى وبنية الموسيقى، وليس مجرد الضجيج الخام.
2. البناء "المغمض العينين" (Discrete Diffusion)
هذا هو الجزء السحري. يأخذ الكمبيوتر تسلسل قطع الليغو ويكسر بعضها عمداً، مستبدلاً إياها بقطعة "فارغة" عامة (قناع/mask).
- العملية: يلعب الكمبيوتر بعد ذلك لعبة "تخمين القطعة المفقودة". ينظر إلى القطع قبل وبعد الفجوة ويحاول تخمين ما يجب أن تكون عليه القطع الفارغة.
- اللمسة المبتكرة: هو لا يخمن بشكل مثالي من المحاولة الأولى. بل يضع تخميناً تقريبياً، ثم يصقله، ثم يصقله مجدداً، مراراً وتكراراً (مثل النحات الذي ينحت في الحجر). تسمى هذه العملية الانتشار (Diffusion). ولأنه يعمل مع قطع الليغو (الرموز المنفصلة) بدلاً من الماء (الموجات المستمرة)، يمكنه التعامل مع فجوات ضخمة دون أن يتوه. يمكنه "تخيل" لحن جديد تماماً يتناسب تماماً مع بقية الأغنية.
3. السلاحان السريان
للتأكد من أن الموسي المُعاد بناؤها تبدو طبيعية وليست آلية، أضاف المؤلفون قاعدتين خاصتين للتدريب:
قاعدة "النعومة" (الخسارة القائمة على المشتقات):
تخيل أنك ترسم خطاً على ورقة. إذا حركت يدك فجأة وبشكل مفاجئ، سيبدو الخط متعرجاً وغير طبيعي. يحتاج الكمبيوتر لتعلم أن الموسيقى تتدفق بسلاسة. أضاف المؤلفون قاعدة تعاقب الكمبيوتر إذا كانت تخميناته تقفز بجنون. هذا يجبر "قطع الليغو" على الانتقال بسلاسة، مما يضمن ألا تبدو الموسيقى وكأنها صوت روبوت متلعثم.قاعدة "الكتلة" (القناع القائم على المدى):
في الماضي، ربما تم تدريب الحواسيب عن طريق إخفاء قطعة واحدة في كل مرة. ولكن في الواقع، الفجوات غالباً ما تكون كتلًا كبيرة من الصوت المفقود. قام المؤلفون بتدريب الكمبيوتر عن طريق إخفاء أجزاء كاملة من القطع في وقت واحد. هذا يعلم النموذج فهم الصورة الكبيرة وسياق الجملة الموسيقية بأكملها، وليس فقط الجار المباشر.
النتائج: لماذا هذا مهم؟
اختبر الباحثون طريقتهم على مجموعتي بيانات كبيرتين للموسيقى الكلاسيكية (MusicNet و MAESTRO). لقد صنعوا فجوات تتراوح من قفزات صغيرة إلى ثقوب ضخمة (تصل إلى 750 مللي ثانية، وهو وقت طويل في الموسيقى).
- النتيجة: ملأت طريقتهم الفجوات بشكل أفضل من أي طريقة سابقة.
- التشبيه: إذا كانت الطرق الأخرى تشبه طفلاً يحاول إنهاء لغز (Puzzle) عن طريق لصق قطع عشوائية تبدو "مناسبة نوعاً ما"، فإن AIDD يشبه خبيراً في حل الألغاز ينظر إلى الصورة الموجودة على العلبة ويعرف بالضبط كيف تبدو القطعة المفقودة، حتى لو كانت الفجوة ضخمة.
- الكفاءة: لم يكن الصوت أفضل فحسب، بل كان النموذج أيضاً أصغر وأسرع في التدريب من منافسيه.
باختصار
يتعلق هذا البحث بتعليم الحواسيب كيفية "الاستماع" إلى الموسيقى بطريقة أكثر ذكاءً. من خلال تحويل الصوت إلى تسلسل من الرموز المنفصلة (مثل الكلمات في جملة أو قطع في جدار) واستخدام لعبة تخمين ذكية (الانتشار) لملء الفراغات، يمكنهم ترميم التسجيلات التالفة بمستوى من الذكاء الموسيقي كان مستحيلاً في السابق. الأمر لا يقترج على إصلاح الضجيج فحسب؛ بل هو إعادة تخيل للموسيقى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.