Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing
تقدم الورقة البحثية نموذج SIEDD، وهو نموذج انتشار منفصل متعدد الرموز (multi-codec discrete diffusion model) يستفيد من التوليد الهرمي للرموز والاشتراط الموجه بالنص لتحقيق أداء رائد في عمليات ترميم وتحرير الكلام مع الحفاظ على هوية المتحدث والنبرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تستمع إلى أغنيتك المفضلة، ولكن فجأة تختفي بضع ثوانٍ من اللحن، أو ربما همس شخص ما بكلمة لم تكن ترغب في سماعها. في عالم علوم الصوت، إصلاح هذه الفجوات دون إفساد بقية المقطوعة يشبه إلى حد كبير محاولة إصلاح نسيج ممزق. لا يمكنك مجرد لصق قطعة قماش جديدة فوقه؛ بل يجب أن يتطابق الخيط الجديد في اللون، والنسيج، وتوتر النسيج المحيط به تماماً. لعقود من الزمن، عانت الحواسيب من هذا الأمر. كان بإمكانها إصلاح الخدوش الصغيرة، ولكن إذا كان هناك جملة كاملة مفقودة، فغالباً ما كانت تبدو آلية أو غير متناغمة مع صوت المتحدث.
مؤخراً، بدأ العلماء في استخدام خدعة ذكية تسمى "الانتشار" (diffusion) لحل هذه المشكلة. فكر في "الانتشار" كأنه لعبة "الهاتف المكسور" ولكن بشكل عكسي. تخيل صورة واضحة تغطيها ببطء ضوضاء ساكنة حتى تصبح مجرد ضباب رمادي. نموذج الانتشار هو ذكاء اصطناعي ذكي يتعلم كيفية أخذ تلك الكتلة الرمادية الضبابية وإزالة الضوضاء منها ببطء، خطوة بخطوة، حتى تظهر الصورة الأصلية من جديد. وبينما يعمل هذا بشكل رائع مع الصور، فإن القيام بذلك في الكلام أمر صعب لأن الكلام ليس مجرد خط سلس واحد؛ بل هو مبني في طبقات، مثل كعكة ذات نكهات مختلفة متراكمة فوق بعضها البعض. يتعمق هذا البحث في كيفية استخدام لعبة "الضوضاء العكسية" هذه لإصلاح الكلام، ولكن مع لمسة خاصة تحترم تلك الطبقات.
يقدم الباحثون وراء هذه الدراسة، إفتاتش شوهام وفريقه، نظاماً جديداً يسمى SIEDD (ترميم وتحرير الكلام عبر الانتشار المنفصل). كان هدفهم الرئيسي هو إنشاء أداة يمكنها إما ملء الأجزاء المفقودة من التسجيل (الترميم/inpainting) أو استبدال الكلمات بكلمات جديدة (التحرير/editing) مع الحفاظ على صوت المتحدث، وإيقاعه، وعاطفته تماماً كما هي. وقد وجدوا أن الأساليب السابقة، التي حاولت بناء الكلام كلمة تلو الأخرى مثل قطار على سكة حديد، غالباً ما كانت ترتكب أخطاءً تتراكم مع الوقت. فإذا أخطأ الذكاء الاصطناعي في الكلمة الأولى قليلاً، فإن بقية الجملة ستكون غير متناسقة.
بدلاً من ذلك، يستخدم SIEDD نهج "الانتشار المنفصل". تخيل أن الكلام ليس قطاراً، بل هو منحوتة يتم نحتها. يبدأ الذكاء الاصطناعي بكتلة صخرية خشنة (الشكل الأساسي للصوت) ثم يقوم ببطء بنحت التفاصيل الدقيقة. الاكتشاف الكبير للورقة البحثية هو أنه يجب عليك احترام ترتيب هذه الطبقات. يحدد الذكاء الاصطناعي أولاً الهيكل "الخشن" (coarse structure) — أي الشكل الكبير والخشن للصوت — ويثبته كقاعدة صلبة. وفقط بعد ذلك ينتقل إلى الطبقة التالية لإضافة التفاصيل "الدقيقة" (fine details)، مثل الملمس المحدد للصوت. من خلال معاملة الطبقات الدنيا كإطار سياقي نظيف وملتزم، والقيام بعملية "إزالة الضوضاء" للطبقة الحالية فقط، يتجنب النموذج الارتباك الناتج عن محاولة تخمين التفاصيل الدقيقة قبل استقرار الشكل الخشن.
اختبر الفريق نظامهم على معيار يسمى RealEdit، والذي يتضمن سيناريوهات واقعية مثل إصلاح التسجيلات التالفة أو تغيير ما قاله شخص ما. تشير النتائج إلى أن SIEDD جيد جداً في مهمته. ففي اختبارات تحرير الكلام، حقق أفضل أداء إجمالي بين الطرق التي قارنوا بها، مع أدنى معدلات الخطأ في فهم الكلمات (WER) وأعلى درجة تشابه مع المتحدث الأصلي. وبالنسبة لملء الفجوات المفقودة، فقد تفوق على الطرق الشائعة الأخرى، خاصة عندما تكون هناك فجوات متعددة ليتم ملؤها في وقت واحد. ويشير المؤلفون إلى أن هذا النجاح يأتي من نمذجة "التسلسل الهرمي" للصوت بشكل صريح — أي الإقرار بأن بعض أكواد الصوت أكثر أهمية للصورة الكبيرة، بينما البعض الآخر مخصص فقط للتفاصيل الصغيرة.
إحدى الخدع الذكية في نظامهم هي "الموجه الموضعي" (localized guide). تخيل أنك تقوم بتحرير جملة، وتريد تغيير كلمة "قطة" إلى "كلب". يحتاج الذكاء الاصطناعي إلى معرفة مكان تغيير الصوت بالضبط وأين يترك الباقي كما هو. لقد بنى الباحثون آلية تركز انتباهها فقط على النطاق المحدد للكلمات التي يتم تغييرها، مما يضمن ملاءمة الكلمات الجديدة للكلمات القديمة بشكل مثالي دون العبث بالمحادثة المحيطة. كما أضافوا طريقة للتنبؤ بطول الكلمات الجديدة، بحيث لا يبدو الكلام المحرر متسارعاً أو متباطئاً بشكل غير طبيعي.
باختصار، تقترح هذه الورقة البحثية أنه من خلال معاملة الكلام ككعكة متعددة الطبقات وإصلاحها طبقة تلو الأخرى — بدءاً من الأسفل والعمل نحو الأعلى — يمكن للحواسيب إصلاح وتحرير الصوت بشكل طبيعي أكثر من ذي قبل. ورغم أن النظام ليس مثالياً (لا يزال يعاني قليلاً كلما أصبحت الفجوات أكبر)، إلا أنه يمثل خطوة كبيرة للأمام في جعل الذكاء الاصطناعي يبدو أقل آلية وأكثر شبهاً بالبشر الذي يمكنه بسلاسة إصلاح جملة مكسورة أو استبدال كلمة دون أن يلاحظ أحد عملية التعديل. ويخلص المؤلفون إلى أن هذا النهج "الواعي بالتسلسل الهرمي" يعد بديلاً واعداً للطرق القدة التي تعتمد على الخطوات المتتالية، مما يوفر طريقة للحفاظ على روح صوت المتحدث حتى عندما تتغير الكلمات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.