emg2speech: Synthesizing speech from electromyography using self-supervised speech models
تقدم هذه الورقة واجهة كلامية عصبية عضلية تستفيد من العلاقة الخطية القوية بين تمثيلات الكلام ذاتية الإشراف وإشارات التخطيط الكهربائي للعضلات (EMG) لتخليق الكلام المسموع مباشرة من النطق الصامت، حيث نجحت في استعراض النظام على مشارك يعاني من التصلب الجانبي الضموري (ALS).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك قوة خارقة: القدرة على التحدث دون فتح فمك. أنت فقط تفكر في الكلمات، وتتحرك لسانك وشفتيك قليلاً داخل فمك، وتقوم آلة فوراً بتحويل تلك الحركات الصغيرة الصامتة إلى صوت واضح ومسموع.
هذا هو الحلم وراء تقنية جديدة تسمى EMG-to-Speech (تحويل الإشارات العضلية إلى كلام)، وقد نجح فريق من الباحثين من جامعة كاليفورنيا، ديفيس (UC Davis) في تحقيق خطوة كبرى نحو جعل هذا حقيقة. إليك كيف فعلوا ذلك، مشروحاً ببساطة.
المشكلة: المتحدث "الصامت"
بالنسبة للأشخاص الذين يعانون من حالات مثل التصلب الجانبي الضموري (مرض ALS) أو أولئك الذين خضعوا لاستئصال الحنجرة، يكون التحدث مستحيلاً. لا يزال بإمكانهم تحريك شفاههم وألسنتهم، لكن لا يصدر أي صوت.
المحاولات السابقة لمساعدتهم استخدمت غرسات دماغية اجتياحية (جراحة داخل الجمجمة) أو حاولت تخمين ما يقولونه بناءً على إشارات عضلية مشوشة. كانت هذه الأساليب غالباً مكلفة، أو محفوفة بالمخاطر، أو تتطلب من المستخدم أن يتحدث "بصوت عالٍ" أثناء التسجيل، وهو ما لا يساعد الأشخاص الصامتين تماماً.
الحل: مترجم "العضلات إلى الموسيقى"
ابتكر الباحثون نظاماً يستمع إلى الإشارات الكهربائية لعضلات وجهك ورقبتك (التي تسمى EMG) ويترجمها مباشرة إلى كلام.
إليك الحيلة الذكية التي استخدموها، مشروحة عبر تشبيه:
1. "الشيفرة السرية" (نماذج التعلم الذاتي)
تخيل أن لديك مكتبة ضخمة من الكتب (نموذج ذكاء اصطناائي ضخم تم تدريبه على آلاف الساعات من الكلام البشري). هذه المكتبة تعرف "الشيفرة السرية" لكيفية إصدار البشر للأصوات. هي تعرف أنه لإصدار صوت "O"، يجب أن تستدير الشفاه، ولإصدار صوت "S"، يجب أن تتلامس الأسنان.
أدرك الباحثون أن مكتبة الذكاء الاصطناعي هذه لا تعرف "الصوت" فحسب؛ بل تعرف ضمنياً "الحركة". فهي تفهم الميكانيكا الفيزيائية للكلام.
2. "بصمة العضلات"
عندما تحاول قول كلمة بصمت، ترتجف عضلات وجهك. وجد الباحثون أن هذه الارتجافات الكهربائية الصغيرة تخلق نمطاً محدداً، يشبه بصمة الإصبع.
- الاكتشاف: وجدوا رابطاً رياضياً مباشراً وبسيطاً بين "الشيفرة السرية" في مكتبة الذكاء الاصطناعي و"بصمة العضلات".
- التشبيه: فكر في مكتبة الذكاء الاصطناعي كأنها طباخ ماهر يعرف بالضبط كيفية صنع كعكة. إشارات العضلات هي المكونات الموضوعة على الطاولة. أدرك الباحثون أنه إذا نظرت إلى المكونات (قوة العضلات)، يمكنك التنبؤ بالضبط بما يفكر فيه الطباخ (الذكاء الاصطناعي) لصنعه، حتى لو لم تسمع صوت الفرن بعد.
3. "الجسر" (النظام الجديد)
بدلاً من محاولة بناء آلة معقدة لتخمين الصوت من العضلة (وهو أمر يشبه محاولة تخمين أغنية بمجرد النظر إلى حذاء الراقص)، قاموا ببناء جسر.
- يأخذون إشارات العضلات.
- يترجمونها إلى "الشيفرة السرية" للذكاء الاصطناعي (تمثيل الكلام).
- ثم يستخدمون "مُخلق صوت" جاهز (أداة تحول النص/الشيفرة إلى صوت) لتشغيل الصوت.
هذا يشبه أخذ فيلم صامت، وترجمة إيماءات الممثلين إلى نص، ثم جعل راوٍ يقرأ النص بصوت عالٍ.
لماذا يعد هذا أمراً هاماً؟
1. يعمل مع المتحدثين "الصامتين"
معظم الأنظمة السابقة كانت تتطلب منك التحدث بصوت عالٍ أثناء التسجيل لتعليم الكمبيوتر. هذا النظام يعمل حتى لو كنت صامتاً تماماً. لقد اختبروه على امرأة مصابة بالتصلب الجانبي الضموري (ALS) لم تكن قادرة على إصدار أي صوت، ونجح النظام في تحويل حركات شفتيها الصامتة إلى صوت مسموع.
2. غير اجتياحي (لا يحتاج جراحة)
لا تحتاج إلى جراحة في الدماغ. كل ما عليك فعله هو وضع أقطاب كهربائية لاصقة (مثل تلك المستخدمة في العلاج الطبيعي في الصالات الرياضية) على جلد الرقبة والوجه. إنه آمن، رخيص، وسهل الارتداء.
3. "مفتوح المصدر"
لم يحتفظ الباحثون بالسر لأنفسهم؛ بل أتاحوا "الوصفة" (الشيفرة البرمجية) و"المكونات" (البيانات) للجمهور. لقد سجلوا ساعات من البيانات من شخص سليم ومن الشخص المصاب بـ ALS، لكي يتمكن علماء آخرون من البناء على هذا العمل فوراً.
النتائج: ما مدى جودته؟
النظام ليس مثالياً بعد (مثل سيارة جديدة تعمل ولكنها تحتاج لبعض الضبط).
- الدقة: عندما تحدث النظام نيابة عن الشخص السليم، أصاب الكلمات بنسبة 62% تقريباً. وبالنسبة للشخص المصاب بـ ALS، كانت النسبة حوالي 50%.
- "الاختبار البشري": عندما استمع البشر إلى الصوت الناتج، وصفوه بأنه "مفهوم" و"طبيعي النبرة"، حتى لو لم يتمكنوا من التقاط كل كلمة بدقة.
المستقبل
اعتبر هذا بمثابة "آيفون 1" للكلام الصامت. فهو يثبت أن المفهوم يعمل دون جراحة. يعمل الباحثون الآن على جعله أسرع، وأكثر دقة، وقادراً على التعامل مع التغيرات اليومية في كيفية سلوك الجلد والعضلات (مثل عندما تكون متعباً أو عندما تتحرك الأقطب الكهربائية قليلاً).
باختصار: لقد وجدوا طريقة لقراءة "الفيلم الصامت" لعضلات وجهك وإسقاطه كصوت عالٍ وواضح، مما يعيد الصوت لأولئك الذين فقدوه، وكل ذلك دون قطرة دم واحدة أو عملية جراحية واحدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.