MindVoice: Reconstructing Intelligible Speech from Non-invasive Neural Signals with Pretrained Priors
يُعد MindVoice إطار عمل مبتكرًا يستفيد من النماذج سابقة التدريب لفصل وإعادة بناء المحتوى الدلالي عالي المستوى والسمات الصوتية دقيقة التفاصيل من التسجيلات العصبية غير الغازية والمشوشة (EEG/MEG)، مما يُمكّن من تخليق كلام طبيعي ومفهوم يتفوق بشكل كبير على الأساليب الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول فهم محادثة تجري في غرفة صاخبة للغاية، حيث الجدران سميكة، والمتحدثون يهمسون. الآن، تخيل أنك تحاول تسجيل تلك المحادثة باستخدام ميكروفون مثبت خارج المبنى فقط. الإشارة التي تحصل عليها مشوشة، مليئة بالضجيج، ولا تلتقط سوى كلمات قليلة هنا وهناك.
هذا هو بالضبط التحدي الذي يواجهه العلماء عند محاولة قراءة الكلام من الدماغ البشري باستخدام أدوات غير جراحية مثل تخطيط كهربية الدماغ (EEG، الذي يستخدم غطاءً من المستشعرات على فروة الرأس) أو تخطيط مغناطيسية الدماغ (MEG، الذي يستخدم خوذة ماسحة). هذه الأدوات آمنة وسهلة الاستخدام، لكن الإشارات التي تلتقطها "مشوشة" وضبابية؛ فهي تحتوي على "فكرة" الكلام، لكن التفاصيل تضيع غالباً في الضجيج.
لفترة طويلة، حاول الباحثون بناء جسر مباشر من إشارة الدماغ الضبابية هذه إلى صوت واضح. كان الأمر يشبه محاولة رسم لوحة فنية رائعة باستخدام حفنة فقط من الألوان المائية الطينية. وكانت النتائج عادةً مشوهة، أو آلية، أو مجرد خليط من الأصوات التي تشبه الكلام ولكن لا يمكن فهمها.
إليك "MindVoice".
قرر مؤلفو هذه الورقة البحثية، من جامعة فودان، التوقف عن محاولة إجبار إشارة الدماغ على القيام بكل العمل الشاق. بدلاً من ذلك، بنوا نظاماً يسمى MindVoice يعمل كـ "مترجم ذكي" يمتلك مكتبة ضخمة من المعرفة.
إليك كيف يعمل، مقسماً إلى خطوات بسيطة:
1. النظام ثنائي المسار (المسار المزدوج)
بدلاً من محاولة تخمين الجملة بأكملها دفعة واحدة، يقسم MindVoice المهمة إلى فريقين منفصلين، مستلهماً ذلك من كيفية معالجة أدمغتنا للكلام بشكل طبيعي:
- فريق "المعنى" (المسار الدلالي): ينظر هذا الفريق إلى إشارة الدماغ الضبابية ويتساءل: "بماذا يفكر الشخص أو ماذا يقول؟". يستخدم هذا الفريق ذكاءً اصطناعياً قوياً مُدرباً مسبقاً (مثل محرك ذكي جداً لتحويل الكلام إلى نص) لتخمين الكلمات. فكر في هذا كأنه محقق ينظر إلى الأدلة الضبابية ويقول: "أنا متأكد بنسبة 80% أنهم قالوا 'تفاحة' و'حمراء'".
- فريق "الصوت" (المسار الصوتي): يتساءل هذا الفريق: "كيف يبدو الصوت؟". يركز على طبقة الصوت، والنبرة، والعاطفة، والصوت المحدد للمتحدث. يستخدم هذا الفريق ذكاءً اصطناعياً آخر مُدرباً مسبقاً (تم تدريبه على آلاف الساعات من الموسيقى والكلام) لتخمين النوتات الموسيقية و"لون" الصوت.
2. "المعطيات المسبقة" (السر الخفي)
هذا هو الجزء الأهم. إشارات الدماغ غير مكتملة؛ فهي تشبه لغزاً (Puzzle) فقد نصف قطعه.
- الأساليب القديمة حاولت ملء القطع المفقودة بمجرد التخمين بناءً على القليل من البيانات التي لديهم.
- أما MindVoice فيستخدم "المعطيات المسبقة المدربة مسبقاً" (Pretrained Priors). تخيل أنك تحاول إنهاء جملة، لكنك لم تسمع سوى الكلمات الأولى فقط؛ أنت لا تخمن كلمات عشوائية، بل تستخدم معرفتك بكيفية عمل اللغة لإكمال الباقي. يقوم MindVoice بذلك عبر استخدام نماذج ذكاء اصطناعي قد "قرأت" الإنترنت بأكمله و"استمعت" إلى ملايين الساعات من الكلام. عندما تكون إشارة الدماغ ضعيفة جداً بحيث لا تستطيع التمييز بين كلمة "قط" وكلمة "خفاش"، يستخدم النظام مكتبته الضخمة من المعرفة لتقديم التخمين الأكثر منطقية لإكمال الجملة.
3. التجميع النهائي
بمجرد أن ينتهي "فريق المعنى" من تحديد الكلمات، وينتهي "فريق الصوت" من تحديد النبرة، يسلمون ملاحظاتهم إلى محرك "تحويل النص إلى كلام" (TTS). هذا المحرك يشبه ممثل صوت محترف؛ فهو يأخذ الكلمات المعاد بناؤها وخصائص الصوت ويتحدث بها بصوت عالٍ. ولأن "الممثل الصوتي" يعرف كيف يتحدث بشكل طبيعي، فإن النتيجة تبدو كصوت بشري حقيقي، وليس صوتاً آلياً.
ماذا وجدوا؟
اختبر الباحثون هذا على مجموعتين كبيرتين من البيانات (EEG و MEG) حيث استمع الناس إلى قصص.
- النتيجة: حقق MindVoice نجاحاً هائلاً مقارنة بالطرق السابقة. الكلام الذي أنتجه كان مفهوماً. إذا قمت بتشغيل المخرج الناتج لشخص (أو لذكاء اصطناعي ذكي جداً)، فسيتمكن بالفعل من فهم الجمل.
- المقايضة: من المثير للاهتمام أن الموجات الصوتية التي أنتجها MindVoice لم تكن مطابقة رياضياً للتسجيل الأصلي (كان بها بعض "الضجيج" في البيانات الخام). ومع ذلك، كان المعنى أكثر وضوحاً بكثير. إنه يشبه الفرق بين صورة ضبابية تشبه الأصلية تماماً من حيث البكسلات ولكن لا يمكن التعرف عليها، وبين صورة مختلفة قليلاً ولكنها واضحة تماماً ويمكنك فوراً معرفة من فيها. لقد أعطى MindVoice الأولوية لكون الكلام مفهوماً بدلاً من كونه مطابقاً تماماً.
الخلاصة
يثبت MindVoice أنه يمكننا إعادة بناء كلام واضح ومفهوم من عمليات مسح الدماغ غير الجراحية، ولكن فقط إذا توقفنا عن محاولة القيام بذلك بمفردنا. من خلال السماح لإشارة الدماغ بتقديم "التلميح" ولنماذج الذكاء الاصطناعي القوية بتقديم "المعرفة" لملء الفجوات، يمكننا أخيراً سماع ما يحاول الدماغ قوله.
ملاحظة هامة: تركز الورقة البحثية بدقة على الاستماع إلى الكلام (عندما يستمع شخص ما إلى قصة). وهي لا تدعي أنها تعمل لأولئك الذين يتخيلون الكلام في رؤوسهم أو يتحدثون بصوت عالٍ، حيث أن إشارات الدماغ لهذه الحالات مختلفة وأصعب في التشفير. الهدف الحالي هو ببساطة فهم ما يسمعه الشخص.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.