LLM-to-Speech: A Synthetic Data Pipeline for Training Dialectal Text-to-Speech Models
تقدم هذه الورقة NileTTS، وهي أول مجموعة بيانات متاحة للجمهور لتحويل النص إلى كلام باللهجة المصرية ومسار بيانات اصطناعية قابل لإعادة الإنتاج، لمعالجة ندرة الموارد لهذه اللهجة واسعة الانتشار عبر توليد 38 ساعة من الكلام المتنوع بواسطة النماذج اللغوية الكبيرة وضبط نموذج XTTS v2.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد تعليم روبوت كيف يروي القصص، ولكن ليس باللغة الرسمية الجامدة التي توجد في الكتب المدرسية (مثل اللغة العربية الفصحى)، بل بلغة القاهرة الحيوية والمليئة بالعامية والدارجة. هذا هو التحدي الذي واجهه مؤلفو هذه الورقة البحثية.
إليك قصة NileTTS، مشروحة ببساطة:
المشكلة: "الصوت المفقود"
تخيل عالم المساعدات الصوتية الذكية (مثل سيري أو أليكسا) كأنه مكتبة ضخمة. بالنسبة للغات مثل الإنجليزية أو الإسبانية، المكتبة تفيض بالكتب. لكن بالنسبة للغة العربية، المكتبة مليئة في الغالب بالكتب المكتوبة بـ "اللغة العربية الفصحى" — وهي اللغة الرسمية المستخدمة في الأخبار والمدارس.
ومع ذلك، هناك أكثر من 100 مليون شخص يتحدثون العامية المصرية في حياتهم اليومية. إنها اللهجة الأكثر فهمًا في العالم العربي، تمامًا مثلما تُفهم الإنجليزية الأمريكية عالميًا. ومع ذلك، في مكتبة الذكاء الاصطناعي الخاصة بنا، قسم "العامية المصرية" يكاد يكون فارغًا. الأدوات الموجودة حاليًا إما لا تفهم المصطلحات المحلية أو تبدو وكأنها روبوت يقرأ من قاموس.
الحل: بناء "استوديو افتراضي"
بدلاً من استئجار 50 ممثلًا لتسجيل ساعات من المقاطع الصوتية (وهو أمر مكلف وبطيء)، بنى الباحثون مصنعًا رقميًا لإنشاء البيانات التي يحتاجونها. وقد أطلقوا على مشروعهم اسم NileTTS.
إليك كيف يعمل هذا "المصنع"، خطوة بخطوة:
كاتب السيناريو (النموذج اللغوي الكبير - LLM):
تخيل كاتب سيناريو ذكي للغاية (نموذج لغوي كبير) يعرف العامية المصرية تمام المعرفة. طلب الباحثون من هذا الذكاء الاصطني العالمي كتابة سيناريوهات حول ثلاثة أشياء: نصائح طبية، عروض بيع، ودردشة عادية. كتب الذكاء الاصطني هذه السيناريوهات بالكامل باللهجة المصرية الأصيلة، متجنبًا اللغة الفصحى.الممثلون (مُصنّع الصوت):
بعد ذلك، أخذوا تلك السيناريوهات وأدخلوها في أداة تسمى NotebookLM. فكر في هذا كأنه استوديو تسجيل افتراضي به "ممثلين شبحيين" — رجل وامرأة. يقرأ هؤلاء الممثلون السيناريوهات وتدور بينهم محادثة طبيعية بأسلوب "البودكاست". والأهم من ذلك، أنهم يبدون كمصريين حقيقيين، مع النبرة والإيقاع الصحيحين.المُفرغ والمحرر (Whisper و Diarization):
الآن أصبح لديهم ساعات من الصوت، ولكن بدون نص مطابق لها (لأن الذكاء الاصطني أنتج الصوت من النص، لكنهم احتاجوا للتأكد منه). استخدموا أداة تسمى Whisper للاستماع إلى الصوت وكتابته تلقائيًا.
- التحول المفاجئ: بما أن الصوت كان لشخصين يتحدثان، فقد احتاجوا لمعرفة من قال ماذا. استخدموا أداة "بصمة الصوت" (Speaker Diarization) لتحديد كل جملة: "هذا الجزء قاله الشبح الذكر"، و"هذا الجزء قالته الشبح الأنثى".
- ضبط الجودة:
تدخل البشر للتحقق من العمل، للتأكد من أن الذكاء الاصطني لم يرتكب أي أخطاء سخيفة في العامية أو يخلط بين الأصوات.
النتيجة: "صوت جديد" للذكاء الاصطناعي
بمجرد حصولهم على هذه المجموعة الضخمة من 38 ساعة من المحادثات المصرية "الاصطناعية ولكن المثالية"، استخدموها لتعليم نموذج ذكاء اصطني قوي موجود بالفعل (يسمى XTTS v2) كيف يتحدث المصرية.
تخيل XTTS v2 كممثل موهوب يعرف بالفعل التحدث بـ 16 لغة، ولكنه يعرف فقط النسخة الفصحى من اللغة العربية. أعطاه الباحثون هذا "السيناريو المصري الجديد" وقالوا له: "خُذ، تدرب على هذه اللهجة".
كانت النتيجة مبهرة:
- قبل: كان الذكاء الاصطني يبدو آليًا بعض الشيء ولا يفهم العامية المصرية (مثل أجنبي يحاول التحدث باستخدام قاموس).
- بعد: أصبح الذكاء الاصطني أكثر وضوحًا، وفهم الكلمات المحلية، وبدا كأنه شخص حقيقي من القاهرة.
لماذا هذا مهم؟
هذه الورقة البحثية تعتبر نقطة تحول لأنها تثبت أنك لست بحاجة لإنفاق آلاف الدولارات لتسجيل بشر حقيقيين لبناء ذكاء اصطناعي صوتي رائع للهجة معينة. يمكنك بناء مسار قابل للتكرار (وصفة) يستخدم أدوات ذكاء اصطني أخرى لإنشاء البيانات لك.
الخلاصة الكبرى:
تمامًا كما يمكنك تعليم طفل لهجة جديدة من خلال الاستماع إلى "بودكاست"، علم الباحثون الروبوت لهجة جديدة عن طريق تغذيته بـ "بودكاست اصطناعي". لقد أطلقوا الآن "وصفاتهم"، و"سيناريوهاتهم"، و"الروبوت المدرب" للجمهور، حتى يتمكن أي شخص من بناء مساعدات صوتية مصرية أفضل في المستقبل.
باختصار: لقد بنوا مصنع صوت افتراضي لمنح اللهجة العربية الأكثر انتشارًا الصوت عالي الجودة الذي تستحقه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.