Tagarela - A Portuguese speech dataset from podcasts
تقدم هذه الورقة TAGARELA، وهي مجموعة بيانات صوتية باللغة البرتغالية واسعة النطاق ومُطلقة للعموم، تضم أكثر من 8,972 ساعة من صوت البودكاست، صُممت لمعالجة ندرة الموارد وتمكين نماذج التعرف التلقائي على الكلام وتحويل النص إلى كلام ذات أداء فائق للغة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم الأصوات الحاسوبية (مثل سيري أو أليكسا) كأنه مكتبة ضخمة. بالنسبة للغات مثل الإنجليزية، هذه المكتبة عبارة عن ناطحة سحاب شاهقة مليئة بالملايين من الكتب، والتسجيلات، والنصوص المثالية. يمكن للحواسيب أن تتعلم التحدث وفهم الإنجليزية بشكل رائع لأن لديها الكثير من المواد عالية الجودة للدراسة.
لكن بالنسبة للغة البرتغالية، كانت المكتبة أشبه بمخزن صغير، مغبر، ونصف فارغ. كانت هناك بعض الكتب، لكنها كانت صغيرة، أو فوضوية، أو مكتوبة بطريقة لا تستطيع الحواسيب قراءتها بسهولة. وهذا يعني أن الأصوات البرتغالية كانت تبدو غالباً آلية، أو أن الحواسيب كانت تجد صعولة في فهم ما يقوله الناس.
دخل "TAGARELA" على الخط.
قرر مؤلفو هذه الورقة البحثية بناء مكتبة جديدة وضخمة خصيصاً للغة البرتغالية. أطلقوا عليها اسم TAGARELA (والذي يبدو مثل كلمة "ثرثرة" أو "هذيان" بالبرتغالية). إليك قصة كيفية بناء هذه المكتبة، مشروحة ببساطة:
1. المادة الخام: جبل من البودكاست
بدأوا بمجموعة ضخمة تسمى "Cem Mil Podcasts" (مائة ألف بودكاست). تخيل هذا ككومة ضخمة وغير منظمة من التسجيلات الصوتية الخام.
- المشكلة: كانت هذه التسجيلات فوضوية. كان هناك عدة أشخاص يتحدثون في وقت واحد، وكان هناك ضجيج في الخلفية (مثل اصطدام أكواب القهوة أو حركة المرور)، وكانت النصوص المكتوبة (النسخ النصية) غالباً خاطئة أو مفقودة. كان الأمر يشبه محاولة تعلم لغة من خلال الاستماع إلى حفلة صاخبة حيث يصرخ الجميع في آن واحد.
- الهدف: أرادوا تحويل هذه الكومة الفوضوية إلى مكتبة منظمة ونقية من الكلام الواضح تبلغ 8,972 ساعة. هذا قدر هائل من الصوت—كافٍ لمنافسة أكبر مجموعات البيانات الإنجليزية.
2. طاقم البناء: "خط معالجة التنظيف"
لإصلاح الفوضى، بنى الفريق خط تجميع رقمي (pipeline) يضم خمسة عمال متخصصين:
- المنظم (التوحيد القياسي): أولاً، تأكدوا من أن كل ملف صوتي يبدو متشابهاً، مثل تحويل جميع الكتب إلى نفس حجم الخط وجودة الورق.
- الحارس الشخصي (فصل المتحدثين): في البودكاست، يتحدث الناس فوق بعضهم البعض. يعمل هذا العامل مثل حارس الأمن، حيث يفصل الأصوات بحيث يحتوي كل تسجيل على شخص واحد فقط يتحدث. هذا أمر بالغ الأهمية لتعليم الحواسيب محاكاة صوت واحد واضح.
- فلتر الضوضاء (كشف التداخل): حتى بعد فصل المتحدثين، قد يتحدث شخصان في نفس الوقت تماماً. قام الفريق بتدريب ذكاء اصطناعي ذكي لرصد هذه "الدويتوهات" (الثنائيات) والتخلص منها، والاحتفاظ فقط بالعروض الفردية.
- المترجم (النسخ النصي): كانوا بحاجة لتحويل الصوت إلى نص. لم يستعينوا بمترجم واحد فقط؛ بل استخدموا نهج "الفريق الذكي". استخدموا ذكاءً اصطناعياً فائق الذكاء (Whisper) تم تدريبه على بيانات عالية الجودة لكتابة الكلمات. وللتأكد من أن الذكاء الاصطناعي لا "يهلوس" (يختلق أشياء من عنده)، قاموا بمراجعة عمله باستخدام ذكاء اصطناعي آخر. إذا اتفق الاثنان، يتم الاحتفاظ بالنص.
- الملمّع (إزالة الضجيج): أخيراً، استخدموا أداة خاصة لمسح صوت الهسيس، والتشويش، والصدى في الخلفية، تاركين وراءهم صوتاً نقياً للغاية.
3. النتيجة: مكتبتان خاصتان
بمجرد الانتهاء من عملية التنظيف، قسموا المجموعة إلى قسمين خاصين:
- قسم "الكلام الواقعي" (8,972 ساعة): يتضمن جميع الوقفات الطبيعية، وكلمات مثل "اممم" و"آه" التي يطلقها الناس أثناء الكلام. هذا مثالي لتعليم الحواسيب فهم الكلام البشري (التعرف التلقائي على الكلام).
- قسم "الاستوديو" (2,800 ساعة): وهو الصوت فائق النقاء ومن متحدث واحد فقط. هذا مثالي لتعليم الحواسيب التحدث إلينا بشكل طبيعي (تحويل النص إلى كلام).
4. تجربة القيادة
لإثبات أن مكتبتهم الجديدة تعمل، بنوا نموذجين حاسوبيين جديدين باستخدام هذه البيانات فقط:
- المستمع: قاموا بتدريب نموذج لفهم اللغة البرتغالية. أصبح بارعاً جداً لدرجة أنه تفوق على العمالقة الحاليين، حيث فهم الكلام بأقل قدر من الأخطاء.
- المتحدث: قاموا بتدريب نموذج لتوليد الكلام. كانت النتيجة صوتاً يبدو بشرياً للغاية، مع إيقاع وتدفق طبيعي، وحصل على درجات عالية من المستمعين البشر.
لماذا هذا مهم؟
قبل هذا، كانت تكنولوجيا الكلام باللغة البرتغالية عالقة في "مرحلة المخزن الصغير". TAGARELA يشبه فتح الأبواب أمام ناطحة سحاب. إنه يوفر للباحثين والمطورين أساساً ضخماً وعالي الجودة لبناء تقنيات صوتية أفضل، وأكثر طبيعية، وأكثر دقة لملايين المتحدثين بالبرتغالية حول العالم.
باختاً: لقد أخذوا كومة فوضوية وصاخبة من البودكاست، ونظفوها باستخدام خط تجميع عالي التقنية، وحولوها إلى المعيار الذهبي للذكاء الاصطناعي الصوتي باللغة البرتغالية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.