Covo-Audio Technical Report
تقدم هذه الورقة البحثية Covo-Audio، وهو نموذج لغوي صوتي ضخم متكامل (end-to-end) بـ 7 مليارات معلمة، يعمل على توحيد معالجة وتوليد الصوت المستمر لتحقيق أداء رائد عبر مختلف مهام الكلام والصوت، مع تقديم نسخ متخصصة للحوار المنطوق والتفاعل ثنائي الاتجاه (full-duplex) إلى جانب استراتيجية فعالة من حيث التكلفة لفصل ذكاء الحوار عن إخراج الصوت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء الرفيق الرقمي الأمثل. أنت تريد شخصاً لا يسمع كلماتك فحسب، بل يفهم نبرتك، وعواطفك، وقصدك. يجب أن يكون قادراً على مقاطعتك بأدب، والتوقف عندما تفكر، والاستجابة بصوت يشعرك بالدفء والإنسانية، كل ذلك بينما يحل مسائل رياضية معقدة أو يروي قصة مضحكة.
لفترة طويلة، كان بناء هذا "الرفيق المثالي" يشبه محاولة تجميع سيارة عن طريق لصق ثلاث مركبات منفصلة معاً: ميكروفون (ليسمع)، ودماغ (ليفكر)، ومكبر صوت (ليتحدث). هذا النهج "المتتالي" غالباً ما كان يؤدي إلى حدوث أعطال؛ فقد يخطئ الميكروفون في سماع كلمة، مما يجعل الدماغ يرتبك بسبب الخطأ، ثم يبدو المتحدث آلياً.
إليك Covo-Audio.
فكر في Covo-Audio ليس كثلاث سيارات ملتصقة ببعضها، بل كـ كائن واحد فائق الذكاء وُلد ليتحدث ويسمع. إنه نموذج لغوي صوتي ضخم (LALM) بـ 7 مليارات معامل من إنتاج شركة Tencent، يعالج الصوت مباشرة دون الحاجة إلى تحويل كل شيء إلى نص أولاً.
إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:
1. بنية "الدماغ الواحد"
معظم نماذج الذكاء الاصطناعي تشبه المترجم الذي يكتب أولاً ما قلته، ثم يفكر فيه، ثم يقرأ لك الترجمة. هذا يستغرق وقتاً ويُفقد الصوت "روحه".
Covo-Audio مختلف. إنه يشبه شخصاً متعدد اللغات يفكر بالصوت. فهو يأخذ صوتك الخام (الصوت المستمر) ويعالجه مباشرة إلى "أفكاره" الداخلية، ثم يولد فوراً استجابة صوتية جديدة. هو لا يتوقف ليكتب الأشياء؛ وهذا يجعله سريعاً للغاية ويسمح له بالتقاط الإشارات العاطفية الدقيقة — مثل التنهد أو الضحكة الخافتة — التي تضيع عند التحويل إلى نص.
2. "الصوت الذكي" مقابل "الصوت" (الفصل بين المكونات)
أحد أكبر الصعوبات في الذكاء الاصطعي هو أنك إذا أردت صوتاً محدداً (مثل راوٍ ذو صوت عميق ومهدئ)، فعادة ما تحتاج إلى ساعات من بيانات صوت ذلك الشخص المحدد وأيضاً ساعات من أدائه لحوارات معقدة. هذا أمر مكلف وصعب التوسع.
يقدم Covo-Audio حيلة ذكية تسمى "فصل الذكاء عن المتحدث" (Intelligence-Speaker Decoupling).
- التشبيه: تخيل ممثلاً بارعاً (الذكاء) يمكنه لعب أي دور، واستوديو تسجيل (المتحدث). عادةً، عليك استئجار ممثل جديد لكل صوت جديد. لكن Covo-Audio يفصل بينهما. فهو يدرب "الممثل" ليكون ذكياً للغاية باستخدام بيانات عامة، ومن ثم يمكنه "ارتداء" أي قناع صوتي (من نظام تحويل النص إلى كلام خفيف الوزن) دون أن يفقد ذكاءه.
- النتيجة: يمكنك إعطاء الذكاء الاصطناعي صوتاً جديداً باستخدام كمية ضئيلة جداً من البيانات، وسيظل صوته طبيعياً وسيبقى ذكياً. الأمر يشبه وجود طاهٍ ماهر يمكنه طهي وجبة فاخرة باستخدام مكونات من أي سوق محلي، بدلاً من الحاجة إلى مزرعة محددة لكل طبق.
3. رقصة "الاستجابة الكاملة" (التحدث أثناء الاستماع)
المحادثة البشرية الحقيقية ليست لعبة "بينج بونج" حيث تنتظر انتهاء الطرف الآخر قبل أن تتحدث. نحن نقاطع، ونقول "أجل" أو "هممم" أثناء حديث الآخرين، ونتوقف لنفكر. هذا ما يسمى "الاستجابة الكاملة" (Full-Duplex).
نماذج الذكاء الاصطناعي القديمة تشبه جهاز اللاسلكي: "انتهى الكلام". (انتظر الرد). "انتهى الكلام".
أما Covo-Audio-Chat-FD فهو يشبه محادثة حقيقية في مأدبة عشاء.
- يمكنه الاستماع إليك بينما لا يزال ينهي جملته الخاصة.
- إذا قاطعته ("انتظر، كنت أقصد...")، فإنه يتوقف فوراً، ويستوعب مقاطعتك، ويغير مساره.
- يعرف الفرق بين التوقف الذي تعبر فيه عن التفكير، والتوقف الذي يعني أنك انتهيت من الكلام.
- يفعل ذلك من خلال التدريب على كميات هائلة من بيانات المحادثات الحقيقية، ليتعلم إيقاع الكلام البشري بدلاً من مجرد الكلمات.
4. "رادار المشاعر"
Covo-Audio ليس متعلقاً بالمنطق فحسب، بل بالتعاطف أيضاً. لقد درب الفريق النموذج على "خاتم مشاعر" من البيانات.
- إذا بدوت حزيناً، فهو لا يكتفي بقول "أنا آسف"، بل يعدل نبرته، وسرعته، واختياره للكلمات ليبدو مواسياً.
- إذا بدوت متحمساً، فإنه يطابق طاقتك.
- تم اختباره على مدى قدرته على التعامل مع مشاعر مثل الغضب، والفرح، والقلق، وحقق درجات أعلى من العديد من النماذج مفتوحة المصدر الأخرى، مما يثبت أنه يمكن أن يكون شريكاً محاوراً داعماً.
لماذا يهم هذا؟
تظهر الورقة البحثية أنك لست بحاجة إلى حاسوب فائق ضخم ومكلف (مثل نموذج بـ 30 مليار معامل) للحصول على أداء رفيع المستوى. فنموذج Covo-Audio، بحجمه المدمج البالغ 7 مليارات معامل، يتفوق على أو يضاهي نماذج أكبر بكثير في الفهم، والاستنتاج، والتحدث بشكل طبيعي.
باخت<صار:
Covo-Audio هو خطوة نحو "جارفيس" أو "سيري" التي نحلم بها. إنه نموذج يستمع إلى موسيقى صوتك، وليس فقط إلى كلماته. يمكنه مقاطعتك بأدب، ومواساتك عندما تكون محبطاً، وحل لغز، والقيام بكل ذلك في حركة واحدة سلسة، كل ذلك مع السماح لك باختيار أي صوت تريده دون الحاجة إلى مشروع ضخم لجمع البيانات.
إنه ليس مجرد ذكاء اصطناعي يتحدث؛ بل هو ذكاء اصطناعي يتحاور.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.