⚡ electrical engineering

Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens

تقدم هذه الورقة البحثية SODA، وهي مجموعة من النماذج التأسيسية الصوتية الأصلية التي تدمج النمذجة المشتركة للرموز الدلالية والصوتية والنصية، وتضع وصفة تدريب معتمدة وقوانين توسع من خلال دراسة تجريبية واسعة النطاق لـ 64 نموذجاً لإثبات الأداء المتفوق عبر مهام صوتية ومتعددة الوسائط متنوعة.

المؤلفون الأصليون: Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

نُشر 2026-02-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد تعليم روبوت كيف يفهم ويتحدث مثل البشر. لفترة طويلة، حاول العلماء طريقتين رئيسيتين للقيام بذلك، لكن كلتاهما كانت تعاني من عيب كبير:

١. نهج "المترجم": أخذوا روبوت نصوص فائق الذكاء (مثل روبوتات الدردشة) وحاولوا تركيب ميكروفون له. المشكلة كانت أن الروبوت كان يركز بشدة على معنى الكلمات لدرجة أنه ينسى كيف يبدو طبيعيًا. كان صوته يبدو كأنه روبوت يقرأ نصًا مكتوبًا، مفتقدًا للعاطفة، والتنفس، والصوت الفريد للمتحدث.
٢. نهج "المحاكي": بنوا روبوتًا يستمع فقط لأنماط الصوت لكنه يتجاهل الكلمات الفعلية. كان بإمكانه تقليد الصوت بشكل مثالي، لكنه لم يكن يستطيع فهم ما يقال أو إجراء محادثة.

تقدم هذه الورقة البحثية نوعًا جديدًا من الروبوتات يسمى SODA (Scaling Open Discrete Audio). فكر في SODA كـ "طباخ صوتي عالمي" يتعلم الطبخ باستخدام ثلاثة مكونات مختلفة في آن واحد: المعنى (ما يقال)، والصوت (كيف يبدو)، والنص (الكلمات المكتوبة).

إليك كيف فعلوا ذلك، مشروحًا ببساطة:

١. الخلطة السرية: مزج المكونات

أدرك الباحثون أنه لجعل روبوت صوتي ذكي حقًا، لا يمكنك تغذيته بنوع واحد فقط من البيانات. يجب عليك خلطها معًا، جملة بجملة.

الطريقة القديمة: تغذية الروبوت بكتاب، ثم تغذيته بتسجيل صوتي.
طريقة SODA: تغذيته بجملة نصية، ثم فورًا بصوت تلك الجملة، ثم الجملة التالية، ثم الصوت التالي. الأمر يشبه تعليم طفل من خلال إظهار صورة لكلب، وقول كلمة "كلب"، ثم تشغيل صوت نباح، كل ذلك في تدفق مستمر واحد.

لقد وجدوا الوصفة المثالية:

٩٥٪ صوت: كلام بشري حقيقي (من يوتيوب والكتب الصوتية).
٥٪ نص: قصص مكتوبة عالية الجودة.
النسبة السحرية: اكتشفوا أن إضافة كمية صغيرة جدًا من النص (٥٪) ساعدت الروبوت على فهم ما يقوله الناس دون إفساد قدرته على فهم كيف يبدون.

٢. قاعدة "غولدي لوكس" (قوانين القياس)

في عالم الذكاء الاصطناوي، هناك قاعدة شهيرة تسمى "تشينشيلا" لروبوتات النصوص: "إذا ضاعفت حجم دماغ الروبوت، يجب عليك مضاعفة كمية المواد التي يقرأها".

سأل الباحثون: "هل تعمل هذه القاعدة مع الصوت؟"

قاموا ببناء ٦٤ نسخة مختلفة من روبوتهم الصوتي، تتراوح من الصغير جدًا إلى الضخم، واختبروها بكميات مختلفة من البيانات. وجدوا أن الصوت "أكثر كثافة" بالمعلومات من النص.

التشبيه: تخيل أن النص مثل نهر صافٍ وبطيء الحركة. أما الصوت فهو مثل شلال سريع وهادر. أنت بحاجة إلى دلو أكبر بكثير (بيانات أكثر) لالتقاط نفس كمية الماء (المعلومات) من الشلال.
الاكتشاف: للحصول على أفضل روبوت صوتي، تحتاج إلى زيادة البيانات بسرعة أكبر بكثير من زيادة حجم الدماغ. وتحديدًا، مقابل كل خطوة للأعلى في حجم الدماغ، تحتاج إلى ١.٦ مرة أكثر من البيانات.

٣. البدء من الصفر مقابل تقليد صديق

يبدأ العديد من باحثي الذكاء الاصطناعي بأخذ روبوت نصوص تم تدريبه مسبقًا ومحاولة تعليمه الصوت. تسمي الورقة البحثية هذا "البدء الدافئ" (Warm-Starting).

النتيجة: كانت العملية فوضوية. أصبح الروبوت مرتبكًا، وحدثت له "نوبات غضب" (أخطاء في التدريب)، وأصبح في الواقع أسوأ في فهم الكلام.
الطريقة الأفضل: بدأوا بلوحة بيضاء ("البدء البارد" - Cold-Start). بنوا الروبوت من الصفر، حيث تعلم الصوت والنص معًا منذ الثانية الأولى.
التشبيه: الأمر يشبه محاولة تعليم عازف بيانو محترف العزف على الطبول. قد يستمر في محاولة عزف ألحان البيانو على مجموعة الطبول. من الأفضل البدء بطالب جديد يتعلم الطبول والبيانو في وقت واحد منذ اليوم الأول.

- ماذا يمكن لـ SODA أن يفعل؟

بسبب تعليمهم له هذه الطريقة "العالمية"، فإن SODA مرن للغاية. لا تحتاج لبناء روبوت جديد لكل مهمة؛ فقط أعطه تعليمًا جديدًا، وسيتكيف.

تحويل الكلام إلى نص: يمكنه الاستماع إلى تسجيل غير واضح وكتابته بدقة.
تحويل النص إلى كلام: يمكنه قراءة نص ونطقه بصوت بشري طبيعي.
ترجمة الصوت: هذه هي الحيلة الأروع. يمكنك التحدث بالإسبانية، ويمكن لـ SODA ترجمتها إلى الإنجليزية مع الحفاظ على صوتك الأصلي. إنه مثل مترجم يتحدث بنبرتك وأسلوبك الخاص، وليس مجرد الكلمات.

الخلاصة الكبرى

تثبت هذه الورقة البحثية أنه إذا عاملت الصوت والكلام والنص كأحجية واحدة كبيرة ومختلطة بدلاً من موضوعات منفصلة، فيمكنك بناء ذكاء اصطناعي أكثر ذكاءً ومرونة.

لقد أطلقوا "وصفاتهم"، و"مكوناتهم"، و"مطبخهم" (الكود والنماذج) ليستخدمها الجميع. وهذا يعني أن علماء آخرين يمكنهم الآن بناء روبوتات صوتية خاصة بهم دون الحاجة إلى إعادة اختراع العجلة، مما قد يؤدي إلى مساعدين صوتيين أفضل، وأدوات أكثر سهولة في الوصول لذوي الإعاقة السمعية، وتفاعلات أكثر طبيعية بين الإنسان والحاسوب.

باختد، لقد توقفوا عن محاولة إجبار دماغ نصي على السمع، وبدلاً من ذلك بنوا دماغًا وُلد ليسمع، ويتحدث، ويقرأ في آن واحد.

1. بيان المشكلة

تواجه النماذج اللغوية الصوتية الحالية قيوداً كبيرة في تحقيق فهم وتوليد صوتي عام للأغراض:

بنيات متمحورة حول النماذج اللغوية الكبيرة (LLM-Centric): النماذج مثل SALMONN أو Qwen3-Omni التي توسع النماذج اللغوية الكبيرة النصية سابقة التدريب باستخدام مشفرات صوتية. تعاني هذه النماذج من "عنق زجاجة دلالي"، حيث تُفقد التفاصيل الصوتية الدقيقة أثناء عملية الضغط، مما يحد من نمذجة الصوت عالية الدقة من الصوت إلى الصوت.
النماذج المتمحورة حول المعنى فقط (Semantic-Only): تستخدم مقاربات مثل SpiritLM أو TWIST وحدات دلالية منفصلة (مثل وحدات HuBERT) ولكنها تتجاهل التفاصيل الصوتية، مما يمنع التوليد عالي الدقة والفهم الصوتي التفصيلي.
النماذج الصوتية الأصلية (Native Audio Models): نماذج مثل Moshi أو Llama-Mimi تنمذج الوحدات الصوتية مباشرة ولكنها غالباً ما تفتقر إلى التكامل النصي أو دراسات القياس المنهجية، مما يحد من قدراتها عبر الوسائط (مثل التعرف التلقائي على الكلام ASR، وتحويل النص إلى كلام TTS).
الافتقار إلى قوانين القياس (Scaling Laws): على عكس النماذج اللغوية الكبيرة النصية، حيث تحدد قوانين القياس (مثل Chinchilla) تخصيص الحوسبة الأمثل، لا يوجد فهم راسخ لكيفية قياس حجم النموذج ( $N$ ) وكمية البيانات ( $D$ ) للنماذج الصوتية المنفصلة، خاصة بالنظر إلى انخفاض كثافة المعلومات في الوحدات الصوتية مقارنة بالنصوص.

2. المنهجية

يقترح المؤلفون SODA (Scaling Open Discrete Audio)، وهو مجموعة من النماذج التأسيسية الأصلية التي يتم تدريبها باستخدام إطار عمل موحد للتنبؤ بالرمز التالي (Next-Token Prediction - NTP).

أ. بنية النموذج والترميز (Tokenization)

البنية: محولات (Transformers) تعتمد على فك التشفيد فقط (Decoder-only) مستمدة من بنية Qwen3 (تتضمن QK-Norm للاستقرار)، مدربة من الصفر (Cold-start).
الترميز: يستخدم ترميز Mimi العصبي (بتردد 12.5 هرتز، و8 مجموعات رمزية RVQ).
- المجموعة الرمزية 1: تلتقط المحتوى الدلالي.
- المجموعات الرمزية 2–8: تلتقط التفاصيل الصوتية.
استراتيجية التداخل (Interleaving Strategy): الابتكار الجوهري هو التداخل على مستوى العبارة. بدلاً من المحاذاة على مستوى الكلمة، يعالج النموذج تسلسلات حيث تتداخل الوحدات الصوتية (الدلالية + الصوتية) والوحدات النصية (النصوص المكتوبة) ضمن عبارة واحدة. هذا يدعم أربع قدرات في نموذج واحد:
1. استكمال الصوت (Audio continuation)
2. استكمال النص (Text continuation)
3. من صوت إلى نص (ASR)
4. من نص إلى صوت (TTS)

ب. بيانات التدريب والوصفة (Training Recipe)

مصادر البيانات:
- الكلام: Yodas (مستمد من YouTube، بأنماط متنوعة) وEmilia (كلام عفوي). تم استبعاد MLS بسبب عدم تطابق النصوص وتنوع الطول المحدود.
- النص: Nemotron-CC (مجموعة نصوص ويب عالية الجودة).
المزيج الأمثل: من خلال دراسة الاستبعاد (Ablation)، حدد المؤلفون أن مزيج 5% نص / 95% كلام يعظم المعرفة النصية دون تقليل الأداء الصوتي.
تكوين الوحدات (Token Composition): يتضمن التكوين الأمثل الدلالية + الصوتية + النصية. وبينما يؤدي إضافة الوحدات الصوتية إلى تقليل درجات الفهم الدلالي قليلاً، إلا أنه ضروري للتوليد عالي الدودة والمهام عبر الوسائط.

ج. تحليل قانون القياس (دراسة IsoFLOP)

أجرى المؤلفون أول دراسة قياس واسعة النطاق للنماذج الصوتية المنفصلة:

النطاق: تم تدريب 64 نموذجاً عبر 7 ميزانيات حوسبة تتراوح من $3 \times 10^{18}$ إلى $3 \times 10^{20}$ عملية حسابية (FLOPs).
التحقق من المقاييس: أثبتوا أن الاحتمال اللوغاريتمي السالب للتحقق (Validation NLL) على البيانات المتداخلة (صوت + نص) هو مؤشر موثوق للغاية للأداء اللاحق (ASR، TTS، والفهم الدلالي).
قوانين القياس: استخلصوا أسات (Exponents) القياس المثلى للحوسبة $C$ $C$ :
- الحجم الأمثل للنموذج: $N^* \propto C^{0.367}$
- الحجم الأمثل للبيانات: $D^* \propto C^{0.579}$
- الرؤية الجوهرية: يجب أن يتوسع حجم البيانات بمعدل 1.6 ضعف حجم النموذج. وهذا يتناقض مع قانون Chinchilla ( $N^*, D^* \propto C^{0.5}$ ) ويشير إلى أن الوحدات الصوتية المنفصلة لديها كثافة معلومات أقل من الوحدات النصية، مما يتطلب المزيد من البيانات لتحقيق تعلم فعال.

3. المساهمات الرئيسية

نموذج صوتي تأسيسي أصلي موحد: أثبتوا أن نموذجاً واحداً يعتمد على فك التشفيد فقط يمكنه نمذجة المحتوى الدلالي والتفاصيل الصوتية والنص بشكل مشترك، مما يتيح مهاماً متنوعة (ASR، TTS، S2ST، الاستكمال) دون الحاجة لمشفرات/فك تشفير متخصصة.
وصفة تدريب موثقة: وضعوا وصفة قوية تتضمن التداخل على مستوى العبارة، ومزيج 5% من النصوص، ومصادر بيانات محددة (Yodas + Emilia).
أول قوانين قياس للنماذج الصوتية المنفصلة: قدموا دليلاً تجريبياً على أن البيانات يجب أن تتوسع بشكل أسرع بكثير من حجم النموذج للنماذج الصوتية ( $D^* \propto C^{0.579}$ )، مما يتحدى الافتراض بأن قوانين قياس النصوص تنطبق مباشرة على الصوت.
البدء البارد (Cold-Start) مقابل البدء الدافئ (Warm-Start): أظهروا أن البدء البارد (التدريب من الصفر) هو الأفضل للمهام الصوتية، حيث يوفر استقراراً أفضل في التدريب وأداءً أفضل في التعرف التلقائي على الكلام (ASR)، بينما يؤدي البدء الدافئ من النماذج اللغوية النصية إلى عدم الاستقرار والفشل في استعادة المعرفة النصية بالكامل.
مجموعة نماذج SODA: أطلقوا عائلة من النماذج (من 135 مليون إلى 4 مليارات معلمة) مدربة على 500 مليار وحدة (Tokens)، لتكون بمثابة عمود فقري مرن للأبحاث المستقبلية.

4. النتائج الرئيسية

الأداء: يحقق SODA-4B نتائج تنافسية عبر الاختبارات المرجعية:
- ASR: نسبة خطأ الكلمات (WER) تبلغ 5.0% (LibriSpeech-clean).
- TTS: نسبة خطأ الكلمات (WER) تبلغ 6.1% وتشابه المتحدث 0.56.
- الفهم الصوتي: دقة تقارب 70% في اختبار Salmon.
- المعرفة النصية: ظهور ملحوظ في HellaSwag (دقة 52.6%) وtWUGGY (دقة 74.8%).
سلوك القياس:
- المهارات عبر الوسائط والصوتية: تظهر علامات على التشبع عند المقاييس الكبيرة (تناقص العوائد).
- المعرفة الدلالية والنصية: تظهر سلوكاً ناشئاً (Emergent behavior)، حيث يتسارع الأداء بسرعة مع زيادة حجم النموذج والبيانات بما يتجاوز نظام IsoFLOP.
مرونة الضبط الدقيق: تم ضبط SODA بنج successo لعملية ترجمة الكلام إلى كلام مع الحفاظ على الصوت (S2ST) باستخدام نفس البنية وهدف NTP، محققاً حالة متقدمة في تشابه المتحدث (~0.47) دون الحاجة لبنيات متخصصة.

5. الأهمية

يجسر هذا العمل الفجوة بين النماذج اللغوية الكبيرة المتمحورة حول النص والنماذج الصوتية المتخصصة. ومن خلال إثبات أن النماذج الصوتية التأسيسية الأصلية يمكن قياسها بفعالية باستخدام التنبؤ بالرمز التالي، فإنه يقدم نهجاً أكثر مرونة وتوحيداً للذكاء الاصطناعي متعدد الوسائط. إن اكتشاف أن البيانات تتوسع بشكل أسرع من حجم النموذج بالنسبة للصوت يوفر توجيهاً حاسماً لتخصيص الموارد في تدريب النماذج الصوتية التأسيسية. علاوة على ذلك، فإن إطلاق النماذج والبيانات ووصفات التدريب المفتوحة يساهم في دمقرطة الوصول إلى أبحاث توليد وفهم الصوت عالي الدقة.