💬 NLP

From Text to Talk: Audio-Language Model Needs Non-Autoregressive Joint Training

تقدم هذه الورقة البحثية نموذج "Text-to-Talk" (TtT)، وهو نموذج صوتي-لغوي موحد يجمع بين توليد النصوص التوليدي الذاتي وتوليد الصوت بالانتشار غير التوليدي الذاتي ضمن محول (Transformer) واحد باستخدام انتباه مدرك للنمط واستراتيجيات تدريب متخصصة للتفوق على النماذج المرجعية التوليدية الذاتية وغير التوليدية الذاتية الحالية عبر معايير متعددة للنصوص والكلام.

المؤلفون الأصليون: Tianqiao Liu, Xueyi Li, Hao Wang, Haoxuan Li, Zhichao Chen, Weiqi Luo, Zitao Liu

نُشر 2026-03-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tianqiao Liu, Xueyi Li, Hao Wang, Haoxuan Li, Zhichao Chen, Weiqi Luo, Zitao Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: لماذا يتلعثم متحدثو الذك ذكاء الاصطناعي الحاليون؟

تخيل أنك تحاول تعليم روبوت كيف يجري معك محادثة طبيعية. حالياً، تحاول معظم نماذج الذكاء الاصطناعي المتقدمة القيام بذلك عبر التصرف كـ كاتب سريع جداً وصارم جداً.

كيف تعمل الآن (التوليد التتابعي - Autoregressive): يفكر الروبوت قائلاً: "سأكتب حرفاً واحداً، ثم الذي يليه، ثم الذي يليه". بالنسبة للنصوص، هذا يعمل بشكل رائع. لكن بالنسبة لـ الكلام، فالأمر يشبه محاولة رسم لوحة مع الالتزام بإضافة ضربة فرشاة واحدة فقط في كل مرة، والانتظار حتى يجف الطلاء قبل إضافة الضربة التالية.
المشكلة: الكلام ليس مجرد تسلسل من الحروف. إنه موجة من الصوت حيث يعتمد الجملة بأكملها على معنى الجملة (المصدر)، وليس فقط على الصوت الذي سبقها مباشرة. إجبار الروبوت على بناء الكلام قطعة صغيرة تلو الأخرى يخلق "عنق زجاجة". هذا يجعل الذكاء الاصطناعي بطيئاً، وعرضة للأخطاء (مثل التلعثم)، ويجعله يكافح للحفاظ على طبيعة الصوت.

الحل: TtT (من النص إلى الكلام)

يقترح المؤلفون نموذجاً جديداً يسمى TtT. فكر في TtT كـ طاهٍ هجين يعرف طريقتين مختلفتين للطبخ:

طاهي النصوص (الكاتب المتسلسل): عندما يحتاج الذكاء الاصطناعي إلى كتابة نص (مثل التفكير أو التخطيط)، فإنه يستخدم طريقته القديمة: كتابة كلمة تلو الأخرى، من اليسار إلى اليمين. وهذا مثالي للمنطق والقواعد.
طاهي الصوت (الرسام المتوازي): عندما يحتاج الذكاء الاصطناعي إلى توليد الكلام، فإنه يتوقف عن أسلوب "واحد تلو الآخر". بدلاً من ذلك، ينظر إلى الجملة الكاملة التي كتبها للتو و يرسم الموجة الصوتية بأكملها دفعة واحدة.

الابتكار الجوهري: مزج أسلوبي الطبخ

يجادل البحث بأن النصوص والصوت كائنان مختلفان جوهرياً.

النص يشبه القطار: العربة الأولى تسحب العربة الثانية، والتي تسحب الثالثة. لا يمكنك الحصول على العربة الثالثة بدون العربة الثانية. (هذا هو التوليد التتابعي).
الصوت يشبه السمفونية: عازف الكمان، والطبل، والمغني، جميعهم يحتاجون لسماع المايسترو (النص) ليعزفوا أدوارهم. هم لا يحتاجون بالضرورة لانتظار انتهاء عازف الطبل قبل أن يبدأ عازف الكمان؛ هم فقط يحتاجون لمعرفة الأغنية. (هذا هو التوليد غير التتابعي).

نموذج TtT يضع كلا الأسلوبين في عقل واحد (Transformer). وهو يستخدم "مفتاحاً" خاصاً ليعرف متى يتصرف كالقطار (للنصوص) ومتى يتصرف كالسيمفونية (للصوت).

كيف يعمل: لعبة "القناع"

لتعليم الذكاء الاصطناعي كيفية رسم اللوحة الصوتية كاملة في وقت واحد، استخدم الباحثون حيلة تدريب ذكية تسمى الانتشار المنفصل (Discrete Diffusion).

التشبيه: تخيل أن لديك لغزاً (Puzzle) مكتملاً (الصوت الصحيح). لتدريب الذكاء الاصطناعي، نقوم بتغطية 50% من القطع بقلم تحديد أسود (القناع/Masking).
المهمة: تسأل الذكاء الاصطناعي: "بناءً على القطع المرئية والصورة الموجودة على الصندوق (النص)، ماذا يجب أن يوضع تحت هذه العلامات السوداء؟"
السحر: لأن الذكاء الاصطناعي مسموح له بتخمين أي قطعة مفقودة في أي ترتيب (ليس عليه تخمين القطعة رقم 1 قبل القطعة رقم 2)، فإنه يتعلم فهم الصورة بأكملها في آن واحد. هذا أسرع وأكثر دقة للصوت من تخمين قطعة واحدة تلو الأخرى.

حل مشكلة "القطار مقابل الواقع"

حدد البحث أيضاً مشكلة شائكة وهي: فجوة التدريب.

في التدريب: يرى الذكال الاصطناعي لغزاً بنصف قطع مفقودة.
في الواقع: يجب على الذكاء الاصطناعي توليد اللغز كاملاً من الصفر.

إذا تم تدريبه فقط على ألغاز بنصف القطع مفقودة، فسيصاب الذكاء الاصطناعي بالارتباك عندما يضطر للقيام بالأمر بمفرده بالكامل. ابتكر المؤلفون ثلاث "استراتيجيات تدريب" لإصلاح ذلك:

خلط القائمة: أحياناً، يسمحون للذكاء الاصطناعي بالتدرب على لغز "نظيف" (بدون قطع مفقودة) ليتعود على سيناريو الحياة الواقعية.
حماية الماضي: يضمنون أنه عندما يتعلم الذكاء الاصطناعي توليد جملة جديدة، فإنه يرى الجمل السابقة بوضوح تام، تماماً كما في المحادثة الحقيقية.
الأطوال العشوائية: يعلمون الذكاء الاصطناعي أن الجمل يمكن أن تنتهي في أي وقت، وليس فقط عند نقطة ثابتة، ليتعلم الاستماع إلى المعنى ليعرف متى يتوقف عن الكلام، بدلاً من مجرد عد الكلمات.

النتائج: لماذا يهم هذا؟

عندما اختبروا TtT، كانت النتيجة نقلة نوعية:

السرعة: يولد الكلام بسرعة أكبر لأنه لا ينتظر انتهاء صوت واحد قبل بدء التالي.
الجودة: يبدو الصوت أكثر طبيعية وبشرية لأنه يلتقط "تدفق" الكلام بشكل أفضل.
تعدد الاستخدامات: يمكنه الإجابة على الأسئلة، وتفريغ الكلام، ووصف الأصوات، كل ذلك مع التحدث إليك في الوقت الفعلي.

الملخص

TtT يشبه منح الذكاء الاصطناعي نظام عقل مزدوج. عقل يكتب السيناريو (النص) كلمة بكلمة، والعقل الآخر يقود الأوركسترا (الصوت) ليعزف الأغنية كاملة دفعة واحدة. من خلال احترام الاختلافات الطبيعية بين كيفية كتابتنا وكيفية تحدثنا، يخلق هذا النموذج محادثات أسرع، وأكثر سلاسة، وأكثر بشرية مما رأيناه من قبل.

إليك ملخص تقني مفصل لورقة البحث "From Text to Talk: Audio-Language Model Needs Non-Autoregressive Joint Training" (TtT)، المنشورة في ICLR 2026.

1. بيان المشكلة

تعتمد أنظمة المحادثة الحالية من الكلام إلى الكلام (S2S) عادةً على مسارات متتالية (ASR $\leftarrow$ LLM $\leftarrow$ TTS) أو نماذج تلقائية الترتيب (AR) شاملة (مثل Moshi و GLM-4-Voice). وبينما توحد النماذج التلقائية الترتيب (AR) نهاية إلى نهاية عملية فهم الكلام وتوليده، إلا أنها تعاني من عدم تطابق جوهري في التبعية:

توليد النص: يتبع تبعية هدف-هدف (target-target) صارمة (سببية، تسلسلية). كل رمز (token) يعتمد بشدة على الرموز المولدة سابقاً. وتنتشر الأخطاء بسهولة (انحياز التعرض/exposure bias).
توليد الصوت: يتبع بشكل أساسي تبعية مصدر-هدف (source-target). تعتمد رموز الصوت بشدة على سياق النص المصدر بدلاً من الاعتماد الصارم على رموز الصوت السابقة.
الخلل: إن تطبيق هدف تلقائي الترتيب (AR) موحد لكلا الوسيطين يجبر توليد الصوت على هيكل سببي تسلسلي لا يتطلبه بطبيعته. يؤدي هذا إلى فرض قيود غير ضرورية، ويؤدي إلى ديناميكيات تدريب دون المستوى الأمثل، ويفاقم انتشار الخطأ في تركيب الصوت.

2. المنهجية: Text-to-Talk (TtT)

يقترح المؤلفون TtT، وهو نموذج لغوي صوتي (MLLM) موحد يدمج التوليد تلقائي الترتيب (AR) للنص مع الانتشار غير تلقائي الترتيب (NAR) للصوت ضمن بنية Transformer واحدة.

المكونات الهيكلية الأساسية

نموذج التوليد الهجين:
- النص: يتم نمذجته باستخدام خسارة الإنتروبيا المتقاطعة (cross-entropy) التقليدية لتلقائية الترتيب (AR)، مما يحافظ على الهيكل السببي من اليسار إلى اليمين المطلوب للاستنتاج واتباع التعليمات.
- الصوت: يتم نمذجته باستخدام الانتشار المنفصل الامتصاصي (Absorbing Discrete Diffusion). يعامل هذا النموذج الفترات الصوتية كـ "سلاسل غير مرتبة" (antichains) (مجموعات من الرموز ليس لها ترتيب داخلي إلزري)، مما يسمح بتوليدها بالتوازي.
- الهدف الموحد: تثبت الورقة نظرياً أن هدف التدريب المشترك (خسارة AR للنص + خسارة الانتشار NAR للصوت) يوفر حداً علوياً ضيقاً للاحتمالية السالبة للوغاريتم (negative log-likelihood) للتوزيع المشترك المرغوب.
آلية الانتباه المدركة للوسائط (Modality-Aware Attention):
- رموز النص: تطبق انتباهاً سببياً صارماً (تتجه نحو المطالبة، والفترات السابقة، ورموز النص السابقة).
- رموز الصوت: تطبق انتباهاً هجيناً. فهي تتجه نحو بعضها البعض ثنائ الاتجاه (bidirectionally) داخل الفترة الصوتية الحالية (مما يسمح بإزالة الضجيج بالتوازي) ولكنها تتبع الترتيب السببي للمطالبة وجميع الفترات السابقة (للحفاظ على التبعيات عبر الوسائط).
استراتيجية الاستدلال:
- ينتقل النموذج ديناميكياً بين أوضاع AR و NAR بناءً على رموز تحكم خاصة (<SOA>, <EOA>).
- الانتشار القائم على الكتل (Block-wise Diffusion): يتم تركيب الصوت في كتل متوازية باستخدام عملية إزالة ضجيج تكرارية. بمجرد التنبؤ برمز <EOA>، يتم قطع الكتلة، وينتقل النموذج للعودة إلى وضع AR للقسم النصي التالي.

استراتيجيات التدريب لسد فجوات التدريب والاختبار

لمعالجة الفجوة بين التدريب (حيث يكون الصوت محجوباً جزئياً) والاستدلال (حيث يتم توليد الصوت بالكامل)، قدم المؤلفون ثلاث استراتيجيات رئيسية:

خلط أهداف AR و NAR على مستوى الدفعة (BANOM): يتخطى إضافة ضجيج الانتشار عشوائياً لبعض العينات، مما يجبر النموذج على تعلم توليد النصوص بأسلوب AR مشروط بفترات صوتية نظيفة وغير محجوبة (محاكاة للاستدلال).
حجب الحفاظ على البادئة (PPM): يضمن بقاء الفترات الصوتية السابقة غير محجوبة أثناء تدريب الفترات اللاحقة، مما يمنع النموذج من تعلم الاعتماد على السياق الفاسد.
القطع العشوائي للفترات (SST): يقوم بقطع الفترة الصوتية النهائية عشوائياً أثناء التدريب لمنع النموذج من تعلم انحياز موضعي لرمز <EOA>، مما يجبره على تعلم المحتوى الدلالي لإنهاء العملية.

3. المساهمات الرئيسية

الرؤية النظرية: صياغة عدم التماثل بين تبعيات النص (هدف-هدف) والصوت (مصدر-هدف)، واقتراح إطار موحد يحترم هذه الهياكل المتميزة.
البنية الهجينة: تصميم أول Transformer موحد يجمع بسلاسة بين توليد النص (AR) والانتشار المنفصل غير تلقائي الترتيب (NAR) للصوت، والمنطلق من نموذج لغوي كبير مسبق التدريب (Qwen2.5).
ابتكارات التدريب: تطوير ثلاث استراتيجيات مبدئية (BANOM، PPM، SST) لاستقرار تدريب AR-NAR الهجين وإزالة التباينات بين التدريب والاختبار.
الأداء: أثبت أن نموذجاً مدمجاً بـ 3 مليارات معلمة يمكنه التفوق على نماذج أكبر بكثير (7B-9B) ونماذج AR/NAR النقية.

4. النتائج التجريبية

تم تقييم النموذج على Audio-QA، و التعرف التلقائي على الكلام (ASR)، و الوصف التلقائي للصوت (AAC)، واختبار URO-Bench الشامل (حوار S2S).

Audio-QA و ASR: تفوق TtT-3B (AR-NAR) بشكل كبير على كل من متغيرات AR و NAR النقية لنفس النموذج الأساسي.
- مثال: في مجموعة بيانات LQ، حقق TtT-3B نتيجة 34.68 مقابل 10.00 لنموذج AR الأساسي.
- مثال: في ASR (AISHELL-2)، خفض TtT-3B معدل خطأ الكلمات (WER) إلى 12.53، مقارنة بـ 54.94 لنموذج AR الأساسي.
المقارنة مع SOTA:
- تجاوز TtT-3B نماذج 7B مثل Moshi و SpeechGPT في عدة اختبارات.
- حقق متغير Pretrain+TtT (المنطلق من تدريب مسبق متعدد الوسائط) نتائج هي الأفضل في فئته (الأقل من أو تساوي 3B) وكان منافساً لنماذج 7B-9B مثل GLM-4-Voice و VITA-Audio.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي من استراتيجيات التدريب الثلاث (BANOM، PPM، SST) إلى انخفاض كبير في الأداء، خاصة في التوليد متغير الطول ودقة ASR، مما يؤكد ضرورتها.
الجودة الإدراكية: حقق النموذج درجات إدراكية عالية (NMOS/UTTMOS ~4.0)، مما يجعله مقارباً للنماذج الأكبر، مع مشكلات أقل في اتساق اللغة مقارنة ببعض المنافسين (مثل Kimi-Audio).

5. الأهمية

تتحدى هذه الورقة نهج "المقاس الواحد يناسب الجميع" (one-size-fits-all) السائد في النماذج اللغوية الكبيرة متعددة الوسائط. ومن خلال إدراك أن توليد الصوت يعتمد أساساً على المصدر ويستفيد من التوازي غير تلقائي الترتيب، يوفر TtT مساراً أكثر كفاءة ودقة لأنظمة S2S.

الكفاءة: يتيح تركيب الصوت بالتوازي، مما يقلل زمن الاستجابة والتكلفة الحسابية مقارنة بالتوليد المتسلسل (AR).
القابلية للتوسع: يثبت أن النماذج الأصغر (3B) يمكن أن تضاهي أو تتفوق على النماذج الأكبر (7B+) عندما يتم تخصيص البنية لتناسب هياكل التبعية الخاصة بكل وسيط.
الاتجاه المستقبلي: يضع نموذجاً جديداً للتوليد متعدد الوسائط حيث يمكن للوسائط المختلفة داخل نموذج واحد استخدام أهداف توليد متميزة (AR مقابل Diffusion) لتعظيم الأداء.