DuplexCascade: Full-Duplex Speech-to-Speech Dialogue with VAD-Free Cascaded ASR-LLM-TTS Pipeline and Micro-Turn Optimization

إليك ملخص تقني مفصل لورقة البحث بعنوان: "DuplexCascade: حوار كامل الاتجاه (Full-Duplex) من الكلام إلى الكلام باستخدام خط معالجة متتالي (ASR–LLM–TTS) خالٍ من كاشف النشاط الصوتي (VAD) وتحسين الدورات الدقيقة (Micro-Turn)."

1. بيان المشكلة

تواجه أنظمة الحوار المنطوق الحالية مقايضة جوهرية بين الذكاء الحواري وقدرات التفاعل كامل الاتجاه (Full-Duplex):

• الأنظمة المتتالية (ASR–LLM–TTS): تستفيد هذه الأنظمة من النماذج اللغوية الكبيرة (LLMs) القائمة على النصوص ذات القدرة العالية على الاستنتاج واتباع التعليمات. ومع ذلك، فهي تعتمد عادةً على كاشف نشاط صوتي (VAD) خارجي لتقسيم الكلام إلى أدوار. يؤدي هذا إلى نمط تفاعل "نصف اتجاه" (استمع ثم تحدث)، مما ينتج عنه تبادل أدوار هش، وفقدان لردود الفعل الجانبية (backchannels)، وتداخلات غير طبيعية عندما يفشل الـ VAD في اكتشاف الفترات الزمنية أو التداخلات بشكل صحيح.
• الأنظمة من طرف إلى طرف (End-to-End - E2E): تدعم هذه الأنظمة التفاعل كامل الاتجاه الحقيقي (الاستماع والتحدث في آن واحد) دون الحاجة إلى VAD. ومع ذلك، فإنها غالباً ما تعاني من تدهور في الذكاء الحواري لأن تعلم التمثيلات عبر الوسائط (cross-modal) وسياسات الحوار بشكل مشترك أصعب بكثير من ضبط النماذج اللغوية النصية فقط.

التحدي الجوهري هو تحقيق تفاعل كامل الاتجاه خالٍ من الـ VAD مع الحفاظ على قدرات الاستنتاج القوية للنماذج اللغوية الكبيرة الحديثة.

2. المنهجية: DuplexCascade

يقترح المؤلفون DuplexCascade، وهو خط معالجة متدفق يحول الأدوار التقليدية القائمة على الجمل الكاملة إلى أدوار دقيقة (micro-turns) قائمة على الأجزاء (chunks) لتمكين الحوار كامل الاتجاه دون الحاجة إلى VAD خارجي.

أ. البنية الأساسية

• التعرف الآلي على الكلام المتدفق (Streaming ASR): يتم تحويل صوت المستخدم باستمرار إلى نص جزئي.
• تجميع الأدوار الدقيقة (Micro-Turn Aggregation): بدلاً من انتظار جملة كاملة، يقوم النظام بتجميع مخرجات الـ ASR في نوافذ زمنية ثابتة (على سبيل المثال، $\Delta t = 0.6$ ثانية) لإنشاء "أدوار دقيقة".
• معالجة النموذج اللغوي الكبير (LLM Processing): يستقبل الـ LLM تاريخاً من الأدوار الدقيقة المتداخلة للمستخدم والنظام. يتنبأ الـ LLM بالدور الدقيق التالي للنظام، والذي قد يحتوي على محتوى نصي أو رموز تحكم خاصة.
• تحويل النص إلى كلام متدفق (Streaming TTS): يتم توليد الدور الدقيق النصي فوراً وتحويله إلى صوت، مما يسمح للنظام بالتحدث بينما لا يزال المستخدم يتحدث (أو العكس).

ب. رموز المحادثة الخاصة (Conversational Special Tokens)

لتعويض منطق الـ VAD وإدارة تبادل الأدوار ديناميكياً، قدم المؤلفون مجموعة من رموز المحادثة الخاصة التي توجه سلوك الـ LLM:

• رموز حالة المستخدم (User State Tokens):
  • <no voice>: يشير إلى صمت المستخدم خلال الدور الدقيق.
  • <user is speaking>: يبقى النظام صامتاً؛ المستخدم لا يزال يتحدث.
  • <user finish speaking>: توقف المستخدم عن الكلام؛ يجب على النظام الرد.
  • <user is interrupting>: قاطع المستخدم النظام؛ يتوقف النظام عن التوليد فوراً.
  • <user backchannel>: قدم المستخدم رد فعل جانبي (مثل "أها" أو "نعم")؛ يتجاهله النظام ويستمر.
  • <user is thinking>: صمت المستخدم بعد رد النظام؛ ينتظر النظام.
• رموز إجراءات النظام (System Action Tokens):
  • <system backchannel>: يصدر النظام مقطعاً صوتياً قصيراً مُعداً مسبقاً (مثل "أها") أثناء حديث المستخدم.

ج. بناء بيانات التدريب الديناميكية

نظراً لندرة مجموعات البيانات الحقيقية للحوار كامل الاتجاه، قام المؤلفون ببناء مجموعة بيانات تدريب من 50 ألف حوار نصي فقط (UltraChat) عبر محاكاة ظواهر الاتجاه الكامل:

1. تقسيم الأدوار الدقيقة: تقسيم الأدوار الطويلة إلى أجزاء تتراوح من 1 إلى 7 رموز (tokens).
2. محاكاة التفاعل:
   • الطول العشوائي: محاكاة معدلات انبعاث الـ ASR المتغيرة.
   • الفترات الطبيعية: إدراج أدوار دقيقة صامتة لتدريب النظام على الانتظار (<user is speaking>).
   • المقاطعات: محاكاة مقاطعة المستخدم لتدريب النظام على الإلغاء (<user is interrupting>).
   • الردود الجانبية: حقن ردود جانبية من المستخدم لتدريب النظام على تجاهلها (<user backchannel>).
   • وقت التفكير: محاكاة وقت المعالجة لدى المستخدم لتدريب النظام على الانتظار (<user is thinking>).
3. استراتيجية الضبط الدقيق (Fine-Tuning): يستخدم النموذج تقنية LoRA (الضبط منخفض الرتبة) على بنية Qwen2-7B-Instruct. ومن الأهمية بمكان أن التدريب هو نصي فقط، لتجنب مشكلات المحاذاة عبر الوسائط. تم ضبط النموذج لمدة 5,000 خطوة فقط على 50 ألف حوار.

3. المساهمات الرئيسية

1. خط معالجة كامل الاتجاه خالٍ من الـ VAD: بنية متتالية مبتكرة تحقق تفاعلاً كاملاً للاتجاه دون الحاجة إلى VAD خارجي باستخدام الأدوار الدقيقة والرموز الخاصة.
2. آلية رموز التحكم: مجموعة من رموز المحادثة الصريحة التي تسمح للـ LLM باتخاذ قرارات قوية بشأن تبادل الأدوار (الانتظار، المقاطعة، الرد الجانبي) مباشرة من المدخلات النصية.
3. التكيف الفعال القائم على النص فقط: يثبت أن نموذج LLM نصي قوي يمكن تكييفه للحوار الصوتي كامل الاتجاه باستخدام البيانات النصية فقط وضبط خفيف باستخدام LoRA، مما يحافظ على ذكاء حواري عالٍ.
4. تخليق البيانات الديناميكي: طريقة لتوليد بيانات تدريب واقعية للحوار كامل الاتجاه من الحوارات النصية القياسية عبر محاكاة قيود التدفق وظواهر التفاعل.

4. النتائج التجريبية

تم تقييم النموذج على Full-Duplex-Bench (جودة تبادل الأدوار) و VoiceBench (الذكاء الحواري).

• Full-Duplex-Bench (تبادل الأدوار):
  • حقق DuplexCascade أفضل دقة متوسطة لتبادل الأدوار بين الأنظمة مفتوحة المصدر.
  • تفوق بشكل كبير على الأنظمة القائمة على VAD مثل Freeze-Omni، خاصة في التعامل مع المقاطعات والفترات الزمنية.
  • أدار النظام الردود الجانبية وانتقالات الأدوار بسلاسة.
• VoiceBench (الذكاء الحواري):
  • حقق DuplexCascade درجات مماثلة لخط المعالجة النصي البسيط (DSM-ASR + Qwen2-7B) وتفوق بشكل ملحوظ على نماذج E2E كاملة الاتجاه الأخرى (مثل Moshi و PersonaPlex).
  • يؤكد هذا أن استراتيجية التكيف النصية فقط نجحت في الحفاظ على قدرات الاستنتاج واتباع التعليمات للنموذج اللغوي.
• دراسة الاستئصال (Ablation) على $\Delta t$:
  • أظهر تحليل مدة الدور الدقيق ($\Delta t$) أنه بينما وفر $\Delta t = 1.2s$ أعلى دقة، إلا أنه تسبب في زمن استجابة (latency) مرتفع.
  • اختار المؤلفون $\Delta t = 0.6s$ كأفضل مقايضة بين دقة تبادل الأدوار وزمن استجابة النظام.

5. الأهمية

يمثل DuplexCascade خطوة كبيرة للأمام في أنظمة الحوار المنطوق من خلال إثبات أن البنى المتتالية النمطية يمكنها تحقيق تفاعل كامل الاتجاه دون التضحية بـ ذكاء النماذج اللغوية الكبيرة الحديثة.

• الواقعية: يتجنب تعقيد تدريب نماذج ضخمة من طرف إلى طرف (E2E) بينما يحل مشكلة "هشاشة الـ VAD" التي تعاني منها المساعدات التجارية الحالية.
• القابلية للتوسع: الاعتماد على الضبط الدقيق النصي فقط يعني أن النظام يمكنه الاستفادة من النظام البيئي الواسع للنماذج اللغوية النصية عالية الجودة دون الحاجة إلى مجموعات بيانات صوتية نادرة ومكلفة للحوار كامل الاتجاه.
• التفاعل الطبيعي: من خلال تمكين الردود الجانبية الحقيقية والتعامل مع المقاطعات، فإنه يقرب الذكاء الاصطنا-الصوتي من ديناميكيات المحادثة البشرية الطبيعية.

باختصار، يجسّر DuplexCascade الفجوة بين ذكاء النماذج اللغوية الكبيرة وانسيابية الكلام البشري، ويقدم حلاً قوياً وفعالاً وعالي التفاعل للجيل القادم من المساعدات الصوتية.