🤖 AI

$\tau$ -Voice: Benchmarking Full-Duplex Voice Agents on Real-World Domains

تقدم الورقة البحثية $\tau$ -Voice، وهو معيار مرجعي جديد يقيم وكلاء الصوت ثنائيي الاتجاه (full-duplex) في مهام واقعية معقدة ومترابطة باستخدام محاكي مستخدم قابل للتحكم، كاشفاً أن الوكلاء الحاليين لا يحتفظون إلا بنسبة 30-45% من قدراتهم القائمة على النصوص بسبب الإخفاقات السلوكية الكبيرة في البيئات الحوارية متعددة الأدوار والمليئة بالضجيج.

المؤلفون الأصليون: Soham Ray, Keshav Dhandhania, Victor Barres, Karthik Narasimhan

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Soham Ray, Keshav Dhandhania, Victor Barres, Karthik Narasimhan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول توظيف ممثل خدمة عملاء جديد. لديك مرشحان: "توم النصي" (Text-Tom) و**"فيرا الصوتية" (Voice-Vera)**.

توم النصي عبقري. يجلس في مكتب هادئ، يقرأ رسائل البريد الإلكتروني الخاصة بك، يفكر بعمق، ويحل مشكلاتك بشكل مثالي. إذا طلبت منه تغيير طلبك، فإنه يفعل ذلك فوراً.

فيرا الصوتية هي الموظفة الجديدة. من المفترض أن تقوم بنفس الوظيفة، لكن عليها القيام بذلك بينما تتحدث إليها في شارع مزدحم، مع ضجيج حركة المرال، وبينما تعاني أنت من زكام، وبينما تحاول هي الاستماع إليك والتحدث في نفس الوقت.

هذه الورقة البحثية، τ-Voice، تشبه "مقابلة عمل" صارمة مصممة خصيصاً لاختبار مدى أداء "فيرا الصوتية" (ومنافسيها) في العالم الحقيقي، بدلاً من اختبارهم في مختبر هادئ.

إليك تفاصيل ما وجدوه، باستخدام تشبيهات بسيطة:

1. المشكلة: "الغرفة الهادئة" مقابل "الشارع المزدحم"

سابقاً، كان الباحثون يختبرون الوكلاء الصوتيّن بطريقتين منفصلتين:

الاختبار (أ): "هل يستطيع هذا الوكيل حل مسألة رياضية؟" (إتمام المهمة).
الاختبار (ب): "هل يستطيع هذا الوكيل الانتظار بأدب بينما تتحدث أنت؟" (تدفق المحادثة).

لكنهم لم يختبروهم أبداً معاً في سيناريو حقيقي فوضوي. الأمر يشبه اختبار سيارة سباق على مضمار سلس (الاختبار أ)، ثم اختبار قدرة السائق على التحدث عبر الهاتف (الاختبار ب)، ولكن دون رؤية ما إذا كان السائق يمكنه السباق أثناء التحدث في الهاتف وسط عاصفة مطرية.

لقد بنى τ-Voice "عاصفة محاكية". أنشأوا برنامجاً حاسوبياً يعمل كمتصل بشري يتضمن:

اللكنات: طرق مختلفة في التحدث (مثل اللكنة البريطانية أو لكنة إقليمية ثقيلة).
الضوضاء: أصوات خلفية مثل نباح الكلاب أو حركة المرور.
المقاطعات: أشخاص يتحدثون فوق بعضهم البعض، أو قول "اممم"، أو السعال.

2. التجربة: "اختبار التعذيب"

أخذ الباحثون ثلاثة من أفضل الوكلاء الصوتيّن رفيعي المستوى (من Google وOpenAI وxAI) وأخضعوهم لـ 278 مهمة مختلفة من مهام خدمة العملاء (مثل إرجاع أحجية، أو تغيير رحلة طيران، أو إصلاح فاتورة هاتف).

اختبروهم في حالتين:

الحالة "النظيفة": صوت مثالي، لا ضجيج، ولا مقاطعات. (مثل التحدث في استوديو عازل للصوت).
الحالة "الواقعية": شارع صاخب، لكنات متنوعة، وأشخاص يقاطعون بعضهم البعض. (مثل التحدث في مقهى مزدحم).

3. النتائج: "فجوة الصوت"

كانت النتائج مفاجئة ومثيرة للقلق قليلاً بشأن مستقبل الذكاء الاصطعي الصوتي.

بطل النصوص: عند استخدام ذكاء اصطناعي نصي (GPT-5)، كانت نسبة النجاح 85%. كان الأمر يشبه طباخاً ماهراً يطبخ في مطبخ مثالي.
واقع الصوت:
- في الحالة "النظيفة"، انخفضت معدلات نجاح الوكلاء الصوتيّن إلى 31–51%. كانوا يعانون بالفعل بمجرد الانتقال من الكتابة إلى التحدث.
- في الحالة "الواقعية"، انخفضت المعدلات أكثر لتصل إلى 26–38%.

التشبيه: تخيل طالباً يحصل على درجة امتياز (85%) في اختبار رياضيات كتابي. ولكن عندما تطلب منه حل نفس المسائل الرياضية بينما يصرخ شخص ما في وجهه وعليه أن ينطق الإجابات بصوت عالٍ، فإنه فجأة يحصل على درجة مقبول (30%). هم ليسوا "أغبياء"؛ بل إن الوسيط (الصوت) هو الصعب جداً عليهم في الوقت الحالي.

4. لماذا فشلوا؟

نظر الباحثون بدقة في الأخطاء. ووجدوا أن 80–90% من الإخفاقات كانت خطأ الذكاء الاصطناعي، وليس خطأ المحاكي.

مشكلة "الضياع في الترجمة": غالباً لم يستطع الذكاء الاصطناعي فهم اسم المستخدم أو بريده الإلكتروني عندما يتم تهجئته، خاصة إذا كان للمستخدم لكنة أو ضوضاء في الخلفية.
مشكلة "الهلوسة": كان الذكاء الاصطناعي يدعي الثقة ويختلق معلومات؛ فعلى سبيل المثال، قد يقول: "لقد قمت بتحديث عنوانك"، بينما في الواقع لم يفعل شيئاً.
مشكلة "التوقيت السيئ":
- بعض أنظمة الذكاء الاصطناعي كانت مقاطعة للغاية. كانت تقاطع المستخدم باستمرار، مثل شخص لا يتركك تنهي جملتك أبداً.
- بعضها كان بطيئاً جداً. كانت تنتظر طويلاً للرد، مما يجعل المحادثة تبدو غريبة وميتة.
- بعضها كان حساساً للغاية. كانت تتوقف عن الكلام لمجرد أن المستخدم سعل أو قال "ممم-همم"، ظناً منها أن المستخدم قد استولى على المحكم.

5. تحذير "إمكانية الوصول"

كان أحد أهم النتائج المتعلقة بـ اللكنات.

أحد مزودي الذكاء الاصطناعي (xAI) عانى بشكل هائل مع اللكنات غير الأمريكية، حيث فقد ما يقرب من 40% من قدرته على الفهم.
مزود آخر (Google) كان أكثر متانة، حيث لم يفقد الكثير من أدائه مع اللكنات.

التشبيه: تخيل مترجماً يتحدث الإنجليزية ببراعة، ولكنه يرتبك تماماً إذا تحدثت بلكنة بسيطة. إذا كنت تعتمد على هذا المترجم لإدارة حسابك البنكي، فأنت في ورطة. تُظهر هذه الورقة أن أنظمة الذكاء الاصطناعي الصوتي الحالية قد تفشل بشكل منهجي في مساعدة الأشخاص ذوي اللكنات غير القياسية، وهي قضية عدالة كبيرة.

6. الخلا-صة

تخلص الورقة إلى أنه بينما يتحسن الوكلاء الصوتيّون، إلا أنهم لا يزالون بعيدين جداً عن أن يكونوا جاهزين لاستبدال موظفي خدمة العملاء البشر في المواقف المعقدة.

الذكاء الاصطناعي النصي يشبه عداء المسافات القصيرة (Sprinter): سريع، دقيق، ومركز.
الذكاء الاصطناعي الصوتي الحالي يشبه عداء مسافات قصيرة يحاول التلاعب بالكرات أثناء الركض عبر الطين: إنهم يحاولون القيام بأشياء كثيرة في وقت واحد (الاستماع، التحدث، التفكير، التعامل مع الضوضاء) وهم يسقطون الكرات أثناء ذلك.

الخلاصة المستفادة: يجب أن نتوقف عن اختبار الوكلاء الصوتيّن في "الغرف الهادئة" ونبدأ في اختبارهم في "الطين". فقط من خلال قياس كيفية تعاملهم مع الفوضى في العالم الحقيقي، يمكننا بناء مساعدين صوتيين موثوقين، عادلين، وجاهزين للعالم الحقيقي.

إليك ملخص تقني مفصل لورقة البحث $\tau$ -Voice: تقييم وكلاء الصوت ثنائي الاتجاه الكامل في مجالات العالم الحقيقي.

1. بيان المشكلة

تعالج الورقة الفجوة الحرجة بين النشر السريع لـ الوكلاء الصوتين ثنائيي الاتجاه الكاملين (الأنظمة التي تستمع وتتحدث في آن واحد) والافتقار إلى أطر تقييم صارمة لها. تعاني الاختبارات المرجعية الحالية من ثلاث قيود رئيسية:

عزل القدرات: تقوم بتقييم إتمام المهام (استخدام الأدوات) وديناميكيات المحادثة (تبادل الأدوار) بشكل منفصل، بدلاً من اختبارها معاً في سياق واقعي ومترابط.
الافتقار إلى الواقعية: تستخدم العديد من الاختبارات المرجعية مهاماً اصطناعية دون استدعاءات حقيقية للأدوات، أو تعتمد على مدخلات نصية فقط تتجاهل التدهور الصوتي (الضوضاء، اللهجات، وضغط اتصالات الهاتف).
عدم القدرة على محاكاة التعقيد: تواجه الأنظمة الحالية صعوبة في محاكاة الوقت المستمر، والمقاطعات، والاستجابات الخلفية (backchanneling) المطلوبة للتفاعل الطبيعي ثنائي الاتجاه الكامل دون أن تكون مقيدة بحدود وقت الساعة الحقيقية.

السؤال الجوهري هو: هل يمكن للوكلاء الصوتين التعامل مع مهام خدمة العملاء المعقدة ومتعددة الخطوات بنفس الموثوقية التي تتمتع بها الوكلاء القائمة على النصوص عند مواجهة ظروف صوتية وديناميكيات محادثة واقعية؟

2. المنهجية: إطار عمل $\tau$ -Voice

قدم المؤلفون $\tau$ -Voice، وهو امتداد لاختبار $\tau^2$ -bench الحالي، مصمم لتقييم الوكلاء الصوتين في 278 مهمة مترابطة عبر ثلاثة مجالات: التجزئة (المرتجعات/الاستبدال)، الطيران (تغيير الحجوزات)، والاتصالات (تغيير الفواتير/الخطط).

أ. منسق ثنائي الاتجاه الكامل (Full-Duplex Orchestrator)

الابتكار الأساسي هو منسق قائم على "التكات" (tick-based orchestrator) يقوم بفصل وقت المحاكاة عن وقت الساعة الحقيقية.

الوقت المنفصل: يتم تقسيم التدفقات الصوتية إلى تكات ذات مدة ثابتة (الافتراضي $\tau = 200$ مللي ثانية). يتبادل كل من الوكيل والمستخدم بالضبط $\tau$ مللي ثانية من الصوت لكل تكة.
التخزين المؤقت والمقاطعة: إذا حدثت مقاطعة، يتم مسح التخزين المؤقت، مما يؤدي إلى قطع استجابة الوكيل قيد التنفيذ. هذا يسمح بالتحدث المتزامن الحقيقي.
التحويل الخطي للنصوص: يتم تحويل الكلام المتداخل إلى نص متسلسل لمعالجته بواسطة نموذج اللغة الكبير (LLM) الخاص بمحاكي المستخدم، مما يضمن فهم المحاكي لتدفق المحادثة رغم طبيعة الاتجاه الكامل.
الفصل: من خلال تقديم وقت المحاكة بشكل مستقل، يمكن لمحاكي المستخدم استخدام أكثر نماذج اللغة قدرة دون قيود زمن الاستجابة (latency) الخاصة بالوقت الحقيقي، مما يضمن جودة عالية في اتباع التعليمات واتخاذ قرارات تبادل الأدوار.

ب. محاكي المستخدم الصوتي

يقوم محاكي قابل للتحكم بتوليد صوت متصل واقعي من خلال مسار عمل يتكون من:

توليد النصوص: إنتاج لغة منطوقة طبيعية مع وجود عثرات كلامية ("امم"، "آه")، ورموز خاصة منطوقة، واستجابات مقتضبة.
توليد الكلام: استخدام شخصيات صوتية متنوعة (7 إجمالاً) تغطي لهجات مختلفة (مثل البنغالية، سيشوان، الإنجليزية الهندية) والديموغرافيا.
البيئة الصوتية: محاكاة ظروف الاتصال الهاتفي الواقعية عبر دمج:
- الضوضاء الخلفية: ضوضاء مستمرة (حركة المرور، الدردشة) وضوضاء مفاجئة (رنين الهاتف، نباح الكلاب).
  // تدهور القناة: كتم صوت ديناميكي، ضغط G.711 $\mu$ -law (8 كيلو هرتز)، وفقدان الإطارات (محاكاة فقدان الحزم عبر نموذج Gilbert-Elliott).
- ديناميكيات تبادل الأدوار: قرارات مدفوعة بنماذج اللغة الكبيرة فيما يتعلق بالمقاطعات، والاستجابات الخلفية ("مم-همم")، والتخلي عن الدور.

ج. مقاييس التقييم

يقيس الإطار بُعدين متميزين:

إتمام المهمة (pass@1): نجاح يمكن التحقق منه بناءً على الحالة النهائية لقاعدة البيانات مقارنة بالأهداف المحددة. وخلافاً للاختبارات النصية، يأخذ هذا في الاعتبار التباين في المخرجات الصوتية باستخدام تقييم قائم على نماذج اللغة الكبيرة بدلاً من المطابقة النصية الصارمة.
جودة التفاعل الصوتي:
- الاستجابة: معدل الاستجابة (RR) ومعدل التخلي (RY).
- زمن الاستجابة (Latency): زمن استجابة الرد ( $L_R$ ) وزمن استجابة التخلي ( $L_Y$ ).
- معدل المقاطعة: تكرار مقاطعة الوكيل للمستخدم.
- الانتقائية: القدرة على تجاهل الإشارات غير القابلة لاتخاذ إجراء مثل الاستجابات الخلفية، أو العثرات الصوتية، أو الكلام غير الموجه.

3. المساهمات الرئيسية

أول اختبار مرجعي متكامل: يعد $\tau$ -Voice أول اختبار يجمع بين إتمام المهام القابل للتحقق، والتفاعل ثنائي الاتجاه الكامل، والبيئات الصوتية الواقعية في إطار عمل واحد.
محاكي قابل للتحكم: محاكي مستخدم مبتكر يسمح بالدراسة المنهجية للعوامل الصوتية (الضوضاء، اللهجات، تبادل الأدوار) مع الحفاظ على قابلية التكرار عبر العشوائية القائمة على البذرة (seed-based stochasticity).
تحليل تجريبي شامل: تقييم ثلاثة من أبرز المزودين للنماذج الصوتية الأصلية (OpenAI، Google، xAI) عبر 278 مهمة، مما يوفر أول مقارنة واسعة النطاق لأداء الصوت مقابل النص في المجالات المترابطة.

4. النتائج الرئيسية

تكشف الدراسة عن "فجوة الصوت-النص" الكبيرة وتسلط الضوء على أنماط الفشل المحددة:

أ. تدهور الأداء

الأساس النصي: يحقق GPT-5 (من حيث الاستنتاج) نسبة 85% في مهام النص.
الصوت النقي: في الظروف المثالية (صوت نقي، لهجات أمريكية، عدم وجود مقاطعات)، يحقق أفضل الوكلاء الصوتين فقط 31-51% (انخفاض بمقدار 34-54 نقطة مئوية).
الصوت الواقعي: في الظروف الواقعية (ضوضاء، لهجات متنوعة، مقاطعات)، ينخفض الأداء أكثر ليصل إلى 26-38%. لا تحتفظ الوكلاء الصوتين إلا بـ 30-45% من قدرة النماذج النصية المتطورة.

ب. تأثير العوامل الصوتية (دراسة الاستئصال)

اللهجات: هي العامل الأكثر ضرراً في المتوسط، حيث تسبب انخفاضاً بمقدار 10 نقاط مئوية. ومع ذلك، فإن هذا الأمر يعتمد بشدة على المزود: يفقد xAI 38% من قدرته في الظروف النقية بسبب اللهجات، بينما لا يتأثر Google تقريباً.
تبادل الأدوار: يسبب انخفاضاً بمقدار 7 نقاط مئوية في المتوسط.
الضوضاء: تسبب انخفاضاً بمقدار 4 نقاط مئوية.
المفاضلات بين المزودين:
- Google: الأكثر صموداً أمام التدهور (يفقد 17% فقط من أدائه النقي في الظروف الواقعية) ولكنه يمتلك استجابة أقل.
- OpenAI: الأسرع في زمن الاستجابة (0.90 ثانية) والاستجابة المثالية (100%)، ولكن لديه انتقائية ضعيفة (6%)، حيث غالباً ما يقاطع أو يستجيب للكلام غير الموجه.
- xAI: الأعلى في إتمام المهام في الظروف النقية، ولكنه يعاني أكثر من اللهجات ولديه أعلى معدل مقاطعة (84%).

ج. تحليل الأخطاء

يظهر التحليل النوعي لـ 91 محاكاة فاشلة أن 79-90% من حالات الفشل تنبع من سلوك الوكيل، وليس من عيوب المحاكي.

أنماط الفشل الأساسية:
- اختناقات المصادقة: يفشل الوكلاء في نسخ الأسماء أو رسائل البريد الإلكتروني التي يتم تهجئتها بشكل صحيح، مما يعيق المهام اللاحقة.
  ية الهلوسة: يقوم الوكلاء باختلاق تفاصيل الطلبات أو يدعون تحديث البيانات دون إجراء استدعاءات للأدوات.
- أخطاء الاستنتاج: يفقد الوكلاء تتبع الطلبات متعددة الخطوات أو يفشلون في دمج المعلومات الموزعة عبر عدة أدوار.
الاستنتاج: الفجوة ليست مجرد مشكلة في التعرف على الكلام (ASR)؛ بل تعكس تحديات أساسية في الاستنتاج والترابط في الوسيط الصوتي.

5. الأهمية والآثار المستقبلية

مخاوف الوصول (Accessibility): يشير الانخفاض الحاد في الأداء للهجات غير الأمريكية (خاصة بالنسبة لـ xAI) إلى أن الوكلاء الصوتين الحاليين قد يسيئون خدمة المستخدمين ذوي أنماط الكلام المتنوعة بشكل منهجي، مما يثير قضايا العدالة.
الجاهزية للنشر: تشير النتائج إلى أنه على الرغم من تقليص الوكلاء الصوتين للفجوة مع النماذج النصية غير القائمة على الاستنتاج في الظروف المثالية، إلا أنهم ليسوا جاهزين بعد للنشر الموثوق في السيناريوهات المعقدة والضوضائية في العالم الحقيقي.
التوجه البحثي: تدعو الورقة إلى التحول من مقاييس ASR أو الحوار المعزولة إلى التقييم الشامل (end-to-end) الذي يأخذ في الاعتبار التأثيرات التراكمية للضوضاء الصوتية، وديناميكيات تبادل الأدوار، والاستنتاج.
المصدر المفتوح: ينشر المؤلفون $\tau$ -Voice كمنصة مفتوحة المصدر وقابلة للتهيئة لتمكين البحث القابل للتكرار وتطوير وكلاء صوتيين أكثر قوة وطبيعية وموثوقية.

باختصار، يوفر $\tau$ -Voice أول دليل صارم على أن الوكلاء الصوتين ثنائيي الاتجاه الكاملين الحاليين يعانون بشكل كبير من المهام المترابطة في ظل الظروف الواقعية، ويرجع ذلك أساساً إلى فشل استنتاج الوكيل وإدارة التفاعل بدلاً من مجرد قيود معالجة الصوت.