💬 NLP

From Text to Voice: A Reproducible and Verifiable Framework for Evaluating Tool Calling LLM Agents

تقدم هذه الورقة إطار عمل قابلاً لإعادة الإنتاج وغير مرتبط بمجموعة بيانات محددة، يقوم بتحويل معايير استدعاء الأدوات القائمة على النصوص إلى تقييمات صوتية دون الحاجة إلى إعادة التوسيم، مما يكشف عن فجوات أداء كبيرة تعتمد على النموذج بين النص والصوت، مع التحقق من فعالية النماذج اللغوية الكبيرة مفتوحة المصدر كأدوات تقييم فعالة وتحافظ على الخصوصية.

المؤلفون الأصليون: Md Tahmid Rahman Laskar, Xue-Yong Fu, Seyyed Saeed Sarfjoo, Quinten McNamara, Jonas Robertson, Shashi Bhushan TN

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Md Tahmid Rahman Laskar, Xue-Yong Fu, Seyyed Saeed Sarfjoo, Quinten McNamara, Jonas Robertson, Shashi Bhushan TN

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم ببناء مساعد ذكي يمكنه التحدث إليك وأيضاً تنفيذ المهام، مثل التحقق من تقويمك أو حجز رحلة طيران. لديك طريقتان رئيسيتان للقيْمة:

نهج "المترجم" (التتالي): يستمع المساعد إلى صوتك، ثم يستعين بمترجم بشري ليقوم بكتابة ما قلته بالضبط، ثم يقرأ قارئ نصوص فائق الذكاء تلك الملحوظة ليقرر ما يجب فعله.
نهج "المستمع الخارق" (متعدد الوسائط - Omni-Modal): يستمع المساعد إلى صوتك مباشرة ويفهم ما يجب فعله دون الحاجة لكتابة ما قلته أولاً.

السؤال الكبير هو: هل يعمل "المستمع الخارق" حقاً بشكل أفضل، أم أن نهج "المترجم" لا يزال هو الفائز؟

تقدم هذه الورقة البحثية "مضمار اختبار" ذكياً وقابلاً للتكرار للإجابة على هذا السؤال دون الحاجة إلى بناء مجموعة جديدة تماماً من التسجيلات الصوتية من الصفر.

المشكلة: "فخ النص فقط"

معظم الاختبارات لهذه المساعدات الذكية تتم باستخدام النص. أنت تكتب أمراً، ويقوم الكمبيوتر بالرد.

الاختبارات الحالية تشبه قيادة سيارة على مضمار سباق مثالي، أملس وخالٍ (نص).
الحياة الواقعية تشبه القيادة على طريق وعر وممطر مع وجود حركة مرور (صوت).

أراد الباحثون معرفة: إذا أخذنا هذه الاختبارات النصية المثالية وحولناها إلى اختبارات صوتية، فما مدى انخفاض الأداء؟

الحل: إطار عمل "مترجم الصوت"

بدلاً من تسجيل آلاف الأشخاص الحقيقيين وهم يتحدثون (وهو أمر مكلف وفوضوي)، بنى المؤلفون "وصفة" لتحويل اختبارات النصوص الحالية إلى اختبارات صوتية تلقائياً.

فكر في الأمر كالتالي:

أخذوا قائمة من التعليمات المكتوبة (المعايير النصية).
أدخلوا هذه القائمة في آلات "تحويل النص إلى كلام" عالية التقنية (مثل صوت روبوت متطور جداً) لإنشاء ملفات صوتية.
أضافوا ضوضاء في الخلفية (مثل مقهى مزدحم أو محرك سيارة) لجعل الأمر واقعياً.
الأمر الأهم: حافظوا على "مفتاح الإجابة" (العلامات الذهبية) كما هو تماماً.

هذا يسمح لهم باختبار نفس السؤال مرتين: مرة كنص، ومرة كصوت. وهذا يتيح لهم قياس مقدار "الضجيج" الذي يضيفه الصوت إلى النظام.

السباق: من الفائز؟

اختبروا سبعة نماذج مختلفة من "المستمع الخارق" (من شركات مثل OpenAI وGoogle وAlibaba) على نوعين مختلفين من المهام:

Confetti (القصاصات): مهمة حيث يجب على المساعد اختيار الأداة الصحيحة وتعبئة التفاصيل بشكل صحيح (مثلاً: "احجز رحلة إلى لندن يوم الثلاثاء").
When2Call: مهمة حيث يجب على المساعد أن يقرر ما إذا كان يحتاج لاستخدام أداة على الإطلاق، أم أنه يجب عليه الاكتفاء بالدردشة فقط.

النتائج:

لا يوجد نموذج واحد يناسب الجميع: لم يكن هناك نموذج واحد "أفضل".
- في مهمة "Confetti"، كان Gemini-3.1-Flash-Live هو البطل.
- في مهمة "When2Call"، استولى GPT-Realtime-1.5 على العرش.
"ضريبة الصوت": ساء أداء كل النماذج قليلاً عند الانتقال من النص إلى الصوت.
- بعض النماذج (مثل Qwen3) فقدت قدراً ضئيلاً جداً من الدقة (مثل عداء يتباطأ قليلاً في المطر).
- نماذج أخرى (مثل GPT-Realtime-1.5) فقدت قدراً كبيراً من الدقة (مثل عداء ينزلق في الطين).
المواجهة بين "المترجم" و"المستمع الخارق":
- بالنسبة لبعض النماذج، كان نهج "المترجم" (صوت -> نص -> إجراء) أفضل قلياً أو مساوياً لـ "المستمع الخارق".
- بالنسبة لنماذج أخرى، كان "المستمع الخارق" هو الأفضل.
- الاستنتاج: لا يمكنك افتراض أن أحد الهيكليتين سيكون دائماً الأفضل. الأمر يعتمد كلياً على أي نموذج تستخدمه وما هي المهمة التي تقوم بها.

أين يفشلون؟

نظر الباحثون في الأخطاء ووجدوا نمطاً مضحكاً:

مشكلة "سوء سماع التفاصيل": في معظم الأوقات، كانت النماذج تفهم الصورة الكبيرة بشكل صحيح (عرفت أن عليها حجز رحلة طيران)، لكنها أخطأت في التفاصيل (حجزت في اليوم الخطأ أو للمدينة الخطأ).
الأمر يشبه نادلاً فهم أنك تريد "العشاء" ولكنه أحضر لك "الإفطار" لأنه أخطأ في سماع الطلب.

مشكلة "القاضي"

في العالم الحقيقي، غالباً لا تملك الشركات "مفتاح إجابة" للتحقق مما إذا كان الذكاء الاصطناعي قد أدى عمله بشكل صحيح. لذا، اختبرت الورقة استخدام نماذج ذكاء اصطناعي أخرى كـ "قضاة" لتقييم الأداء.

وجدوا أن القضاة مفتوحي المصدر (النماذج المجانية والصديقة للخصوصية) التي تمتلك قدرة ذهنية كافية (8 مليارات معلمة على الأقل) يمكنها تقييم العمل بنفس جودة القضاة المملوكين والمكلفين. وهذا خبر جيد للشركات القلقة بشأن الخصوصية.

الخلاصة

إذا كنت تبني مساعداً صوتياً، فلا تكتفِ بالتخمين فيما إذا كان عليك استخدام "مستمع خارق" أو "مترجم".

اختبره ببياناتك الخاصة: استخدم هذا الإطار لتحويل سجلاتك النصية إلى اختبارات صوتية.
تحقق من "ضريبة الصوت": انظر كم سينخفض أداء نموذجك الخاص عند إضافة الصوت.
احذر من الغموض: إذا طرح مستخدموك أسئلة غامضة، فسوف يفشل النظام أكثر، بغض النظر عما إذا كان النص أو الصوت.

باختصار: تقدم هذه الورقة البحثية للشركات "اختبار جهد" لمعرفة ما إذا كانت مساعداتها الصوتية جاهزة للعالم الحقيقي، مما يثبت أن الخيار الأفضل يعتمد على النموذج المحدد والوظيفة المحددة، وليس مجرد قاعدة عامة.

ملخص تقني: من النص إلى الصوت: إطار عمل قابل للتكرار والتحقق لتقييم وكلاء نماذج اللغات الكبيرة (LLM) لاستدعاء الأدوات

بيان المشكلة

بينما تقدمت نماذج اللغات الكبيرة (LLMs) بشكل كبير في استدعاء الأدوات وتنفيذ الوظائف ضمن البيئات القائمة على النصوص، تظل المعايير المرجعية البارزة (مثل Confetti وWhen2Call وBFCL) مقتصرة على النصوص فقط. وهذا يخلق فجوة للمؤسسات التي تنشر وكلاء صوتيين، حيث يتعين عليها الاختيار بين بنية متسلسلة (ASR $\rightarrow$ نص LLM) أو بنية شاملة متعددة الأنماط (صوت $\rightarrow$ استدعاء أداة). تتطلب معايير الصوت الحالية بناء مجموعات بيانات جديدة من الصفر مع مخططات أدوات وملصقات ذهبية (gold labels) جديدة، وهو أمر مكلف ويحد من إمكانية التطبيق على بيانات المؤسسات المملوكة. علاوة على ذلك، فإن موثوقية النماذج الشاملة تحت ظروف صوتية واقعية، والتدهور النوعي في الأداء الناتج عن نمط الصوت (modality)، لا يزال غير مشخص بشكل كافٍ.

المنهجية

يقترح المؤلفون إطار عمل محايد للبيانات يقوم بتحويل معايير استدعاء الأدوات القائمة على النصوص الحالية إلى تقييمات صوتية محكومة دون الحاجة لإعادة تسمية مخططات الأدوات أو الملصقات الذهبية.

1. مسار التحويل

يستخدم إطار العمل نماذج تحويل النص إلى كلام (TTS) جاهزة لإنشاء حالات مقترنة (نص-صوت):

نماذج TTS: تم استخدام ثلاثة نماذج: Gemini-2.5-Flash-TTS، وGemini-2.5-Pro-TTS، وGPT-4o-Mini-TTS.
تباين المتحدثين: تم اختيار أصوات متميزة للمتحدثين الذكور والإناث من كل مزود (مثل Kore/Orus لـ Gemini، وCoral/Ash لـ GPT).
حقن الضوضاء: تم حقن ضوضاء بيئية من مجموعة بيانات DEMAND عند نسب مختلفة من الإشارة إلى الضوضاء (SNR: 5، 10، 15، 20 ديسيبل) لمحاكاة ظروف النشر.
الحفاظ على البيانات: يتم الحفاظ بدقة على مخططات الأدوات الأصلية، والملصقات الذهبية، وبروتوكولات التقييم المستمدة من مجموعات البيانات النصية المصدر.

2. بروتوكول التقييم

يقيم إطار العمل سبعة نماذج شاملة عبر أربعة مزودين (OpenAI، Google، Qwen، Microsoft) على مجموعتي بيانات:

Confetti: يركز على دقة اختيار الوظيفة واستخراج المعلمات (313 مثالاً تتطلب استدعاء أدوات).
When2Call: يركز على قدرة اتخاذ القرار لتحديد ما إذا كان استدعاء الأداة ضرورياً أم لا (300 مثال).

يقارن التقييم بين ثلاث حالات:

النص النظيف: الأداء المرجعي باستخدام المدخلات النصية الأصلية.
الصوت المباشر: الأداء باستخدام مدخلات صوتية ناتجة عن TTS ومعالجة بواسطة نماذج شاملة.
التسلسل (ASR $\rightarrow$ نص): صوت يتم تحويله إلى نص بواسطة GPT-4o-Transcribe ثم تمريره إلى نموذج نصي فقط.

3. تحليلات إضافية

تفكيك الخطأ: يتم تصنيف إخفاقات (النص-الصوت) المقترنة إلى أخطاء في القرار، وأخطاء في اختيار الأداة، وأخطاء في مخطط الوسيط (argument-schema)، وأخطاء في قيمة الوسيط (argument-value).
التقييم بدون مرجع: تم اختبار بروتوكولات (LLM-as-a-Judge) -باستخدام GPT-5 وGemini-2.5-Pro ونماذج Qwen3 مفتوحة المصدر- ضد الملصقات الذهبية لتقييم جدواها للبيانات الإنتاجية التي تفتقر إلى التوصيفات.
اختبار الإجهاد: تم إجراء اختبارات إعادة صياغة الاستعلامات القائمة على الغموض (Ambigu-based) لقياس المتانة تجاه طلبات المستخدمين غير المحددة بدقة.

النتائج الرئيسية

تبعية النموذج والمهمة

يعتمد الأداء بشكل كبير على النموذج المحدد والمهمة، وليس على البنية وحدها:

Confetti: حقق Gemini-3.1-Flash-Live أعلى درجة (70.4%)، يليه Qwen3-Omni (60.4%).
When2Call: تفوق GPT-Realtime-1.5 بنتيجة (71.9%)، بينما تراجع Gemini-3.1-Flash-Live إلى المركز الرابع (63.4%).
فجوة النص-إلى-الصوت: يختلف تدهور الأداء عند الانتقال من النص إلى الصوت بشكل كبير بين النماذج. في Confetti، تتراوح الفجوة من 1.8 نقطة (Qwen3-Omni) إلى 4.8 نقطة (GPT-Realtime-1.5).

مقارنة البنية (التسلسل مقابل الشامل)

Gemini-3.1-Flash-Live: تفوقت البنية المتسلسلة قليلاً على الصوت المباشر (71.3% مقابل 70.4%)، مما يشير إلى أن (ASR + نموذج نصي قوي) يمكنه استعادة الأداء.
GPT-Realtime-1.5 & Qwen3-Omni: تفوق الصوت المباشر على التسلسل بمقدار 0.4 و1.5 نقطة، على التوالي.
الاستنتاج: لا تهيمن بنية واحدة بشكل مطلق؛ فالخيار الأمثل يعتمد على النموذج والمهمة.

تحليل الخطأ

قيم الوسائط (Argument Values): النمط الأكثر شيوعاً للفشل في الأخطاء الناجمة عن الصوت هو أخطاء قيمة الوسيط (قيم حقول غير صحيحة أو غير مكتملة)، والتي شكلت 57.2% من الإخفاقات لـ Gemini-3.1-Flash-Live و54.3% لـ GPT-Realtime-1.5. يشير هذا إلى أن النماذج غالباً ما تحافظ على هيكل استدعاء الأداة ولكنها تسيء فهم المحتوى الصوتي.
أخطاء القرار: لوحظت أخطاء قرار كبيرة (30–37%)، مما يشير إلى أن المدخلات الصوتية تغير قرارات استخدام الأدوات عالية المستوى (مثل ما إذا كان يجب استدعاء الأداة أم لا).
خصوصيات When2Call: عانت النماذج عموماً مع حالات "عدم استدعاء الأداة" أكثر من حالات "استدعاء الأداة"، مما يسلط الضوء على صعوبة معرفة متى يجب عدم اتخاذ إجراء.

التقييم والتحجيم

حكام الـ LLM: أظهر حكام الـ LLM الذين يعملون بدون مرجع استقراراً في ترتيب النماذج مقارنة بالحكام الذين يعتمدون على المرجع. حققت حكام Qwen3 مفتوحة المصدر ذات $\ge$ 8B مع اتفاقاً >80% مع الحكام المملوكين، مما يدعم التقييم الذي يحافظ على الخصوصية.
تحجيم النص: في وضع النص فقط، يتناسب الدقة طردياً مع حجم النموذج (على سبيل المثال، ارتفاع Qwen3 من 26.6% عند 0.6B إلى 70.7% عند 32B). يمكن للنماذج النصية الأصغر (مثل 8B–14B) أن تعمل كخلفيات تسلسلية تنافسية.
اختبار إجهاد الغموض: تسببت الاستعلامات الغامضة في انخفاض كبير في الأداء (على سبيل المثال، انخفض Qwen3-Omni بمقدار 24.6 نقطة)، مما يشير إلى أن صياغة الاستعلام هي مصدر رئيسي للتباين بغض النظر عن الصوت.

الأهمية والادعاءات

يدعي البحث توفير تشخيص أولي قابل للتحقق والتكرار لنشر الوكلاء الصوتين. وتتمثل مساهماته الأساسية في:

تحويل المعايير المرجعية: طريقة لتحويل معايير استدعاء الأدوات النصية الموثوقة إلى تقييمات صوتية دون إعادة بناء الملصقات الذهبية أو المخططات، مما يسمح للمؤسسات باختبار بياناتها المملوكة.
إشارة تشخيصية: دليل على أن فجوة "النص-إلى-الصوت" ليست خاصية ثابتة للاستدلال متعدد الأنماط، بل تختلف حسب النموذج والمهمة، مما يستلزم تشخيصات محددة بدلاً من الافتراضات العامة.
عزل الخطأ: يتيح تصميم (النص-الصوت) المقترن تحليلاً مضاداً للواقع للأخطاء، ويكشف أن إخفاقات الصوت غالباً ما تنبع من سوء فهم قيم الوسائط بدلاً من فشل الهيكل في اختيار الأداة.
التقييم العملي: التحقق من أن حكام الـ LLM الذين يعملون بدون مرجع (بما في ذلك الخيارات مفتوحة المصدر) يمكنهم تقييم استدعاء الأدوات بفعالية في البيئات الإنتاجية التي تفتقر إلى الملصقات الذهبية.

يضع المؤلفون هذا الإطار كعنصر مكمل للمجموعات الصوتية المصممة خصيصاً، مما يوفر طريقة محكومة لعزل الإخفاقات الناتجة عن نمط الوسائط (modality) وتوجيه الخيارات الهيكلية (التسلسل مقابل الشامل) قبل النشر باستخدام الكلام الطبيعي. كما يقرون بالقصور، مشيرين إلى أن صوت الـ TTS هو وكيل محكوم ولا يجسد تماماً آثار المحادثة البشرية العفوية.