INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval

تخيل أنك تحاول العثور على إبرة محددة في كومة قش، لكن الإبرة تغير شكلها بناءً على كيفية طلبك لها. إذا طلبت إبرة لامعة، فستحصل على واحدة مختلفة عما لو طلبت إبرة حمراء، أو واحدة أُسقطت بالقرب من ضوضاء صاخبة. لعقود من الزمن، أصبحت الحواسيب أفضل في العثيد على المعلومات، لكنها اعتمدت في الغالب على نظام مطابقة جامد. إذا بحثت عن كلمة، يبحث الحاسوب عن تلك الكلمة ذاتها بالضبط. وإذا بحثت عن صوت، يبحث عن صوت يشبه تماماً ما بحثت عنه. هذا يعمل بشكل جيد عندما تعرف بالضبط ما تبحث عنه، ولكنه يفشل عندما تكون احتياجاتك أكثر تعقيداً. في العالم الحقيقي، لا يريد الناس مجرد العث find تسجيل يبدو متشابهاً؛ بل قد يريدون العثور على تسجيل يبدو فيه المتحدث غاضباً، أو حيث تكون الضوضاء في الخلفية هي صوت المطر، أو حيث يكون الشخص المتحدث هو نفسه الذي تحدث في مقطع سابق. لقد كان التحدي الذي يواجه العلماء هو تعليم الحواسيب فهم هذه التعليمات المتغيرة التي تشبه طريقة البشر، بدلاً من مجرد مطابقة الأنماط الثابتة.

لقد اتخذ فريق من الباحثين في جامعة تايوان الوطنية خطوة كبيرة نحو حل هذه المشكلة من خلال إنشاء ميدان اختبار جديد يسمى INSPIRE. هذا ليس برنامج حاسوب جديداً يحل كل شيء، بل هو معيار تم بناؤه بعناقة ليرى مدى قدرة التكنولوجيا الحالية على التعامل مع هذه التعليمات المرنة. بنى الباحثون مكتبة ضخمة من التسجيلات الصوتية وربطوها بآلاف الأوامر اللغوية الطبيعية. تتراوح هذه الأوامر من الطلبات البسيطة، مثل "ابحث عن الجزء التالي من هذه المحادثة"، إلى المطالب المعقدة متعددة الطبقات، مثل "ابحث عن تسجيل لنفس الشخص وهو يتحدث بحزن بينما تُسمع أصوات خطوات في الخلفية". كان الهدف هو معرفة ما إذا كانت أنظمة الذكاء الاصطناعي الحالية يمكنها النظر إلى سؤال منطوق وتعليمات مكتوبة، ثم العثور بنجاح على المقطع الصوتي الدقيق الذي يناسب ذلك الوصف المحدد.

اختبر الباحثون أربعة أنواع مختلفة من الأنظمة الحاسوبية لمعرفة كيف سيكون أداؤها. تألفت المجموعة الأولى من نماذج اللغة الصوتية الكبيرة، وهي أنظمة متطورة مدربة على فهم كل من الصوت والنص. استخدمت المجموعة الثانية "خط أنابيب متتالي" (cascaded pipeline)، وهي طريقة تقوم فيها الحواسب أولاً بتحويل الصوت إلى نص مكتوب وشروح، ثم تبحث عن هذا النص باستخدام أدوات البحث النصي القياسية. اعتمدت المجموعة الثالثة على نماذج الكلام ذاتية الإشراف، والتي تتعلم فهم الأنماط الصوتية مباشرة دون تحويلها إلى نص. واستخدمت المجموعة الأخيرة النماذج التباينية التي تحاول الربط بين النص والصوت معاً. قام الفريق بقياس عدد المرات التي نجح فيها كل نظام في العثور على المقطع الصوتي الصحيح من بين آلاف الخيارات الخاطئة.

كشفت النتائج عن انقسام واضح ومفاجئ في طريقة تفكير هذه الآلات. كانت الأنظمة التي تحول الكلام إلى نص ممتازة في العثور على المقاطع بناءً على ما قيل بالفعل. إذا كانت التعليمات هي العثور على جملة محددة أو استمرار لمحادثة، فإن هذه الطرق القائمة على النصوص كانت تؤدي بشكل جيد جداً. ومع ذلك، فقد عانت بشدة عندما كانت التعليمات تتعلق بكيفية صدور الصوت. فعندما طُلب منها العثور على مقطع بناءً على هوية المتحدث، أو نبرته العاطفية، أو الضوضاء في الخلفية، كان أداء هذه الأنظمة القائمة على النصوص لا يتعدى التخمين العشوائي. ببساطة، لم تستطع "سماع" الفرق بين صوت سعيد وصوت حزين بمجرد تحويل الصوت إلى كلمات.

من ناحية أخرى، أظهرت الأنظمة التي استمعت مباشرة إلى الموجات الصوتية دون تحويلها إلى نص قوة معاكسة. فقد كانت أفضل بكثير في التعرف على صوت المتحدث، وأسلوب كلامه، والأصوات البيئية من حوله. لكن هذه الأنظمة نفسها فشلت عندما تطلبت التعليمات منها فهم معنى الكلمات أو اتباع أمر معقد متعدد الأجزاء. لقد استطاعت سماع الصوت، لكنها لم تستطع اتباع التعليمات للعثور على صوت محدد يتحدث شيئاً محدداً بطريقة محددة. وحتى أكثر نماذج اللغة الصوتية الكبيرة تقدماً، والتي كان من المتوقع أن تسد هذه الفجوة، لم تستطع فعل ذلك. لقد أدت أداءً جيداً بشكل معقول في بعض المهام، لكنها قصرت عندما تطلبت المهمة فهماً عميقاً لكل من الصوت والتعليمات في آن واحد.

كما بحثت الدراسة فيما يحدث عندما يُعطى الحاسوب "مرجعاً" من البيانات الوصفية المثالية، مثل معرفة هوية المتحدث بالضبط أو الضوضاء في الخلفية، بدلاً من محاولة استنتاج ذلك من الصوت. حتى مع وجود هذه المعلومات المثالية، لم تستطع الأنظمة القائمة على النصوص العثور بشكل موثوق على المقاطع الصحيحة عندما كانت التعليمات تتضمن تركيبات معقدة من الميزات. وهذا يشير إلى أن المشكلة ليست فقط في أن الحواسيب سيئة في السمع، بل في أن بنيتها الحالية ليست مبنية للتعامل مع التعليمات التي تمزج أنواعاً مختلفة من المعلومات. وجد الباحثون أنه لا توجد طريقة واحدة اختبرت لتعالج جميع الطرق المختلفة التي قد يطلب بها الإنسان العثون على صوت.

في النهاية، خلصت الورقة البحثية إلى أن المجال يقف عند مفترق طرق. الأدوات الحالية متخصصة للغاية؛ فبعضها بارع في قراءة النص لكنه أصم تجاه النبرة، والبعض الآخر بارع في سماع النبرة لكنه أميّ في فهم التعليمات. يرى الباحثون أن الجيل القادم من التكنولوجيا يحتاج إلى نظام موحد، نظام يمكنه الاستماع إلى صوت، وقراءة تعليمات معقدة، وفهم أن الإجابة تكمن في الجمع بين كليهما. وإلى أن يتم بناء مثل هذا النظام، ستظل القدرة على البحث في مكتبة من الأصوات بنفس السهولة والدقة التي نبحث بها عن النصوص بعيدة المنال. لا يقدم هذا العمل حلاً نهائياً، لكنه يرسم بوضوح معالم الطريق، موضحاً أين تخفق التكنولوجيا الحالية وإلى أين يجب أن يتجه مستقبل استرجاع الكلام.