Relative Time Intervals Representation for Word-level Timestamping with Masked Training

في عالم الذكاء الاصطناعي، أصبحت نوعية محددة من البرامج الحاسوبية تُعرف باسم "النماذج اللغوية الكبيرة" ماهرة بشكل ملحوظ في فهم وتوليد الكلام البشري. تستطيع هذه الأنظمة الاستماع إلى الصوت، والتعرف على الكلمات المنطوقة، وكتابتها بدقة مبهرة. ومع ذلك، افتقرت هذه الآلات لفترة طويلة إلى حس حاسم بالوقت. فبينما يمكنها إخبارك بما قيل، فإنها غالباً ما تجد صعوبة في إخبارك "متى بالضبط" حدثت كل كلمة ضمن تدفق المحادثة. هذه القطعة المفقودة من المعلومات حيوية للعديد من التطبيقات، بدءاً من إنشاء ترجمات دقيقة لمقاطع الفيديو وصولاً إلى مزامنة الصوت مع المشاهد المرئية. يكمن التحدي في تعليم الآلة كيفية الحفاظ على ساعة داخلية منتظمة بينما تحاول في الوقت ذاته فهم أصوات معقدة وتكوين جمل، وهي مهمة تتطلب موازنة نوعين مختلفين جداً من المعلومات.

لقد عالج الباحثون هذه المشكلة مؤخراً من خلال إعادة التفكير في كيفية تمثيل الحواسيب للوقت. تقليدياً، عندما يحاول نظام ما تحديد اللحظة التي تُنطق فيها الكلمة، فإنه يستخدم طابعاً زمنياً مطلقاً، يشبه ساعة توقيت تبدأ من الصفر وتتصاعد باستمرار. إذا نُطقت كلمة في بداية التسجيل، فسيحددها النظام عند 0.0- ثانية؛ وإذا نُطقت كلمة أخرى لاحقاً، فقد تُحدد عند 15.42 ثانية. ورغم أن هذا يبدو مباشراً، إلا أنه يخلق عقبة كبيرة أمام الكمبيوتر. فكلما طال التسجيل، أصبحت الأرقام أكبر وأكثر عدداً، مما يجبر النظام على حفظ آلاف العلامات الزمنية الفريدة. ويؤدي هذا النهج أيضاً إلى خطأ شائع حيث تتراكم الأخطاء الصغيرة في التوقيت، مما يتسبب في انحراف الساعة عن مسارها الصحيح كلما استمر المقطع الصوتي.

ولحل هذه المعضلة، اقترح فريق من الباحثين طريقة مختلفة للتفكير في الوقت، تعتمد على الفترات الزمنية بدلاً من النقاط الثابتة على الساعة. فبدلاً من مطالبة الكمبيوتر بتذكر الثانية الدقيقة التي تبدأ فيها الكلمة، قاموا بتدريبه على قياس الفجوة بين الكلمات. في هذا النظام الجديد، يحتاج الكمبيوتر فقط لتعلم مدة الفراغ بين الكلمة السابقة والكلمة الحالية. فإذا توقف المتحدث لنصف ثانية قبل قول الكلمة التالية، يقوم النظام ببساطة بتسجيل تلك الفجوة التي تبلغ نصف ثانية. ومن خلال جمع هذه الفجوات الصغيرة، يمكن للكمبيوتر إعادة بناء الجدول الزمني الكامل للحديث، بغض النظر عن طوله. هذه الطريقة أكثر كفاءة لأن الكمبيوتر يحتاج فقط لتعلم مجموعة محدودة من الفترات الزمنية، بدلاً من قائمة لا نهائية من الأوقات المطلقة. إن الأمر يشبه تعلم المشي عن طريق عد خطواتك بدلاً من محاولة حفظ المسافة الدقيقة لكل معلم تمر به.

قام الباحثون باختبار هذا النهج عن طريق تعديل نموذج صوتي قوي لاستخدام هذه الفترات الزمنية النسبية. لقد صمموا عملية تدريب حيث لا يُسمح للكمبيوتر فقط برؤية الإجابات الصحيحة، بل يُجبر أحياناً على تخمين التوقيت بناءً على سياق الكلام والكلمات التي ولدها بالفعل. هذه التقنية، المعروفة باسم "التدريب المقنع"، تمنع الكمبيوتر من مجرد حفظ الإجابات وتعلّمه بدلاً من ذلك فهم الإيقاع الطبيعي للكلام البشري. كما استخدم الفريق استراتيجية تدريب متخصصة تقوم بتحديث الأجزاء المسؤولة عن التعامل مع الوقت فقط، مع ترك قدرات فهم اللغة الأساسية دون تغيير. وقد ضمن ذلك بقاء النظام مستمعاً قوياً مع اكتساب القدرة الجديدة على ضبط الوقت.

كانت نتائج هذا العمل مذهلة. فعند اختبار هذا النهج على تسجيلات متنوعة، بما في ذلك اجتماعات طويلة وعينات كلام متنوعة، تفوق النظام الجديد بشكل كبير على الطرق الموجودة. فعند اختباره على مجموعة بيانات من تسجيلات الاجتماعات، حدد النموذج توقيت الكلمات بدقة تجاوزت 91 بالمئة، وهو مستوى من الدقة لم تستطع الأنظمة السابقة الوصول إليه. والأهم من ذلك، تم تقليص متوسط الفرق بين الوقت المتوقع والوقت الفعلي إلى 30 مللي ثانية فقط، وهو جزء من الثانية يكاد لا يُلحظ بالأذن البشرية. كما أثبت النظام استقراراً أكبر عبر التسجيلات الطويلة، متجنباً أخطاء التوقيت التي عانت منها الطرق القديمة. والأكثر إثارة للإعجاب هو أن النموذج حافظ على قدرته على نسخ الكلمات نفسها بدقة عالية، مما أظهر أن إضافة هذا الحس بالوقت لم تشتت انتباهه عن مهمته الأساسية المتمثلة في فهم الكلام.

يمثل هذا التقدم خطوة هامة للأمام في جعل الذكاء الاصطناعي أكثر وعياً بالبنية الزمنية للتواصل البشري. فمن خلال الانتقال من رؤية جامدة ومطلقة للوقت إلى رؤية مرنة ونسبية، مكن الباحثون هذه الأنظمة من التعامل مع مقاطع صوتية أطول وأكثر تعقيداً بموثوقية أكبر. وتشير النتائج إلى أنه عندما نصمم آلات لمحاكاة الإدراك البشري، فإن التركيز على العلاقات بين الأحداث بدلاً من مواقعها الثابتة يمكن أن يؤدي إلى أدوات أكثر قوة وفعالية. إن هذا العمل لا يحسن مجرد مقياس تقني؛ بل يقربنا من إنشاء أنظمة يمكنها حقاً متابعة تدفق المحادثة بشكل طبيعي كما يفعل المستمع البشري.