تخيل أنك تحاول حل لغز في غرفة صاخبة وفوضوية للغاية. لديك محقق ذكي للغاية ويعرف الكثير عن اللغة، لكنه لا يستطيع سماعك إلا من خلال راديو ضعيف مليء بالتشويش. أحيانًا، يكون التشويش سيئًا لدرجة أن كلمة "door" (باب) تبدو تمامًا مثل "dough" (عجين)، مما يسبب ارتباكًا للمحقق. الآن، تخيل لو استطعت أن تعطي المحقق نظارات ليرى حركة شفتيك، أو صورة للغرفة التي تتواجد فيها. فجأة، يصبح حل اللغز أسهل لأن المحقق لا يستمع فحسب؛ بل يشاهد ويقرأ الأدلة أيضًا. هذا هو عالم التعرف التلقائي على الكلام (ASR)، وهي التقنية التي تحول الكلمات المنطوقة إلى نص. لفترة طويلة، اعتمدت هذه الأنظمة على الصوت فقط. ولكن مؤخرًا، بدأ العلماء في بناء "نماذج لغوية كبيرة متعددة الوسائط" (MLLMs). فكر في هذه النماذج كأنها محققون خارقون يمكنهم القراءة والرؤية والسمع في آن واحد. السؤال الكبير الذي يطرحه الباحثون هو: هل منح هؤلاء المحققين الخارقين حواسًا إضافية يساعدهم حقًا في حل اللغز، أم أنه يعطيهم معلومات أكثر مما ينبغي للتعامل معها؟ وإذا كان يساعد بالفعل، فمتى يعمل بشكل أفضل؟

هذه الورقة البحثية، بعنوان "التعرف على الكلام القائم على MLLM: متى وكيف تكون تعددية الوسائط مفيدة؟"، تغوص في هذا السؤال بالضبط. وضع المؤلفون، وهم فريق من البرفاحثين، سلسلة من التجارب لمعرفة كيف يغير إضافة الأدلة المرئية — مثل رؤية شفاه المتحدث أو صورة لما يتحدث عنه — دقة أنظمة تحويل الكلام إلى نص، خاصة عندما يكون الصوت مليئًا بالضجيج. لم يكتفوا بالتخمين؛ بل بنوا ملعبًا رقميًا باستخدام بيانات اصطناعية (حيث يمكنهم التحكم في الضجيج بشكل مثالي) وبيانات من العالم الحقيقي (مثل فيديوهات المحاضرات وبرامج الطبخ) لاختبار نظرياتهم.

إليك ما وجدوه، مقسمًا إلى أهم الاكتشافات:

1. المزيد من الحواس يعني عادةً نتائج أفضل، ولكن الأمر يعتمد على الضجيج
اكتشف الباحثون أنه، بشكل عام، جعل النموذج يمتلك معلومات أكثر (مثل إضافة فيديو للشفاه أو عرض تقديمي) يجعله أفضل في فهم الكلام. الأمر يشبه امتلاك خطة بديلة. ومع ذلك، فإن هذا ليس سلاحًا سحريًا يعمل بنفس الطريقة طوال الوقت. فالفائدة تتغير اعتمادًا على مدى شدة الضجيج في الخلفية.

• "النقطة المثالية" للصور: إذا أظهرت للنموذج صورة للموضوع (مثل شريحة تحتوي على رسم توضيحي) أو نصًا من مستند، فإن ذلك يساعد أكثر عندما يكون الضجيج متوسطًا. الأمر يشبه امتلاك خريطة عندما تكون تائهًا قليلاً؛ فهي ترشدك بشكل مثالي. ولكن إذا كان الضجيج عاليًا جدًا (مثل الإعصار)، فإن النموذج يصاب بالارتباك لأن الصورة لا تتطابق مع الصوت المشوش، وتختفي الفائدة.
• "القوة الخارقة" للشفاه: من ناحية أخرى، فإن رؤية حركة الشفاه قصة مختلفة. حركات الشفاه متزامنة مع الصوت (تحدث في نفس الوقت تمامًا). وجدت الورقة أن قراءة الشفاه تصبح أكثر فائدة كلما زاد الضوضاء. فعندما يكون الصوت فوضويًا، تعمل الإيقاعات البصرية للشفاه كطوق نجاة، مما يساعد النموذج على معرفة ما قيل حتى عندما يكاد الصوت يختفي.

2. ليست كل الوسائل المرئية متساوية
اختبرت الورقة أيضًا أنواعًا مختلفة من المعلومات المرئية. ووجدوا أن "جودة" الدليل المرئي مهمة كثيرًا.

• الصور الخام مقابل النص الواضح: إذا أعطيت النموذج صورة خام لشريحة، فعليه أن يبذل جهدًا كبيرًا لفهم ما يقوله النص. ولكن إذا أعطيته النص مباشرة (مثل نسخة رقمية من كلمات الشريحة)، فإن أداء النموذج يكون أفضل بكثير. إنه الفرق بين محاولة قراءة لافتة ضبابية من عبر الشارع وبين أن تُسلم إليك كلمات اللافتة على ورقة نظيفة.
• "المثالي" مقابل "الحقيقي": اختبروا أيضًا نسخة "مثالية" من البيانات المرئية (حيث يعرف الكمبيوتر بالضبط ما هو النص المقصود) مقابل نسخة "راستر" (شبكة من البكسلات تمثل النص). ومن المثير للدهشة، حتى الشبكة "المثالية" لم تكن بجودة النص الواضح. هذا يشير إلى أن هذه النماذج لا تزال "خرقاء" بعض الشيء في قراءة الشبكات ثنائية الأبعاد؛ فهي تحتاج إلى أدوات أفضل لـ "رؤية" الأشكال والتخطيطات.

3. كثرة المعلومات قد تكون سيئة (مشكلة "ضجيج التسلسل")
من أكثر النتائج إثارة للاهتمام هو أن إضافة معلومات غير ذات صلة يمكن أن تضر بالنموذج فعليًا. في تجاربهم، قدموا للنموذج أحيانًا صورة تحتوي على ثلاث معادلات بينما تم نطق اثنتين منها فقط. كان على النموذج اكتشاف أي اثنتين يجب أن يستمع إليهما. وعندما أضافوا المزيد من النصوص غير ذات الصلة إلى المدخلات (مما جعل التسلسل أطول وأكثر ازدحامًا)، انخفضت دقة النموذج. الأمر يشبه محاولة العثَد على إبرة معينة في كومة قش، ثم يقوم شخص ما بصب ثلاث كومات قش أخرى فوقها. يصاب النموذج بالارتباك ولا يعود قادرًا على العثور على الأدلة المفيدة.

4. "المحرك" مهم: الـ Transformers مقابل الـ Mamba
قارن الباحثون أيضًا بين نوعين مختلفين من "المحركات" التي تشغل هذه النماذج: الـ Transformers الشهيرة، وهيكل جديد أسرع يسمى Mamba.

• نتائج متشابهة، سرعات مختلفة: أظهر كلا المحركين نفس الاتجاهات (الشفاه تساعد في الضجيج العالي، والصور تساعد في الضجيج المتوسط). ومع ذلك، كان محرك Mamba أسرع بكثير في التدريب والتشغيل.
• مقايضة الاستقرار: ولكن هناك عقبة. كان محرك Mamba "متقلبًا" بعض الشيء. فقد كان حساسًا جدًا لكيفية إعداد الباحثين للتدريب (مثل معدل التعلم). إذا كانت الإعدادات خاطئة قليلاً، كان أداء Mamba أسوأ من الـ Transformers الأكثر استقرارًا. إنه يشبه مقارنة سيارة سباق سريعة (Mamba) تذهب بسرعة ولكنها تحتاج إلى سائق دقيق جدًا، مقابل سيارة سيدان موثوقة (Transformer) وهي أبطأ ولكنها أسهل في التحكم.

5. الترتيب والوزن يهمان
أخيرًا، أظهرت الورقة أن كيفية تقديم المعلومات للنموذج أمر بالغ الأهمية.

• من يأتي أولاً؟ إذا وضعت الصوت أولًا ثم الشفاه، فإن النموذج يؤدي بشكل أفضل في الظروف الصاخبة مما لو وضعت الشفاه أولًا. يبدو أن النموذج يحب سماع الجزء "النقي" من الصوت في بداية فترة انتباهه.
• كم مقدار الاهتمام؟ وجد الباحثون أيضًا أنه لا يمكنهم تجاهل الأجزاء المرئية أثناء التدريب. فرغم أن الهدف النهائي هو الحصول على النص فقط، إلا أن النموذج يحتاج إلى "تعلم" الأجزاء المرئية والصوتية أثناء التدريب ليقوم بعمل جيد. إذا أخبروا النموذج بأن يهتم بالنص فقط ويتجاهل الباقي، فإنه في الواقع يؤدي بشكل أسوأ.

الخلاصة
لا تدعي هذه الورقة أنها حلت مشكلة التعرف على الكلام في البيئات الصاخبة للأبد. بدلاً من ذلك، فهي تقدم خريطة واضحة لـ متى و كيف يساعد إضافة "العيون" إلى "الآذان". وهي تقترح أنه للحصول على أفضل النتائج، نحتاج إلى مطابقة نوع الدليل المرئي مع مستوى الضجيج (الشفاه للفوضى العالية، والصور للضجيج المتوسط)، والحفاظ على المعلومات نظيفة وذات صلة، واختيار "محرك" النموذج بعناقة بناءً على ما إذا كنا نحتاج إلى السرعة أو الاستقرار. إنها خطوة للأمام في تعليم الحواسيب كيف تكون محققين أفضل في عالم صاخب.