The Eloquence team submission for task 1 of MLC-SLM challenge

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يستمع إلى حفلة صاخبة ومزدحمة، حيث يتحدث الناس لغات مختلفة، ويصرخون فوق بعضهم البعض، ويروون نكاتاً لا تُفهم إلا إذا تذكرت ما قيل قبل خمس دقائق. هذا هو عالم التعرف على الكلام الحواري متعدد اللغات. لفترة طويلة، تعاملت الحواسيب مع هذا الأمر كأنه سباق تتابع: يقوم إنسان (أو آلة) أولاً بكتابة ما قيل بالضبط (نسخ النص)، ثم تقوم آلة ثانية بقراءة هذا النص لفهم المعنى. لكن هذا السباق به عيب: إذا تعثر العداء الأول وكتب الكلمة بشكل خاطئ، فسيصاب العداء الثاني بالارتباك، وتصبح الرسالة بأكملها مشوهة. بالإضافة إلى ذلك، يفقد العداء الثاني "إحساس" الصوت — النبرة، والسرعة، والعاطفة — لأنهم يحصلون فقط على النص.

ولإصلاح ذلك، يعمل العلماء على بناء نماذج لغوية صوتية (SLMs). فكر في هذه النماذج كدماغ واحد كلي العلم يمكنه سماع الموجات الصوتية مباشرة وفهم المعنى في الوقت ذاته، دون الحاجة إلى وسيط يكتب الأشياء أولاً. إنه يشبه ترقية روبوت من يحتاج إلى إنسان لترجمة لغة أجنبية قبل أن يفهم النكتة، إلى روبوت يمكنه سماع النكتة باللغة الأصلية ويضحك في اللحظة المناسبة. السؤال الكبير الذي يطرحه الباحثون هو: كيف نجعل هذه الروبوتات جيدة حقاً في فهم المحادثات الواقعية الفوضوية بلغات عديدة في آن واحد؟

في هذه الورقة البحثية، قرر فريق من الباحثين من مشروع "Eloquence" (مجموعة ممولة من الاتحاد الأوروبي) إقامة حفلة لهذه الأدمغة الاصطناعية ليروا أي منها يستطيع الاستماع بشكل أفضل. لقد شاركوا في مسابقة تسمى تحدي MLC-SLM، والتي صُممت خصيصاً لاختبار مدى قدرة الذكاء الاصطناعي على التعامل مع المحادثات متعددة اللغات. لم يكن هدفهم مجرد بناء روبوت يمكنه السمع؛ بل أرادوا بناء روبوت يمكنه فهم "سياق" المحادثة، مثل معرفة أن جملة "الجو بارد" قد تعني "شغل المدفأة" في موقف ما، ولكنها قد تعني "أنا أرتدي معطفاً" في موقف آخر.

جرب الفريق ثلاث استراتيجيات مختلفة لمعرفة أي نهج سيجعل ذكاءهم الاصطناعي المستمع الأفضل.

أولاً، تحققوا من قواعد اللعبة.
قبل محاولة ابتكار شيء جديد، نظروا إلى "النموذج المرجعي الرسمي" — الإعداد القياسي الذي قدمه منظمو المسابقة. فكر في هذا كـ "حقيبة البداية" التي يحصل عليها الجميع. لقد اختبروا هذه الحقيبة مع أنواع مختلفة من "الأدمغة" (نماذج لغوية كبيرة) وطرق مختلفة لربط "الآذان" (مشفرات الصوت) بالدماغ. ووجدوا أن مجرد تعديل طريقة الاتصال لم يحدث فرقاً كبيراً. كان الأمر يشبه محاولة إصلاح سيارة بطيئة عن طريق تغيير لون عجلاتها؛ فالمحرك هو نفسه، لذا لم تتغير السرعة كثيراً. كما جربوا طريقة اتصال متطورة تسمى "Q-Former"، لكنها لم تحل المشكلة بشكل سحري أيضاً.

ثانياً، بنوا محركهم الخاص.
كانت هذه هي المحاولة الأكثر نجاحاً لهم. استخدموا إطار عمل يسمى SLAM-ASR، وهو بمثابة ورشة عمل عالية التقنية لبناء روبوتات الكلام. قاموا بدمج مستمع صوتي قوي (Whisper Large V3 Turbo) مع نوع محدد من الأدمغة يسمى EuroLLM 1.7B. ولجعل هذا الدماغ يفهم الصوت، بنوا "مترجماً" مخصصاً (جهاز عرض خطي) يحول الصوت إلى لغة يفهمها الدماغ.

هنا أصبحوا مبدعين: حاولوا تعليم الروبوت عبر إعطائه بيانات تدريب "صاخبة". لقد قاموا بمحاكاة ظروف صوتية سيئة — مثل إضافة تشويش، أو تسريع الأصوات، أو تغيير طبقة الصوت — لجعل الروبوت يتدرب في بيئة صعبة. كانوا يأملون أن يجعل هذا التدريب الروبوت أكثر صلابة، مثل ملاكم يتدرب مع أوزان ثقيلة. ومع ذلك، كانت النتائج مختلطة نوعاً ما. فبينما ساعد التدريب على الضجيج في حالات محددة، إلا أنه لم يجعل أفضل روبوت لديهم أفضل مما كان عليه بالفعل. في الواقع، انتهى نظامهم الأفضل، الذي استخدم دماغ EuroLLM 1.7B مع تقنية تدريب خاصة تسمى LoRA (والتي تشبه إضافة "سترة تدريب" خفيفة وقابلة للتعديل للدماغ بدلاً من إعادة بناء الدماغ بالكامل)، في المركز 13 من بين 24 فريقاً. لم يكن هو الفائز، لكنه أثبت أن دماغاً أصغر وثابتاً مع مترجم ذكي يمكنه لاحقاً القيام بعمل رائع.

ثالثاً، حاولوا منح الروبوت "ذاكرة".
المحادثات الحقيقية ليست مجرد جملة تلو الأخرى؛ بل هي تدفق للأفكاف. إذا قال شخص ما: "إنها تمطر"، ثم قال لاحقاً: "لق l نسيت مظلتي"، فإن الجملة الثانية لا تُفهم إلا بسبب الأولى. حاول الفريق منح ذكائهم الاصطناعي هذا النوع من الذاكرة عن طريق تغذيته بالجملة السابقة في المحادثة كـ "سياق". كما جربوا تقنية تسمى "التعلم التبايني"، وهي تشبه لعبة "استخراج الفروق". لقد عرضوا على الذكاء الاصطناعي أزواجاً من الجمل التي يجب أن تتماشى مع بعضها، وأزواجاً أخرى لا ينبغي أن تتماشى، مما أجبر الذكاء الاصطناعي على تعلم الفرق بين المحادثة المنطقية وبين مجموعة عشوائية من الكلمات.

كانت النتائج هنا مثيرة للاهتمام. فعندما أضافوا "الذاكرة" (السياق) ولعبة "استخراج الفروق" (التعلم التبايني)، أصبح الذكاء الاصطناعي أفضل في فهم المحادثة، حيث انخفض معدل الخطأ لديه إلى 17.18% في مجموعة الاختبار الخاصة بهم. ومع ذلك، لاحظوا شيئاً غريباً: عندما حاولوا استخدام "سترة التدريب" (LoRA) جنباً إلى جنب مع الذاكرة والتعلم التبايني، تراجع الأداء في الواقع. وهم يشتبهون في أن السبب هو أنهم لم يمنحوا الروبوت وقتاً كافياً للتعلم (جلستين تدريبيتين فقط)، مما جعل التعقيد الإضافي يسبب له الارتباك.

ماذا تعلموا؟
اكتشف الفريق أنك لست بحاجة دائماً إلى أكبر أو أغلى الأدمغة لفهم الكلام. فالدماغ الأصغر والثابت (EuroLLM 1.7B) المقترن بمترجم ذكي ومدرب جيداً يمكن أن يكون فعالاً للغاية. كما تعلموا أن إعطاء الذكاء الاصطناعي القليل من "تاريخ المحادثة" يساعده على فهم القصة بشكل أفضل، ولكن يجب توخي الحذر من جعل التدريب معقداً للغاية.

في النهاية، يقترح فريق Eloquence أن مستقبل التعرف على الكلام يكمكم في الجمع بين هذه البنى الهيكلية الذكية والفعالة وبين فهم أعمق لكيفية تحدث البشر فعلياً — مع الحفاظ على تدفق المحادثة في الاعتبار، بدلاً من مجرد الاستماع إلى كلمات معزولة. إنهم يخططون لمواصلة الاستكشاف لخلط اللغات والتعامل مع مهام أكثر تعقيداً في المستقبل، آملين في بناء روبوتات لا تسمعنا فحسب، بل تفهمنا حقاً.