💬 NLP

Cross-Lingual Interleaving for Speech Language Models

تقدم هذه الورقة طريقة تداخل عابرة للغات بسيطة وقابلة للتوسع تعمل على تحسين أداء نماذج لغة الكلام عبر اللغات دون إشراف نصي، مدعومة بإصدار مجموعة بيانات تدريب ضخمة للإنجليزية والفرنسية ومعايير مرجعية اصطناعية جديدة للتقييم.

المؤلفون الأصليون: Adel Moumen, Guangzhi Sun, Philip C. Woodland

نُشر 2026-02-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Adel Moumen, Guangzhi Sun, Philip C. Woodland

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يتحدث. عادةً، نحن نعلم الروبوتات من خلال عرض ملايين الكتب والمقالات (النصوص) عليها. ولكن ماذا عن اللغات التي لا تملك الكثير من الكتب المكتوبة؟ أو ماذا لو أردنا للروبوت أن يتعلم مباشرة من الاستماع إلى الناس وهم يتحدثون، تماماً كما يفعل الطفل الرضيع؟

هذا هو التحدي الذي واجهه الباحثون في جامعة كامبريدج. لقد ابتكروا طريقة جديدة لتعليم "نماذج اللغة المنطوقة" (SLMs) كيفية فهم والتحدث بلغات متعددة، حتى عندما لا يملكون سوى التسجيلات الصوتية للتعلم منها.

إليك قصة اكتشافهم، مشروحة ببساء:

1. المشكلة: فخ "الاقتصار على الإنجليزية"

معظم نماذج الذكاء الاصطناعي تشبه الطلاب الذين لم يدرسوا إلا في مدارس لغتها الإنجليزية. هم بارعون في الإنجليزية، ولكن إذا طلبت منهم التحدث بالفرنسية، فإنهم يتعثرون.

العقبة: لتعليم روبوت لغة جديدة، تحتاج عادةً إلى معلم يتحدث اللغتين ويمكنه الترجمة كلمة بكلمة. ولكن بالنسبة للعديد من اللغات، لا نملك هؤلاء المعلمين (البيانات النصية).
الهدف: أرادوا بناء روبوت يتعلم بمجرد الاستماع فقط، دون الحاجة إلى أي نص مكتوب للمساعدة.

2. الحل: "سموذي اللغات" (التداخل)

ابتكر الباحثون حيلة ذكية تسمى التداخل عبر اللغات (Cross-Lingual Interleaving).

تخيل أنك تصنع "سموذي".

الطريقة القديمة: تصنع سموذي الفراولة (الإنجليزية)، تشربه، ثم تصنع سموذي التوت الأزرق (الفرنسية)، وتشربه. تبقى النكهات منفصلة.
الطريقة الجديدة (التداخل): تأخذ رشفة من الفراولة، ثم رشفة من التوت الأزرق، ثم فراولة مرة أخرى، وتخلطهم في نفس الكوب.

في تجربتهم، أخذوا جملًا من قصص إنجليزية وقصص فرنسية وخلطوها معًا في تسلسل تدريبي واحد. يسمع الروبوت: "Hello, how are you?" (إنجليزية) متبوعة مباشرة بـ "Bonjour, ça va?" (فرنسية)، ثم المزيد من الإنجليزية.

لماذا ينجح هذا؟
من خلال التبديل المستمر بين اللغات، يُجبر الروبوت على إيجاد "الأرضية المشتركة" بينهما. يدرك أن شعور التحية هو نفسه في كلتا اللغتين، حتى لو كانت الأصوات مختلفة. إنه يبني خريطة ذهنية مشتركة حيث تعيش الإنجليزية والفرنسية في نفس الحي، بدلاً من مدن منفصلة.

3. المكونات: مكتبة جديدة واختبار جديد

لإنجاح هذا الأمر، احتاجوا إلى شيئين:

المكتبة (TinyStories): أنشأوا مكتبة ضخمة تضم 42,000 ساعة من القصص الصوتية. هذه قصص قصيرة وبسيطة (مثل "القط والكلب") مترجمة بدقة بين الإنجليزية والفرنسية، ومنطوقة بنفس الأصوات.
الاختبار (StoryCloze): بنوا اختبارًا يستمع فيه الروبوت إلى الجزء الأول من قصة، وعليه أن يخمن النهاية. اختبروا ما إذا كان بإمكان الروبوت الاستماع إلى قصة بالإنجليزية وتخمين نهايتها بالفرنسية، أو العكس.

4. النتائج: قوة خارقة متعددة اللغات

اختبروا هذا على "عقلين" للروبوت (واحد صغير وآخر متوسط الحجم) ووجدوا أشياء مذهلة:

مكافأة "الأثر الجانبي": على الرغم من أن الروبوت كان يتعلم لغتين في وقت واحد، إلا أنه أصبح في الواقع أفضل في التحدث بالإنجليزية وحدها أو الفرنسية وحدها. إنه يشبه الطالب الذي يدرس الرياضيات والفيزياء معًا وينتهي به الأمر بكونه أفضل في الرياضيات مما لو درس الرياضيات فقط.
مهارة "التبديل": أصبح الروبوت بارعًا للغاية في "التبديل اللغوي" (code-switching). إذا بدأت جملة بالإنجليزية، يمكنه إنهاؤها بالفرنسية بشكل طبيعي، والعكس صحيح. الطرق القديمة (خلط البيانات مع إبقاء اللغات منفصلة) فشلت تمامًا في ذلك.
"الارتباط العميق": عندما نظروا داخل عقل الروبوت، وجدوا أن "الأفكار" الداخلية (الحالات الخفية) للإنجليزية والفرنسية أصبحت متطابقة تقريبًا. الروبوت لم يكن يحفظ فقط؛ بل كان يفهم حقًا أن المفاهيم هي نفسها.

5. الصورة الكبيرة

هذا البحث خطوة كبيرة نحو دمقرطة الذكاء الاصطناعي.
في الوقت الحالي، معظم الذكاء الاصطناعي مخصص للغات التي تمتلك الكثير من الكتب المكتوبة (مثل الإنجليزية والصينية والإسبانية). هذه الطريقة تعني أننا نستطيع أخيرًا بناء مساعدين صوتيين أذكياء للغات التي لديها موارد مكتوبة قليلة جدًا، ببساطة عن طريق تغذيتهم بالصوت.

باخت-اختصار:
أثبت الباحثون أنه إذا خلطنا اللغات معًا في "سموذي" أثناء تدريب الذكاء الاصطناعي، فإن الذكاء الاصطناعي سيتعلم فهم جوهر اللغة بدلاً من مجرد كلمات محددة. وهذا يسمح له بالتحدث، والفهم، والتبديل بين اللغات بسلاسة، مما يفتح الباب للذكاء الاصطناعي للتواصل مع العالم أجمع، وليس فقط الجزء المتحدث بالإنجليزية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التداخل عبر اللغات لنماذج اللغة المنطوقة" (Cross-Lingual Interleaving for Speech Language Models).

1. بيان المشكلة

تهدف نماذج اللغة المنطوقة (SLMs) إلى تعلم الكفاءة اللغوية مباشرة من الصوت باستخدام وحدات كلامية منفصلة، متجاوزةً الحاجة إلى الإشراف النصي. ويعد هذا أمراً حاسماً للغات ذات الموارد المحدودة حيث تندر البيانات المكتوبة. ومع ذلك، يواجه المجال عقبتين رئيسيتين في تحقيق القدرات متعددة اللغات:

التقييم المتمحور حول الإنجليزية: معظم المعايير وبيانات التدريب تركز على اللغة الإنجليزية، مما يجعل من الصعب قياس الكفاءة الدلالية عبر اللغات.
طرق التدريب غير المتوافقة: تعتمد الطرق الحالية التي تشجع المشاركة عبر اللغات (على سبيل المثال، في نماذج اللغة النصية-المنطوقة) على التداخل بين الرموز النصية والمنطوقة. وهذا لا يتوافق مع نماذج اللغة المنطوقة "الخالية من النصوص" (textless)، والتي تعمل حصرياً على وحدات صوتية منفصلة. علاوة على ذلك، تفتقر النهج الحالية عبر اللغات غالباً إلى آليات لخلط اللغات داخل تسلسل تدريبي واحد دون محاذاة نصية.

التحدي الجوهري هو كيفية تدريب نموذج لغة منطوق (SLM) واحد لفهم والمحادثة عبر لغات متعددة باستخدام البيانات الصوتية فقط، دون الاعتماد على الإشراف النصي أو كميات هائلة من البيانات النصية المتوازية.

2. المنهجية

يقترح المؤلفون استراتيجية "التداخل عبر اللغات" (Cross-Lingual Interleaving) التي تعمل بالكامل ضمن نطاق الرموز المنطوقة.

أ. مخطط التداخل عبر اللغات

بدلاً من التدريب على تسلسلات أحادية اللغة أو خلط اللغات فقط على مستوى مجموعة البيانات، يتم تدريب النموذج على تسلسلات حيث يتم دمج مقاطع كلامية من لغات مختلفة داخل نافذة سياقية واحدة.

الآلية: بالنظر إلى مجموعة من اللغات $\mathcal{L}$ ، يقوم النموذج بأخذ عينة من تسمية اللغة $l_j$ لكل مقطع جملة $j$ . يتم بناء التسلسل التدريبي $s$ كالتالي:
$s = (A^{(l_1)}_1 \parallel A^{(l_2)}_2 \parallel A^{(l_3)}_3 \parallel \dots)$
حيث $A^{(l)}_j$ هو تسلسل الرموز المنطوقة للجملة رقم $j$ في اللغة $l$ ، و $\parallel$ يشير إلى الدمج عند حدود الجملة.
القيد: يتنبأ النموذج بالرمز التالي بناءً على الرموز السابقة التي قد تنتمي إلى لغة مختلفة. هذا يجبر النموذج على تعلم فضاء تمثيلي مشترك (shared representational subspace) دون محاذاة نصية صريحة.
الترميز (Tokenization): يستخدم النظام مشفر الصوت العصبي Mimi (بنية RVQ مع 32 كتاب رموز/codebooks) بتردد 12.5 هرتز. يتم نمذجة الكتاب الأول (الدلالي) فقط للتركيز على المحتوى اللغوي بدلاً من التفاصيل الصوتية.

ب. مجموعات البيانات والمعايير

لتمكين هذا التدريب والتقييم، قام المؤلفون بتنسيق موارد جديدة:

TinyStories (EN-FR): مجموعة بيانات منطوقة ثنائية اللغة ومحاذية للجمل مستمدة من مجموعة بيانات TinyStories النصية.
- الحجم: حوالي 42,000 ساعة من الكلام إجمالاً (20 ألف ساعة إنجليزية، 21 ألف ساعة فرنسية).
- البناء: تمت ترجمة الجمل باستخدام GPT-4 (مع الحفاظ على السياق) وتوليدها باستخدام نظام تحويل النص إلى كلام (TTS) متعدد المتحدثين. والأهم من ذلك، تم اختيار 44 صوتاً (26 أنثى، 18 ذكر) بناءً على تضمينات التحقق من هوية المتحدث لضمان اتساق هوية المتحدث عبر اللغات.
معايير التقييم:
- Spoken StoryCloze (sSC): يختبر الاستدلال السببي/الزماني للمعلومات العامة (التنبؤ بالنهاية الصحيحة لقصة ما).
- Spoken TopicCloze (sTC): يختبر التماسك الموضوعي (التنبؤ بالنهاية الصحيحة بناءً على الاتساق الموضوعي).
- الإعداد عبر اللغات: تتضمن هذه المعايير أوضاع تقييم EN→FR و FR→EN لاختبار الاستمرارية عبر اللغات.

ج. بروتوكول التدريب

أجريت التجارب على نماذج لغة منطوقة (SLMs) بسعة 360 مليون و 1 مليار معلمة (تم استهلالها من نقاط تفتيش Llama 3.2 و Qwen2). اتبع التدريب جدولاً من ثلاث مراحل لعزل آثار التداخل:

ما قبل التدريب (Pre-training): إنجليزية فقط (50 ألف خطوة) لإنشاء خط أساس عالي الموارد.
التداخل (Interleaving): خلط عبر اللغات (EN/FR) باحتمالية أخذ عينة 50% (20 ألف خطوة).
الاستقرار (Stabilization): تدريب دقيق متبادل أحادي اللغة على EN و FR (15 ألف خطوة) لتحسين قدرات التوليد.

الضبط (Control): استخدمت جميع المقارنات ميزانية رموز تدريب متطابقة لضمان أن المكاسب في الأداء ناتجة عن استراتيجية التداخل، وليس بسبب زيادة حجم البيانات.

3. المساهمات الرئيسية

استراتيجية تدريب مبتكرة: تقديم طريقة تداخل عبر اللغات تمزج الرموز المنطوقة عبر اللغات دون أي إشراف نصي، وهي متوافقة مع مسارات العمل "الخالية من النصوص" بالكامل.
موارد مفتوحة المص المصدر: إطلاق مجموعة بيانات TinyStories EN-FR (~42 ألف ساعة) ومعايير StoryCloze/TopicCloze ثنائية اللغة، مما يعالج ندرة بيانات التقييم المنطوق للغات غير الإنجليزية.
التحقق التجريبي: إثبات أن التداخل يحسن الدقة الدلالية أحادية اللغة، ويمكّن الاستمرارية القوية عبر اللغات، ويعزز محاذاة الحالة المخفية في النماذج التي تتراوح أحجامها بين 360 مليون و 1 مليار معلمة.

4. النتائج التجريبية

تكشف النتائج، التي تم تقييمها باستخدام sBLiMP (النحو)، و sWUGGY (المعجم)، و sSC و sTC (الدلالة)، عن عدة نتائج رئيسية:

النقل الإيجابي إلى المهام أحادية اللغة:
- سمح التداخل للنموذج بتعلم الفرنسية بفعالية حتى مع وجود رموز فرنسية أقل بكثير من الخط الأساس أحادي اللغة.
- بالنسبة لنموذج 360 مليون، حقق التداخل + الاستقرار 57.08% في مهمة French sSC (مقابل 56.44% للخط الأساس أحادي اللغة مع 3 أضعاف كمية البيانات الفرنسية)، مما يثبت أن المكاسب تأتي من النقل، وليس من حجم البيانات.
- نجحت مرحلة استقرار قصيرة في استعادة أداء الإنجليزية (النحو/المعجم) إلى مستويات قريبة من الخط الأساس مع الاحتفاظ بمكاسب الفرنسية.
ظهور القدرات عبر اللغات:
- أظهرت النماذج المدربة بالتداخل استمرارية قوية عبر اللغات (مثلاً، البدء بالإنجليزية والاستمرار بالفرنسية).
- في نموذج 360 مليون، وصلت دقة sSC عبر اللغات إلى 56.44% (EN→FR) و 55.37% (FR→EN)، وهي تقترب من مستويات الأداء أحادي اللغة.
- في المقابل، أدى الخط الأساس الذي تم تدريبه على بيانات مختلطة بدون تداخل إلى أداء أسوأ بكثير (حوالي 50-51% في sSC)، وفشل في سد الفجوة اللغوية بفعالية.
محاذاة التمثيل (Representation Alignment):
- أظهر تحليل تشابه جيب التمام (cosine similarity) على مستوى الطبقات للحالات المخفية للجمل المتوافقة EN-FR أن التداخل زاد من المحاذاة من 0.73 (الخط الأساس المختلط) إلى 0.75 (التداخل) و 0.76 (التداخل + الاستقرار). وهذا يؤكد تكوين فضاء دلالي مشترك.
ديناميكيات حجم النموذج:
- استفادت النماذج الأصغر (360 مليون) بشكل غير متناسب من السياق متعدد اللغات تحت بيانات فرنسية محدودة، مما يشير إلى أن التداخل يساعد النماذج الأصغر على تجنب الإفراط في التخصيص (overfitting) والتحسين بشكل أكثر كفاءة.

5. الأهمية

يُظهر هذا العمل أن التداخل عبر اللغات هو طريق قابل للتوسع، بسيط، وفعال لبناء نماذج لغة منطوقة متعددة اللغات.

القابلية للتوسع: لا تتطلب الطريقة إشرافاً نصياً أو أدوات محاذاة معقدة، مما يجعلها قابلة للتطبيق على أي زوج لغوي تتوفر فيه الرموز المنطوقة.
كفاءة الموارد: تتيح فهماً عالي الجودة عبر اللغات حتى عندما تكون البيانات لإحدى اللغات شحيحة، وذلك من خلال الاستفادة من اللغة "عالية الموارد" (الإنجليزية) لدعم اللغة "منخفضة الموارد" (الفرنسية).
التأثير المستقبلي: من خلال إطلاق مجموعات البيانات والمعايير، يوفر المؤلفون للأوساط العلمية الأدوات اللازمة للانتقال لما وراء الذكاء الاصطناقي المنطوق المتمحور حول الإنجليزية، مما يمهد الطريق لمساعدين صوتيين حقيقيين متعددي اللغات وأدوات معالجة لغة طبيعية للغات ذات الموارد المحدودة.