💬 NLP

Vocabulary shapes cross-lingual variation of word-order learnability in language models

تُظهر هذه الدراسة أن بنية مفردات الكلمات والوحدات الفرعية للكلمات، وليس التمايزات التصنيفية الواسعة مثل ترتيب الكلمات الحر مقابل الترتيب الثابت، هي العامل الأساسي الذي يحدد قابلية تعلم تنوعات ترتيب الكلمات في نماذج المحولات اللغوية.

المؤلفون الأصليون: Jonas Mayer Martins, Jaap Jumelet, Viola Priesemann, Lisa Beinborn

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jonas Mayer Martins, Jaap Jumelet, Viola Priesemann, Lisa Beinborn

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يتحدث لغات بشرية مختلفة. تريد أن تعرف: هل من الأصعب على الروبوت تعلم بعض اللغات دون غيرها؟ وتحديداً، لماذا يمكن لبعض اللغات (مثل التشيكية) أن تخلط كلماتها حول بعضها البعض مثل أوراق لعب، بينما تفرض لغات أخرى (مثل الإنجليزية) عليك وضع الكلمات في ترتيب صارم لا يمكن تغييره؟

هذه الورقة البحثية تشبه تجربة علمية حيث قام الباحثون ببناء "صالة ألعاب رياضية لغوية" لاختبار هذه الروبوتات. إليك قصة ما وجدوه، مشروحة ببساًطة.

1. التجربة: "آلة الخلط"

لم يكتفِ الباحثون باختيار لغات عشوائية، بل أخذوا 10 لغات أوروبية حقيقية (من الإنجليزية والفرنسية إلى الفنلندية والتشيكية) وصنعوا 100 نسخة مختلفة من كل منها.

فكر في الأمر كأنك تأخذ جملة وتمررها عبر آلة خلط:

النسخة (أ): الكلمات في ترتيبها المثالي والطبيعي.
النسخة (ب): الكلمات مبعثرة قليلاً (مثل جملة قمت فيها بتبديل أول كلمتين).
النسخة (ج): الكلمات مختلطة تماماً (فوضى عشوائية).
النسخة (د): الجملة تُقرأ بشكل عكسي.

بعد ذلك، قاموا بتدريب روبوت ذكاء اصطناعي صغير (نموذج لغوي) على كل نسخة من هذه النسخ المبعثرة لمعرفة مدى الارتباك الذي سيصيب الروبوت. في مصطلحات الذكاء الاصطناعي، يُسمى "الارتباك" بـ "المفاجأة" (Surprisal). إذا شعر الروبوت بالمفاجأة، فهذا يعني أن الجملة صعبة التعلم. وإذا لم يشعر بها، فالجملة سهلة.

2. المفاجأة الكبرى: الفوضى صعبة، لكن العكس سهل

أول ما وجدوه كان بديهياً: كلما زاد خلط الكلمات، زادت صعوبة تعلمها للروبوت.

إذا أخذت جملة وخلطت كلماتها عشوائياً، فإن عقل الروبوت يشتعل بالارتباك. الأمر يشبه محاولة قراءة كتاب حيث الحروف كلها مختلطة؛ يتطلب الأمر جهداً أكبر بكثير لفهم المعنى.

ومع ذلك، كانت هناك مفاجأة.
اعتقد الباحثون أن قراءة جملة بشكل عكسي (مثلاً: "الروبوت الـ يدهن الـ قطة الـ") ستكون أصعب شيء على الإطلاق. لكن لم يكن الأمر كذلك! فقد تعامل الروبوت مع الجمل العكسية بشكل جيد تقريباً مثل الجمل المبعثرة قليلاً.

تشبيه: تخيل أنك تحاول حل لغز. إذا أخذت القطع ورميتها في صندوق (فوضى عشوائية)، فسيكون الأمر كابوساً. لكن إذا قلبت الصورة بأكملها رأساً على عقب (عكس الاتجاه)، فلا يزال بإمكانك معرفة الأشكال. اتضح أن الروبوت لا يهتم كثيراً بـ اتجاه الجملة بقدر اهتمامه بـ عشوائية القطع.

3. النظرية القديمة كانت خاطئة

لفترة طويلة، اعتقد علماء اللغويات أن اللغات تنقسم إلى صندوقين مرتبين:

لغات ذات ترتيب ثابت: مثل الإنجليزية (فاعل - فعل - مفعول به).
لغات ذات ترتيب حر: مثل التشيكية (حيث يمكنك تبديل الكلمات بحرية لأن الكلمات تمتلك "علامات" أو نهايات خاصة تخبرك من فعل ماذا).

توقع الباحثون أن تكون "اللغات ذات الترتيب الحر" أصعب طبيعياً على الروبوت عند خلطها لأنها تعتمد على تلك العلامات اللغوية. لكنهم كانوا مخطئين.

عندما اختبروا الروبوتات، أدت "اللغات ذات الترتيب الحر" و"اللغات ذات الترتيب الثابت" أداءً متماثلاً تقريباً عند خلط الكلمات. النظرية القديمة "ذات الصندوقين" لم تفسر الاختلافات.

4. البطل الحقيقي: "حقيبة ظهر" المفردات

إذا لم يكن ترتيب الكلمات هو المتسبب الرئيسي، فما هو؟ الإجابة تكمن في المفردات — وتحديداً، كيفية بناء الكلمات وعددها.

تخيل أن لكل لغة حقيبة ظهر من الكلمات.

الإنجليزية لديها حقيبة ظهر تحتوي على العديد من الكلمات البسيطة والقصيرة.
الفنلندية أو المجرية لديهما حقيبة ظهر تحتوي على كلمات أقل، ولكنها طويلة ومعقدة جداً (مثل كلمة واحدة تعني "لن أكون قادراً على القيام بذلك").

وجد الباحثون أن هيكل هذه الحقيبة هو ما يحدد مدى صعوبة تعلم اللغة للروبوت عند خلطها.

تأثير زيبف (Zipf Effect): في كل لغة، تُستخدم كلمات قليلة طوال الوقت (مثل "الـ"، "و"، "يكون")، بينما تُستخدم معظم الكلمات نادراً جداً.
الاكتشاف: اللغات التي تكون فيها "الكلمات النادرة" نادرة جداً (انخفاض حاد في معدل الاستخدام) كانت أصعب على الروبوت لتعلمها عند خلط الكلمات.
التشبيه: فكر في لغة ذات كلمات معقدة كأنها مجموعة ليجو تحتوي على آلاف القطع الصغيرة والفريدة. إذا هززت الصندوق (خلطت الترتيب)، فمن الصعب جداً إعادة بناء القلعة لأنك بحاجة للعثور على تلك القطع المحددة والنادرة. أما اللغة ذات الكلمات البسيطة والمتكررة فهي تشبه مجموعة ليجو ذات قطع كبيرة ومعيارية. حتى لو هززت الصندوق، فمن السهل إعادة البناء لأن القطع شائعة ويمكن استبدالها ببعضها.

5. الخلاصة

تخلص الورقة البحثية إلى أن ترتيب الكلمات ليس هو السبب في جعل اللغة صعبة التعلم للذكاء الاصطناعي؛ بل "المكونات" (المفردات) هي السبب.

الخلاصة البسيطة: إذا أردت أن تعرف مدى صعوبة تعلم لغة ما بالنسبة للكمبيوتر، فلا تسأل "هل يمكنني تحريك الكلمات؟". بدلاً من ذلك، اسأل "ما مدى تعقيد الكلمات نفسها، وكم عدد الكلمات النادرة الموجودة؟"
"حقيبة الظهر" أهم من "الترتيب": اللغة التي تمتلك حقيبة ظهر ثقيلة ومعقدة من الكلمات هي أصعب على الروبوت في التعامل معها مقارنة بلغة ذات حقيبة ظهر خفيفة وبسيطة، بغض النظر عما إذا كان مسموحاً للكلمات بالرقص حول بعضها أو الوقوف في خط مستقيم.

باختصار: بنية المفردات هي السر الخفي. إنها القوة الخفية التي تقرر ما إذا كانت اللغة ستكون نزهة سهلة للروبوت أو لغزاً يرهق العقل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "المفردات تشكل التباين عبر اللغات في قابلية تعلم ترتيب الكلمات في النماذج اللغوية."

1. بيان المشكلة

تتناول الورقة سؤالاً جوهرياً في اللسانيات الحاسوبية: لماذا تعتبر بعض اللغات أصعب حاسوبياً في التعلم من غيرها؟ وتحديداً، تبحث الورقة في العلاقة بين مرونة ترتيب الكلمات (درجة إمكانية إعادة ترتيب الكلمات في الجملة دون تغيير المعنى) وقابلية تعلم اللغة من قبل النماذج اللغوية القائمة على المحولات (Transformers).

بينما تظهر اللغات الطبيعية طيفاً يمتد من ترتيب الكلمات "الثابت" (مثل الإنجليزية) إلى "الحر" (مثل التشيكية والفنلندية)، فقد واجهت الأبحاث السابقة صعوبة في عزل هذه العوامل بسبب:

السمات النمطية المترابطة: غالباً ما يكون ترتيب الكلمات متشابكاً مع التعقيد الصرفي في اللغات الطبيعية.
القيود المنهجية: كانت دراسات الاضطراب السابقة تعتمد على خلط العناصر على مستوى الوحدات الفرعية (subword level)، مما يؤدي دون قصد إلى كسر السلامة الصرفية (تقسيم الكلمات إلى أجزاء غير منطقية لغوياً) وتغيير الإنتروبيا العالمية للنص، مما يربك النتائج.
المنظور المتقطع مقابل المستمر: غالباً ما تُعامل التصنيفات النمطية (حر مقابل ثابت) كفئات ثنائية، بينما الواقع اللساني هو تدرج مستمر.

يهدف المؤلفون إلى فصل آثار انتظام ترتيب الكلمات، وبنية المفردات، والتعقيد الصرفي على "الدهشة" (surprisal) لدى النموذج (وهي مؤشر على قابلية التعلم).

2. المنهجية

أ. توليد لغات اصطناعية

قام المؤلفون بإنشاء طيف مستمر من متغيرات اللغات الاصطناعية لـ 10 لغات أوروبية (5 ذات ترتيب ثابت: الإنجليزية، الفرنسية، البرتغالية، السويدية، الدنماركية؛ و5 ذات ترتيب حر: التشيكية، اللاتفية، المجرية، الإستونية، الفنلندية) بناءً على مدونة Europarl.

الخلط الحتمي على مستوى الكلمات: على عكس خلط الوحدات الفرعية السابق، قاموا بخلط كلمات كاملة للحفاظ على السلامة الصرفية.
نموذج مالوزز للتبديل (Mallows Permutation Model): استخدموا نموذج مالوزز $\phi$ $ϕ$ للتحكم في درجة الاضطراب عبر معلمة مستمرة واحدة، وهي $\theta$ :
- $\theta \to \infty$ : الترتيب الأصلي للكلمات.
- $\theta > 0$ : خلط محلي (انحرافات طفيفة).
- $\theta = 0$ : عشوائية كاملة (توزيع منتظم على التبديلات).
- $\theta < 0$ : نفور من الترتيب الأصلي، مما يؤدي إلى عكس الجملة مع اقتراب $\theta \to -\infty$ .
الضبط (Control): لكل طول جملة $n$ ، يتم أخذ تبديل واحد فقط وتطبيقه بشكل حتمي على جميع الجمل من ذلك الطول. يضمن هذا بقاء الإنتروبيا العالمية للنص ثابتة، مما يعزل تأثير بنية ترتيب الكلمات.

ب. الإعداد التجريبي

النماذج: نماذج محولات (Transformer) ذاتية الانحدار خفيفة الوزن (إطار عمل PICOLM، حوالي 50 مليون معلمة) تم تدريبها من الصفر على كل متغير اصطناعي.
التقطيع (Tokenization): استخدام ByteLevel-BPE بحجم مفردات يبلغ 16,000 (متغير في تجارب محددة).
مقياس التقييم: الدهشة ( $S$ )، وتُعرف بأنها متوسط اللوغاريتم السالب لاحتمالية الرمز التالي.
- $\Delta S(\theta) = S(\theta) - S_{orig}$ : التغير في الدهشة بالنسبة للغة الأصلية يعمل كمقياس لـ تدهور قابلية التعلم. يشير انخفاض $\Delta S$ إلى ارتفاع المتانة تجاه الاضطراب.

ج. تقنيات التحليل

انحدار المربعات الجزئية متعدد المتغيرات (PLS Regression): استُخدم لنمذجة العلاقة بين إحصائيات المفردات (المتنبئات) ومنحنيات الدهشة (الاستجابات) عبر اللغات العشر. يتعامل هذا الأسلوب مع الارتباط العالي بين المتنبئات (مثل طول الجملة والتعقيد الصرفي).
التحقق المتبادل بترك لغة واحدة خارج المجموعة (Leave-One-Language-Out Cross-Validation): لاختبار مدى تعميم المتنبئات القائمة على المفردات.

3. المساهمات الرئيسية

الابتكار المنهجي: تقديم إطار عمل خلط حتمي على مستوى الكلمات باستخدام نموذج مالوزز. يحافظ هذا الإطار على البنية الصرفية والإنتروبيا العالمية، مما يحل المشكلات التي كانت موجودة في دراسات خلط الوحدات الفرعية السابقة.
دحض التصنيف الثنائي: أثبتت الدراسة أن التمييز الثنائي بين لغات "الحرة" و"الثابتة" غير كافٍ لتفسير الاختلافات عبر اللغات في قابلية التعلم.
المفردات كمحرك أساسي: حددت الورقة أن بنية المفردات (تحديداً مقاييس تغطية قانون زيبف، طول الجملة، ومؤشرات التعقيد الصرفي) هي أقوى متنبئ بمتانة اللغة تجاه اضطرابات ترتيب الكلمات.
عدم التماثل في العكس: أظهرت الدراسة أنه بينما يزيد ترتيب الكلمات غير المنتظم من الدهشة بشكل كبير، فإن عكس الجملة له تأثير ضعيف بشكل مفاجئ على قابلية التعلم، مما يشير إلى أن النماذج ليست حساسة بقوة للارتباطات النمطية المحددة التي ينتهكها العكس.

4. النتائج الرئيسية

أ. عدم انتظام ترتيب الكلمات يزيد من الدهشة

كلما أصبح ترتيب الكلمات أكثر عشوائية (بالاقتراب من $\theta = 0$ )، تزداد دهشة النموذج ( $\Delta S$ ) بشكل ملحوظ عبر جميع اللغات.
عكس الجملة ( $\theta < 0$ ): من المثير للدهشة أن عكس الجمل يؤدي إلى تغير في الدهشة مشابه للاضطرابات ذات الترتيب الموجب. النماذج غير حساسة تقريباً للانتهاك المحدد للارتباطات النمطية الناتج عن العكس، مما يشير إلى غياب الانحياز الاستقرائي القوي ضد الترتيب المعكوس مقارنة بالخلط العشوائي.

ب. فشل التصنيف الثنائي

عند رسم $\Delta S$ عند $\theta=0$ مقابل الدهشة الأساسية، تتداخل اللغات "الحرة" و"الثابتة" تداخلاً كبيراً.
أظهرت الاختبارات الإحصائية (Wilcoxon–Mann–Whitney) عدم وجود فرق معنوي في المتانة بين المجموعتين عند معاملتهما كفئات ثنائية.

ج. بنية المفردات تفسر التباين

مقاييس التغطية: تميل اللغات ذات ترتيب الكلمات "الحر" إلى امتلاك تغطية أقل من الكلمات/الوحدات الفرعية عالية التكرار (تباطؤ في اضمحلال قانون زيبف) مقارنة باللغات "الثابتة".
انحدار PLS: نجح نموذج يستخدم إحصائيات المفردات (التغطية، طول الجملة، الخصوبة، أنواع الكلمات) في تفسير 97% من التباين ( $R^2 = 0.97$ $R^{2} = 0.97$ ) في منحنيات الدهشة عبر اللغات.
- المكون 1 (المفردات/التغطية): يفسر الدهشة للترتيبات الأصلية والمعكوسة.
- المكون 2 (التعقيد الصرفي): يفسر تحديداً المتانة ضد الترتيبات غير المنتظمة ( $\theta \approx 0$ ). اللغات ذات الصرف المعقد (الخصوبة العالية، الكلمات الأطول) هي الأكثر حساسية للخلط.
الحساسية لحجم المفردات: تقليل حجم المفردات يقلل من فجوة الدهشة للغات ذات الترتيب الثابت، لكن له تأثير مختلف على اللغات ذات الترتيب الحر، مما يسلط الض الضوء أكثر على دور التقطيع (tokenization) وتوزيع الوحدات الفرعية.

5. الأهمية والآثار المترتبة

إعادة تعريف قابلية التعلم: تجادل الورقة بأن قابلية التعلم الحاسوبية لا تحددها التصنيفات النمطية الفضفاضة (مثل "SVO" مقابل "SOV")، بل الخصائص الإحصائية للمفردات وكيفية تفاعل التقطيع مع التعقيد الصرفي.
رؤى معمارية: تشير النتائج إلى أن النماذج ذاتية الانحدار تعتمد بشكل كبير على السياق المحلي وقابلية التنبؤ بالمفردات. إن عدم الحساسية للعكس يعني أن النماذج قد لا تتعلم التبعيات النحوية العميقة، بل تتعلم الانتظامات الإحصائية في تسلسلات الوحدات (tokens).
الاتجاهات المستقبلية: يقترح المؤلفون ضرورة بحث كيفية توافق الخيارات المعمارية (مثل القناع/masking، والترميز الموضعي/positional encoding) مع هذه النتائج الحاسوبية وبيانات الإدراك البشري (مثل تتبع حركة العين).

في الختام، تثبت الورقة أن بنية المفردات هي المحرك الرئيسي لقابلية تعلم ترتيب الكلمات حاسوبياً، مما يوفر إطاراً أكثر دقة وتنبؤية من التصنيفات النمطية التقليدية.