Measuring the Cross-Lingual Comprehension Gap: How the language of the evidence shapes what language models understand

تخيل أنك تقوم باختبار روبوت فائق الذكاء يمكنه القراءة والإجابة على الأسئلة. تعطيه قصة باللغة الإنجليزية، وتطرح عليه سؤالاً، فيجيب بشكل صحيح. الآن، تعطيه نفس القصة تماماً، ولكن هذه المرة مكتوبة باللغة الإسبانية أو الفرنسية أو لغة لها كتب قليلة جداً على الإنترنت. هل يظل الروبوت يفهم القصة بنفس القدر من الجودة؟ هذا هو السؤال الكبير في عالم الذكاء الاصطناائي، وتحديداً في مجال يسمى "معالجة اللغات الطبيعية". لقد عرف العلماء منذ فترة طويلة أن نماذج الذكاء الاصطناعي هذه غالباً ما تكون أفضل في اللغة الإنجليزية من اللغات الأخرى، ولكن كان من الصعب معرفة السبب. هل السبب هو أن الروبوت لم يقرأ ما يكفي من الكتب بتلك اللغة؟ أم لأن الترجمة سيئة؟ أم لأن الروبوت ببساطة لا "يستوعب" المعنى عندما تتغير الكلمات؟ ولحل هذه المعضلة، يحتاج الباحثون إلى طريقة لاختبار عقل الروبوت دون تغيير أي شيء آخر — لا أسئلة جديدة، ولا قصص مختلفة، فقط لغة مختلفة.

هذه الورقة البحثية، التي تحمل عنوان "قياس فجوة الاستيعاب عبر اللغات"، تشبه قصة كشف جنائي علمي نجحت أخيراً في عزل تلك المشكلة المحددة. فقد بنى الباحثون مجموعة اختبارات ضخمة ومتطابقة تماماً مكونة من 559 مقالاً تمت ترجمتها إلى 18 لغة مختلفة، تتراوح بين اللغات واسعة الانتشار مثل البرتغالية واللغات النادرة جداً مثل لغة "فون" و"أياكوتشو كيتشوا". وقد طرحوا خمسة نماذج مختلفة من الذكاء الاصطناعي نفس الأسئلة حول هذه المقالات. وكانت الحيلة هي أن الأسئلة والإجابات "الصحيحة" كانت دائماً باللغة الإنجليزية، لذا لم يكن على الروبوت أن يعاني في الكتابة بلغة جديدة؛ كان عليه فقط أن يقرأ ويفهم اللغة الجديدة. ومن خلال القيام بذلك، استطاعوا قياس مدى مقدار "الاستيعاب" الذي فقده الروبوت لمجرد أن القصة كانت بلغة أخرى. لقد وجدوا فجوة واضحة وقابلة للقياس: عندما لم تكن القصة باللغة الإنجليزية، انخفض فهم الذكاء الاصطناعي بشكل كبير، خاصة بالنسبة للغات ذات الموارد الرقمية القليلة. وتثبت الدراسة أن كون الذكاء الاصطناعي بارعاً في الإنجليزية لا يعني أنه ذكي بنفس القدر في كل لغة أخرى، وتشير إلى أننا قد نبالغ في تقدير مدى قدرة هذه الروبوتات على خدمة المتحدثين بتلك اللغات الأخرى.

فخ اللغة العظيم

فكر في نموذج لغوي كطالب عبقري قرأ كل كتاب في مكتبة المدرسة، ولكن معظمها باللغة الإنجليزية. إذا سلمت هذا الطالب اختبار تاريخ مكتوب بالإنجليزية، فسوف يتفوق فيه. ولكن ماذا لو سلمته الاختبار نفسه تماماً، ولكن القصة مترجمة إلى لغة نادراً ما رآها من قبل، مثل لهجة نادرة تتحدث بها مجتمعات صغيرة؟ قد تتوقع أن يؤدي بنفس المستوى، بافتراض أن "عقله" ذكي بما يكفي لفهمها. لكن هذه الورقة تظهر أن عقل هذا الطالب يبدأ في الضبابية.

يسمي الباحثون هذه الضبابية بـ فجوة الاستيعاب عبر اللغات (CLCG). وهي الفرق بين مدى فهم الذكاء الاصطناعي لقصة باللغة الإنجليزية مقابل مدى فهمه لنفس تلك القصة بلغة أخرى. ولقياس ذلك، لم يكتفوا بجلب اختبارات عشوائية من الإنترنت، بل بنوا "كوناً موازياً" من البيانات. أخذوا 559 مقالاً (معظمها من مصدر نشر متعدد اللغات) ورتبوها بدقة في 18 لغة مختلفة. الأمر يشبه امتلاك 18 نسخة متطابقة من رواية غموض، نسخة واحدة بكل لغة.

بعد ذلك، أجروا تجربة صارمة. طلبوا من خمسة نماذج مختلفة من الذكاء الاصطناعي (من خمس مختبرات مختلفة) قراءة هذه القصص والإجابة على الأسئلة. وهنا يكمن الجزء السحري: كانت الأسئلة والإجابات "المعيارية" دائماً باللغة الإنجليزية. لم يكن على الذكاء الاصطناعي أن يكتب إجابته بالإسبانية أو السواحيلية؛ كان عليه فقط قراءة القصة بالإسبانية أو السواحيلية وإخبار الإجابة بالإنجليزية. هذا أمر بالغ الأهمية لأنه يلغي مشكلة كون الذكاء الاصطناعي "سيئاً في الكتابة" بلغة جديدة. إذا أخطأ الذكاء الاصطناعي في الإجابة، فليس لأنه لا يستطيع صياغة الكلمات، بل لأنه لم يفهم القصة.

النتائج: انخفاض واضح في الفهم

كانت النتائج تشبه مشاهدة عداء يبطئ من سرعته عند الانتقال من مضمار سلس إلى حقل طيني. عندما قرأ الذكاء الاصطناعي القصص باللغة الإنجليزية، سجل درجات عالية. ولكن عندما قُدمت نفس القصص في 16 لغة مستهدفة، انخفضت الدرجات.

وجدت الدراسة أنه، في المتوسط، انخفض أداء الذكاء الاصطناعي بنحو 17% عند الانتقال من الإنجليزية إلى اللغات الأخرى. وفي لغة الورقة البحثية، تبلغ هذه الفجوة 0.078 (مقاسة على مقياس حيث كلما زاد الرقم كان أفضل). هذه ليست مجرد خلل بسيط؛ إنها خسارة كبيرة في الفهم.

كما نظر الباحثون فيما إذا كانت "ثراء" اللغة يؤثر على النتيجة. استخدموا نظاماً يصنف اللغات بناءً على عدد الموارد الرقمية (مثل الكتب والمواقع الإلكترونية) المتاحة لها. ووجدوا نمطاً واضحاً: كلما قلّت موارد اللغة، زادت الفجوة.

• اللغات ذات الموارد العالية (مثل البرتغالية، التي استخدموها كمرجع أساسي) لا تزال تمتلك فجوة صغيرة مقارنة بالإنجليزية.
• اللغات ذات الموارد المنخفضة (مثل لغة "فون" أو "أياكوتو كيتشوا") كانت الفجوات فيها أكبر بكثير.

على سبيل المثال، كان أداء الذكاء الاصطناعي أسوأ بشكل ملحوظ في الأسئلة المتعلقة بـ "الغرض" من القصة أو الاستنتاجات المعقدة عندما كان النص بلغة ذات موارد منخفضة. تشير الورقة إلى أن الذكاء الاصطناعي لا "ينسى" الكلمات فحسب؛ بل يكافح لربط معنى القصة بأكملها عندما تغيب "عجلات التدريب" الرقمية.

ما الذي تستبعده هذه الدراسة (وما لا تستبعده)

كان الباحثون حذرين للغاية في استبعاد أسباب أخرى لهذا الانخفاض في الدرجات.

• ليست ترجمة سيئة: استخدموا نصوصاً مترجمة بشرياً وعالية الجودة من مصدر احترافي، لذا كانت القصص جيدة. لم تكن الفجوة بسبب تعطل الترجمة؛ بل لأن الذكاء الاصطناعي لم يستطع استيعاب المعنى.
• ليست مجرد حفظ: تحققوا مما إذا كان الذكاء الاصطناعي يقوم فقط بـ "تذكر" النسخة الإنجليزية من القصة. اختبروا مقالات نُشرت بعد تاريخ انقطاع بيانات تدريب الذكاء الاصطناعي (مما يعني أن الذكاء الاصطناعي لا ينبغي أن يكون قد رآها من قبل). ومع ذلك، ظلت الفجوة موجودة، مما يثبت أن الذكاء الاصطناعي كان يحاول فعلياً القراءة والفهم، وليس مجرد استرجاع معلومات محفوظة.
• ليست مجرد نوع السؤال: اختبروا أنواعاً مختلفة من الأسئلة، من مهام بسيطة مثل "ابحث عن الكلمة" إلى أسئلة معقدة مثل "ما هو هدف المؤلف؟". ظهرت الفجوة في جميع المجالات، وإن كانت أحياناً أكبر في أنواع معينة من التفكير.

ومع ذلك، فإن الورقة حذرة في عدم القول بأن هذه المشكلة قد "حُلّت" أو أن الذكاء الاصطناعي "معطل". هي ببساطة تقيس الفجوة. كما أشاروا إلى أنه بينما اتفق المحكمون البشر مع الاتجاه العام (فقد فضلوا الإجابات القائمة على الإنجليزية في كثير من الأحيان)، كان من الصعب على البشر الاتفاق على سبب خطأ إجابة معينة بالضبط، مما يظهر أن الحكم البشري أيضاً له حدوده هنا.

لماذا يهم هذا الأمر

هذه الدراسة هي بمثابة جرس إنذار. لفترة طويلة، افترضنا أنه إذا كان الذكاء الاصطناعي ذكياً بالإنجليزية، فهو ذكي في كل مكان. تظهر هذه الورقة أن هذا ليس صحيحاً. إذا كنت تبني أداة لمساعدة الأطباء أو المعلمين أو المحامين في بلد تُستخدم فيه لغة ذات موارد منخفضة، فلا يمكنك افتراض أن الذكاء الاصطناعي المدرب بالإنجليزية سيعمل بشكل مثالي. "فجوة الاستيعاب" تعني أن الذكاء الاصطناعي قد يغفل عن تفاصيل مهمة، أو يسوء فهم التعليمات المعقدة، أو يقدم إجابات غير كاملة.

لم يكتفِ المؤلفون بإيجاد مشكلة فحسب؛ بل بنوا أداة جديدة لقياسها. لقد أطلقوا بياناتهم وطرقهم حتى يتمكن العلماء الآخرون من استخدام نفس "الكون الموازي" من الاختبارات للتحقق من نماذج الذكاء الاصطناعي الجديدة. إنه يشبه منح المجتمع العلمي مسطرة جديدة لقياس مدى فهم الذكاء الاصطناعي للعالم حقاً، وليس فقط مدى براعته في التحدث بالإنجليزية. الخلاصة بسيطة: يجب أن نتوقف عن افتراض أن الطلاقة في الإنجليزية تعني الفهم العالمي، وأن نبدأ في قياس الفجوة لجعل الذكاء الاصطناعي عادلاً ودقيقاً للجميع، بغض النظر عن اللغة التي يتحدثونها.