Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages
تقيم هذه الورقة قدرة النماذج اللغوية متعددة اللغات على التمييز بين الكلمات المستعارة والمفردات الأصلية عبر عشر لغات، وتجد أنه على الرغم من التعليمات والسياق، فإن هذه النماذج تؤدي بشكل ضعيف وتظهر انحيازاً نحو الكلمات المستعارة، مما يسلط الضوء على تحديات كبيرة تواجه أدوات معالجة اللغات الطبيعية في الحفاظ على اللغات الأقل انتشاراً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير في سوق صاخب متعدد اللغات. في هذا السوق، يتبادل الناس من دول مختلفة البضائع منذ قرون. ومع مرور الوقت، بدأوا في استعارة الأدوات والتوابل والكلمات من بعضهم البعض.
بعض الأشياء المستعارة جديدة وغريبة لدرجة أنه لا يزال بإمكانك رؤية غلافها الأصلي (مثل "التبديل اللغوي" أو code-switch، حيث يتحدث شخص ما فجأة بلغة مختلفة في منتصف الجملة). ولكن هناك أشتمال أخرى مستعارة تمت إعادة تعبئتها وطلاؤها ودمجها تماماً بحيث تبدو وتشعر وكأنها تنتمي دائماً إلى المتجر المحلي. هذه هي الكلمات المستعارة (loanwords).
على سبيل المثال، جاءت الكلمة الإنجليزية "sugar" من العربية، وكلمة "couch" من الفرنسية. بالنسبة لمتحدث أصلي بالإنجليزية، تبدو هذه الكلمات طبيعية تماماً. لكن بالنسبة لغوي، هي بوضوح كلمات مستعارة.
السؤال الكبير: هل يمكن للذكاء الاصطناي التمييز بينهما؟
يسأل هذا البحث سؤالاً بسيطاً ولكنه صعب: هل تستطيع نماذج الذكاء الاصطناعي الحديثة (مثل تلك التي تشغل روبوتات الدردشة) التمييز بين كلمة ولدت في لغة ما وكلمة استُعيرت من مكان آخر؟
أراد الباحثون معرفة ما إذا كانت نماذج الذكاء الاصطنا هذه تعمل كـ "حماة نقاء اللغة" الذين يمكنهم رصد المتسللين الأجانب، أم أنها "عمياء عن الاستعارة"، غير قادرة على التمييز بين المفردات الأصلية والمستعارة.
التجربة: اختبار لـ 10 لغات
استخدم الباحثون مجموعة بيانات خاصة تسمى ConLoan، وهي بمثابة كتاب اختبار ضخم يحتوي على جمل بـ 10 لغات مختلفة (بما في ذلك الصينية والفرنسية والألمانية والروسية وغيرها). في هذا الاختبار، سألوا الذكاء الاصطناعي: "استخرج الكلمات في هذه الجملة التي استُعيرت من لغة أخرى".
اختبروا الذكاء الاصطناي بطريقتين:
- طريقة "السؤال المباشر" (Zero-shot): حيث أخبروا الذكاء الاصطناي ببساطة: "ابحث عن الكلمات المستعارة"، دون إعطائه أي أمثلة أو قواعد.
- طريقة "المعلم" (Fine-tuning): حيث قدموا للذكاء الاصطما دورة تدريبية محددة باستخدام كتاب الاختبار، لتعليمه بالضبط ما الذي يجب أن يبحث عنه.
النتائج: الذكاء الاصطناي "أعمى عن الاستعارة" في الغالب
إليكم ما وجدوه، باستخدام بعض التشبيهات الممتعة:
1. الفشل في "لعبة التخمين" (نماذج اللغات الكبيرة)
عندما طلبوا من نماذج الذكاء الاصطناي العامة والكبيرة (مثل تلك التي قد تتحدث معها يومياً) العثور على الكلمات المستعارة، كان أداؤها سيئاً للغاية.
- التشبيه: تخيل أنك تسأل سائحاً زار بلداً ما لمدة أسبوع لتحديد أي الأطباق المحلية هي تقليدية وأيها ابتكارات حديثة مدمجة. من المرجح أن يخمن السائح عشوائياً.
- الواقع: حتى عندما أعطى الباحثون للذكاء الاصطناي تعريفاً صارماً لما هي الكلمة المستعارة (على سبيل المثال: "كلمة استُعيرت تاريخياً")، ظل الذكاء الاصطناي يعاني. غالباً ما فشل في رصد الكلمات المستعارة، حيث سجل دقة أقل من 50% في المتوسط. يبدو أن هذه النماذج اعتادت رؤية الكلمات المستعارة في بيانات التدريب الخاصة بها لدرجة أنها تعتبرها "طبيعية"، مما يجعل من الصعب عليها تصنيفها ككلمات "أجنبية".
2. نجاح "الطالب المتخصص" (النماذج التي خضعت للضبط الدقيق)
عندما أخذوا نموذج ذكاء اصطناي أصغر وأكثر تخصصاً وأعطوه دورة تدريبية مكثفة (fine-tuning) خصيصاً لهذه المهمة، تحسنت النتائج بشكل كبير.
- التشبيه: هذا يشبه أخذ نفس السائح وتوظيف مؤرخ محلي ليعلمه لمدة شهر. فجأة، يمكنه تمييز الاختلافات بين الأطبى التقليدية والحديثة بدقة عالية.
- الواقع: حققت النماذج التي خضعت للضبط الدقيق نتائج أفضل بكثير، حيث وصلت درجات الدقة إلى 80-90% في بعض اللغات. ومع ذلك، لم تكن مثالية تماماً.
أين تعثر الذكاء الاصطناي؟
حتى النماذج "الذكية" ارتكبت أخطاءً مضحكة، مما كشف عن طريقة "تفكيرها":
- الخلط بين "الأجنبي" و"الفاخر": غالباً ما اعتقد الذكاء الاصطناي أن الكلمات العلمية أو الكلمات ذات الجذور اليونانية أو اللاتينية (مثل "biology" أو "nitrates") هي استعارات حديثة.
- التشبيه: الأمر يشبه شخصاً يرى بدلة ويعتقد: "هذا استيراد أجنبي!" لمجرد أنها تبدو فاخرة، دون أن يدرك أن هذه البدلة تُصنع في هذا البلد منذ 100 عام.
- الخلط بين "التبديل" و"الاستعارة": واجه الذكاء الاصطاي صعوبة في التمييز بين كلمة أصبحت جزءاً دائماً من اللغة (كلمة مستعارة) وبين كلمة أدخلها شخص ما فقط لأنه كان يتحدث لغتين في آن واحد (التبديل اللغوي).
- التشبيه: الأمر يشبه الخلط بين مقيم دائم في حي ما وبين سائح يزور المكان ليوم واحد فقط.
- فخ "الأسماء": غالباً ما صنف الذكاء الاصطاي أسماء الأشخاص أو الأماكن أو المنظمات (مثل "NASA" أو "PISA") ككلمات مستعارة لمجرد أنها تبدو مختلفة عن الكلمات المحيطة بها.
لماذا يهم هذا الأمر؟
قد تتساءل: "وماذا لو لم يستطع الذكاء الاصطناي معرفة ما إذا كانت الكلمة مستعارة؟"
هذا في الواقع أمر بالغ الأهمية بالنسبة لـ لغات الأقليات. في أجزاء كثيرة من العالم، تفرض اللغات القوية (مثل الإنجليزية) نفسها على اللغات الأصغر. ويمكن أن يؤدي ذلك إلى اختفاء الكلمات الأصلية لتلك اللغات.
إذا أردنا بناء أدوات ذكاء اصطناي للمساعدة في الحفاظ على هذه اللغات المهددة بالانقراض، فيجب أن يفهم الذكاء الاصطآي الفرق بين:
- الكلمات الأصلية (روح اللغة).
- الكلمات المستعارة (تأثير الثقافات الخارجية).
إذا كان الذكاء الاصطناي "أعمى عن الاستعارة"، فقد يعامل الكلمات المستعارة بالخطأ على أنها اللغة "الحقيقية"، مما يؤدي فعلياً إلى محو المفردات الأصلية من فهمه. يظهر هذا البحث أنه بينما يتحسن الذكاء الاصطناي، إلا أنه لا يزال أمامه طريق طويل قبل أن يتمكن حقاً من فهم تاريخ وروح اللغة.
الخلاصة
نماذج اللغات حالياً "عمياء عن الاستعارة". يمكنها القراءة والكتابة بطلاقة، لكنها لا تفهم حقاً تاريخ الكلمات التي تستخدمها. إنها ترى الكلمة وتستخدمها، لكنها لا تعرف ما إذا كانت هذه الكلمة محلية أصلية أم مهاجرة مستقرة منذ زمن طويل. ولإصلاح ذلك، نحتاج إلى تعليمها ليس فقط كيف تتحدث، بل من أين أتت تلك الكلمات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.