Far Out: Evaluating Language Models on Slang in Australian and Indian English
تقيم هذه الورقة قدرات فهم العامية لسبعة من نماذج اللغة المتطورة في الإنجليزية الهندية والأسترالية باستخدام مجموعات بيانات مستمدة من الويب ومصطنعة، مما يكشف عن تفاوتات كبيرة في الأداء بين المهام التمييزية والمهام التوليدية ويسلط الضوء على أن النماذج تؤدي بشكل أفضل عمومًا في الإنجليزية الهندية مقارنة بالإنجليزية الأسترالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوت أمين مكتبة فائق الذكاء، قد قرأ كل شيء تقريبًا على الإنترنت. تطلب منه أن يلقي عليك نكتة، أو يكمل قصة، أو يخمن الكلمة التالية في جملة ما. عادةً، يكون أداؤه مذهلاً. ولكن ماذا يحدث عندما تطلب منه فهم اللغة العامية (Slang)؟
هذه الورقة البحثية بمثابة "اختبار للغة العامية" لسبعة من أذكى الروبوتات (الذكاء الاصطناعي) المتاحة حاليًا. أراد الباحثون معرفة ما إذا كانت هذه الروبوتات تستطيع فهم اللغة العامية الفريدة، والملونة، والمربكة غالبًا التي يستخدمها الناس في أستراليا والهند.
إليك تفاصيل تجربتهم، مشروحة ببساطة:
1. الإعداد: "قاموسان مختلفان" للغة العامية
لم يقم الباحثون بتخمين ما سيختبرونه، بل بنوا "بنوك اختبار" محددة لمعرفة كيفية أداء الروبوتات:
- بنك "العالم الحقيقي" (WEB): ذهبوا إلى موقع Urban Dictionary (وهو موقع يعرّف فيه الناس الحقيقيون المصطلحات العامية) واستخرجوا 377 مثالاً حقيقياً من العامية الأسترالية والهندية. فكر في الأمر كأنك تختبر الروبوت باستخدام مقابلات الشارع الحقيقية.
- مثال: "Far out" (تعبير أسترالي يعني "يا للهول، هذا جنون!") أو "Prepone" (تعبير هندي يعني "تقديم موعد اجتماع إلى وقت أبكر").
- بنك "المصنوع" (GEN): طلبوا من ذكاء اصطناعي فائق التطور ابتكار 1,492 سيناريو جديدًا حيث يمكن استخدام هذه الكلمات العامية. فكر في الأمر كأنك تختبر الروبوت بـ قصص خيالية كتبها كاتب.
2. الاختبارات الثلاثة
أعطى الباحثون الروبوتات ثلاثة أنواع مختلفة من التحديات:
الاختبار (أ): "ملء الفراغ" (توقع الكلمة المستهدفة):
- المهمة: "لا أصدق كم بلغت تكلفة تذكرة تلك الحفلة! إنها حقًا ______!" (على الروبوت تخمين الكلمة المفقودة).
- العقبة: يجب على الروبوت استخراج الكلمة من العدم من كامل ذاكرته.
- النتيجة: كارثة. كانت الروبوتات سيئة للغاية في هذا. لقد خمنت كلمات عشوائية أو لغة إنجليزية قياسية بدلاً من الكلمة العامية. الأمر يشبه أن تطلب من شخص أن يرتجل أغنية راب، فيكتفي بقول: "آه، مرحباً؟".
الاختبار (ب): "ملء الفراغ الموجه" (TWP):*
- المهمة: نفس المهمة السابقة، ولكن يحصل الروبوت على تلميح: "تذكر، هذه لغة عامية أسترالية".
- النتيجة: لا تزال سيئة نوعًا ما. لم يساعد التلميح كثيرًا.
الاختبار (ج): "الاختيار من متعدد" (اختيار الكلمة المستهدفة):
- المهمة: "لا أصدق كم بلغت تكلفة تذكرة تلك الحفلة! إنها حقًا ______!"
- أ) مكلفة (Expensive)
- ب) مذهلة (Far out)
- ج) لذيذة (Delicious)
- د) زرقاء (Blue)
- النتيجة: أفضل بكثير! عندما كان على الروبوت فقط اختيار الإجابة الصحيحة من قائمة، نجح في ذلك نصف الوقت تقريبًا.
- المهمة: "لا أصدق كم بلغت تكلفة تذكرة تلك الحفلة! إنها حقًا ______!"
3. المفاجآت الكبرى
وجدت الدراسة أربعة أمور رئيسية تخبرنا الكثير عن كيفية تفكير الذكاء الاصطناعي:
- التعرف أسهل من الابتكار: الروبوتات تشبه الشخص الذي يمكنه التعرف على أغنية عندما يسمعها في الراديو، لكنه لا يستطيع غناء نوتة واحدة منها بنفسه. هم أفضل بكثير في اختيار العامية الصحيحة من ابتكارها.
- الحقيقي مقابل المصنوع: أدت الروبوتات أداءً أفضل قليلاً في أمثلة "العالم الحقيقي" (WEB) مقارنة بالأمثلة "المصنوعة" (GEN). هذا يشير إلى أن الروبوتات ربما "غشت" عبر حفظ الأمثلة الحقيقية من بيانات تدريبها، بدلاً من فهم المفهوم حقًا.
- الهند مقابل أستراليا: كانت الروبوتات أفضل عمومًا في فهم العامية الإنجليزية الهندية مقارنة بالعامية الأسترالية. قد يكون ذلك بسبب وجود بيانات أكثر عن الإنجليزية الهندية على الإنترنت ليتعلم منها الروبوتات.
- فخ "المعنى الحرفي": عندما فشلت الروبوتات، لم تبتكر عبارات غير منطقية، بل أعطت إجابات حرفية مملة.
- إذا كانت العامية هي "Far out" (بمعنى مذهل)، خمن الروبوت كلمة "رائع" (Great).
- إذا كانت العامية هي "Bogan" (مصطلح أسترالي محدد لوصف شخص فظ أو بسيط)، خمن الروبوت "فرقة موسيقى هيفي ميتال" (Heavy metal band).
- لقد فهموا المعنى لكنهم افتقدوا النكهة والثقافة.
4. لماذا يهم هذا؟
تخيل أنك تبني روبوت خدمة عملاء لبنك في مومباي أو فلتر محتوى لتطبيق تواصل اجتماعي في سيدني. إذا كان الذكاء الاصطناعي الخاص بك لا يفهم العامية المحلية، فقد:
- يفوت نكتة ويظن أن المستخدم غير مهذب.
- يفشل في فهم شكوى مكتوبة بلغة غير رسمية.
- يجعل الناس يشعرون بأن التكنولوجيا لا "تفهمهم".
الخلاصة
هذه الورقة البحثية هي بمثابة "واقع مرير". على الرغم من أن الذكاء الاصطناعي يزداد ذكاءً، إلا أنه لا يزال يكافح مع الأجزاء الفوضوية، والممتعة، والثقافية من اللغة البشرية. هو بارع في قراءة القاموس، لكنه لا يزال يتعلم كيف يتحدث لغة "الشارع".
الدرس المستفاد: إذا كنت تريد من الذكاء الاصطناعي أن يفهم العامية، فلا تطلب منه كتابة قصيدة؛ بل أعطه اختبار اختيار من متعدد. وحتى حينها، قد يظل بحاجة إلى إنسان ليشرح له النكتة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.