A Parallel Cross-Lingual Benchmark for Multimodal Idiomaticity Understanding
تقدم هذه الورقة البحثية XMPIE، وهو معيار مرجعي متوازٍ عالي الجودة متعدد اللغات والوسائط يضم أكثر من 10,000 تعبير قد يكون اصطلاحيًا عبر 34 لغة، مصمم لتقييم ومقارنة قدرات أنظمة معالجة اللغات الطبيعية في فهم الاصطلاحية عبر مختلف اللغات والوسائط النصية-الصورية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية فهم الفكاهة البشرية، والثقافة، و"الشيفرات السرية" التي نستخدمها في محادثاتنا اليومية. تعرض عليه عبارة "kick the bucket" (ركل الدلو).
إذا كان الروبوت حرفياً، فسيظن أن شخصاً ما يركل فعلياً دلواً من الماء. لكن الإنسان يعرف أن هذه العبارة تعني في الواقع "الموت". هذه الفجوة بين ما تقوله الكلمات وما تعنيه هي ما يسمى بـ الاصطلاح (Idiom).
تقدم هذه الورقة البحثية أداة جديدة ضخمة تسمى XMPIE (تُنطق "زومبي") مصممة لاختبار مدى قدرة الذكاء الاصطناعي على فك هذه الشيفرات، ليس فقط في لغة واحدة، بل عبر العالم أجمع، وليس فقط من خلال الكلمات، بل من خلال الصور أيضاً.
إليك شرح بسيط لما فعلوه ولماذا يهم ذلك:
1. المشكلة: الذكاء الاصطناعي سيء في "القراءة ما بين السطور"
نماذج الذكاء الاصطناعي الحالية (مثل تلك التي تدردش معها) بارعة في الحقائق. إذا سألتها: "ما هي عاصمة فرنسا؟"، ستعرف أنها باريس. لكن إذا سألتها: "إنه يمتلك إبهاماً أخضر (green thumb)"، فقد ترتبك. هل لديه يد خضراء؟ هل يعمل في البستنة؟
الاصطلاحات صعبة لأنها تشبه النكات الثقافية الداخلية. فهي تعتمد على التاريخ والتجربة المشتركة. قد يفهم الذكاء الاصطناعي المدرب غالباً على الإنجليزية عبارة "green thumb"، ولكن إذا انتقلت إلى التركية أو السواحيلية، فإن النكتة تتغير تماماً. غالباً ما يفشل الذكاء الاصطناعي في إدراك أن اللغات المختلفة تستخدم "شيفرات سرية" مختلفة للتعبير عن نفس الشعور.
2. الحل: "صالة ألعاب رياضية اصطلاحية" عالمية ومتعددة اللغات
قام الباحثون ببناء مجموعة بيانات ضخمة تسمى XMPIE. فكر فيها كأنها صالة ألعاب رياضية للذكاء الاصطناعي، ولكن بدلاً من رفع الأثقال، يرفع الذكاء الاصطناعي مفاهيم ثقافية.
- النطاق: جمعوا أكثر من 10,000 عنصر تغطي 34 لغة مختلفة. يتضمن ذلك لغات رئيسية مثل الإنجليزية والصينية والإسبانية، وأيضاً لغات أصغر أو مهددة بالانقراض مثل اللوكسمبورغية والإيغبو.
- سحر "التوازي": هذا هو الجزء الأهم. عادةً، إذا كان لديك اصطلاح بالإنجليزية، فعليك التخمين ما هو معادله بالفرنسية. لكن هنا، قاموا بربطهم ببعضهم البعض بشكل مثالي.
- الإنجليزية: "Bad apple" (شخص سيء).
- التركية: "Rotten apple" (تفاحة فاسدة - نفس المعنى، كلمات مشابهة).
- الأذرية: "Stealing a day from God" (سرقة يوم من الله - نفس المعنى، كلمات مختلفة تماماً).
- الجورجية: "Absolutely useless thing" (شيء عديم الفائدة تماماً - نفس المعنى، لا يوجد اصطلاح على الإطلاق).
من خلال ترتيبهم بهذا الشكل، يمكنهم رؤية كيف تعبر الثقافات المختلفة عن نفس الفكرة.
3. اللمسة البصرية: العرض لا مجرد الإخبار
الاصطلاحات صعبة الفهم باستخدام النصوص فقط. لذا، أضاف الباحثون الصور.
لكل عبارة، قاموا بتوليد خمس صور:
- المعنى الحقيقي: صورة توضح المعنى الفعلي (على سبيل المثال، بالنسبة لـ "bad apple"، صورة لشخص يسبب المشاكل).
- الفخ الحرفي: صورة توضح المعنى الحرفي (على سبيل المثال، فاكهة متعفنة).
- "فخاخ" تقريبية: صور مرتبطة بالموضوع ولكنها ليست دقيقة تماماً (على سبيل المثال، تفاحة جيدة، أو فاكهة أخرى).
- المشتت العشوائي: صورة لشيء غير مرتبط تماماً (على سبيل المثال، محمصة خبز).
التشبيه: تخيل أنك تري روبوتاً صورة لشخص يبدو حزيناً ويمسك بلعبة مكسورة. تسأله: "هل هذا 'يشعر بالزرقة' (حزين) أم أنه فقط 'لديه لعبة زرقاء'؟" يجب على الروبوت النظر إلى الصورة والنص معاً ليفهم الشعور، وليس مجرد الألوان.
4. كيف بنوا ذلك: فريق عالمي من البشر
لا يمكنك مجرد أن تطلب من الكمبيوتر إنشاء هذه القائمة؛ فالكمبيوترات غال-باً ما تخترع اصطلاحات وهمية. بدلاً من ذلك، استعانوا بـ 89 خبيراً لغوياً من جميع أنحاء العالم.
كان هؤلاء الخبراء بمثابة محققين ثقافيين. أخذوا عبارة إنجليزية، ووجدوا ما يعادلها في لغتهم الخاصة، ثم استخدموا مولدات صور الذكاء الاصطناعي (مثل Midjourney) لإنشاء الصور الخمس. كان عليهم أن يكونوا حذرين للغاية للتأكد من أن الصور تلتقط "روح" أو "جو" الاصطلاح، وليس مجرد التعريف القاموسي.
5. ماذا وجدوا: "التحيز الحرفي"
عندما اختبروا نموذج ذكاء اصطناعي قياسي على هذه المجموعة الجديدة من البيانات، وجدوا شيئاً مثيراً للاهتمام:
- الذكاء الاصطناعي مفكر حرفي: كان الذكاء الاصطناعي جيداً جداً في اختيار الصورة "الحرفية" (التفاحة المتعفنة) ولكنه كان سيئاً جداً في اختيار الصورة "الاصطلاحية" (الشخص السيئ).
- مشكلة "أفضل اثنتين": حتى عندما كان الذكاء الاصطناعي يحصل على الإجابة الصحيحة، فإنه غالباً لا يستطيع وضعها في المركز الأول. كان الأمر يشبه طالباً يعرف الإجابة ولكنه متردد جداً في رفع يده أولاً.
- اللغة تفرق: في بعض اللغات (مثل الإسبانية)، كان الذكاء الاصطناعي أفضل في فهم الاصطلاح. وفي لغات أخرى، كان تائهاً تماماً. وهذا يثبت أن الذكاء الاصطناي يحتاج لتعلم ثقافة اللغة، وليس فقط قواعدها.
لماذا يهم هذا
هذه الورقة البحثية تشبه تقرير درجات لآفاق المستقبل للذكاء الاصطناعي.
إذا أردنا للذكاء الاصطناعي أن يكون مواطناً عالمياً حقيقياً — قادراً على ترجمة نكتة من جدة برازيلية إلى مراهق ياباني، أو فهم استعارة في تقرير إخباري من نيجيريا — فلا يمكننا فقط تعليمه الكلمات. يجب علينا تعليمه الثقافة.
يوفر مشروع XMPIE للباحثين وسيلة لقياس مدى المسافة التي يجب قطعها بالضبط. إنه يوضح لنا أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، فإنه لا يزال يكافح لفهم "روح" اللغة البشرية، حيث يختبئ المعنى غالباً خلف حجاب من الاستعارات، والثقافة، والتجربة المشتركة.
باخت اختصار: لقد بنوا لغزاً ضخماً مكوناً من 34 لغة ومليئاً بالصور ليظهروا لنا أن الذكاء الاصطناعي لا يزال "حرفي التفكير" عندما يتعلق الأمر بالاصطلاحات البشرية، وقد أعطونا الخريطة لمساعدته على تعلم التفكير مثلنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.