TailNLG: A Multilingual Benchmark Addressing Verbalization of Long-Tail Entities
تقدم هذه الورقة TailNLG، وهو معيار جديد متعدد اللغات يكشف عن انحياز أداء مستمر في النماذج اللغوية الكبيرة ضد كيانات الذيل الطويل أثناء توليد النصوص من البيانات، مما يسلط الضف على الحاجة إلى أطر تقييم أكثر موثوقية لمعالجة هذه الفجوة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة رقمية عملاقة من الحقائق عن العالم، منظمة مثل جدول بيانات ضخم. هذا هو الرسم البياني للمعرفة (Knowledge Graph). إنه يحوي كل شيء، بدءاً من "من هو رئيس فرنسا؟" وصولاً إلى "ما هو التركيب الكيميائي المحدد لنوع نادر من الفطريات يوجد فقط في وادٍ واحد في بيرو؟".
المشكلة هي أن جدول البيانات هذا يصعب على الناس العاديين قراءته. نحن نريد من الحواسيب أن تحول تلك الحقائق الجافة إلى جمل طبيعية وانسيابية، مثل راوٍ للقصص. يسمى هذا توليد النص من البيانات (Data-to-Text generation).
إليك ورقة بحثية بعنوان TailNLG. لقد صمم الباحثون "اختباراً" جديداً ليروا ما إذا كان رواة القصص الأذكياء لدينا (نماذج الذكاء الاصطاذعي) عادلين حقاً، أم أنهم يعرفون فقط كيف يتحدثون عن الأشياء المشهورة.
إليك التفاصيل بتبسيط شديد:
1. مشكلة "المشهور مقابل المنسي"
تخيل حفلة حيث يتحدث الجميع عن المشاهب.
- "الرأس" (المشهور): الجميع يعرف تايلور سويفت، أو باريس، أو جوجل. هؤلاء هم كيانات "الرأس" (Head entities). إنهم يظهرون في كل كتاب، فيلم، ومقال إخباري تقريباً.
- "الذيل الطويل" (المنسي): هؤلاء هم الضيوف المغمورون. ربما خباز محلي في قرية صغيرة، أو نوع معين من الخنافس، أو شخصية تاريخية ثانوية لا تملك سوى القليل من الحقائق المسجلة. هؤلاء هم كيانات "الذيل الطويل" (Long-Tail entities).
السؤال الكبير: هل تروي نماذج الذكاء الاصطناعي قصصاً رائعة عن تايلور سويفت، لكنها تتعثر وتتلعثم وتختلق أشياءً عندما يُطلب منها التحدث عن الخباز المحلي؟
2. الاختبار الجديد: TailNLG
ابتكر المؤلفون معياراً جديداً يسمى TailNLG. فكر فيه كأنه "اختبار تذوق أعمى" للذكاء الاصطناعي.
- جمعوا الحقائق من ويكي بيانات (Wikidata) (وهي موسوعة حقائق مفتوحة ومجانية).
- اختاروا مزيجاً من الأشياء المشهورة والأشياء المغمورة.
- فعلوا ذلك في ثلاث لغات: الإنجليزية، والإيطالية، والإسبانية.
- طلبوا من نماذج ذكاء اصطناٍ مختلفة تحويل هذه الحقائق إلى جمل.
3. النتائج: لدى الذكاء الاصطناعي "تحيز للمشاهير"
وجدت الدراسة أن نماذج الذكاء الاصطناعي ليست متساوية في تقديم الفرص للجميع.
- مقياس "الثقة": قاس الباحثون مدى "عدم اليقين" الذي يشعر به الذكاء الاصطناعي. عند التحدث عن المشاهب، كان الذكاء الاصطناعي واثقاً وانسيابياً. أما عند التحدث عن كيانات "الذيل الطويل" المغمورة، فقد أصبح الذكاء الاصطناعي متوتراً؛ كان أقل تأكداً من نفسه، مثل طالب يخمن الإجابات في امتحان.
- خطر "الهلوسة": لأن الذكاء الاصطناعي لم يكن يعرف الحقائق المغمورة جيداً (لأنه لم يرها كثيراً أثناء التدريب)، كان أكثر عرضة لارتكاب الأخطاء أو اختلاق تفاصيل لملء الفراغات.
- الفجوة اللغوية: كان الذكاء الاصطنا أيضاً أفضل في اللغة الإنجليزية مقارنة بالإيطالية أو الإسبانية. الأمر يشبه أن الذكاء الاصطناعي ذهب إلى مدرسة ناطقة بالإنجليزية وتعلم الحقائق المغمورة بشكل أفضل بتلك اللغة، مما جعله مرتبكاً عندما طُلب منه التحدث عنها بلغات أخرى.
4. التواء "الفضي" مقابل "الذهبي"
لبناء هذا الاختبار، اضطر الباحثون لترجمة بعض الحقائق آلياً لأنه لم يكن هناك عدد كافٍ من المترجمين البشر لكل حقيقة مغمورة.
- المعيار الذهبي (Gold Standard): جمل مكتوبة بواسطة بشر، مثالية تماماً.
- المعيار الفضي (Silver Standard): جمل مترجمة آلياً وتم التحقق منها بواسطة بشر.
ومن المثير للدهشة أن الذكاء الاصطناعي أدى فعلياً بشكل أفضل في البيانات "الفضية" (المترجمة آلياً) مقارنة بالبيانات "الذهبية" (المكتوبة بشرياً). لماذا؟ لأن الذكاء الاصطناعي مدرب على كميات هائلة من بيانات الإنترنت، وهي مليئة بالنصوص المترجمة آلياً. الأمر يشبه أن الذكاء الاصطناعي أكثر ارتياحاً في قراءة نص كتبه روبوت بدلاً من نص كتبه إنسان، لأنه رأى الكثير من "نصوص الروبوتات" أثناء تدريبه!
5. لماذا يهم هذا؟
هذه الورقة البحثية هي بمثابة جرس إنذار.
- الذكاء الاصطناعي الحالي منحاز: هو يحب المشاهير ويتجاهل المغمورين. إذا اعتمدنا على الذكاء الاصطناعي لتلخيص المعرفة للجميع، فقد نحصل فقط على قصص عن "الأغنياء والمشاهير"، بينما يتم تشويه أو تجاهل بقية معرفة العالم.
- المقاييس مخادعة: الطرق المعتادة التي نقيم بها الذكاء الاصطناعي (التحقق من تطابق الكلمات) لم تكتشف هذه المشكلات. نحن بحاجة إلى طرق أفضل لقياس ما إذا كان الذكاء الاصطناعي صادقاً ودقيقاً بشأن "الناس البسطاء".
الخلاصة
اعتبر نماذج الذكاء الاصطناعي الحالية بمثابة "معجبين مهووسين بالثقافة الشعبية". يمكنهم كتابة مقال من 10 صفحات عن جولة تايلور سويفت، ولكن إذا طلبت منهم كتابة سيرة ذاتية لصانع أحذية من القرن الثامن عشر غير معروف، فقد يتجمدون أو يختلقون معلومات.
إن معيار TailNLG هو الأداة التي نحتاجها لإجبار هذه النماذج على دراسة "الناس البسطاء" حتى عندما يتحدثون إلينا، يروون الحقيقة عن الجميع، وليس فقط عن المشاهب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.