How Good is Your Wikipedia? Auditing Data Quality for Low-resource and Multilingual NLP
تدقق هذه الورقة جودة نسخ ويكيبيديا غير الإنجليزية من خلال تطبيق تصفية صارمة للبيانات لتحديد المشكلات المنهجية مثل المحتوى الذي تولده الروبوتات والتلوث اللغوي، مما يثبت في النهاية أن النماذج المدربة على البيانات المفلترة عالية الجودة الناتجة تضاهي أو تتفوق على تلك المدربة على البيانات الخام، لا سيما بالنسبة لنسخ اللغات ذات الجودة المنخفضة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل ويكيبيديا كأنها مكتبة ضخمة وعالمية. لسنوات طويلة، تعامل علماء الحاسوب مع هذه المكتبة باعتبارها "المعيار الذهبي" للمعرفة، بافتراض أن كل كتاب على رفوفها مكتوب بشكل جيد، ودقيق، ومفيد لتعليم الحواسيب كيفية التحدث وفهم اللغة البشرية.
هذه الورقة البحثية تطرح سؤالاً بسيطاً ولكنه جوهري: هل المكتبة بأكملها عالية الجودة حقاً، أم أن بعض أقسامها مليئة بالنفايات؟
قرر المؤلفون إجراء تدقيق لكامل قسم اللغات غير الإنجليزية في هذه المكتبة (أكثر من 340 نسخة لغوية مختلفة) لمعرفة ما يحدث عندما يطبقون عملية "تنظيف ربيعي" تُخصص عادةً لبيانات الإنترنت الفوضوية وغير المنظمة.
إليك ما وجدوه، مشروحاً عبر تشبيهات من الحياة اليومية:
1. تجربة "التنظيف الربيعي"
تخيل بيانات ويكيبيديا الخام ككومة ضخمة من الأوراق المختلطة ببعضها البعض. استخدم الباحثون "جامعي نفايات" محددين لمعرفة مقدار القمامة التي يمكنهم العثور عليها:
- فلتر "اللغة الخاطئة" (تصفية الخط/الرسم الكتابي): تخيل أميناً للمكتبة يتحقق من كل كتاب للتأكد من أنه مكتوب بالأبجدية الصحيحة لهذا القسم. وجدوا أنه في بعض أقسام اللغات، كانت أجزاء ضخمة من النصوص مكتوبة في الواقع بخط أو رسم كتابي خاطئ (مثل العثور على كلمات إنجليزية داخل كتاب ياباني) أو كانت مجرد هراء ناتج عن ترجمة آلية.
- فلتر "النسخ واللصق" (إزالة التكرار): تخيل كومة من الأوراق حيث قام شخص ما بالخطأ بتصوير نفس الصفحة 1000 مرة. استخدم الباحثون أداة للعثين على هذه النسخ المكررة وإزالتها. واكتشفوا أن بعض أقسام اللغات كانت تتكون بالكامل تقريباً من هذه المقالات "المنسوخة" أو القوالب الفارغة التي لا تقول شيئاً ذا قيمة.
النتيجة: عندما قاموا بتشغيل هذه الفلاتر، تخلصوا من حوالي 12% من الكلمات و 30% من المقالات من ويكيبيديا غير الإنجليزية. وهذا يشير إلى أن جزءاً كبيراً من المكتبة كان في الواقع "ضجيجاً" بدلاً من كونه معلومات مفيدة.
2. تصنيف "جودة المكتبة"
لم يكتفِ الباحثون برمي الأشياء فحسب؛ بل قاموا بتصنيف كل نسخة لغوية من ويكيبيديا إلى أربعة "فئات" بناءً على كمية النفايات التي توجب عليهم إزالتها:
- الفئة الأولى (المعيار الذهبي): كانت هذه المكتبات نظيفة بالفعل. لم يكن لديها الكثير من النفايات لإزالتتها. وهذه هي اللغات ذات الموارد العالية والتي تمتلك مجتمعات بشرية نشطة.
- الفئة الرابعة (مصنع الروبوتات): كانت هذه المكتبات فوضوية. فقد وُجد أن بعضها، مثل نسختي "سيبوانو" و"واراي"، كانت عبارة عن محتوى تم إنشاؤه بالكامل تقريباً بواسطة الروبوتات (Bots) (برامج مؤتمتة) بدلاً من البشر. كان الأمر أشبه بمكتبة كتب فيها روبوت 99% من الكتب، وغالباً ما كان يكرر نفس الجمل مراراً وتكراراً.
3. التحول المفاجئ: القليل يعني الأكثر
الجزء الأكثر إثارة للاهتمام في الدراسة هو ما حدث عندما اختبروا الحواسيب (نماذج الذكاء الاصطناعي) باستخدام البيانات "المُنظفة" مقابل البيانات "الخام".
- الافتراض القديم: قد تعتقد أن رمي 30% من المكتبة سيضر تعلم الحاسوب، مثل محاولة الدراسة للاختبار باستخدام عدد أقل من الكتب الدراسية.
- الواقع: الحواسيب التي تدرّبت على البيانات المُنظفة أدت بشكل جيد، وفي كثير من الحالات، أفضل من تلك التي تدرّبت على البيانات الخام الفوضوية.
- التشبيه: تخيل أنك تحاول تعلم لغة عن طريق قراءة قاموس ملأه شخص ما بجمل عشوائية وغير منطقية من باب المزاح. إذا قمت بإزالة جمل هذا الشخص، فستتعلم اللغة أسرع وأفضل، رغم أن لديك صفحات أقل للقراءة.
كانت أكبر التحسينات مرئية في لغات "الفئة 4" (اللغات التي تهيمن عليها الروبوتات). فمن خلال إزالة القمامة الآلية، استطاع الذكاء الاصطناعي أخيراً تعلم التحدث باللغة البشرية بشكل صحيح.
4. لماذا يهم هذا؟
تخلص الورقة إلى أنه لا يمكننا الوثوق بشكل أعمى في أن "ويكيبيديا = جودة عالية" لكل لغة.
- بالنسبة للإنجليزية واللغات الرئيسية: هي مكتبة موثوقة في الغالب.
- بالنسبة للغات الأصغر أو ذات الموارد المحدودة: يمكن أن تكون حقل ألغام من الهراء الناتج عن الترجمة الآلية، والرسائل المزعجة (Spam) المولدة آلياً، وأخطاء النسخ واللصق.
الخلاصة: إذا كنت تريد بناء ذكاء اصطناعي ذكي للغة معينة، فلا يمكنك مجرد صب ويكيبيديا بأكملها فيه. يجب أن تعمل كأمين مكتبة صارم أولاً: تحقق من الخطوط، أزل المكررات، واطرد الروبوتات. بمجرد القيام بذلك، سيتعلم الذكاء الاصطناعي بشكل أفضل بكثير، حتى مع وجود بيانات أقل.
لقد أصدر المؤلفون أيضاً مجموعة أدوات مجانية (بمثابة "مكنسة رقمية") لكي يتمكن الباحثون الآخرون من تنظيف بياناتهم الخاصة قبل تدريب نماذج الذكاء الاصطناعي الخاصة بهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.