Continual Learning with Multilingual Foundation Model
تقدم هذه الورقة إطار عمل متعدد المراحل وقابلاً لإعادة الإنتاج، يستفيد من النموذج التأسيسي XLM-RoBERTa، والترجمة العكسية باستخدام GPT-4o-mini لتعزيز البيانات، وتحسين العتبة الخاصة بكل لغة، للكشف بفعالية عن الألفاظ النابية المستردة لمجتمع LGBTQ+ عبر وسائل التواصل الاجتماعي باللغات الإنجليزية والإسبانية والإيطالية، مع معالجة تحديات مثل ندرة البيانات والتباين اللغوي عبر اللغات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الصورة الكبيرة: "محقق السياق"
تخيل أنك مشرف على غرفة دردشة عالمية يتحدث فيها الناس الإنجليزية والإسبانية والإيطالية. كتب أحدهم كلمة كانت في السابق إهانة سيئة للغاية (لفظاً نابياً). في الماضي، كانت مهمتك سهلة: كلمة سيئة = حظر.
لكن اليوم، الأمور معقدة. فقد استعادت مجتمعات (LGBTQ+) بعض هذه الكلمات؛ حيث يستخدمونها لإظهار الفخر والتضامن والمحبة. لذا، يمكن لنفس الكلمة أن تكون خطاب كراهية (عندما يستخدمها شخص من خارج المجتمع للإيذاء) أو استعادة للمصطلح (عندما يستخدمها عضو في المجتمع للتمكين).
المشكلة؟ البرامج الحاسوبية سيئة في فهم الفروق الدقيقة البشرية. فهي غالباً ما تحظر المنشورات غير الضارة أو تغفل خطاب الكراهية الفعلي. تصف هذه الورقة نظاماً جديداً تم بناؤه لحل هذا اللغز لثلاث لغات.
العقبات الثلاث الكبرى
واجه الباحثون ثلاث عقبات رئيسية، مثل محاولة خبز كعكة بفرن مكسور، ودون دقيق، ووصفة تتغير حسب البلد:
- عدم كفاية البيانات: توجد أمثلة قليلة جداً على الكلمات "المستعادة" مقارنة بالكلمات "السيئة". الأمر يشبه محاولة تعلم التعرف على طائر نادر عندما لا تملك سوى ثلاث صور له، بينما تملك آلاف الصور للحمام.
- عدم التوازن: نظرًا لأن الأمثلة "المستعادة" نادرة جداً، يصبح الكمبيوتر كسولاً؛ إذ يتعلم ببساطة أن يخمن "كراهية" في كل مرة لأن هذا هو الجواب الأكثر شيوعاً.
- الاختلافات الثقافية: قد تبدو مزحة بالإنجليزية وكأنها تهديد بالإيطالية. والكلمة التي تشير إلى الفخر في إسبانيا قد تعني شيئاً مختلفاً تماماً في إيطاليا. القاعدة الواحدة لا تناسب الجميع.
الحل: وصفة طبخ من أربع خطوات
بنى الفريق "إطار عمل متعدد المراحل". فكر في هذا كطاهٍ يقوم بتنقية طبق من خلال أربع جولات متميزة من التذوق والضبط.
الخطوة 1: اختيار الطاهي المناسب (اختيار النموذج)
أولاً، اختبروا ثمانية "طهاة ذكاء اصطناعي" مختلفين (نماذج لغوية مدربة مسبقاً) لمعرفة أيهم الأفضل في فهم المكونات (التغريدات). لم يختاروا الأكثر شهرة فحسب، بل أجروا اختبار تذوق صارم (التحقق المتقاطع).
- الفائز: XLM-RoBERTa. تم اختياره لأنه كان الطاهي الأكثر اتساقاً، حيث تعامل مع اللغات الثلاث جيداً دون ارتباك.
الخطوة 2: تمديد العجينة (تعزيز البيانات)
بما أنهم لم يمتلكوا ما يكفي من الأمثلة "المستعادة"، فقد احتاجوا إلى المزيد. استخدموا ذكاءً اصطناعياً ذكياً للترجمة (GPT-4o-mini) لأخذ كل تغريدة إنجليزية وترجمتها إلى الإسبانية والإيطالية، ثم العودة بها مرة أخرى.
- السحر: لم يقم هذا بمجرد النسخ واللصق؛ بل أنشأ جملًا جديدة وفريدة تعني الشيء نفسه. لقد ضاعفوا بيانات التدريب ثلاث مرات.
- شبكة الأمان: كان عليهم الحذر من إفساد النسبة. استخدموا حيلة "أخذ العينات الديناميكي الناقص" (dynamic undersampling). تخيل معلماً يصحح اختباراً: مقابل كل مثال واحد "مستعاد" يراه الطالب، يعرض المعلم عليه ثلاثة أمثلة "سيئة". هذا يمنع الطالب من الشعور بالارتباك بسبب الأغلبية ويجبره على الانتباه للحالات النادرة والمهمة.
الخطوة 3: التدريب المتخصص (المعرفة بالمجال)
في هذه الجولة، قدموا للذكاء الاصطناعي "دورة مكثفة" خصيصاً حول لغة وسائل التواصل الاجتماعي الخاصة بمجتمع (LGBTQ+) قبل مطالبته بالمهمة النهائية. استخدموا تقنية تسمى نمذجة اللغة المقنعة (MLML).
- التشبيه: تخيل طالباً يعرف الإنجليزية العامة. قبل الامتحان، تقوم بتغطية كلمات في جملة تتحدث عن مسيرات الفخر وتطلب منه تخمين الكلمات المفقودة. هذا يجبر الذكاء الاصطناعي على تعلم "الجو العام" واللغة العامية الخاصة بالمجتمع، وليس فقط القواعد العامة.
الخطوة 4: القواعد الخاصة بكل لغة (ضبط العتبة)
كان هذا هو الاكتشاف الأكثر إثارة للدهشة. عادةً ما يستخدم الذكاء الاصطناي "خط قطع" واحداً (مثل 50%) ليقرر ما إذا كان الشيء خطاب كراهية أم لا. إذا كان الكمبيوتر متأكداً بنسبة 51%، فإنه يحظره.
- الاكتشاف: وجد الباحثون أن القاعدة الواحدة لا تناسب الجميع.
- الإنجليزية: كان الذكاء الاصطناعي واثقاً جداً عندما يرى الكلمات الإنجليزية المستعادة. لتجنب حظر المنشورات البريئة عن طريق الخطأ، كان عليهم رفع المعيار (جعل الذكاء الاصطناعي متأكداً بنسبة 58%) قبل وضع العلامة.
- الإيطالية: كان الذكاء الاصطناعي أقل ثقة مع الكلمات الإيطالية المستعادة لأن الإشارات الثقافية أكثر دقة. لتجنب تفويت الاستعادة الحقيقية، كان عليهم خفض المعيار (جعل الذكاء الاصطناعي متأكداً بنسبة 42%).
- الإسبانية: كانت تقع في المنتصف تماماً.
- النتيجة: من خلال ضبط "حساسية" الإنذار لكل لغة، حسنوا دقة النظام بنسبة 2-5% دون الحاجة إلى إعادة تدريب النموذج بالكامل.
ماذا وجدوا (نتائج اختبار التذوق)
بعد تشغيل هذه النسخ الأربع (الجولة 1 إلى الجولة 4)، إليكم ما حدث:
- النظام نجح: كان النظام النهائي أفضل بكثير في تمييز الفرق بين الكراهية والفخر مقارنة بالأدوات القياسية.
- أسطورة "العالمية": أثبتوا أنه لا يمكنك استخدام "حد قرار" واحد لجميع اللغات. ما ينجح مع الإنجليزية يفشل مع الإيطالية.
- الأخطاء المتبقية: لا يزال النظام يعاني مع السخرية (خاصة في الإنجليزية) والحميمية الثقافية الدقيقة (خاصة في الإيطالية).
- مثال: إذا قال أحدهم "هل يمكنني مناداتك بـ [لفظ نابٍ]؟" على سبيل المزاح، فقد يعتقد الذكاء الاصطناعي أنه يستعيد المصطلح فعلياً.
- مثال: في الإيطالية، قد يستخدم الأصدقاء ألفاظاً نابية لإظهار قربهم. قد يغفل الذكاء الاصطناعي ذلك لأنه يبحث عن كلمات "فخر" صريحة ليست موجودة.
الخلاصة
تظهر هذه الورقة أنه لتعليم الكمبيوتر فهم المشاعر البشرية والكلمات المستعادة عبر ثقافات مختلفة، لا يمكنك مجرد إلقاء البيانات عليه. أنت بحاجة إلى:
- اختيار النموذج الأساسي الصحيح.
- توسيع بياناتك بلطف دون كسر التوازن.
- تعليم الآلة "اللهجة" الخاصة بالمجتمع.
- والأهم من ذلك: وضع قواعد مختلفة للغات المختلفة.
يخلص المؤلفون إلى أنه بينما يعد نظامهم خطوة كبيرة للأمام، إلا أن الحواسيب لا تزال بحاجة لتعلم المزيد عن السياق البشري، والسخرية، والقواعد غير المنطوقة للصداقة قبل أن تتمكن من إدارة هذه المحادثات بشكل مثالي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.