The Dialect Tax: Dialectal Biases Persist throughout the Language Modeling Pipeline
تُثبت هذه الورقة أن "ضريبة اللهجة" —وهي فجوات الأداء المنهجية بين اللغة الإنجليزية الأمريكية القياسية واللهجات الأخرى في النماذج اللغوية— لا تنتج عن مرحلة واحدة، بل تتراكم طوال مسار النمذجة بأكمله، بدءاً من التجزئة (tokenization) والتدريب المسبق، وصولاً إلى ما بعد التدريب والاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية هي المحركات الكامنة وراء برامج الدردشة الآلية، والمترجمين، ومساعدي الكتابة الذين أصبحوا جزءاً لا يتجزأ من الحياة اليومية. تتعلم هذه الأنظمة من خلال قراءة كميات هائلة من النصوص، حيث تستوعب أنماط القواعد والمفردات والأسلوب لتتوقع الكلمة التالية. ولعقود من الزمن، عرف الباحثون أن هذه الأنظمة تعمل بشكل أفضل لبعض الناس دون غيرهم؛ فإذا تحدث المستخدم نسخة معيارية من اللغة الإنجليزية، فإن الكمبيوتر عادة ما يفهمه تماماً. ولكن إذا تحدث بلهجة معينة، مثل الإنجليزية الأمريكية لأفارقة أمريكا (AAVE)، فإن النظام غالباً ما يتعثر، ويرتكب مزيداً من الأخطاء أو يقدم استجابات أقل جودة. وهذه الفجوة في الأداء ليست مجرد خلل بسيط، بل تعمل كأنها "ضريبة خفية"، تفرض على المتحدثين باللهجات غير المعيارية تكلفة أكبر من حيث الجهد والوقت والدقة للحصول على نفس النتيجة التي يحصل عليها الجميع. والسؤال الذي حير العلماء لفترة طويلة هو من أين تأتي هذه الضريبة؟ هل هي مشكلة في كيفية تفكيك الكمبيوتر للكلمات إلى قطع أصغر في البداية، أم أن التحيز يُطبخ داخل "دماغ" النموذج أثناء تعلمه؟
قام باحث من جامعة أكسفورد بتتبع هذه "ضريبة اللهجة" عبر كل خطوة من خطوات مسار النمذجة اللغوية الحديثة. أراد أن يرى ما إذا كانت المشكلة تبدأ عندما يقرأ الكمبيوتر النص لأول مرة، أو تستمر أثناء دراسة الكمبيوتر وتعلمه، أو تظهر فقط عندما يحاول الكمبيوتر الإجابة على سؤال. وللقيام بذلك، استخدم إعداداً ذكياً: حيث أخذ أزواجاً من الجمل التي تعني الشيء نفسه تماماً ولكنها مكتوبة بلهجات مختلفة. كانت إحدى الجمل في كل زوج مكتوبة بالإنجليزية الأمريكية المعيارية، بينما كُتبت الأخرى بلهجة مثل الإنجليزية الأمريكية لأفارقة أمريكا، أو إنجليزية الأبالاش، أو إنجليزية الشيكانو. وبما أن المعنى كان متطابقاً، فإن أي اختلاف في كيفية تعامل الكمبيوتر مع الجملتين يجب أن يكون بسبب طريقة نطق أو كتابة الكلمات، وليس لأن إحداهما كانت أصعب في الفهم من الأخرى.
بدأ الباحث بالتحقق مما إذا كان الكمبيوتر يدرك حتى أن هاتين الجملتين تعنيان الشيء نفسه. ووجد أن النماذج فهمت المعنى بالفعل؛ إذ كانت المسافة الرياضية بين النسختين صغيرة جداً، مما أظهر أن النظام يعرف أنهما متكافئتان. ومع ذلك، بمجرد أن حاول الكمبيوتر معالجة النص، ظهرت الضريبة. في الخطوة الأولى، حيث يقوم الكمبيوتر بتفكيك الجملة إلى قطع صغيرة تسمى "توكنز" (tokens)، عوملت نسخ اللهجات بشكل غير عادل. فقد قام النظام بتفكيك جمل اللهجات إلى قطع أكثر من الجمل المعيارية. على سبيل المثال، كلمة مثل "building" قد تكون قطعة واحدة في النسخة المعيارية، لكن النسخة اللهجوية منها "buildin'" قد تُقسم إلى ثلاث قطع منفصلة. وهذا يعني أن الكمبيوتر اضطر لبذل جهد أكبر لمعالجة نفس القدر من المعلومات. ووجد الباحث أن هذا حدث عبر معظم النماذج اللغوية الرئيسية التي اختبرها، بغض النظر عن مدى حداثة النظام أو تقدمه.
ولتحديد ما إذا كان هذا التقسيم الأولي للكلمات هو السبب الوحيد للمشكلة، جرب الباحث تجربة جريئة. فقد أجبر الكمبيوتر على تجاهل طريقته المعتادة في تفكيك الكلمات، وبدلاً من ذلك نظر إلى كل حرف على حدة، معاملاً النص كسلسلة طويلة من الحروف. وكان يأمل أن يزيل هذا الخطوة التي تسبب التحيز الناتج عن عملية تقسيم الكلمات. لكن الأمر لم ينجح؛ فحتى عندما نظر الكمبيوتر إلى الحروف واحداً تلو الآخر، ظل أداؤه أسوأ في الجمل اللهجوية. ظلت فجوة الدقة قائمة، وظل الكمبيوتر يجد النص اللهجي أصعب في التنبؤ به. أثبت هذا أن المشكلة لم تكن مجرد خطأ في الخطوة الأولى من قراءة النص، بل إن التحيز قد انتقل إلى عمق أكبر، ليصبح جزءاً من المعرفة الداخلية للنموذج.
انتقل التحقيق بعد ذلك إلى مرحلة التدريب، حيث يتعلم الكمبيوتر من ملايين الأمثلة. نظر الباحث في التحديثات الرياضية التي يجريها النموذج أثناء التعلم، ووجد أنه عندما يحاول النموذج التعلم من جملة لهجوية، فإنه يقوم بتعديلات أكبر وأكثر فوضوية مقارنة بما يفعله مع جملة معيارية، رغم أن المعنى متطابق تماماً. وكأن النموذج وجد النص اللهجي مربكاً وصاخباً، مما يتطلب منه العمل بجهد أكبر بكثير لاستيعاب نفس المفهوم. حدث هذا حتى عندما كان النموذج صحيحاً في إجاباته؛ إذ كانت عملية التعلم نفسها أكثر صعوبة بالنسبة للهجات. لاحقاً، عندما نظر الباحث في الأنظمة المستخدمة لمكافأة النموذج على الإجابات الجيدة، وجد طبقة أخرى من التحيز. فهذه الأنظمة المكافئة كانت أحياناً تعطي درجات أعلى للكلمات اللهجوية المنفردة عند عرضها وحدها، ولكن عندما تظهر تلك الكلمات نفسها في جملة كاملة، كان النظام يعاقب عليها. هذا التناقض يعني أن النموذج كان يتلقى إشارات مختلطة، حيث يتم مكافأته أحياناً على استخدام اللهجة ومعاقبته في أحيان أخرى، اعتماداً على السياق.
رسمت الصورة النهائية أن "ضريبة اللهجة" لا تنتج عن خطأ واحد في جزء واحد من النظام، بل هي تأثير تراكمي يتراكم في كل مرحلة. يبدأ الكمبيوتر بتفكيك الكلمات اللهجوية إلى قطع أكثر، مما يجعل المدخلات أقل كفاءة. وبينما يتعلم، يكافح أكثر مع اللهجة، ويعامل نفس المعلومات كما لو كانت أصعب في الفهم. وفي النهاية، عندما يحاول توليد إجابة، تستمر الإشارات الداخلية وأنظمة المكافأة في تفضيل اللهجة المعيارية. وخلص الباحث إلى أن مجرد إصلاح الطريقة التي يفكك بها الكمبيوتر الكلمات ليس كافياً لحل المشكلة؛ فالتحيز منسوج في صلب كيفية تعلم هذه النماذج وتفكيرها. ولإنشاء تكنولوجيا لغوية عادلة حقاً، سيتعين على المطورين إعادة التفكير في عملية التدريب بأكملها، لضمان أن يتعلم النموذج معاملة جميع اللهجات بنفس السهولة والاحترام، بدلاً من تراكم هذه العيوب الصغيرة عند كل منعطف.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.