How Robust Are LLMs to Vietnamese Dialects?
تقدم هذه الورقة VialectBench، وهو أول معيار منهجي لتقييم النماذج اللغوية الكبيرة في اللهجات الفيتنامية، والذي يكشف أن الاختلافات اللهجية تسبب تدهوراً ملموساً في الأداء عبر مهام متعددة، ويثبت أن الكفاءة العالية في اللغة الفيتنامية القياسية لا تضمن المتانة تجاه الاختلافات الإقليمية التي تحافظ على المعنى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً فائق الذكاء كيف يفهم اللغة البشرية. تعرض عليه الملايين من الكتب، والمقالات الإخبارية، والمواقع الإلكترية، وكلها مكتوبة بنسخة "نموذية" ومهذبة جداً من اللغة. يصبح الروبوت بارعاً جداً في ذلك، ويجتاز كل اختبار تضعه له بتفوق. لكن هناك مشكلة؛ فالحياة الواقعية ليست كتاباً مدرسياً. فالناس لا يتحدثون دائماً النسخة "المثالية" من اللغة، بل لديهم لهجات، ويستخدمون لغة عامية، ويتحدثون بشكل مختلف بناءً على ما إذا كانوا من الشمال أو الجنوب أو وسط البلاد. هذا ما يسمى بـ اللهجة. الأمر يشبه عزف نفس الأغنية بآلات موسيقية مختلفة؛ اللحن (المعنى) هو نفسه، لكن الصوت (الكلمات والقواعد) يتغير.
لقد بنى العلماء هذه الروبوتات اللغوية العملاقة، المعروفة باسم نماذج اللغات الكبيرة (LLMs)، لمساعدتنا في الكتابة، والإجابة على الأسئلة، وحل المشكلات. ولكن هناك سؤال كبير يلوح في الأفق: هل هي ذكية حقاً بما يكفي لفهم الجميع، أم أنها بارعة فقط في فهم النسخة "المعيارية" من اللغة؟ إذا سألت روبوتاً سؤالاً باستخدام لهجة محلية، هل سيصل إلى الإجابة الصحيحة، أم سيصاب بالارتباك ويبدأ في اختلاق الأمور؟ هذا الأمر مهم، لأنه إذا كان الروبوت يفهم فقط النسخة "المثالية"، فقد يفشل عندما يحاول بشر حقيقيون استخدامه، مما يؤدي إلى الإحباط أو حتى سوء فهم خطير.
اختبار اللهجات الفيتنامية الكبير
قرر فريق من الباحثين وضع هذه الروبوتات اللغوية تحت الاختبار النهائي. أرادوا معرفة ما إذا كانت النماذج قادرة على التعامل مع الواقع الفوضوي والجميل للهجات الفيتنامية. في فيتنام، يتحدث الناس بنكهات إقليمية مختلفة. فالكلمة التي تعني "ماذا" في العاصمة قد تكون كلمة مختلفة تماماً في المقاطعات الوسطى، رغم أن الجميع يفهم ما يتم السؤال عنه.
بنى الباحثون ساحة لعب خاصة أطلقوا عليها اسم VialectBench. فكر فيها كمسار عقبات ضخم مصمم خصيصاً لتعثر الروبوتات التي تهتم كثيراً بكيفية قول الأشياء. بدأوا بـ 400 سؤال ومهمة معيارية — مثل طلب تخمين مزاج شخص ما، أو حل لغز منطقي، أو الإجابة على سؤال بناءً على قصة. ثم استعانوا بخبراء بشريين من ست مناطق مختلفة في فيتنام لإعادة كتابة تلك المهام نفسها باستخدام لهجاتهم المحلية.
كان الهدف بسيطاً: الحفاظ على المعنى تماماً كما هو، مع تغيير الكلمات لتبدو كأنها لهجة محلية. على سبيل المثال، بدلاً من السؤال "ماذا قال لي الطبيب أن آكل؟" بالطريقة المعيارية، قد يسأل شخص من المنطقة الوسطى: "Bác sĩ dặn ăn chi؟" مستخدماً كلمة محلية لـ "ماذا". كان على الروبوت أن يجيب على كلتا النسختين. إذا أجاب الروبوت على النسخة المعيارية بشكل صحيح وفشل في النسخة اللهجوية، فهذا يعني أن الروبوت "هش" — أي أنه يسهل ارتباكه بسبب التغيير في اللكنة.
النتائج: الروبوتات تضل طريقها في المنتصف
عندما أجرى الباحثون الاختبارات على عشرة نماذج لغوية مختلفة (تتراوح بين النماذج الصغيرة مفتوحة المصصدرة إلى النماذج الضخمة والقوية مثل GPT-4o)، كانت النتائج بمثابة جرس إنذار. لم يكن أي روبوت مثالياً. كل واحد منها تعثر عندما واجه اللهجات.
في المتوسط، انخفض أداء الروبوتات بنسبة 2.82% عندما اضطرت للتعامل مع اللهجات بدلاً من الفيتنامية المعيارية. لكن هذا الانخفاض لم يكن متساوياً في كل مكان. بدا الأمر وكأن الروبوتات لديها "نقطة عمياء" محددة.
- مشكلة "الوسط": جاءت أكبر مشكلة من لهجات الوسط (تحديداً المجموعات المصنفة كـ PNT2 و PNT3). فعندما واجهت الروبوتات هذه اللهجات، هبط أداؤها بشكل حاد. تسببت لهجة PNT3 في أكبر انخفاض متوسط، حيث أضرت بالروبوتات بنسبة 6.17%، بينما خفضتها PNT2 بنسبة 4.73%.
- مفاجأة "الشمال": ومن المثير للاهتمام أن اللهجة الشمالية (PNB) كانت الأسهل بالنسبة للروبوتات. في الواقع، جعل سماع اللهجة الشمالية بعض النماذج تؤدي بشكل أفضل قليلاً (بنسبة 0.42%)، ويرجع ذلك على الأرجيه إلى أن الفيتنامية المعيارية التي تدربت عليها الروبوتات قريبة جداً من طريقة الكلام الشمالية.
- خليط "الجنوب": تسببت اللهجة الجنوبية (PNN) في انخفاض متوسط قدره حوالي 1.81%.
أين فشلوا؟
نظر الباحثون أيضاً في نوع المهام التي فشلت فيها الروبوتات. وتبين أن الإجابة على الأسئلة (QA) كانت الأكثر عرضة للخطر. فعندما كان على الروبوتات قراءة قصة والإجابة على سؤال بلهجة محلية، واجهت صعوبة بالغة، مع انخفاض متوسط في الأداء تجاوز 5%. وهذا يشير إلى أنه عندما تُصاغ الأسلة بلهجة محلية، يجد الروبوت صعوبة في ربط النقاط لإيجاد الإجابة في النص.
وهناك اكتشاف مخيف آخر وهو "الانقلاب الضار". يحدث هذا عندما يجيب الروبوت بشكل صحيح في الفيتنامية المعيارية، ولكنه يخطئ تماماً في اللهجة. تسببت لهجات الوسط في أكبر عدد من هذه الانقلابات، بنسبة 6.54% عبر جميع النماذج. الأمر يشبه أن يقول الروبوت بثقة: "أنا أعرف الإجابة!" بصوت واحد، ثم يقول بثقة في صوت آخر: "الإجابة هي كذا!"، بينما الإجابتان في الواقع متضادتان.
ماذا يعني هذا؟
أظهرت الدراسة أنه مجرد كون الروبوت عبقرياً في اللغة المعيارية لا يعني أنه عبقري في كل أنواع الفيتنامية. وجد الباحثون أن الأداء القوي في اللغة المعيارية لا يضمن السلوك الموثوق تحت تأثير التباين الإقليمي.
كما دحضوا فكرة أن هذه الروبوتات محصنة طبيعياً ضد اللهجات. فحتى النماذج الأكثر ذكاءً، مثل GPT-4o، الذي قدم أفضل أداء إجمالي، أظهر انخفاضاً طفيفاً في الدقة عند إدخال اللهجات. تشير الدراسة إلى أنه لا يمكننا افتراض أن هذه الأدوات تعمل للجميع؛ بل يجب اختبارها وتحسينها خصيصاً لتناسب الطرق المتنوعة التي يتحدث بها الناس بالفعل.
باختصار، الروبوتات تشبه السياح الذين درسوا دليل الرحلات بدقة، لكنهم يضلون طريقهم بمجرد أن يوجه لهم أحد السكان المحليين الاتجاهات بلكنة محلية ثقيلة. وإلى أن نعلمهم الاستماع إلى كل هذه الأصوات المختلفة، فقد يستمرون في الخطأ في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.