How Annotator Agreement Affects Sentiment Classification Performance for Indonesian Coastal Tourism Reviews
تُظهر هذه الدراسة أن تدريب مصنفات المشاعر على مجموعة بيانات أكبر تعتمد على تصويت الأغلبية لمراجعات السياحة الساحلية الإندونيسية يحقق أداءً أعلى من مجموعة بيانات تعتمد حصرياً على الإجماع التام، رغم أن النتائج تشير إلى أن زيادة حجم البيانات وتوازن الفئات، بدلاً من مجرد الاحتفاظ بالحالات الغامضة، قد تكون المحركات الأساسية للتحسن، بينما يعمل نموذج IndoBERT بفعالية على تقليل التصنيف الخاطئ المنهجي للمراجعات المحايدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العصر الرقمي، أصبح صوت المسافر عبارة عن مكتبة ضخمة وغير منظمة من الآراء البشرية. يكتب الملايين من الناس مراجعات حول الشواطئ والفنادق والمطاعم، ويصبون آمالهم وخيبات أملهم وملاحظاتهم في نصوص غالباً ما تكون غير رسمية، ومليئة بالعامية، وعميقة الدقة. وبالنسبة للشركات والباحثين، يكمن التحدي في فهم هذا الفيض. فهم لا يحتاجون فقط لمعرفة ما إذا كانت المراجعة جيدة أم سيئة، بل يريدون معرفة شعور الكاتب بدقة. هذا هو مجال تحليل المشاعر، وهو فرع من علوم الحاسوب يعلم الآلات كيفية قراءة العواطف. لسنوات، كان النهج المعياري هو جعل البشر يصنفون هذه المراجعات بفئات بسيطة مثل "إيجابي" أو "سلبي" أو "محايد"، ثم تدريب الحواسيب على التعرف على تلك الأنماط. ومع ذلك، فإن الحكم البشري نادراً ما يكون مثالياً. فعندما يقرأ ثلاثة أشخاص نفس المراجعة، قد يختلفون حول ما إذا كانت محايدة حقاً أم سلبية قليلاً. وهذا الاختلاف يخلق لغزاً للعلماء: هل ينبغي لهم التخلص من المراجعات المربكة للاكتفاء فقط بتلك التي يتفق عليها الجميع، أم ينبغي لهم الاحتفاظ بالمراجعات الفوضوية والمتنازع عليها لتزويد الكمبيوتر بمزيد من الأمثلة للتعلم منها؟
قام فريق من الباحثين في جامعة ديپونيغورو بإندونيسيا بحل هذا اللغز تحديداً باستخدام مراجعات لوجهات سياحية ساحلية. ركزوا على اللغة الإندونيسية، وهي لغة غنية بالتعبيرات غير الرسمية والاختلافات الإقليمية، مما يجعلها حالة اختبار صعبة للغاية بالنسبة للحواسيب. جمع الباحثون مئات الآلاف من المراجعات العامة من خرائط جوجل تغطي الشواطٍ عبر الأرخبيل. وبعد تنظيف البيانات وتصفية النصوص المكررة أو النصوص غير الإندونيسية، اختاروا عينة متوازنة تتكون من حوالي 22,000 مراجعة ليقرأها ثلاثة مدونين بشريين. قرر كل شخص بشكل مستقل ما إذا كانت المراجعة إيجابية أو سلبية أو محايدة. وكشفت هذه العملية عن واقع طبيعي: لم يتفق البشر دائماً. فبعض المراجعات كانت واضحة لدرجة أن المدونين الثلاثة اختاروا نفس التصنيف، بينما كانت مراجعات أخرى غامضة بما يكفي ليوافق اثنان منهم ويختلف الثالث، أو حيث اختلف الثلاثة في تصنيفاتهم.
قام الباحثون بعد ذلك بتقسيم بياناتهم إلى مجموعتين متميزتين لمعرفة كيف يؤثر هذا الاختلاف على تعلم الكمبيوتر. المجموعة الأولى، التي أطلقوا عليها اسم "الإجماع"، احتوت فقط على المراجعات التي اتفق فيها البشر الثلاثة، وكانت مجموعة أصغر وأنقى مكونة من 15,527 مراجعة، لكنها كانت تفتقر إلى الحالات الصعبة والغامضة. المجموعة الثانية، وهي مجموعة "الأغلبية"، احتفظت بمراجعات الإجماع ولكنها أضافت إليها أيضاً المراجعات التي اتفق فيها اثنان من أصل ثلاثة بشر. احتوت هذه المجموعة الأكبر على 21,235 مراجعة وتضمنت العديد من الأمثلة على النصوص المحايدة، أو المختلطة المشاعر، أو المربكة التي غالباً ما تُربك الحواسيب. ثم قاموا بتدريب ثلاثة أنواع مختلفة من برامج الكمبيوتر على هاتين المجموعتين. استخدم برنامجان من هذين النوعين أساليب تقليدية قديمة تعتمد على تكرار الكلمات، بينما استخدم الثالث نظاماً حديثاً ومتطوراً يسمى IndoBERT، وهو مصمم لفهم السياق والعلاقات بين الكلمات في اللغة الإندونيسية، تماماً كما يفعل القارئ البشري.
كانت النتائج واضحة ومفاجئة نوعاً ما. فخلافاً للفكرة القائلة بأن الكمبيوتر يتعلم بشكل أفضل فقط من الأمثلة المتفق عليها تماماً، أدى أداء كل برنامج إلى تحسن عندما تم تدريبه على المجموعة الأكبر والأكثر فوضوية التي تضمنت المراجعات المتنازع عليها. حقق النظام الأكثر تقدماً، IndoBERT، درجة أعلى عندما تعلم من مجموعة "تصويت الأغلبية" مقارنة بمجموعة "الإجماع". وهذا يشير إلى أنه من خلال التخلص من المراجعات الغامضة لضمان الاتفاق المثالي، كان الباحثون في الواقع يتخلصون من دروس قيمة. فالمراجعات المتنازع عليها غالباً ما تحتوي على المشاعر المعقدة والمختلطة التي يعبر عنها المسافرون الحقيقيون، ووجود المزيد من هذه الأمثلة ساعد الكمبيوتر على فهم النطاق الكامل للعاطفة البشرية. ووجدت الدراسة أن التحسن الأكبر جاء في القدرة على تحديد المراجعات "المحايدة" بشكل صحيح. فعندما تم تدريب الكمبيوتر فقط على البيانات النقية المتفق عليها، واجه صعوبة في التمييز بين المراجعة المحايدة حقاً وبين المراجعة الإيجابية أو السلبية قليلاً. ولكن عندما سُمح له بدراسة بيانات "تصويت الأغلبية"، التي احتوت على أمثلة أكثر بكثير من هذه الحالات المحايدة، أصبح أفضل بكثير في التعرف عليها.
ومع ذلك، كان الباحثون حذرين في ملاحظة أن هذا التحسن قد لا يعود فقط إلى الاختلاف في حد ذاته. فالمجموعة الأكبر ببساطة كانت تحتوي على المزيد من البيانات وتوازناً أفضل للأمثلة المحايدة، وهي أمثلة يصعب العثور عليها بطبيعتها مقارنة بالأمثلة الواضحة الإيجابية أو السلبية. لم تثبت الدراسة أن الاختلاف أمر جيد في حد ذاته، بل إن تصفية هذا الاختلاف تؤدي إلى إزالة الكثير من المعلومات المفيدة. لا يزال الكمبيوتر يعاني مع أنواع معينة من الكتابة المعقدة، مثل المراجعات التي تشيد بجزء من الشاطئ بينما تنتقد جزءاً آخر، أو تلك التي تستخدم لغة غير مباشرة ورهيفة للتعبير عن خيبة الأمل. وظلت هذه الحالات الصعبة تمثل تحدياً حتى لأكثر النماذج تقدماً. وفي النهاية، يشير العمل إلى أنه في العالم الفوضوي للغة البشرية، قد يكون القليل من الاختلاف في بيانات التدريب ضرورياً لتعليم الكمبيوتر كيفية فهم دقة صوت المسافر حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.