Sentiment Analysis of Government Mobile App Reviews: Validating Zero-Shot Classification with a Large Language Model

يتفاعل ملايين الأشخاص يومياً مع حكوماتهم من خلال الشاشات الصغيرة لهواتفهم الذكية؛ حيث يستخدمون تطبيقات لدفع ثمن الوصفات الطبية، أو تجديد وثائق الهوية، أو الوصول إلى السجلات العامة. وبينما تهدف هذه الأدوات إلى تسهيل الحياة، فإنها تولد أيضاً تدفقاً مستمراً من الملاحظات في شكل مراجعات المستخدمين. هذه النصوص القصيرة وغير الرسمية هي كنز ثمين لفهم شعور المواطنين تجاه الخدمات العامة الرقمية، لكنها تشكل أيضاً تحدياً للباحثين. فخلافاً لتقييم النجوم البسيط، الذي يقدم رقماً واحداً، تحتوي المراجعة على كلمات تحمل دلالات دقيقة، وسخرية، وعواطف معقدة. وفي البلدان التي لا تعتبر اللغة الإنجليزية لغتها الأساسية، يصبح تحليل هذه الملاحظات أكثر صعوبة لأن البرامج الحاسوبية المتطورة المستخدمة عادة لهذا الغرض غالباً ما يتم تدريبها على بيانات إنجليزية وتواجه صعوبة في التعامل مع القواعد والمفردات الخاصة باللغات الأخرى.

لفترة طويلة، كان الحل لهذه المشكلة هو إما ترجمة المراجعات إلى الإنجليزية أو بناء برمجيات مخصصة لكل لغة محددة، وهي عملية تتطلب كميات هائل من البيانات المصنفة والخبرة التقنية. ومع ذلك، ظهر نوع جديد من الذكاء الاصطناعي يُعرف باسم "النموذج اللغوي الكبير". تم تدريب هذه النماذج على كميات هائلة من النصوص من جميع أنحاء الإنترنت، ويمكنها فهم السياق والتعليمات دون الحاجة إلى إعادة تدريبها لكل مهمة جديدة. والسؤال الذي يواجه الباحثين هو ما إذا كانت هذه الأدوات القوية قادرة على قراءة وتصنيف المشاعر في المراجعات القصيرة غير الإنجليزية لتطبيقات الحكومة بدقة دون أي ضبط خاص، وما إذا كان بإمكانها القيام بذلك باتساق كافٍ لتكون موثوقة من قبل الإداريين العموميين.

وضع فريق من الباحثين من جامعة "يان إيفانيليستا بوركين" في أوستي ناد لابيم (Jan Evangelista Purkyně University in Ústí nad Labem) حداً لهذا التساؤل باستخدام اللغة التشيكية كحالة اختبار. فقد جمعوا مجموعة ضخمة تضم أكثر من عشرة آلاف مراجعة من ستة تطبيقات حكومية مختلفة تستخدمها المواطنة في جمهورية التشيك. تغطي هذه التطبيقات نطاقاً واسعاً من الخدمات، من الوصفات الطبية الإلكترونية إلى بطاقات الهوية الرقمية. أراد الباحثون معرفة ما إذا كان بإمكان عملية معيارية باستخدام نموذج لغوي كبير أن تصنف هذه المراجعات إلى ثلاث فئات بسيطة: إيجابية، أو سلبية، أو محايدة. ولضمان موثوقية النتائج، لم يكتفوا بمجرد الثقة في مخرجات الحاسوب، بل أنشأوا "حقيقة أرضية" (ground truth) من خلال جعل خبراء بشريين يقرأون ويتفقون على المشاعر في عينة مختارة بعناية مكونة من خمسمائة مراجعة. وقد كانت هذه العينة التي تم التحقق منها بشرياً بمثابة المعيار الذي قيست به كفاءة الحاسوب.

قارنت الدراسة النموذج اللغوي الكبير بعدة طرق أخرى، بما في ذلك أدوات عد الكلمات البسيطة وأنواع قديمة من الذكاء الاصطناعي المستخدمة عادة في تحليل النصوص. أدت أدوات عد الكلمات، التي تعتمد على قواميس للكلمات الإيجابية والسلبية، أداءً ضعيفاً؛ إذ فشلت غالباً في فهم سياق الجملة، وأغفلت حقيقة أن كلمة مثل "لكن" يمكن أن تقلب معنى المراجعة تماماً. أما نماذج الذكاء الاصطناعي القديمة، ورغم أنها كانت أفضل من القواميس، إلا أنها ظلت تواجه صعوبة في تحقيق دقة عالية دون تدريب محدد على البيانات الحكومية التشيكية. وفي المقابل، أظهر النموذج اللغوي الكبير، عند تزويده بتعليمات واضحة حول كيفية تصنيف النص، قدرة مذهلة على فهم الفروق الدقيقة في اللغة التشيكية؛ حيث حدد بشكل صحيح المشاعر في الغالبية العظمى من الحالات الاختبارية، متوافقاً مع أحكام الخبراء البشريين بدرجة عالية من الاتفاق.

كان أحد أهم النتائج التي توصل إليها البحث هو استقرار النتائج. ونظراً لأن النماذج اللغوية الكبيرة هي أنظمة معقدة، فقد كان هناك قلق من أن تشغيل نفس التحليل مرتين قد ينتج إجابات مختلفة. اختبر الباحثون ذلك عبر تشغيل عملية التصنيف خمس مرات منفصلة تحت ظروف متطابقة، ووجدوا أن النسخة الأحدث من النموذج كانت متسقة للغاية، حيث أنتجت نتائج متطابقة تقريباً في كل مرة. هذا الاتساق أمر حيوي للاستخدام في العالم الحقيقي، لأنه يعني أنه يمكن الاعتماد على الأداة لإعطاء نفس الإجابة لنفس المشكلة، بغض النظر عن وقت استخدامها. ومع ذلك، أظهرت النسخة القديمة من النموذج تبايناً أكبر بكثير بين عمليات التشغيل، مما يشير إلى أن الإصدار المحدد للبرنامج يمثل أهمية كبرى.

عندما طبق الباحثون النموذج الأكثر استقراراً ودقة على المجموعة الكاملة المكونة من عشرة آلاف مراجعة، ظهرت صورة واضحة لمشاعر المواطنين. كشف التحليل أن الملاحظات السلبية كانت الأكثر شيوعاً، حيث أعربت ما يقرب من ثلثي جميع المراجعات عن عدم الرضا. وشكلت المراجعات الإيجابية حوالي ربع الإجمالي، بينما كانت التعليقات المحايدة حقاً هي الأندر، حيث شكلت أقل من ثمانية بالمائة. ومن المثير للاهتمام أن نص المراجعات لم يتطابق دائماً بشكل مثالي مع تقييمات النجوم التي منحها المستخدمون للتطبيقات. فبينما ارتبط تقييم النجمة الواحدة دائماً تقريباً بنص سلبي، وارتبط تقييم الخمس نجوم عادةً بنص إيجابي، كان "المنطقة الوسطى" فوضوية؛ إذ احتوت العديد من مراجعات الثلاث نجوم على نصوص سلبية، وتضمنت بعض مراجعات الخمس نجوم شكاوى أيضاً، مما يظهر أن المستخدمين غالباً ما يمزجون مشاعرهم بطرق لا يستطيع تقييم النجوم البسيط استيعابها.

كما سلطت الدراسة الضوء على المجالات التي لا تزال التكنولوجيا تواجه فيها تحديات. كانت الفئة الأكثر صعوبة بالنسبة للحاسوب في ضبطها هي الفئة "المحايدة"، والتي تشمل الأوصاف الواقعية، أو الأسئلة، أو المشاعر المختلطة حيث لا يوجد عاطفة قوية. فقد واجه النموذج أحياناً صعوبة في التمييز بين التعليق المحايد والتعليق الذي قد يكون سلبياً أو إيجابياً بشكل طفيف. ومع ذلك، حتى مع هذه الصعوبة، تفوق النموذج على جميع الطرق المتاحة الأخرى التي لا تتطلب تدريباً مخصصاً. وخلص الباحثون إلى أن إجراءً معيارياً باستخدام نموذج لغوي كبير يمكنه تحليل ملاحظات المواطنين القصيرة وغير الإنجليزية بفعالية، بشرط توثيق العملية بدقة والتحقق من صحتها مقابل الحكم البشري.

لا يشير هذا العمل إلى أن التكنولوجيا مثالية أو أنها يمكن أن تحل محل البصيرة البشرية تماماً. فقد أكد الباحثون أن أداء النموذج يعتمد على التعليمات المحددة المقدمة إليه وجودة عملية التحقق. كما أشاروا إلى أن النتائج خاصة بهذه المجموعة المحددة من التطبيقات الحكومية وباللغة التشيكية، وأن التطبيقات أو اللغات المختلفة قد تسفر عن نتائج مختلفة. ومع ذلك، توفر الدراسة دليلاً قوما على أن الإداريين العموميين يمكنهم الآن استخدام هذه الأدوات للاستماع إلى مواطنيهم على نطاق واسع، حتى في اللغات التي لم تكن تتوفر لها برمجيات متخصصة سابقاً. ومن خلال تحويل آلاف التعليقات غير المنظمة إلى بيانات مصنفة واضحة، توفر هذه الأدوات طريقة جديدة لفهم التجارب اليومية للأشخاص الذين يستخدمون الخدمات العامة الرقمية، مما يساعد الحكومات على تحسين الأدوات التي تخدمهم.