A Multi-Model, Multi-Domain Benchmark of Large Language Model Agreement with Humans and with Each Other in Sentiment Classification
تقدم هذه الورقة معياراً متعدد المجالات يقيم خمسة نماذج لغوية كبيرة، ومعجماً قائماً على القواعد، ونموذج "ترانسفورمر" خاضع للإشراف مقابل التوصيفات البشرية، مما يكشف أنه بينما تحقق النماذج رفيعة المستوى مثل Claude Opus 4.7 وGPT-5.5 توافقاً قوياً مع البشر، إلا أن هناك اختلافاً كبيراً مستمراً بين النماذج ومع الملصقات البشرية — لا سيما في النصوص غير الرسمية — مما يثبت أن اختيار النموذج يؤثر جوهرياً على نتائج تصنيف المشاعر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الحواسيب التي تقرأ وتفهم اللغة، هناك مهمة قديمة قدم الإنترنت نفسه: وهي معرفة ما إذا كانت قطعة من النص سعيدة، أم حزينة، أم أنها مجرد ذكر لحقيقة ما. يُطلق على هذا "تحليل المشاعر". لسنوات طويلة، استخدم الناس هذه الأدوات لتخمين كيفية تفاعل سوق الأسهم مع تقرير إخباري، أو لمعرفة ما إذا كان العملاء غاضبين من منتج ما، أو لتتبع المزاج العام خلال أزمة صحية. ومؤخراً، وصلت جيل جديد من هذه البرامج الحاسوبية، المعروفة باسم "نماذج اللغات الكبيرة". هذه هي نفس الأنظمة التي يمكنها كتابة القصص، والإجابة على الأسئلة، وإجراء المحادثات. ولأنها بارعة جداً في فهم اللغة البشرية، بدأ الكثير من الناس في استخدامها للقيام بمهمة تصنيف النصوص حسب العاطفة، آملين في استبدال العمل البطيء والمكلف للمراجعين البشر بأمر حاسوبي واحد.
لكن هناك مشكلة في هذا النهج الجديد. فتماماً كما قد يختلف أشخاص مختلفون حول ما إذا كان مراجعة فيلم ما ساخرة أم صادقة، فإن هذه البرامج الحاسوبية المختلفة قد لا تتفق مع بعضها البعض أيضاً. فقد يصف برنامج ما جملة بأنها "إيجابية"، بينما يصفها برنامج آخر بأنها "سلبية" تماماً. وإذا اعتمد بنك أو مستشفى على هذه الأدوات لاتخاذ قرارات مهمة، فإن نوع البرنامج الذي يختارونه يكتسب أهمية بالغة. وحتى الآن، لم يقم أحد بفحص مدى اتفاق هذه البرامج المختلفة مع بعضها البعض بشكل منهجي، أو مدى اتفاقها مع الحكام البشريين الفعليين، عندما ينظرون جميعاً إلى النص نفسه.
قرر باحث يدعى أنيش ك ساجان حل هذا السؤال من خلال إجراء تجربة مضبوطة واسعة النطاق. فقد جمع خمسة من أكثر نماذج اللغة تقدماً المتاحة حالياً من أربع شركات تكنولوجية مختلفة، بالإضافة إلى أداتين قديمتين وأبسط تعملان كمعيار للمقارنة. وقدم لها ما مجموعه 8,872 جملة مستمدة من خمس مجموعات مختلفة من البيانات. جاءت هذه الجمل من مصادر متنوعة: تقارير مالية رسمية، ومنشورات عفوية على وسائل التواصل الاجتماعي، ومراجعات أفلام، ومكالمات الأرباح. وكان الهدف هو معرفة ما إذا كانت الحواسيب تستطيع تحديد العاطفة في النص بشكل صحيح مقارنة بما صنفه البشر، والأهم من ذلك، معرفة مدى اتفاق الحواسيب مع بعضها البعض.
كشفت النتائج عن انقسام واضح في الأداء. فقد برز نموذجان، أحدهما من شركة تسمى "أنثروبيك" والآخر من "OpenAI"، كأكثر النماذج دقة. فعندما نظر هذان النموذجان إلى النصوص المالية الرسمية، طابقا الأحكام البشرية بشكل مثالي تقريباً. كما اتفقا مع بعضهما البعض في نحو 90 بالمائة من الجمل التي حللاها. وجاء نموذج ثالث من "OpenAI" خلفهما مباشرة، مشكلاً مجموعة متماسكة من الأدوات عالية الأداء التي ترى العالم بالطريقة نفسها عموماً. ومع ذلك، فإن نموذجاً من شركة "جوجل"، والذي صُمم لـ "يفكر" في المشكلات قبل الإجابة، كان أداؤه سيئاً بشكل صادم؛ فقد أخطأ في تحديد المشاعر كثيراً لدرجة أن نتائجه كانت بالكاد أفضل من التخمين العشوائي. واختبر الباحث نظرية محددة لمعرفة ما إذا كان هذا الفشل بسبب قضاء نموذج "جوجل" وقتاً طويلاً في التفكير في أسئلة بسيطة، وهي ظاهرة تُعرف بـ "الإفراط في التفكير". فقام بإجبار النموذج على الإجابة بوقت تفكير أقصر بكثير، لكن الأداء الضعيف ظل قائماً. وقد أدى ذلك إلى استبعاد فكرة أن النموذج كان يحلل المهمة بشكل مفرط؛ بل كان الفشل متأصلاً في كيفية سلوك هذا النموذج تحديداً في هذا الإعداد.
أما النموذج مفتوح المصدر، والذي يمكن تشغيله على حاسوب الباحث الخاص بدلاً من خادم سحابي، فقد كان أداؤه متوسطاً. لم يكن بدقة النماذج التجارية الرائدة، لكنه كان أفضل بكثير من الأدوات القديمة القائمة على القواعد التي استُخدمت لسنوات. كما وجدت الدراسة أن نوع النص يلعب دوراً كبيراً. فقد كانت جميع النماذج أفضل بكثير في فهم الكتابة المهنية الرسمية مقارنة بفهم اللغة العفوية غير الرسمية مثل التغريدات أو الرسائل النصية. وفي النصوص غير الرسمية، انخفض مستوى اتفاق حتى أفضل النماذج إلى مستوى "متوسط"، مما يعني أنها لا تزال تختلف مع البشر ومع بعضها البعض في عدد كبير من الجمل.
ولعل النتيجة الأكثر إثارة للدهشة هي مدى ضآلة الاتفاق بين النماذج وبعضها البعض. فعندما نظر الباحث في المجموعة الكاملة المكونة من ست أدوات، وجد أنها أعطت الإجابة نفسها تماماً في حوالي 14 إلى 24 بالمائة فقط من الجمل. وفي الجمل المتبقية، لم تكن هناك أغلبية واضحة. وهذا يعني أنه بالنسبة لجزء كبير من النصوص التي يحللها الناس يومياً، فإن النتيجة النهائية تعتمد كلياً على البرنامج الحاسوبي الذي تستخدمه. فإذا استخدم محلل مالي نموذجاً لقراءة تقرير واستخدم محلل آخر نموذجاً مختلفاً، فقد يتوصلان إلى استنتاجات متناقضة حول نفس الخبر.
تخلص الدراسة إلى أنه على الرغم من قوة هذه الأدوات الجديدة، إلا أنها ليست قابلة للاستبدال ببعضها البعض. إن اختيار النموذج ليس مجرد تفصيل تقني بسيط، بل هو قرار يغير البيانات نفسها. فبالنسبة للمهام المتعلقة بالوثائق المالية الرسمية، تعد النماذج الرائدة موثوقة ومتسقة. ولكن بالنسبة للنصوص غير الرسمية، أو للمهام التي يكون فيها الفرق بين الإيجابي والسلبي دقيقاً، فإن عدم الاتفاق بين النماذج يعد علامة على وجود شك حقيقي. وفي هذه الحالات، يقترح الباحث أن الاعتماد على حاسوب واحد هو أمر محفوف بالمخاطر. وبدلاً من ذلك، فإن النهج الأفضل هو استخدام نماذج متعددة معاً، أو الاستعانة بمراجعة بشرية للجمل التي تختلف عليها الحواسيب، لضمان ألا يكون القرار النهائي مجرد نتاج للبرنامج الذي تم اختياره.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.