Challenges in annotations by humans and LLMs: A case study of evaluative language

ملخص تقني: تحديات التعليقات التوضيحية من قبل البشر والنماذج اللغوية الكبيرة: دراسة حالة للغة التقييمية

بيان المشكلة
تتناول الورقة البحثية التعقيد المتزايد لمهام التعليقات التوضيحية (Annotation) في العلوم الإنسانية الرقمية والعلوم الاجتماعية الحوسبية، مع التركيز بشكل خاص على تحديد وتصنيف اللغة التقييمية. وبينما أظهرت النماذج اللغوية الكبيرة (LLMs) واعداً في مهام معالجة اللغات الطبيعية غير الخاضعة للإشراف، فإن قدرتها على مطابقة أو تجاوز الأداء البشري في الأطر النظرية المعقدة وشديدة الذاتية لا تزال غير مثبتة. تركز الدراسة على نظرية التقدير (Appraisal theory) (مارتن ووايت، 2005)، وهي نموذج وظيفي للغة التقييمية، وتحديداً نظام الموقف (Attitude subsystem) (العاطفة، الحكم، التقدير). يسلط المؤلفون الضوء على أن التعليق التوضيحي اليدوي لهذه الفئات يستغرق وقتاً طويلاً، وعرضة لانخفاض الاتفاق بين الملحظين (IAA)، ومعقداً بسبب الاعتماد على السياق، والمعاني الضمنية، وصعوبة التمييز بين الفئات الدقيقة. وتتمثل مشكلة البحث الجوهرية في تحديد ما إذا كانت النماذج اللغوية الكبيرة تواجه نفس التحديات التي يواجهها الملحظون البشريون في هذه المهام المعقدة، وما إذا كان يمكن استخدامها كأدوات فعالة لحل مثل هذه الصعوبات في التعليق التوضيحي.

المنهجية
تستخدم الدراسة حالة دراسية ذات منهج مختلط باستخدام مجموعة نصوص (Corpus) مكونة من 190 نصاً من محاضرات "تيد" (TED) باللغة الإنجليزية عبر أحد عشر مجالاً (مثل العلوم، السياسة، الطب). تنقسم المنهجية إلى ثلاث مراحل:

1. التعليق التوضيحي البشري:

   • الملحظون: 24 طالباً في اللسانيات تحت التدريب (غير ناطقين بالإنجليزية، معظمهم من الألمان) وباحث أول واحد (يعمل كمعيار ذهبي/Gold Standard).
   • المهمة: تصنيف الجمل من حيث المحتوى التقييمي. قام الملحظون أولاً بتحديد ما إذا كانت الجملة تقييمية (ثنائي) ثم صنفوها إلى فئات الموقف: العاطفة (Affect)، الحكم (Judgement)، التقدير (Appreciation)، غامض (Ambiguous)، أو غير مؤكد (Uncertain). سُمح بالتوسيم متعدد الملصقات (Multi-labeling).
   • التقييم: تم قيء الاتفاق بين الملحظين (IAA) باستخدام معامل "كوهين كابا" (للتقييم الثنائي) ومعامل "كريبندورف ألفا" (للتصنيف الفرعي متعدد الفئات). كما أُجري تحليل نوعي للأخطاء لتحديد مصادر الاختلاف.

2. التعليق التوضيحي الآلي (النموذج اللغوي الكبير):

   • هندسة الأوامر (Prompt Engineering): تم تصميم ومقارنة ثلاثة تنويعات متميزة من الأوامر باستخدام النموذج qwen3-30b-a3b-instruct-25075. شملت هذه التنويعات أساليب التعلم بلقطات قليلة (Few-shot) والتعلم بدون لقطات (Zero-shot)، مع تغييرات في السياق، والشخصية، والقيود، وتضمين استدلال "سلسلة الأفكار" (CoT).
   • اختيار النموذج والضبط: تم تطبيق أفضل أمر تم التوصل إليه على ثلاثة نماذج لغوية مختلفة. بعد ذلك، تم ضبط النموذج الأكثر فعالية باستخدام تقنية QLoRA لتحسين الأداء.
   • العملية: اتبع النماذج اللغية عملية من خطوتين: (1) التصنيف الثنائي للتقييمية، و(2) التصنيف متعدد الفئات لفئات "الموقف" للجمل التقييمية.

3. التحليل المقارن:

   • تمت مقارنة أداء النموذج اللغوي الكبير المضبوط مع المعيار الذهبي (الباحث الأول) ومع الطلاب الملحظين.
   • بحثت الدراسة تحديداً ما إذا كانت النماذج اللغية الكبيرة تعاني من نفس الظواهر اللغوية المحددة (مثل المعنى الضمني، وتحديد الهدف) التي تسببت في انخفاض الاتفاق بين البشر.

النتائج الرئيسية

• الأداء البشري: كان الاتفاق بين الملحظين من طلاب اللسانيات متفاوتاً ومنخفضاً في كثير من الأحيان. تراوح الاتفاق على القرار الثنائي "تقييمي مقابل غير تقييمي" بين طفيف ومتوسط (Kappa $\ge$ 0.51 في بعض المجالات مثل الترفيه والسياسة، لكنه انخفض بشكل كبير في التاريخ وعلم النفس). أما الاتفاق على الفئات الفرعية للموقف (العاطفة، الحكم، التقدير) فكان أقل حتى؛ حيث سقط معامل "كريبندورف ألفا" بشكل متكرر تحت 0.50 وأحياناً إلى قيم سالبة.
• مصادر الخطأ البشري: كشف التحليل النوعي أن الخلافات البشرية نشأت من:
  • صعوبة التمييز بين المعاني الصريحة والضمنية.
  • الارتباك بشأن "هدف التقييم" (على سبيل المثال، ما إذا كان الشعور ينتمي إلى المتحدث أو إلى طرف ثالث مذكور).
  • التحديات المتعلقة بالجمل الطويلة والمعقدة التي تحتوي على معانٍ تقييمية متداخلة.
  • الاختلافات في إتقان اللغة الإنجليزية والمعرفة بالمجال.
• أداء النماذج اللغوية الكبيرة: حقق النموذج اللغوي الكبير المضبوط درجة F1 بلغت 0.77 مقابل المعيار الذهبي.
  • المقارنة: تفوق النموذج اللغي الكبير على الطلاب الملحظين، والأهم من ذلك، حقق اتفاقاً مع الباحث الأول (المعيار الذهبي) أعلى مما حققه الطلاب.
  • توافق التحديات: وجدت الدراسة أن النماذج اللغية الكبيرة لم تكن بالضرورة تعاني من نفس المشكلات المحددة التي يعاني منها البشر بنفس الطرق؛ بل أظهرت قدرة على حل مهام التصنيف المعقدة باتساق أكبر من المجموعة البشرية المدربة ولكن غير الخبيرة.

المساهمات الرئيسية

1. مخطط التعليق التوضيحي: تقدم الورقة مخطط تعليق توضيحي محدد لفئات "الموقف" في نظرية التقدير، مُكيف للتحليل على مستوى الجملة في خطاب العلوم الشعبية المنطوق.
2. المقارنة التجريبية: تقدم مقارنة تجريبية مباشرة بين الملحظين البشر (المتدربين والخبراء) والنماذج اللغوية الكبيرة في مهمة لغوية ذاتية معقدة.
3. تحسين الأوامر: توضح الدراسة تأثير تصميم الأوامر (بما في ذلك استراتيجيات سلسلة الأفكار والتعلم بلقطات قليلة) على أداء النماذج اللغوية الكبيرة في التعليق التوضيحي البراغماتي (التداولي).

الأهمية والادعاءات
يزعم المؤلفون أن النماذج اللغوية الكبيرة يمكن أن تساعد بفعالية في حل مهام التعليق التوضيحي المعقدة، مما قد يتجاوز أداء اللغويين تحت التدريب من حيث الاتساق والاتفاق مع المعايير الخبيرة. تشير الورقة إلى أنه إذا نجحت النماذج اللغية الكبيرة في التعليق التوضيحي لـنظريات لغوية معقدة مثل "التقدير" من خلال الأوامر والضبط الدقيق، فإن ذلك يفتح مسارات جديدة لأبحاث العلوم الإنسانية الرقمية. وتحديداً، هذا يعني أن مجموعات النصوص الموسومة يدوياً بشكل مكثف قد لا تكون ضرورية دائماً لتصنيف أجزاء كبيرة من البيانات الكلامية، بشرما يتم توجيه النماذج اللغية الكبيرة بشكل صحيح. وتخلص الدراسة إلى أن النماذح اللغية الكبيرة توفر استراتيجية قابلة للتطبيق لتوسيع نطاق عمليات التعليق التوضيحي في المجالات المتداخلة، رغم أنها تقر بالحاجة إلى التحقق من أداء النموذج لكل مهمة على حدة.