Towards Consistent Detection of Cognitive Distortions: LLM-Based Annotation and Dataset-Agnostic Evaluation

ملخص تقني: نحو كشف متسق للتشوهات المعرفية

بيان المشكلة
يواجه الكشف الآلي عن التشوهات المعرفية (CDs)—وهي أنماط تفكير منحازة مرتبطة بحالات الصحة النفسية مثل الاكتئاب والقلق—تحدياً جوهرياً يتمثل في الذاتية. تعاني مجموعات البيانات الحالية غالباً من انخفاض في اتفاق المقيّمين (IAA) بين الخبراء البشريين، مما يؤدي إلى تسميات "المعيار الذهبي" مشوشة وغير موثوقة. النماذج المدربة على مثل هذه البيانات غير المتسقة تعاني في التعميم، مما يؤدي غالباً إلى مقاييس أداء منخفضة (على سبيل المثال، درجات F1 الموزونة بين 0.2 و0.4). علاوة على ذلك، فإن مقارنة النماذج المدربة على مجموعات بيانات ذات خصائص مختلفة (من حيث الحجم، أو توزيع التسميات، أو جودة التوسيم) باستخدام المقاييس التقليدية مثل F1-score يعد أمراً إشكالياً، حيث لا يمكن مقارنة قيم الأداء المطلقة بشكل مباشر عبر المعايير المرجعية غير المتجانسة.

المنهجية
يقترح المؤلفون نهجاً ذا شقين: إطار عمل للتوسيم يعتمد على النماذج اللغوية الكبيرة (LLM) لتوليد تسميات متسقة، ومقياس تقييم مستقل عن مجموعة البيانات للمقارنة العادلة بين أداء النماذج.

1. إطار عمل التوسيم القائم على النماذج اللغوية الكبيرة (LLM):

   • الفرضية: بدلاً من الاعتماد على تشغيل واحد للنموذج اللغوي الكبير، يفترض المؤلفون أن عمليات تشغيل متعددة ومستقلة لنفس النص ستكشف عن أنماط تسمية مستقرة. يُعامل التكرار المتسق للتسمية عبر عمليات التشغيل كإشارة إلى الموثوقية الداخلية، مما يعمل كبديل للحقيقة الأرضية (ground truth) في غياب الإجماع البشري.
   • الإجراء: تستخدم الدراسة مجموعة بيانات "Therapist Q&A" المتاحة للجمهور (2,530 زوجاً من استجابات المستخدم والردود). يستخدم المؤلفون نماذجي GPT-4 وGPT-4o عبر واجهة برمجة التطبيقات (API) مع إعدادين لدرجة الحرارة (temperature) وهما (0.5 و0.7) للتحكم في العشوائية.
   • التوجيه (Prompting): يتم استخدام نوعين من التوجيه: "التوجيه متعدد التسميات" (MLP) الذي يسمح بتعيين غير مقيد للتشوهات المعرفية، و"التوجيه المرتب للتسميات" (RLP) الذي يقيد النموذج باختيار التشوه المعرفي الأكثر هيمنة (بالإضافة إلى ثانوي اختياري).
   • تصفية الاتساق: تتم معالجة كل مدخل من خلال خمس عمليات تشغيل مستقلة لكل تكوين. تُختار التسميات التي تظهر في 4 من أصل 5 عمليات تشغيل كالتسميات النهائية. أما نقاط البيانات التي تفشل في تحقيق هذا الحد الأدنى، فتُصنف كحالات غامضة وتُستبعد لضمان المتانة.

2. التقييم المستقل عن مجموعة البيانات:

   • التحدي: لا يمكن لمقاييس المعيار (مثل F1-score) مقارنة النماذج المدربة على مجموعات بيانات ذات توزيعات تسميات أو أحجام مختلفة بشكل عادل.
   • الحل: يقدم المؤلفون مقياس حجم تأثير مُطبع يعتمد على كابا كوهين ($\kappa_{F1}$).
   • الحساب:
     • يتم حساب خط الأساس العشوائي ($F1_{random}$) نظرياً بناءً على توزيع الفئات في مجموعة البيانات، وهو ما يمثل الأداء المتوقع لنموذج يعكس فقط عدم توازن الفئات دون تعلم حقيقي.
     • أداء النموذج ($F1_{calculated}$) هو درجة F1 الموزونة للنموذج المدرب.
     • يُحسب المقياس كالتالي: $\kappa_{F1} = \frac{F1_{calculated} - F1_{random}}{1 - F1_{random}}$.
     • هذا الإجراء يُطبع الأداء بالنسبة للصدفة، مما يسمح بمقارنات عادلة عبر مجموعات البيانات والدراسات المختلفة.

المساهمات الرئيسية

• التوسيم الموثوق عبر التكرار: تثبت الورقة أن عمليات تشغيل متعددة ومستقلة للنماذج اللغوية الكبيرة يمكن أن تنتج تسميات متسقة داخلياً (فليتس كابا = 0.78 لنموذج GPT-4 عند درجة حرارة 0.5)، وهو ما يتفوق على اتساق التوسيمات البشرية في مجموعة البيانات المستهدفة.
• تحسين الأداء في المهام اللاحقة: النماذج المدربة على هذه التسميات المولدة بواسطة النماذج اللغوية الكبيرة (والمصفاة بناءً على الاتساق) تحقق باستمرار أداءً أعلى (سواء في F1 الخام أو $\kappa_{F1}$ المطبع) مقارنة بالنماذج المدربة على البيانات الأصلية الموسومة بشرياً.
• إطار التقييم: يوفر تقديم مقياس $\kappa_{F1}$ طريقة منهجية لتقييم ومقارنة النماذج التنبؤية عبر مجموعات بيانات ذات خصائص مختلفة، مما يعالج فجوة في تقييم معالجة اللغات الطبيعية (NLP) حيث تكون المعايير المرجعية غير مستقرة أو غير موحدة.

النتائج

• اتساق التوسيم: حقق نموذج GPT-4 عند درجة حرارة 0.5 أعلى اتفاق بين عمليات التشغيل (فليتس كابا = 0.78)، وهو أعلى بكثير من GPT-4o أو إعدادات درجة الحرارة الأعلى. تجاوزت نسبة 90% من نقاط البيانات وجود تسمية واحدة على الأقل متكررة في جميع عمليات التشغيل الخمس في ظل الظروف المثلى.
• أداء المهام اللاحقة: النماذج المدربة على التسميات المولدة بواسطة النماذج اللغية الكبيرة (سواء RLP أو MLP) باستخدام MentalRoBERTa تفوقت باستمرار على تلك المدربة على مجموعة البيانات الموسومة بشرياً في مهام التصنيف الثنائي، ومتعدد الفئات، ومتعدد التسميات. على سبيل المثال، في مهمة التسميات المتعددة باستخدام GPT-4-0.7، أظهر النموذج المدرب بالنموذج اللغوي تحسناً بنسبة 33.1% عن خط الأساس العشوائي، مقارنة بـ 16.1% فقط للنموذج الموسوم بشرياً.
• التحقق البشري: أسفرت دراسة تحقق شملت ثلاثة خبراء في علم النفس على عينة من العينات المتنازع عليها عن نتائج غير حاسمة. لم يظهر الخبراء تفضيلاً قوياً للتسميات الناتجة عن النماذج اللغية الكبيرة على التسميات البشرية، كما كان الاتفاق بين الخبراء منخفضاً (فليتس كابا = 0.20). يشير هذا إلى الغموض المتأصل في المهمة وفي مجموعة البيانات نفسها، وليس فشلاً في منهجية النماذج اللغية الكبيرة.

الأهمية والادعاءات
تزعم الورقة أنه في مهام معالجة اللغات الطبيعية الذاتية حيث يستحيل الوصول إلى "الحقيقة الأرضية" ويكون الاتفاق البشري منخفضاً، فإن الموثوقية (الاتساق الداخلي) هي شرط ضروري للصلاحية. ومن خلال التعامل مع التوسيم كعملية استعلام متكرر بدلاً من مجرد تنبؤ لمرة واحدة، يمكن للنماذج اللغية الكبيرة توليد بيانات تدريب متماسكة داخلياً ومنخفضة الضجيج، مما يحسن قدرة النماذج اللاحقة على التعميم.

علاوة على ذلك، يرى المؤلفون أن مقياس $\kappa_{F1}$ المقترح يقدم حلاً قابلاً للتوسع لمجتمع معالجة اللغات الطبيعية الأوسع لمقارنة النماذج عبر مجموعات بيانات متباينة دون الاعتماد على معيار مرجعي واحد قد يكون معيباً. وتخلص الدراسة إلى أنه بينما تعاني مجموعة البيانات المحددة من بعض القيود (مثل كون مدخلات المستخدمين تصف أحداثاً بدلاً من الأفكار المشوهة الصريحة)، فإن منهجية الاستفادة من اتساق النماذج اللغية الكبيرة والتقييم القائم على حجم التأثير توفر أساساً قوياً لتقدم أبحاث معالجة اللغات الطبيعية في مجال الصحة النفسية والمجالات الذاتية الأخرى.