Leveraging LLMs for Translating and Classifying Mental Health Data

ملخص تقني: الاستفادة من النماذج اللغوية الكبيرة (LLMs) لترجمة وتصنيف بيانات الصحة النفسية

بيان المشكلة
بينما توفر النماذج اللغوية الكبيرة (LLMs) إمكانات لتحديد حالات الصحة النفسية في مراحل مبكرة من خلال العلامات اللغوية في النصوص التي ينشئها المستخدمون، إلا أن تطبيقها لا يزال منحازاً بشكل كبير نحو مجموعات البيانات باللغة الإنجليزية. هناك فجوة كبيرة في الأبحاث المتعلقة بأداء هذه النماذج في اللغات ذات الموارد المنخفضة والسياقات غير الإنجليزية. علاوة على ذلك، لا يزال مدى فعالية استخدام النماذج اللغوية الكبيرة لترجمة بيانات الصحة النفسية تلقائياً من الإنجليزية إلى لغة أخرى ومن ثم تصنيفها أمراً غير مستكشف بشكل كافٍ. تعالج هذه الدراسة هذه الفجوات من خلال التحقيق فيما إذا كان بإمكان نموذج لغوي كبير التنبؤ بدقة بشدة الاكتئاب في المنشورات الإنجليزية، وما إذا كان هذا الأداء سيتم الحفاظ عليه عند ترجمة المنشورات تلقائياً إلى اللغة اليونانية، وهي لغة تفتقر إلى موارد محددة لهذه المهمة.

المنهجية
يقترح المؤلفون مسار عمل يستخدم نموذجاً لغوياً كبيراً متعدد اللغات ومتطوراً (GPT-3.5-turbo) لكل من مهام الترجمة والتصنيف.

• مجموعة البيانات: تستخدم الدراسة مجموعة بيانات DEPSEVERITY (Naseem et al., 2022)، والتي تضم 3,553 منشوراً من موقع Reddit مصنفة إلى أربعة مستويات من شدة الاكتئاب: أدنى حد (Minimum)، طفيف (Mild)، متوسط (Moderate)، وشديد (Severe). لوحظ أن مجموعة البيانات غير متوازنة للغاية، حيث تندرج غالبية المنشورات تحت فئة "أدنى حد".
• الإجراء:
  1. الأساس (الإنجليزية): يتم توجيه النموذج اللغوي الكبير لتصنيف المنشورات الإنجليزية الأصلية إلى مستويات الشدة الأربعة باستخدام التعلم من دون أمثلة (0-shot learning).
  2. الترجمة: يقوم النموذج نفسه بترجمة المنشورات الإنجليزية إلى اللغة اليونانية.
  3. التصنيف المستهدف (اليونانية): يتم تغذية النصوص اليونانية المترجمة مرة أخرى إلى النموذج اللغوي مع أمر (prompt) للتنبؤ بمستويات الشدة.
  4. التقييم: يتم قياس الأداء باستخدام مقاييس الدقة (Precision)، والاستدعاء (Recall)، ودرجات F1، من خلال مقارنة الفئات المتوقعة مع الملصقات (labels) الأصلية في كلتا اللغتين. تم ضبط معامل درجة الحرارة (temperature) عند 0 لضمان إمكانية إعادة إنتاج النتائج.
• استراتيجية التوجيه (Prompting Strategy): قبل التجارب الرئيسية، أجرى المؤلفون توجيهاً أولياً لفهم المنطق الداخلي للنموذج اللغوي الكبير. حدد النموذج أنماطاً مثل المشاعر السلبية المستمرة، والنقد الذاتي، والتغيرات السلوكية، مع تكييف مستويات الشدة لتناسب سياقات وسائل التواصل الاجتماعي (على سبيل المثال، تعريف "الشديد" بأنه المنشورات التي تشير إلى خطر إيذاء النفس أو الانسحاب الاجتماعي الكامل).

النتائج الرئيسية
تشير النتائج التجريبية إلى أن النموذج اللغوي الكبير يعاني من صعوبة في التمييز بدقة بين مستويات شدة الاكتئاب المحددة في كلتا اللغتين، رغم أن الأداء يختلف حسب الفئة واللغة.

• الأداء بالإنجليزية: حقق النموذج أعلى درجة F1 لفئة "أدنى حد" (0.25) وفئة "شديد" (0.22). كانت درجة macro F1 الإجمالية منخفضة عند 0.17. ويعزو المؤلفون هذه الصعوبة إلى الفروق الدقيقة بين مستويات الشدة في منشورات المستخدمين مقارنة بالحالات الأخرى.
• الأداء باليونانية: بعد الترجمة، انخفض الأداء بشكل عام في معظم الفئات.
  • شهدت فئة "طفيف" انخفاضاً طفيفاً (F1: 0.07 في الإنجليزية مقابل 0.06 في اليونانية).
  • انخفضت فئة "أدنى حد" بشكل كبير (F1: 0.25 في الإنجليزية مقابل 0.14 في اليونانية).
  • انخفضت فئة "شديد" أيضاً (F1: 0.22 في الإنجليزية مقابل 0.20 في اليونانية).
  • ومن الملاحظ أن فئة "متوسط" أظهرت تحسناً في درجة F1 (0.17 في الإنجليزية مقابل 0.23 في اليونانية).
• تحليل الخطأ: حلل المؤلفون حالات محددة أخطأ فيها النموذج اللغوي الكبير في تصنيف أعراض القلق أو الهلع على أنها اكتئاب. على سبيل المثال، منشور يصف الهلع والقلق تم تصنيفه كـ "شديد" من قبل النموذج، بينما كانت الحقيقة الأرضية (ground truth) هي "أدنى حد". يشير المؤلفون إلى أن النموذج قد يخلط بين الضيق العام (الهلع/القلق) وشدة الاكتئاب، وهو فارق دقيق ميزته الملصقات الأصلية.
• التكلفة: أُجريت التجارب بتكلفة إجمالية لواجهة برمجة التطبيقات (API) تقل عن 30 دولاراً، مما يثبت أن مثل هذه التقييمات يمكن إجراؤها دون الحاجة إلى بنية تحتية باهظة الثمن لمعالجات الرسوميات (GPU) أو ضبط دقيق (fine-tuning).

الأهمية والادعاءات
يدعي البحث أنه بينما تظهر النماذج اللغوية الكبيرة إمكانات واعدة، إلا أنها ليست موثوقة بما يكفي بعد لتحديد شدة الاكتئاب بمفردها، خاصة عند الاعتماد على الترجمة الآلية للغات ذات الموارد المنخفضة مثل اليونانية.

• محدودية الأتمتة: تؤكد الدراسة أن أداء النماذج اللغوية الكبيرة يختلف بشكل كبير عبر اللغات وفئات الشدة. ويؤكد المؤلفون أن النتائج الحالية غير كافية للتشخيص المباشر للمرضى.
• دور الإشراف البشري: تماشياً مع نتائج Stade et al. (2024)، يؤكد المؤلفون أن تشخيص الصحة النفسية لا ينبغي أبداً أن يُترك بالكامل للأنظمة الآلية؛ إذ يظل الإشراف البشري أمراً حيوياً لتجنب التشخيص الخاطئ.
• الفائدة المحتملة: بدلاً من استبدال الأطباء، يقترح المؤلفون أن هذا النهج قد يكون مفيداً لتدريب متخصصي الصحة النفسية، لا سيما في المناطق غير الناطقة بالإنجليزية حيث تندر الموارد.
• الاحتياجات المستقبلية: يسلط العمل الضوء على ضرورة إجراء المزيد من الأبحاث حول الأساليب الحساسة ثقافياً ولغوياً، وجمع بيانات أفضل للغات ذات الموارد المنخفضة، وتطوير تقنيات تعلم نقل (transfer learning) أكثر قوة للتعامل مع الفروق الدقيقة في مصطلحات الصحة النفسية عبر الثقافات المختلفة.