Evaluating Transformer Models for Suicide Risk Detection on Social Media
تقدم هذه الورقة دراسة أجراها فريق "kubapok" من أجل مسابقة IEEE BigData 2024، تُظهر أن نموذج GPT-4o الذي تم ضبطه بدقة يتفوق على DeBERTa ونموذج GPT-4o مع إعدادات التلقين لتحقيق المركز الثاني في مهمة الكشف عن مخاطر الانتحار المكونة من أربع فئات على وسائل التواصل الاجتماعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في كل عام، ينهي مئات الآلاف من الناس حياتهم بأنفسهم، وهي مأساة غالباً ما تترك وراءها أثراً من المحاولات غير المبلغ عنها وآلاماً مستمرة للعائلات والمجتمعات. وفي العصر الرقمي، تُكتب قصة كيف يصل الناس إلى هذه النقطة بشكل متزايد في الساحة العامة لوسائل التواصل الاجتماعي. تستضيف منصات مثل "ريديت" (Reddit) آلاف المنشورات حيث يشارك الأفراد أفكارهم الأكثر ظلاماً، فبعضها يصف صراحةً خططاً لإنهاء حياتهم، والبعض الآخر يلمح إلى صراع صامت. بالنسبة لمتخصصي الصحة النفسية، التحدي هائل: كيف يمكنهم العثور على صرخات الاستغاثة هذه وسط مليارات المنشورات اليومية، وكيف يمكنهم التمييز بين شخص يفكر في الانتحار وشخص يخطط له فعلياً؟ وهنا يأتي دور مجال معالجة اللغات الطبيعية، باستخدام برامج حاسوبية مدربة على قراءة وفهم النصوص البشرية. هذه الأدوات لا تحل محل التقدير البشري، لكنها توفر وسيلة لمسح كميات هائلة من المعلومات بسرعة، بحثاً عن أنماط محددة تشير إلى الخطر. والهدف ليس التنبؤ بالمستقبل بيقين، بل تحديد المخاطر في وقت مبكر بما يكفي لتقديم الدعم لأولئك الذين قد يتم تجاهلهم.
قام فريق من الباحثين من بولندا، يعمل تحت اسم "kubapok"، باختبار هذه الفكرة مؤخراً في مسابقة عالمية مصممة لتحسين كيفية اكتشاف الآلات لخطر الانتحار. لقد شاركوا في مسابقة "IEEE BigData 2024 Cup"، وهي تحدٍ طلب من المشاركين بناء نظام قادر على قراءة منشورات وسائل التواصل الاجتماعي وتصنيفها إلى أربع فئات متميزة. الفئة الأولى، المسماة "المؤشر" (indicator)، تغطي المنشورات التي تذكر الانتحار ولكنها لا تظهر خطراً فورياً، مثل شخص يتحدث عن معاناة صديق. الفئة الثانية، "الأفكار" (ideation)، تلتقط المنشورات التي يفكر فيها الشخص في الانتحار ولكن ليس لديه خطة محددة. الفئة الثالثة، "السلوك" (behavior)، تصف المنشورات التي يكون لدى الشخص فيها خطة أو ينخرط في أفعال إيذاء النفس. أما الفئة الأخيرة، "المحاولة" (attempt)، فهي مخصصة للمنشورات التي تصف محاولات انتحار سابقة لم تؤدِ إلى الوفاة. وقد أُعطي الباحثون مجموعة بيانات تضم آلاف المنشورات الحقيقية من "ريديت"، بعضها مصنف بهذه الفئات والبعض الآخر غير مصنف، وكان عليهم تعليم الكمبيوتر كيفية إجراء هذه التمييزات بدقة.
ولحل هذه المشكلة، جرب الفريق ثلاثة نهج مختلفة باستخدام نماذج حاسوبية متقدمة تُعرف باسم "المحولات" (transformers). هذه أنظمة ضخمة قرأت كميات هائلة من النصوص وتعلمت كيفية عمل اللغة. استخدم النهج الأول نموذجاً يسمى "DeBERTa"، والذي يعمل كقارئ يحلل النص لفهم معناه. قام الفريق بتدريب هذا النموذج على المنشورات المصنفة لمعرفة ما إذا كان بإمكانه تعلم الاختلافات بين مستويات الخطر الأربعة. واستخدم النهج الثاني نموذجاً أكبر وأقوى بكثير يسمى "GPT-4o"، ولكن هذه المرة لم يقوموا بتدريبه على البيانات المحددة؛ بدلاً من ذلك، قدموا للنموذج مجموعة من الأمثلة وطلبوا منه التفكير في المهمة خطوة بخوة، وهي طريقة تُعرف باسم "سلسلة الأفك" (chain-of-thought prompting)، آملين أن تكون معرفة النموذج الحالية كافية. كما استخدم النهج الثالث أيضاً نموذج "GPT-4o"، ولكن هذه المرة قاموا بتدريبه فعلياً على مجموعة البيانات الخاصة بالمسابقة، مما سمح للنموذج بتعديل إعداداته الداخلية لتناسب المهمة بشكل أفضل.
كشفت نتائج تجاربهم عن فائز واضح. فبينما كان نموذج "DeBERTa" المدرب يؤدي بشكل جيد، وفشل نموذج "GPT-4o" غير المدرب في إجراء تمييزات دقيقة حتى مع وجود العديد من الأمثلة، أثبتت نسخة "GPT-4o" التي تم تدريبها خصيصاً على بيانات المسابقة أنها الأكثر فعالية. حقق هذا النموذج الذي تم ضبطه بدقة أعلى نسبة دقة في تحديد فئة الخطر الصحيحة لكل منشور. وعندما جُمعت النتائج النهائية، حصل حل الفريق، القائم على هذا النموذج المدرب، على المركز الثاني من بين ثلاثة عشر فريقاً وصلوا إلى التقييم النهائي، ليأتي خلف الفريق الأول مباشرة. وجد الباحثون أن النموذج المدرب كان متسقاً وموثوقاً، بينما أظهرت محاولاتهم الأخرى تفاوتاً أكبر في الأداء. تشير هذه النتيجة إلى أنه حتى نموذج حاسوبي عام، عندما يُمنح مجموعة محددة من الأمثلة للتعلم منها، يمكن أن يصبح أداة فعالة للغاية لرصد الفروق الدقيقة بين شخص يفكر في الانتحار وشخص في خطر وشيك.
وعلى الرغم من هذا النجاح، يحرص الباحثون على الإشارة إلى حدود ما يمكن لنظامهم القيام به. فالبيانات التي استخدموها جاءت بالكامل من منشورات عامة على "ريديت"، جُمعت خلال فترة زمنية محددة شملت الجائحة العالمية. وهذا يعني أن النظام قد لا يعمل بنفس الكفاءة على منصات أخرى أو مع أشخاص لا يستخدمون وسائل التواصل الاجتماعي بنفس الطريقة. علاوة على ذلك، افتقرت بيانات المسابقة إلى السياق الغني الذي قد يستخدمه الطبيب البشري، مثل التاريخ الطبي الكامل للمريض أو المحادثة المباشرة وجهاً لوجه. فقد رأى النظام فقط نص منشور واحد، دون التعليقات المحيطة به أو نشاط المستخدم السابق الذي قد يوفر أدلة حاسمة. ويرى المؤلفون أنه لكي تكون هذه الأدوات فعالة حقاً في إنقاذ الأرواح، يجب بناء مجموعات بيانات مستقبلية بمعايير أكثر صرامة، ربما من خلال التعاون المباشر مع متخصصي الصحة النفسية للتحقق من مستويات الخطر للأشخاص الذين ينشرون. وحتى ذلك الحين، تعمل هذه النماذج كمساعدين أقوياء، قادرين على مسح الضجيج الرقمي للعثور على الإشارات التي تهم، لكنها ليست بديلاً عن الرعاية الدقيقة التي يقدمها الخبراء البشريون.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.