Evaluating Transformer Models for Suicide Risk Detection on Social Media

हर साल, लाखों लोग अपनी जान ले लेते हैं, एक ऐसी त्रासदी जो अक्सर अनरिपोर्ट किए गए प्रयासों और परिवारों एवं समुदायों के लिए स्थायी दर्द की एक लंबी कतार पीछे छोड़ जाती है। डिजिटल युग में, लोग इस मोड़ तक कैसे पहुँचते हैं, इसकी कहानी सोशल मीडिया के सार्वजनिक मंचों पर अधिक से अधिक लिखी जा रही है। रेडिट (Reddit) जैसे प्लेटफॉर्म्स पर हजारों पोस्ट होते हैं जहाँ व्यक्ति अपने सबसे अंधेरे विचारों को साझा करते हैं, कभी-कभी जीवन समाप्त करने की योजनाओं का स्पष्ट रूप से वर्णन करते हुए, तो कभी चुपचाप संघर्ष का संकेत देते हुए। मानसिक स्वास्थ्य पेशेवरों के लिए, चुनौती बहुत बड़ी है: वे अरबों दैनिक पोस्टों के बीच मदद के इन संकेतों को कैसे खोज सकते हैं, और वे यह अंतर कैसे कर सकते हैं कि कोई व्यक्ति आत्महत्या के बारे में सोच रहा है या वह सक्रिय रूप से योजना बना रहा है? यहीं पर नेचुरल लैंग्वेज प्रोसेसिंग (NLP) का क्षेत्र काम आता है, जो मानव पाठ (text) को पढ़ने और समझने के लिए प्रशिक्षित कंप्यूटर प्रोग्रामों का उपयोग करता है। ये उपकरण मानवीय निर्णय का स्थान नहीं लेते, बल्कि वे सूचना की विशाल मात्रा को तेज़ी से स्कैन करने का एक तरीका प्रदान करते हैं, जिससे उन विशिष्ट पैटर्न की पहचान की जा सके जो खतरे का संकेत देते हैं। लक्ष्य भविष्य की निश्चितता के साथ भविष्यवाणी करना नहीं है, बल्कि जोखिम को इतनी जल्दी पहचानना है कि उन लोगों को सहायता दी जा सके जिन्हें अन्यथा अनदेखा कर दिया जाता।

पोलैंड के शोधकर्ताओं की एक टीम ने, जो 'kubapok' नाम से काम कर रही है, हाल ही में इस विचार का परीक्षण एक वैश्विक प्रतियोगिता में किया, जिसे मशीन द्वारा आत्महत्या के जोखिम का पता लगाने के तरीके को बेहतर बनाने के लिए डिज़ाइन किया गया था। उन्होंने IEEE BigData 2024 Cup में भाग लिया, एक ऐसी चुनौती जिसने प्रतिभागियों को एक ऐसा सिस्टम बनाने के लिए कहा जो सोशल मीडिया पोस्ट को पढ़ सके और उन्हें चार अलग-अलग श्रेणियों में वर्गीकृत कर सके। पहली श्रेणी, जिसे 'इंडिकेटर' (indicator) कहा गया, उन पोस्टों को कवर करती है जिनमें आत्महत्या का उल्लेख है लेकिन तत्काल जोखिम नहीं दिखता, जैसे कि कोई किसी मित्र के संघर्ष के बारे में बात कर रहा हो। दूसरी श्रेणी, 'आइडेशन' (ideation), उन पोस्टों को पकड़ती है जहाँ एक व्यक्ति आत्महत्या के बारे में सोच रहा है लेकिन उसकी कोई विशिष्ट योजना नहीं है। तीसरी श्रेणी, 'बिहेवियर' (behavior), उन पोस्टों का वर्णन करती है जहाँ व्यक्ति के पास एक योजना है या वह आत्म-क्षतिपूर्ण कार्यों में संलग्न है। अंतिम श्रेणी, 'अटेम्प्ट' (attempt), उन पोस्टों के लिए आरक्षित है जो पिछली आत्महत्या के प्रयासों का वर्णन करते हैं जिनमें मृत्यु नहीं हुई। शोधकर्ताओं को रेडिट के हजारों वास्तविक पोस्ट का एक डेटासेट दिया गया था, जिनमें से कुछ इन श्रेणियों के साथ लेबल किए गए थे और अन्य बिना लेबल के थे, और उन्हें एक कंप्यूटर को इन अंतरों को सटीक रूप से पहचानने के लिए सिखाना था।

इस समस्या को हल करने के लिए, टीम ने 'ट्रांसफॉर्मर' (transformers) नामक उन्नत कंप्यूटर मॉडलों का उपयोग करके तीन अलग-अलग दृष्टिकोणों के साथ प्रयोग किया। ये बड़े सिस्टम हैं जिन्होंने भारी मात्रा में टेक्स्ट पढ़ा है और भाषा कैसे काम करती है इसे सीखा है। पहले दृष्टिकोण में 'DeBERTa' नामक एक मॉडल का उपयोग किया गया, जो एक ऐसे पाठक की तरह कार्य करता है जो अर्थ समझने के लिए टेक्स्ट का विश्लेषण करता है। टीम ने इस मॉडल को लेबल किए गए पोस्ट पर प्रशिक्षित किया ताकि यह देखा जा सके कि क्या यह चार जोखिम स्तरों के बीच अंतर को सीख सकता है। दूसरे दृष्टिकोण में GPT-4o नामक एक बहुत बड़े और अधिक शक्तिशाली मॉडल का उपयोग किया गया, लेकिन इस बार उन्होंने इसे विशिष्ट डेटा पर प्रशिक्षित नहीं किया। इसके बजाय, उन्होंने मॉडल को उदाहरणों का एक सेट दिया और उससे कार्य को चरण-दर-चरण तर्क के साथ करने को कहा, जिसे 'चेन-ऑफ-थॉट प्रॉम्प्टिंग' (chain-of-thought prompting) कहा जाता है, इस उम्मीद में कि मॉडल का मौजूदा ज्ञान पर्याप्त होगा। तीसरे दृष्टिकोण में भी GPT-4o मॉडल का उपयोग किया गया, लेकिन इस बार उन्होंने वास्तव में इसे प्रतियोगिता के विशिष्ट डेटासेट पर प्रशिक्षित किया, जिससे मॉडल को इस कार्य के अनुकूल होने के लिए अपने आंतरिक सेटिंग्स को समायोजित करने की अनुमति मिली।

उनके प्रयोगों के परिणामों ने एक स्पष्ट विजेता का खुलासा किया। जबकि प्रशिक्षित DeBERTa मॉडल ने अच्छा प्रदर्शन किया, और बिना प्रशिक्षित GPT-4o मॉडल ने कई उदाहरणों के बावजूद सटीक अंतर बनाने में संघर्ष किया, विशेष रूप से प्रतियोगिता के डेटा पर प्रशिक्षित GPT-4o के संस्करण ने सबसे प्रभावी प्रदर्शन किया। इस फाइन-ट्यून्ड (fine-tuned) मॉडल ने प्रत्येक पोस्ट के लिए सही जोखिम श्रेणी की पहचान करने में उच्चतम सटीकता प्राप्त की। जब अंतिम परिणाम गिने गए, तो टीम के समाधान ने, जो इस प्रशिक्षित मॉडल पर आधारित था, तेरह टीमों में से दूसरे स्थान को सुरक्षित किया, जो शीर्ष टीम से ठीक पीछे रही। शोधकर्ताओं ने पाया कि प्रशिक्षित मॉडल सुसंगत और विश्वसनीय था, जबकि उनके अन्य प्रयासों ने प्रदर्शन में अधिक भिन्नता दिखाई। यह परिणाम बताता है कि एक सामान्य-उद्देश्य वाला कंप्यूटर मॉडल भी, जब उसे सीखने के लिए उदाहरणों का एक विशिष्ट सेट दिया जाता है, तो वह किसी के आत्महत्या के बारे में सोचने और किसी के तत्काल खतरे में होने के बीच के सूक्ष्म अंतर को पहचानने के लिए एक अत्यधिक प्रभावी उपकरण बन सकता है।

इस सफलता के बावजूद, शोधकर्ता उनके सिस्टम की सीमाओं को स्पष्ट करने में सावधानी बरतते हैं। उनके द्वारा उपयोग किया गया डेटा पूरी तरह से रेडिट के सार्वजनिक पोस्ट से आया है, जिसे वैश्विक महामारी के दौरान एक विशिष्ट अवधि के दौरान एकत्र किया गया था। इसका मतलब है कि यह सिस्टम अन्य प्लेटफॉर्म्स पर या उन लोगों के साथ उतना अच्छा काम नहीं कर सकता है जो सोशल मीडिया का उपयोग उसी तरह से नहीं करते हैं। इसके अलावा, प्रतियोगिता के डेटा में उस समृद्ध संदर्भ (context) की कमी थी जिसका उपयोग एक मानव डॉक्टर करेगा, जैसे कि रोगी का पूर्ण चिकित्सा इतिहास या आमने-सामने की बातचीत। सिस्टम ने केवल एक एकल पोस्ट के टेक्स्ट को देखा, बिना आसपास की टिप्पणियों या उपयोगकर्ता की पिछली गतिविधि के, जो महत्वपूर्ण सुराग प्रदान कर सकती थी। लेखक तर्क देते हैं कि इन उपकरणों को वास्तव में जीवन बचाने के लिए प्रभावी होने के लिए, भविष्य के डेटासेट को अधिक कठोर मानकों के साथ बनाया जाना चाहिए, जिसमें शायद जोखिम स्तरों को सत्यापित करने के लिए मानसिक स्वास्थ्य पेशेवरों के साथ सीधा सहयोग शामिल हो। तब तक, ये मॉडल शक्तिशाली सहायकों के रूप में कार्य करते हैं, जो महत्वपूर्ण संकेतों को खोजने के लिए डिजिटल शोर को स्कैन करने में सक्षम हैं, लेकिन वे मानव विशेषज्ञों द्वारा प्रदान की जाने वाली सूक्ष्म देखभाल का विकल्प नहीं हैं।