Evaluating Agreement Between Human Consensus and Large Language Model Ratings of Suicide Reporting
यह अध्ययन प्रदर्शित करता है कि बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) TEMPOS फ्रेमवर्क का उपयोग करके आत्महत्या संबंधी समाचार लेखों को प्रभावी ढंग से रेट कर सकते हैं, जिसमें मानव रेटर्स के समान सहमति देखी गई है, जो यह सुझाव देता है कि मानवीय देखरेख के साथ मिलकर एआई जिम्मेदार आत्महत्या रिपोर्टिंग की निगरानी को बढ़ाने के लिए एक व्यवहार्य उपकरण है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ समाचार एक विशाल, अदृश्य दर्पण की तरह काम करते हैं। कभी-कभी, यह दर्पण कहानियों को इस तरह से दर्शाता है जो लोगों को आशा और समाधान खोजने में मदद करता है; दूसरी ओर, यह अनजाने में एक विकृत छवि दिखा सकता है जो एक बुरी स्थिति को और भी बदतर बना देता है। वैज्ञानिक इसे "वर्थर प्रभाव" (Werther Effect) कहते हैं, जहाँ आत्महत्या पर रिपोर्टिंग करने के कुछ तरीके दुखद रूप से और अधिक लोगों को खुद को नुकसान पहुँचाने की ओर ले जा सकते हैं, और "पापागेनो प्रभाव" (Papageno Effect), जहाँ सावधानीपूर्वक और आशाजनक कहानियाँ वास्तव में जीवन बचा सकती हैं। इसी कारण से, स्वास्थ्य विशेषज्ञों ने पत्रकारों के लिए पालन करने के लिए "सड़क के नियमों" का एक सेट बनाया है, जैसे कि सनसनीखेज सुर्खियों से बचना या हेल्पलाइन की जानकारी शामिल करना। लेकिन पेचीदा हिस्सा यह है, लाखों समाचार लेखों की जाँच करना कि वे इन नियमों का पालन करते हैं या नहीं, यह समुद्र तट पर रेत के हर एक कण को हाथ से गिनने की कोशिश करने जैसा है। इसमें बहुत समय लगता है, यह थका देने वाला है, और इतनी सारी दुखद कहानियों को पढ़ना उन लोगों के लिए भावनात्मक रूप से भारी हो सकता है जो गिनती कर रहे हैं। यहीं पर "AI न्यायाधीशों" (AI judges) का नया विचार काम आता है। क्या एक सुपर-स्मार्ट कंप्यूटर प्रोग्राम, जिसे इन नियमों को पढ़ने के लिए प्रशिक्षित किया गया है, हमारे लिए यह गिनती कर सकता है? यही वह बड़ा सवाल है जिसका उत्तर देने के लिए यह अध्ययन किया गया।
शोधकर्ताओं के एक दल ने, जो कैलिफोर्निया विश्वविद्यालय, सैन डिएगो से है, इस विचार को एक विशिष्ट चेकलिस्ट का उपयोग करके परखने का निर्णय लिया जिसे TEMPOS (सुसाइड के मीडिया चित्रण का मूल्यांकन करने के लिए टूल) कहा जाता है। TEMPOS को एक 10-अंकों वाले स्कोरकार्ड के रूप में समझें जहाँ एक समाचार लेख को सुरक्षित और सम्मानजनक होने के लिए अंक मिलते हैं, और सनसनीखेक या खतरनाक होने पर अंक कट जाते हैं। यह देखने के लिए कि क्या कंप्यूटर भी इंसानों की तरह यह खेल खेल सकते हैं, उन्होंने आत्महत्या मृत्यु के बारे में 42 वास्तविक समाचार कहानियाँ एकत्र कीं। फिर उन्होंने दो टीमों को आमने-सामने रखा: सात प्रशिक्षित मानव विशेषज्ञों की एक टीम और पाँच अलग-अलग AI मॉडल की एक टीम (जो ChatGPT, Grok और अन्य जैसे उपकरणों के पीछे के "दिमाग" हैं)।
इंसानों और एआई (AI) ने स्वतंत्र रूप से, एक-दूसरे से बात किए बिना, एक ही कहानियों को पढ़ा और उन्हें स्कोर दिया। सबसे पहले, शोधकर्ताओं ने देखा कि मानव आपस में कितनी अच्छी तरह सहमत थे। उन्होंने पाया कि हालांकि एक अकेला मानव जज दूसरे की तुलना में चीजों को थोड़ा अलग देख सकता है, लेकिन जब आप सभी सात मनुष्यों का औसत निकालते हैं, तो वे एक बहुत ही स्थिर "स्वर्ण मानक" (Gold Standard) स्कोर बनाते हैं (जिसे उन्होंने HumanGold नाम दिया)। यह सात खाद्य आलोचकों के एक पैनल जैसा है; एक को नमक बहुत पसंद हो सकता है, दूसरा उससे नफरत कर सकता है, लेकिन उनकी औसत राय आमतौर पर व्यंजन के स्वाद का एक बहुत ही विश्वसनीय माप होती है।
इसके बाद, उन्होंने पूछा: "AI न्यायाधीश HumanGold के कितने करीब पहुंचे?" परिणाम आश्चर्यजनक रूप से अच्छे थे। व्यक्तिगत AI मॉडल ने मानव टीम के साथ "मध्यम से मजबूत" सहमति दिखाई। एक मॉडल, जिसे Grok कहा जाता है, विशेष रूप से तेज था, जो मानव सर्वसम्मति से लगभग उतना ही मेल खाता था जितना कि सर्वश्रेष्ठ मानव जज। लेकिन असली जादू तब हुआ जब शोधकर्ताओं ने शीर्ष तीन AI मॉडलों को एक एकल "सुपर-जज" टीम में मिला दिया, जिसे उन्होंने AISilver नाम दिया। इस संयुक्त AI टीम ने 0.797 के सहसंबंध (correlation) के साथ मानव सर्वसम्मति से मेल खाया, जो कि सर्वश्रेष्ठ एकल AI मॉडल के लगभग बराबर है।
हालाँकि, अध्ययन में कुछ "सावधान रहने वाले" संकेत भी मिले। AI (और यहाँ तक कि इंसान भी) ठोस, आसानी से दिखने वाली चीजों को पहचानने में बहुत बेहतर थे, जैसे कि "क्या लेख में मदद के लिए फोन नंबर शामिल है?" या "क्या इसने आत्महत्या के तरीके का वर्णन किया है?" ये पार्किंग स्थल में एक लाल कार को पहचानने जैसा है; या तो वह वहाँ है या नहीं है। लेकिन AI को स्कोरकार्ड के "लचीले" और व्याख्यात्मक हिस्सों को समझने में अधिक संघर्ष करना पड़ा, जैसे कि "क्या लेख ने आत्महत्या को ग्लैमरस दिखाया?" या "क्या भाषा सनसनीखेज थी?" ये किसी गाने के मिजाज को आंकने की कोशिश करने जैसा है; एक कंप्यूटर (और यहाँ तक कि इंसानों) के लिए भी इन भावनाओं पर पूरी तरह से सहमत होना बहुत कठिन है। इसके अलावा, शोधकर्ताओं ने देखा कि AI मॉडल कभी-कभी औसत पर थोड़े ऊंचे स्कोर देते थे, जैसे कि कोई शिक्षक जो 'A' ग्रेड देने में थोड़ा ज्यादा उदार हो।
तो, अंतिम फैसला क्या है? पेपर सुझाव देता है कि AI अभी भी मनुष्यों का पूर्ण प्रतिस्थापन नहीं है, लेकिन यह एक बहुत ही आशाजनक "सहायक" है। यह अपने आप में अंतिम, निर्णायक निर्णय नहीं ले सकता, खासकर कहानी के पेचीदा और भावनात्मक हिस्सों पर। लेकिन यदि आप हजारों लेखों को स्कैन करने के लिए AI मॉडलों की एक टीम (जैसे AISilver टीम) का उपयोग करते हैं, और फिर परिणामों की जांच करने या पेचीदा मामलों को संभालने के लिए मानव विशेषज्ञों की एक छोटी टीम रखते हैं, तो यह गेम-चेंजर हो सकता है। यह दृष्टिकोण मानव विशेषज्ञों को थकाए बिना बड़े पैमाने पर समाचार कवरेज की निगरानी करने में मदद कर सकता है, जिससे यह सुनिश्चित हो सके कि समाचार का दर्पण कहानियों को इस तरह से प्रतिबिंबित करे जो नुकसान पहुँचाने के बजाय सुरक्षा और मदद प्रदान करे। अध्ययन निष्कर्ष निकालता है कि भले ही हमें AI पर आँख मूंदकर भरोसा नहीं करना चाहिए, लेकिन मानव निरीक्षण के साथ इसे जोड़ना डिजिटल युग में आत्महत्या की रिपोर्टिंग को सुरक्षित और जिम्मेदार बनाए रखने की कुंजी हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।