Expert Evaluation and the Limits of Human Feedback in Mental Health AI Safety Testing
यह शोधपत्र यह प्रदर्शित करता है कि मानसिक स्वास्थ्य एआई सुरक्षा परीक्षण में, विशेषज्ञ मानवीय फीडबैक यादृच्छिक त्रुटि के बजाय व्यवस्थित और सिद्धांतपूर्ण असहमति प्रदर्शित करता है, जो एक वैध ग्राउंड ट्रुथ (आधारभूत सत्य) की धारणा को चुनौती देता है और यह सुझाव देता है कि सुरक्षा-महत्वपूर्ण एआई मूल्यांकन को सर्वसम्मति-आधारित एकत्रीकरण से हटकर उन तरीकों की ओर स्थानांतरित होना चाहिए जो विविध व्यावसायिक दृष्टिकोणों को संरक्षित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "विशेषज्ञ सहमति" का मिथक
कल्पना कीजिए कि आप एक रोबोट को एक सहायक थेरेपिस्ट (चिकित्सक) बनना सिखाने की कोशिश कर रहे हैं। इसे करने का मानक तरीका यह है कि मानव विशेषज्ञों (मनोचिकित्सकों) से रोबोट के उत्तरों को ग्रेड देने के लिए कहा जाए। यदि विशेषज्ञ सहमत होते हैं कि एक उत्तर "अच्छा" है, तो रोबोट वैसा ही अधिक करने के लिए सीखता है। यदि वे कहते हैं कि यह "बुरा" है, तो रोबोट उससे बचना सीखता है।
यह शोध एक सरल लेकिन डरावना सवाल पूछता है: क्या होगा अगर विशेषज्ञ सहमत ही न हो सकें?
शोधकर्ताओं ने इस परीक्षण को मानसिक स्वास्थ्य की उच्च-जोखिम वाली दुनिया में किया। उन्होंने मानसिक स्वास्थ्य संबंधी सवालों के 360 अलग-अलग AI-जनित (AI-generated) उत्तरों को ग्रेड देने के लिए तीन बोर्ड-प्रमाणित मनोचिकित्सकों को काम पर रखा। उन्हें उम्मीद थी कि विशेषज्ञ ज्यादातर सहमत होंगे क्योंकि वे सभी एक ही तरह की शिक्षा प्राप्त करते हैं और एक ही चिकित्सा नियमों का पालन करते हैं।
परिणाम: विशेषज्ञ शायद ही कभी सहमत हुए। वास्तव में, उनकी असहमति इतनी अधिक थी कि इसे किसी भी अन्य वैज्ञानिक क्षेत्र में "अविश्वसनीय" माना जाता।
उपमा: तीन न्यायाधीश
जो हुआ उसे समझने के लिए, एक कुकिंग प्रतियोगिता की कल्पना करें जिसमें तीन जज हैं:
- जज सुरक्षा (Safety): केवल इस बात की परवाह करता है कि खाना जहरीला तो नहीं है। यदि यह विषाक्त नहीं है, तो वे इसे 5-स्टार रेटिंग देते हैं, भले ही इसका स्वाद कार्डबोर्ड जैसा हो।
- जज जुड़ाव (Engagement): इस बात की परवाह करता है कि खाना स्वादिष्ट है और आपको और खाने के लिए प्रेरित करता है। यदि यह सुरक्षित है लेकिन उबाऊ है, तो वे इसे 2-स्टार रेटिंग देते हैं।
- जज संस्कृति (Culture): इस बात की परवाह करता है कि भोजन व्यक्ति की पृष्ठभूमि और आहार संबंधी प्रतिबंधों का सम्मान करता है या नहीं। यदि भोजन सांस्कृतिक संदर्भ की अनदेखी करता है, तो वे इसे 1-स्टार रेटिंग देते हैं, भले ही वह सुरक्षित और स्वादिष्ट हो।
इस अध्ययन में, तीनों मनोचिकित्सक इन तीन जजों की तरह काम कर रहे थे। वे गलतियाँ नहीं कर रहे थे या निर्देशों को गलत नहीं पढ़ रहे थे। वे एक ही AI उत्तर को देख रहे थे और तीन पूरी तरह से अलग चीजें देख रहे थे क्योंकि उनके पास इस बारे में अलग-अलग "दर्शन" (philosophies) थे कि एक अच्छा उत्तर कैसा होना चाहिए।
मुख्य निष्कर्ष
1. "सुरक्षा" का विरोधाभास (The "Safety" Paradox)
आप सोच सकते हैं कि विशेषज्ञ आत्महत्या या आत्म-क्षति जैसे खतरनाक विषयों पर सबसे अधिक सहमत होंगे। आप गलत हैं।
- पेपर का दावा: विशेषज्ञों के बीच सबसे खतरनाक विषयों (आत्महत्या और आत्म-क्षति) पर सबसे अधिक असहमति थी।
- उपमा: एक फायर ड्रिल (आग से बचने का अभ्यास) की कल्पना करें। एक विशेषज्ञ सोचता है, "घबराओ मत, बस धीरे से बाहर निकल जाओ।" दूसरा सोचता है, "तुरंत भागो!" तीसरा सोचता है, "पहले 911 पर कॉल करो।" वे सभी जीवन बचाना चाहते हैं, लेकिन कैसे करना है, इस पर उनके विचार अलग-अलग हैं। क्योंकि दांव बहुत ऊंचे हैं, उनकी भिन्नताएं बहुत बड़ी हो गईं।
2. "शोर" वास्तव में "संकेत" है (The "Noise" is Actually "Signal")
जब AI सिस्टम को प्रशिक्षित किया जाता है, तो वे आमतौर पर सभी विशेषज्ञ स्कोर को लेते हैं और उनका औसत (average) निकाल लेते हैं। यदि जज A ने 5 दिया और जज C ने 1 दिया, तो AI "3" सीखता है।
- पेपर का दावा: यह औसत निकालने की प्रक्रिया टूटी हुई है। यह एक ऐसा "समझौता" वाला उत्तर बनाता है जो वास्तव में किसी भी वास्तविक विशेषज्ञ की राय को प्रतिबिंबित नहीं करता है। यह लाल रंग और नीले रंग को मिलाकर बैंगनी रंग बनाने जैसा है, और फिर कलाकार से यह कहना कि, "यह आपके आकाश के लिए एकदम सही रंग है," जबकि न तो कोई कलाकार बैंगनी रंग चाहता था।
- परिणाम: AI एक "मध्यम मार्ग" सीखता है जो चिकित्सीय रूप से बेकार हो सकता है क्योंकि यह उन विशिष्ट, वैध कारणों की अनदेखी करता है जिनकी वजह से प्रत्येक विशेषज्ञ ने अपना स्कोर दिया था।
3. "सीमाओं" की समस्या (The "Boundaries" Problem)
विशेषज्ञ इस बात पर सबसे अधिक असहमत थे कि क्या AI को स्पष्ट रूप से कहना चाहिए, "मैं एक रोबोट हूँ, डॉक्टर नहीं।"
- पेपर का दावा: एक विशेषज्ञ (विशेषज्ञ C) अत्यंत सख्त था, जो लगभग हर उत्तर को फेल कर रहा था क्योंकि AI ने स्पष्ट रूप से यह नहीं कहा था कि "मैं इंसान नहीं हूँ।" दूसरा विशेषज्ञ (विशेषज्ञ A) को लगा कि यह ठीक है यदि AI बाद में किसी असली डॉक्टर से मिलने का सुझाव दे दे।
- उपमा: यह एक छात्र के निबंध को ग्रेड देने वाले शिक्षक जैसा है। एक शिक्षक निबंध को इसलिए फेल कर देता है क्योंकि छात्र ने ऊपर अपना नाम नहीं लिखा। दूसरा शिक्षक उसे 'A' ग्रेड देता है क्योंकि निबंध शानदार है। यदि आप उन ग्रेडों का औसत निकालते हैं, तो आपको 'B' मिलता है, जो छात्र को कुछ भी उपयोगी नहीं बताता।
यह AI के लिए क्यों मायने रखता है
यह पेपर तर्क देता है कि हम केवल मानवीय असहमति को "औसत" निकालकर "सत्य" नहीं खोज सकते।
- समस्या: मानसिक स्वास्थ्य में, कोई एक एकल "सही" उत्तर नहीं है जिसे रक्त परीक्षण की तरह मापा जा सके। जो एक व्यक्ति के लिए मददगार है, वह दूसरे के लिए हानिकारक हो सकता है।
- परिणाम: यदि हम इन परस्पर विरोधी विशेषज्ञ विचारों को औसत निकालकर AI को प्रशिक्षित करते हैं, तो हम AI को सुरक्षित या सहायक होना नहीं सिखा रहे हैं; हम इसे एक भ्रमित मध्यम मार्ग बनाना सिखा रहे हैं जो शायद किसी की भी जरूरतों के अनुकूल न हो।
पेपर की सिफारिशें
लेखक यह नहीं कहते कि हमें विशेषज्ञों का उपयोग करना बंद कर देना चाहिए। इसके बजाय, वे सुझाव देते हैं कि हमें उनका उपयोग करने का तरीका बदलना चाहिए:
- यह मानने का नाटक करना बंद करें कि सभी सहमत हैं: हमें यह स्वीकार करने की आवश्यकता है कि विशेषज्ञों के अलग-अलग, वैध दर्शन होते हैं।
- केवल औसत न निकालें: स्कोर का औसत निकालने के बजाय, हमें स्कोर को अलग रखना चाहिए और AI को बताना चाहिए, "विशेषज्ञ A ने इसे सुरक्षित माना, लेकिन विशेषज्ञ B ने इसे जोखिम भरा माना।"
- असहमति को चेतावनी के संकेत के रूप में उपयोग करें: यदि विशेषज्ञ किसी उत्तर पर लड़ रहे हैं, तो यह एक संकेत है कि AI को किसी वास्तविक व्यक्ति को दिखाने से पहले एक इंसान द्वारा जांचे जाने की आवश्यकता है।
सारांश
यह पेपर एक वास्तविकता की जाँच (reality check) है। यह दिखाता है कि अत्यधिक प्रशिक्षित विशेषज्ञ भी इस बात पर सहमत नहीं हो सकते कि एक "अच्छा" मानसिक स्वास्थ्य उत्तर कैसा दिखता है। चूंकि वे बहुत अधिक असहमत हैं, इसलिए उनकी राय को औसत निकालकर AI को प्रशिक्षित करने की वर्तमान विधि त्रुटिपूर्ण है। जिसे हम "शोर" समझकर अनदेखा कर रहे थे, वह वास्तव में लोगों की देखभाल करने के तरीके के बारे में एक गहरा, मौलिक मतभेद है, और हमें उस जटिलता को संभालने के लिए नए तरीकों की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।