Preference Learning Unlocks LLMs' Psycho-Counseling Skills
यह शोध पत्र पेशेवर मूल्यांकन सिद्धांतों का प्रस्ताव देकर उच्च-गुणवत्ता वाले मनो-परामर्श (psycho-counseling) डेटा की कमी को संबोधित करता है ताकि 36k-जोड़ी वाला PsychoCounsel-Preference डेटासेट बनाया जा सके, जो एक फाइन-ट्यून्ड Llama3-8B मॉडल को रिवॉर्ड मॉडलिंग और प्रेफरेंस लर्निंग के माध्यम से परामर्श कार्यों में GPT-4o के विरुद्ध 87% जीत दर प्राप्त करने में सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, अत्यंत बुद्धिमान रोबोट लाइब्रेरियन है जिसका नाम LLM (लार्ज लैंग्वेज मॉडल) है। इस रोबोट ने दुनिया की लगभग हर किताब पढ़ ली है। यह कविताएँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और चुटकुले सुना सकता है। लेकिन यदि आप इसे किसी ऐसे व्यक्ति के लिए थेरेपिस्ट (चिकित्सक) के रूप में कार्य करने के लिए कहते हैं जिसका दिन बुरा बीत रहा है, तो यह अक्सर लड़खड़ा जाता है। यह ऐसी सलाह दे सकता है जो बहुत ही रोबोटिक हो, मानवीय संवेदनाओं को समझने में चूक जाए, या अनजाने में कुछ दुखद कह दे।
ऐसा क्यों है? क्योंकि जबकि यह रोबोट शब्दों को जानता है, इसने वास्तव में मानवीय जुड़ाव की कला नहीं सीखी है। और इसे सीखने के लिए आवश्यक वास्तविक दुनिया का डेटा (वास्तविक थेरेपी सत्र) गोपनीयता कानूनों के कारण तिजोरियों में बंद है।
यह शोध पत्र इस बारे में है कि कैसे शोधकर्ताओं ने इस रोबोट के लिए एक विशेष प्रशिक्षण जिम (specialized training gym) बनाया, जिससे इसे एक दयालु और प्रभावी परामर्शदाता बनना सिखाया जा सके।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, जिसे सरल चरणों में विभाजित किया गया है:
1. समस्या: रोबोट "किताबी कीड़ा" है लेकिन "दुनियादारी में कच्चा" है
एक ऐसे शेफ की कल्पना करें जिसने अस्तित्व में मौजूद हर कुकबुक को पढ़ लिया है लेकिन उसने कभी किसी भूखे व्यक्ति के लिए भोजन नहीं बनाया है। वे "नमक" और "मिर्च" के सिद्धांत को जानते हैं, लेकिन वे यह नहीं जानते कि किसी विशिष्ट व्यक्ति को खुश करने के लिए कितना डालना चाहिए।
वर्तमान AI मॉडल वैसे ही हैं। वे संकट में फंसे लोगों के प्रति प्रतिक्रिया देने में संघर्ष करते हैं क्योंकि:
- उनके पास वास्तविक थेरेपी डेटा की कमी है (जो निजी है)।
- भले ही उनके पास डेटा हो, लेकिन सभी मानव थेरेपिस्ट आदर्श नहीं होते। कुछ बेहतरीन सलाह देते हैं; कुछ औसत दर्जे की। AI इस बात को लेकर भ्रमित हो जाता है कि "अच्छा" वास्तव में क्या दिखता है।
2. समाधान: एक "थेरेपी नियम पुस्तिका" बनाना
शोधकर्ताओं ने केवल यह अनुमान नहीं लगाया कि एक अच्छा थेरेपिस्ट क्या कहता है। उन्होंने वास्तविक जीवन के सामाजिक कार्यकर्ताओं और मनोचिकित्सकों ( "मास्टर शेफ") के साथ मिलकर एक थेरेपी नियम पुस्तिका (Therapy Rulebook) लिखी।
यह नियम पुस्तिका केवल दयालु होने के बारे में नहीं है। इसमें सात विशिष्ट "फ्लेवर प्रोफाइल" हैं जो एक अच्छी प्रतिक्रिया में होने चाहिए:
- सहानुभूति (Empathy): "मैं आपके दर्द को सुन रहा हूँ।"
- प्रासंगिकता (Relevance): "मैं आपकी विशिष्ट कहानी को समझता हूँ।"
- स्पष्टता (Clarity): "मैं स्पष्ट रूप से बोल रहा हूँ, भ्रमित करने वाली शब्दावली का उपयोग नहीं कर रहा हूँ।"
- सुरक्षा (Safety): "मैं ऐसी कोई बात नहीं कहूँगा जिससे आपको चोट पहुँच सके।"
- अन्वेषण (Exploration): "आइए गहराई से समझते हैं कि आप ऐसा क्यों महसूस कर रहे हैं।"
- स्वायत्तता (Autonomy): "आप अपने जीवन के मालिक हैं; मैं यहाँ केवल मदद के लिए हूँ।"
- समय (Timing): "मैं जानता हूँ कि आप अभी बदलने के लिए तैयार नहीं हैं, इसलिए अभी केवल बात करते हैं।"
3. डेटासेट: "साइको-काउंसलिंग प्रेफरेंस जिम" (PsyCoPref)
AI को सिखाने के लिए, उन्होंने PsyCoPref नामक एक विशाल डेटासेट बनाया। इसे एक विशाल स्वाद प्रतियोगिता (tasting competition) के रूप में सोचें।
- सेटअप: उन्होंने मदद माँगने वाले लोगों की 26,000 वास्तविक कहानियाँ लीं (गुमनाम)।
- प्रतियोगिता: उन्होंने 20 अलग-अलग AI मॉडलों को थेरेपिस्ट के रूप में कार्य करने और प्रत्येक कहानी के प्रति प्रतिक्रिया लिखने के लिए कहा।
- जज (निर्णायक): उन्होंने एक सुपर-स्मार्ट AI (GPT-4o) का उपयोग एक "मुख्य जज" के रूप में किया, जिसने थेरेपी नियम पुस्तिका के आधार पर प्रत्येक प्रतिक्रिया को स्कोर दिया।
- परिणाम: उन्होंने 36,000 प्रतिक्रियाओं के जोड़े बनाए। प्रत्येक जोड़े में, एक प्रतिक्रिया "विजेता" (उच्च स्कोर) थी और एक "हारने वाला" (कम स्कोर) थी।
यह डेटासेट "गोल्ड स्टैंडर्ड" प्रशिक्षण सामग्री है। यह AI को सिखाता है: "जब आप X कहते हैं, तो लोग खुद को सुना हुआ महसूस करते हैं। जब आप Y कहते हैं, तो लोग उपेक्षित महसूस करते हैं।"
4. प्रशिक्षण: जीतना सीखना
शोधकर्ताओं ने एक मानक AI मॉडल लिया और इस नए डेटासेट का उपयोग करके उसे दो प्रकार के प्रशिक्षण से गुजारा:
- ऑफलाइन लर्निंग (पाठ्यपुस्तक विधि): AI ने 36,000 "विजेता बनाम हारने वाला" जोड़ों का अध्ययन किया और पैटर्न सीखे।
- ऑनलाइन लर्निंग (अभ्यास विधि): AI ने अपने स्वयं के नए उत्तर उत्पन्न किए, एक "कोच" (रिवॉर्ड मॉडल) द्वारा ग्रेड किया गया, और फिर सुधार के लिए तुरंत फिर से प्रयास किया। यह एक संगीतकार द्वारा स्केल का अभ्यास करने, फीडबैक प्राप्त करने और सही होने तक फिर से बजाने जैसा है।
चौंकाने वाला निष्कर्ष: "ऑनलाइन" विधि (अभ्यास करना और तत्काल फीडबैक प्राप्त करना) केवल पाठ्यपुस्तक पढ़ने की तुलना में बहुत बेहतर काम करती थी। यह अधिक स्थिर थी और इसने यहाँ तक कि छोटे, सस्ते AI मॉडलों को दिग्गजों की तरह प्रदर्शन करने में मदद की।
5. परिणाम: नया चैंपियन
अंतिम परिणाम एक मॉडल है जिसे PsyCo-Llama3-8B कहा जाता है।
- परीक्षण: उन्होंने इस नए मॉडल को एक ब्लाइंड टेस्ट में GPT-4o (दुनिया के सबसे स्मार्ट AI में से एक) के खिलाफ खड़ा किया।
- स्कोर: यह नया मॉडल 87% बार जीता!
- मानवीय निर्णय: वास्तविक मानव थेरेपिस्टों ने प्रतिक्रियाओं को देखा और सहमति व्यक्त की। उन्होंने कहा कि नया मॉडल मानक AI की तुलना में अधिक संतुलित, सुरक्षित और अधिक सहानुभूतिपूर्ण लगा।
बड़ी तस्वीर: इसका आपके लिए क्या अर्थ है?
इस शोध को AI थेरेपिस्ट के लिए "ट्रेनिंग व्हील सिस्टम" बनाने के रूप में सोचें।
लक्ष्य मानव थेरेपिस्ट को रोबोट से बदलना नहीं है। वह एक सर्जन को कैलकुलेटर से बदलने जैसा होगा। इसके बजाय, यह तकनीक एक सुपर-असिस्टेंट के रूप में डिज़ाइन की गई है।
- थेरेपिस्ट के लिए: यह प्रतिक्रियाओं का मसौदा तैयार करने, कहने के तरीकों का सुझाव देने, या संभावित सुरक्षा मुद्दों को पकड़ने में मदद कर सकता है, जिससे उनका काम आसान और कुशल हो जाता है।
- दुनिया के लिए: यह उन लाखों लोगों के बीच के अंतर को पाटने में मदद करता है जिन्हें मानसिक स्वास्थ्य सहायता की आवश्यकता है और उपलब्ध मानव थेरेपिस्टों की कमी है।
संक्षेप में: शोधकर्ताओं ने AI के लिए एक विशेष "स्कूल" बनाया, उसे मानवीय सहानुभूति के गुप्त नियम सिखाए, और उसे तब तक प्रशिक्षित किया जब तक कि वह लगभग किसी भी अन्य AI से बेहतर परामर्श देने में सक्षम नहीं हो गया। वे अब इस स्कूल और इसकी पाठ्यपुस्तकों को दुनिया के साथ साझा कर रहे हैं ताकि हर कोई बेहतर, सुरक्षित और दयालु AI सहायक बना सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।