💬 NLP

TherapyGym: Evaluating and Aligning Clinical Fidelity and Safety in Therapy Chatbots

यह शोधपत्र TherapyGym को प्रस्तुत करता है, जो एक व्यापक ढांचा है जो स्वचालित CBT फिडेलिटी स्कोरिंग, विशिष्ट जोखिम मूल्यांकन और एक क्लिनिशियन-कैलिब्रेटेड बेंचमार्क के माध्यम से थेरेपी चैटबॉट्स का साक्ष्य-आधारित अभ्यास और सुरक्षा मानकों के साथ मूल्यांकन और संरेखण करता है, जो अंततः उन मॉडलों के प्रशिक्षण को सक्षम बनाता है जो नैदानिक गुणवत्ता और सुरक्षा में महत्वपूर्ण सुधार करते हैं।

मूल लेखक: Fangrui Huang, Souhad Chbeir, Arpandeep Khatua, Sheng Wang, Sijun Tan, Kenan Ye, Lily Bailey, Merryn Daniel, Ryan Louie, Sanmi Koyejo, Ehsan Adeli

प्रकाशित 2026-03-20

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fangrui Huang, Souhad Chbeir, Arpandeep Khatua, Sheng Wang, Sijun Tan, Kenan Ye, Lily Bailey, Merryn Daniel, Ryan Louie, Sanmi Koyejo, Ehsan Adeli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को थेरेपिस्ट (चिकित्सक) बनना सिखाने की कोशिश कर रहे हैं। आप इसे सिर्फ यह नहीं कह सकते, "अच्छे से व्यवहार करो और ध्यान से सुनो।" यह बहुत अस्पष्ट है। यदि रोबोट गलत सलाह देता है या किसी संकट को पहचानने में चूक जाता है, तो इसके परिणाम गंभीर हो सकते हैं।

यह शोध पत्र, TherapyGym, AI थेरेपिस्ट के लिए एक हाई-टेक, वर्चुअल ट्रेनिंग कैंप बनाने जैसा है। यह एक ऐसी जगह है जहाँ AI मॉडल वास्तविक इंसान से बात करने से पहले अभ्यास करते हैं, सख्त कोचों द्वारा ग्रेड प्राप्त करते हैं, और सुरक्षित और प्रभावी बनना सीखते हैं।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "जेनेरिक चैटबॉट" का जाल

अभी, यदि आप किसी मानक AI (जैसे कि एक बुनियादी चैटबॉट) से मदद मांगते हैं, तो वह बहुत ही सहज और विनम्र लग सकता है। लेकिन थेरेपी में, केवल अच्छा सुनाई देना ही काफी नहीं है।

उपमा: कल्पना कीजिए कि एक शेफ स्वादिष्ट सूप बनाता है लेकिन यह जांचना भूल जाता है कि ग्राहक को मूंगफली से एलर्जी तो नहीं है। सूप का स्वाद तो बेहतरीन है, लेकिन यह उन्हें मार भी सकता है।
समस्या: वर्तमान AI टेस्टर केवल यह देखते हैं कि बातचीत कितनी "सुचारू" है। वे यह नहीं देखते कि क्या AI वास्तव में सही चिकित्सा तकनीकों का उपयोग कर रहा है या क्या वह किसी खतरे के संकेत (रेड फ्लैग) को अनदेखा कर रहा है।

2. समाधान: TherapyGym (ट्रेनिंग जिम)

लेखकों ने TherapyGym नामक एक फ्रेमवर्क बनाया है। इसे थेरेपिस्ट के लिए एक फ्लाइट सिम्युलेटर के रूप में समझें। जिस तरह पायलट वास्तविक विमान उड़ाने से पहले सिम्युलेटर में अभ्यास करते हैं, AI थेरेपिस्ट भी वास्तविक लोगों की मदद करने से पहले यहाँ अभ्यास करते हैं।

जिम दो मुख्य स्तंभों पर केंद्रित है:

स्तंभ A: फिडेलिटी (Fidelity - "कौशल" स्कोर)

यह मापता है कि AI कॉग्निटिव बिहेवियरल थेरेपी (CBT) के नियमों का कितनी अच्छी तरह पालन करता है, जो चिंता और अवसाद के इलाज के लिए "गोल्ड स्टैंडर्ड" प्लेबुक की तरह है।

उपमा: कल्पना कीजिए कि एक स्पोर्ट्स कोच एक खिलाड़ी को देख रहा है। कोच केवल "अच्छा काम किया!" नहीं कह रहा है। वह विशिष्ट चालों की जाँच कर रहा है: क्या खिलाड़ी ने खेल के लिए लक्ष्य निर्धारित किया? क्या उसने टीम के साथी की बात सुनी? क्या उसने सही रणनीति का उपयोग किया?
वे इसे कैसे करते हैं: वे CTRS (कॉग्निटिव थेरेपी रेटिंग स्केल) नामक एक प्रसिद्ध चेकलिस्ट का उपयोग करते हैं। अतीत में, मनुष्यों को इसे भरने के लिए घंटों के वीडियो देखने पड़ते थे। TherapyGym एक स्मार्ट AI जज का उपयोग करता है जो रोबोट थेरेपिस्ट को 11 विशिष्ट कौशलों पर ग्रेड देता है, जैसे कि "क्या आपने एजेंडा सेट किया?" या "क्या आपने होमवर्क दिया?"

स्तंभ B: सुरक्षा (Safety - "रेड फ्लैग" डिटेक्टर)

यह सबसे महत्वपूर्ण हिस्सा है। AI को पता होना चाहिए कि कब रुकना है और मदद के लिए पुकारना है।

उपमा: पूल के पास एक लाइफगार्ड के बारे में सोचें। यदि कोई डूब रहा है, तो लाइफगार्ड छोटी-मोटी बातें नहीं करता; वह तुरंत पानी में कूद जाता है। यदि AI मरीज की इस बात को अनदेखा करता है कि "मैं खुद को चोट पहुँचाना चाहता हूँ," तो यह एक विफलता है।
वे इसे कैसे करते हैं: सिस्टम में एक "सेफ्टी अलार्म" है जो चार विशिष्ट खतरों की जाँच करता है:
1. क्या AI ने चिकित्सा सलाह दी (जैसे दवाएं प्रिस्क्राइब करना)?
2. क्या इसने किसी संकट (आत्महत्या के जोखिम) को अनदेखा किया?
3. क्या इसने शोषण के संकेतों को अनदेखा किया?
4. क्या इसने इस बात को अनदेखा किया कि मरीज दैनिक जीवन में कार्य करने में असमर्थ है?

3. कोच: "जज"

हमें कैसे पता कि AI जज निष्पक्ष है?

समस्या: कभी-कभी AI जज पक्षपाती हो सकते हैं या गलतियाँ कर सकते हैं।
समाधान: शोधकर्ताओं ने TherapyJudgeBench बनाया है। यह एक "फाइनल एग्जाम" है जिसमें 116 बातचीत शामिल हैं जिन्हें वास्तविक, लाइसेंस प्राप्त मानव थेरेपिस्ट द्वारा ग्रेड किया गया था।
प्रक्रिया: वे अपने AI जज का परीक्षण इन मानव ग्रेड के विरुद्ध करते हैं। यदि AI जज मानव विशेषज्ञों के साथ सहमत होता है, तो उसे कोच बनने की अनुमति मिलती है। यदि नहीं, तो वे AI जज को ठीक करते हैं। यह सुनिश्चित करता है कि "कोच" को पता है कि वह क्या कह रहा है।

4. ट्रेनिंग लूप: RL (रीइन्फोर्समेंट लर्निंग)

यहीं असली जादू होता है। AI थेरेपिस्ट केवल बैठा नहीं रहता; वह बार-बार खेल खेलता है।

उपमा: कल्पना कीजिए कि एक वीडियो गेम है जहाँ आपको सही CBT चालों के लिए पॉइंट्स मिलते हैं और यदि आप सुरक्षा के संकेत (सेफ्टी फ्लैग) को मिस कर देते हैं तो आपके पॉइंट्स कट जाते हैं (या "गेम ओवर" हो जाता है)।
प्रक्रिया:
1. AI एक सिम्युलेटेड पेशेंट (एक रोबोट जो विशिष्ट समस्याओं वाला मरीज बना हुआ है) के साथ बात करता है।
2. AI जज देखता है और एक स्कोर देता है।
3. AI थेरेपिस्ट उस स्कोर को देखता है और कहता है, "ओह, मेरे पॉइंट्स कम हो गए क्योंकि मैंने एजेंडा सेट नहीं किया। अगली बार, मैं एक एजेंडा सेट करने की कोशिश करूँगा।"
4. यह हजारों बार दोहराता है, धीरे-धीरे बेहतर और बेहतर होता जाता है।

5. परिणाम: नौसिखिए से प्रो तक

इसे Qwen3-4B नामक मॉडल पर परखा गया।

ट्रेनिंग से पहले: AI एक घबराए हुए इंटर्न की तरह था। वह मिलनसार था लेकिन वास्तव में थेरेपी तकनीकों को नहीं जानता था। उसका "स्किल स्कोर" बहुत कम (6 में से 0.10) था।
ट्रेनिंग के बाद: TherapyGym से गुजरने के बाद, AI एक कुशल अभ्यासी बन गया। उसका स्किल स्कोर बढ़कर 0.60 हो गया।
सुरक्षा: महत्वपूर्ण रूप से, वह केवल स्मार्ट नहीं हुआ; वह अधिक सुरक्षित भी हुआ। जितनी बार उसने सुरक्षा चेतावनी को अनदेखा किया, वह संख्या आधे से अधिक कम हो गई।

बड़ी तस्वीर

TherapyGym यह साबित करता है कि हम AI को केवल "अच्छा दिखने" के लिए नहीं, बल्कि क्लिनिकल नियमों और सुरक्षा प्रोटोकॉल पर कठोर प्रशिक्षण देकर एक थेरेपिस्ट बनाना सिखा सकते हैं।

यह एक कच्चे, प्रतिभाशाली अभिनेता को एक कठोर एक्टिंग स्कूल में भेजने जैसा है जहाँ उसे हर संवाद, हर भावना और हर सुरक्षा प्रोटोकॉल पर ग्रेड दिया जाता है, जब तक कि वह वास्तविक मंच पर प्रदर्शन करने के लिए तैयार न हो जाए। लक्ष्य मानव थेरेपिस्ट की जगह लेना नहीं है, बल्कि ऐसे AI उपकरण बनाना है जो सुरक्षित, विश्वसनीय और वास्तव में सहायक हों जब मनुष्यों को उनकी सबसे अधिक आवश्यकता हो।

यहाँ शोध पत्र "TherapyGym: Evaluating and Aligning Clinical Fidelity and Safety in Therapy Chatbots" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग मानसिक स्वास्थ्य सहायता के लिए तेजी से किया जा रहा है, फिर भी वर्तमान मूल्यांकन विधियाँ नैदानिक अनुप्रयोगों (clinical applications) के लिए अपर्याप्त हैं।

मौजूदा मेट्रिक्स की सीमाएँ: मानक मेट्रिक्स (जैसे BLEU, ROUGE, और MT-Bench जैसे जेनेरिक डायलॉग बेंचमार्क) प्रवाह (fluency) और सामंजस्य (coherence) को मापते हैं, लेकिन वे नैदानिक निष्ठा (clinical fidelity) (साक्ष्य-आधारित चिकित्सीय मॉडलों के प्रति पालन) और सुरक्षा (जोखिम या संकट प्रबंधन में विफलता) को पकड़ने में विफल रहते हैं।
प्रक्रिया-उन्मुख मूल्यांकन का अभाव: थेरेपी स्वाभाविक रूप से संवादात्मक और प्रक्रियात्मक है। मौजूदा बेंचमार्क अक्सर थेरेपी को एक ज्ञान संबंधी QA कार्य के रूप में देखते हैं या पेयरवाइज प्रेफरेंस टेस्ट का उपयोग करते हैं जिनमें व्याख्यात्मकता (interpretability) की कमी होती है और जो मान्य नैदानिक संरचनाओं (जैसे कि Cognitive Therapy Rating Scale) पर आधारित नहीं होते हैं।
अंतराल (The Gap): ऐसा कोई स्केलेबल फ्रेमवर्क नहीं है जो चिकित्सा चैटबॉट्स का मूल्यांकन नैदानिक कौशल (fidelity) और सुरक्षा दोनों पर एक साथ कर सके और साथ ही सुदृढीकरण शिक्षण (reinforcement learning) के माध्यम से उन्हें सुधारने का तंत्र प्रदान कर सके।

2. कार्यप्रणाली: TherapyGym फ्रेमवर्क (Methodology: The TherapyGym Framework)

लेखक TherapyGym पेश करते हैं, जो दो नैदानिक स्तंभों पर आधारित एक एंड-टू-एंड फ्रेमवर्क है: Fidelity (निष्ठा) और Safety (सुरक्षा)। यह सिस्टम तीन मुख्य घटकों के माध्यम से कार्य करता है:

A. इवैल्यूएटर सूट (THERAPYJUDGEBENCH और THERAPYJUDGE)

THERAPYJUDGEBENCH: एक वैलिडेशन डेटासेट जिसमें LLM थेरेपिस्ट और पेशेंट सिम्युलेटर्स के बीच 116 सिम्युलेटेड 10-टर्न संवाद शामिल हैं।
- पेशेंट सिमुलेशन: विविध लक्षण प्रोफाइल और यथार्थवादी इंटरैक्शन पैटर्न उत्पन्न करने के लिए Patient-ψ सिम्युलेटर (CBT संज्ञानात्मक मॉडल के साथ इनिशियलाइज किया गया) का उपयोग करता है।
- विशेषज्ञ एनोटेशन: संवादों को दो लाइसेंस प्राप्त CBT चिकित्सकों द्वारा Cognitive Therapy Rating Scale (CTRS) का उपयोग करके एनोटेट किया गया है।
  - Fidelity (निष्ठा): 11 CBT कौशल आयामों (जैसे Agenda, Feedback, Guided Discovery) को 0–6 के पैमाने पर रेट किया गया है।
  - Safety (सुरक्षा): महत्वपूर्ण जोखिमों (जैसे चिकित्सा सलाह देना, संकट/दुर्व्यवहार को संबोधित करने में विफल रहना) के लिए 4 बाइनरी फ्लैग्स।
- विश्वसनीयता: मानव इंटर-रेटर रिलायबिलिटी (Krippendorff's $\alpha$ ) औसतन 0.52 है, जो मानव-मानव थेरेपी अध्ययनों के अनुरूप है, जो एक विश्वसनीय ग्राउंड ट्रुथ स्थापित करता है।
THERAPYJUDGE: एक LLM-आधारित जज जिसे विशेषज्ञ रेटिंग के करीब पहुँचने के लिए प्रशिक्षित किया गया है।
- यह एक पूर्ण संवाद और एक स्ट्रक्चर्ड रूब्रिक को इनपुट के रूप में लेता है।
- यह 11 CTRS स्कोर और 4 सेफ्टी फ्लैग्स आउटपुट करता है।
- प्रदर्शन: यह मानव विशेषज्ञों के साथ CTRS कौशलों पर 0.56 का स्पीयरमैन सहसंबंध (Spearman correlation) और सुरक्षा फ्लैग्स पर 99% सटीकता प्राप्त करता है, जो इसके रिवॉर्ड सिग्नल के रूप में उपयोग को प्रमाणित करता है।

B. एलाइनमेंट मॉड्यूल (RL फाइन-ट्यूनिंग)

प्रशिक्षण वातावरण: फ्रेमवर्क विविध प्रशिक्षण परिदृश्य उत्पन्न करने के लिए 13,093 विशिष्ट पेशेंट प्रोफाइल (TreeSynth के माध्यम से संवर्धित) का उपयोग करता है।
रिवॉर्ड मॉडल: फ्रीज किया गया THERAPYJUDGE एक रिवॉर्ड मॉडल के रूप में कार्य करता है। कम्पोजिट रिवॉर्ड $R(d)$ की गणना इस प्रकार की जाती है:
$R(d) = \sum_{i \in S} w_i \cdot \widehat{CTRS}_i(d) - \sum_{j=1}^{4} \lambda_j \cdot \mathbb{1}_{Safety_j}(d)$
जहाँ $S$ 9 विश्वसनीय CTRS आयामों का सेट है, और दूसरा पद सुरक्षा उल्लंघनों को दंडित करता है।
ऑप्टिमाइजेशन: सिस्टम Group Relative Preference Optimization (GRPO) का उपयोग करता है, जो PPO का एक विस्तार है, ताकि थेरेपिस्ट LLM को फाइन-ट्यून किया जा सके। GRPO प्रत्येक पेशेंट प्रोफाइल के लिए कई संवादों को सैंपल करता है, समूह के भीतर रिवॉर्ड को नॉर्मलाइज़ करता है, और पॉलिसी को कम्पोजिट रिवॉर्ड को अधिकतम करने के लिए अपडेट करता है।

3. प्रमुख योगदान (Key Contributions)

प्रथम क्लिनिकल फिडेलिटी और सेफ्टी फ्रेमवर्क: एक ऐसा फ्रेमवर्क पेश करता है जो नैदानिक अनुसंधान मानकों (CTRS) को LLM मूल्यांकन के लिए संचालित करता है, जो जेनेरिक कन्वर्सेशनल मेट्रिक्स से आगे बढ़ता है।
THERAPYJUDGEBENCH: मल्टी-टर्न थेरेपी सेटिंग्स में LLM जजों के ऑडिट के लिए एक उच्च-गुणवत्ता वाला, विशेषज्ञ-एनोटेटेड बेंचमार्क, जो LLM मूल्यांकन की "ब्लैक बॉक्स" प्रकृति को संबोधित करता है।
स्केलेबल RL पाइपलाइन: एक नियंत्रणीय ट्रेनिंग लूप प्रदर्शित करता है जहाँ नैदानिक निष्ठा और सुरक्षा, बिना किसी वास्तविक समय मानवीय हस्तक्षेप के, GRPO के माध्यम से सीधे मॉडल ऑप्टिमाइजेशन को संचालित करते हैं।
सेफ्टी-अवेयर एलाइनमेंट: सुरक्षा को स्पष्ट रूप से एक पेनल्टी टर्म के रूप में मॉडल करता है, जिससे मॉडल को रोगी की सुरक्षा की कीमत पर 'स्किल रिवॉर्ड' को गेम करने से रोका जा सके।

4. मुख्य परिणाम (Key Results)

लेखकों ने TherapyGym के भीतर प्रशिक्षित Qwen3-4B मॉडल का मूल्यांकन एक बेसलाइन (अनट्रेन्ड) मॉडल के विरुद्ध किया और फ्रंटियर मॉडल्स के साथ तुलना की।

क्लिनिकल फिडेलिटी (CTRS) में सुधार:
- मानव रेटिंग: GRPO फाइन-ट्यूनिंग के बाद औसत CTRS स्कोर 0.10 (बेसलाइन) से बढ़कर 0.60 हो गया।
- LLM जज रेटिंग: स्कोर 0.16 से बढ़कर 0.59 हो गया।
- विशिष्ट लाभ: Feedback (0.04 $\to$ 0.65) और Focus (0.04 $\to$ 0.67) में महत्वपूर्ण सुधार देखे गए।
सुरक्षा में सुधार:
- सुरक्षा उल्लंघन दर (मानव-निर्णित) 0.38 से घटकर 0.20 हो गई।
- एब्लेशन स्टडी (Ablation Study): प्रशिक्षण के दौरान सुरक्षा पेनल्टी को हटाने से उच्च सुरक्षा उल्लंघन (0.43) हुए, जो रिवॉर्ड फंक्शन में सुरक्षा टर्म की आवश्यकता की पुष्टि करते हैं।
गुणात्मक बदलाव (Qualitative Shifts):
- प्रशिक्षित मॉडल जेनेरिक इमोशनल वैलिडेशन से हटकर स्ट्रक्चर्ड CBT व्यवहारों (जैसे एजेंडा सेट करना, ऑटोमैटिक थॉट्स की पहचान करना, होमवर्क असाइन करना) की ओर स्थानांतरित हो गए।
- प्रशिक्षित मॉडल बड़े फ्रंटियर मॉडल्स (जैसे GPT-o3-mini, Llama 4 Scout) के तुलनीय प्रदर्शन करता है, बावजूद इसके कि वह छोटा है।
जज विश्वसनीयता: LLM जज ने मानव सिग्नल के एक बड़े हिस्से को सफलतापूर्वक रिकवर किया, जो उच्च-जोखिम वाले डोमेन में स्वचालित मूल्यांकन की व्यवहार्यता को प्रमाणित करता है।

5. महत्व और प्रभाव (Significance and Impact)

अंतराल को पाटना: TherapyGym मानसिक स्वास्थ्य AI में "इवैल्यूशन बॉटलनेक" के लिए एक स्केलेबल समाधान प्रदान करता है, जिससे ऐसे चैटबॉट्स का विकास संभव होता है जो न केवल आकर्षक हैं बल्कि नैदानिक रूप से सार्थक भी हैं।
सुरक्षा सर्वोपरि: रिवॉर्ड फंक्शन में सुरक्षा बाधाओं को सीधे एकीकृत करके, फ्रेमवर्क यह सुनिश्चित करता है कि मॉडल हेल्पफुलनेस (helpfulness) के लिए पेशेंट सेफ्टी की कीमत पर अनुकूलित न हो।
भविष्य की दिशाएं: हालांकि वर्तमान में यह CBT पर केंद्रित है, फ्रेमवर्क अन्य मोडैलिटीज (जैसे DBT, ACT) में विस्तार करने और लॉन्गिट्यूडिनल रियल-वर्ल्ड परिणामों को शामिल करने के लिए एक ब्लूप्रिंट स्थापित करता है।
रिसर्च आर्टिफैक्ट: लेखक इस बात पर जोर देते हैं कि यह मॉडल व्यवहार को समझने के लिए एक रिसर्च टूल है, न कि वास्तविक दुनिया में उपयोग के लिए एक क्लिनिकल टूल, जो वास्तविक उपयोग से पहले कठोर सत्यापन की आवश्यकता को रेखांकित करता है।

संक्षेप में, TherapyGym मानसिक स्वास्थ्य AI में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है, जो जेनेरिक कन्वर्सेशनल बेंचमार्क से बदलकर नैदानिक रूप से आधारित, सुरक्षा-संरेखित और प्रक्रिया-उन्मुख मूल्यांकन और प्रशिक्षण पाइपलाइन की ओर ले जाता है।