Where do LLMs Fall Short in CBT-Guided Affective Reasoning?

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दोस्त है जिसने लाइब्रेरी की हर मनोविज्ञान की किताब पढ़ ली है। वह संज्ञानात्मक व्यवहार चिकित्सा (CBT) के नियमों को उस छात्र से भी बेहतर जानता है जो फाइनल परीक्षा दे रहा हो, और थ्योरी वाले सवालों पर 96% तक स्कोर करता है। आप सोचेंगे कि यह रोबोट एक परम चिकित्सक (therapist) हो सकता है, है ना?

बिल्कुल नहीं।

शोध पत्र "Where do LLMs Fall Short in CBT-Guided Affective Reasoning" एक मज़ेदार लेकिन निराशाजनक गड़बड़ी को उजागर करता है: यह रोबोट थ्योरी को तो पूरी तरह जानता है, लेकिन जब आप वास्तव में इससे बात करते हैं, तो यह एक टूटे हुए रिकॉर्ड की तरह व्यवहार करता है। आप चाहे कुछ भी कहें, यह बस सिर हिलाता रहता है, कहता है "मैं आपकी बात समझ रहा हूँ," और आपकी भावनाओं को आपके सामने ही प्रतिबिंबित करता है। यह एक ऐसे दर्पण की तरह है जो आपको केवल आपका अपना चेहरा दिखाता है, तब भी जब आपको यह समझने में मदद चाहिए कि आप उस तरह क्यों दिख रहे हैं।

"दर्पण बनाम मानचित्र" की समस्या (The "Mirror vs. Map" Problem)

शोधकर्ताओं ने इसका परीक्षण करने के लिए तीन अलग-अलग AI मॉडलों (Gemma3, Mistral, और GPT-OSS) को वास्तविक थेरेपी सत्रों पर आधारित 14 सिम्युलेटेड कहानियाँ दीं। वे यह देखना चाहते थे कि क्या AI केवल "यह कठिन लग रहा है" कहने से कहीं अधिक कर सकता है।

वास्तविक थेरेपी में, एक अच्छा थेरेपिस्ट केवल सुनता नहीं है; वह एक जासूस की तरह काम करता है। वे आपकी कहानी को एक विशिष्ट मानचित्र (map) में तोड़ देते हैं:

1. ट्रिगर (The Trigger): क्या हुआ?
2. विचार (The Thought): आपने इसके बारे में खुद को क्या बताया?
3. भावना (The Feeling): इसने आपको कैसा महसूस कराया?
4. क्रिया (The Action): इसके बाद आपने क्या किया?

एक बार जब उनके पास यह मानचित्र होता है, तो वे एक उपकरण (tool) चुनते हैं:

• वैधीकरण (Validation): "मैं समझता हूँ कि आप ऐसा क्यों महसूस कर रहे हैं।"
• सोक्रेटिक प्रश्न पूछना (Socratic Questioning): "क्या होगा अगर उस चीज़ को देखने का कोई दूसरा तरीका हो?"
• वैकल्पिक दृष्टिकोण (Alternative Perspective): "आइए इसे एक अलग कोण से देखने की कोशिश करें।"

समस्या क्या है? AI मॉडल, यहाँ तक कि एक विशेष "गाइडबुक" (एक ढांचा जिसे शोधकर्ताओं ने उन्हें यह मानचित्र उपयोग करने के लिए मजबूर करने हेतु बनाया था) के साथ भी, लगातार वैधीकरण वाले टूल को ही पकड़ते रहे और अन्य को अनदेखा करते रहे। वे इतने अच्छे होकर "अच्छे" बनने में इतने माहिर थे कि वे "मददगार" होना भूल गए।

वह "बल" जो पहाड़ को नहीं हिला सका (The "Force" That Didn't Move the Mountain)

AI के व्यवहार में बदलाव को ठीक से मापने के लिए, लेखकों ने एक नया मीट्रिक बनाया जिसे प्रोटोकॉल लेवरेज फोर्स (F) कहा जाता है। इसे ऐसे समझें जैसे कि एक भारी पत्थर को एक इंच भी लुढ़काने के लिए आपको उसे कितनी ज़ोर से धकेलना पड़ता है।

उन्होंने अपनी नई गाइडबुक के साथ AI को धकेलने की कोशिश की। क्या इसने दिशा बदली?

• परिणाम: पत्थर थोड़ा हिला, लेकिन बहुत कम। यह "बल" बहुत कम था, जो 1.18% और 1.34% के बीच था।
• निर्णय: गाइडबुक ने AI को सही दिशा में थोड़ा सा धकेला, लेकिन यह AI की केवल 'सहमति देने की आदत' को दूर नहीं कर सका। AI अभी भी "क्यों सोचते हैं कि ऐसा है?" पूछने के बजाय "मैं आपकी बात सुन रहा हूँ" कहना पसंद करता था।

"नकली" बनाम "असली" भावना

शोधकर्ताओं ने यह भी जाँच की कि समय के साथ बातचीत कैसी "महसूस" होती है। उन्होंने दो चीजों को ट्रैक किया:

1. वेलेंस (Valence): शब्द कितने सुखद या दुखद थे।
2. एरोसल (Arousal): शब्द कितने शांत या उत्तेजित थे।

वास्तविक थेरेपी सत्रों ( "RealCBT" डेटा) में, बातचीत उच्च और तनावपूर्ण स्तर से शुरू होती है, फिर धीरे-धीरे शांत और सुखद होती जाती है, जैसे एक रोलरकोस्टर जो अंततः स्थिर हो जाता है। लेकिन AI सिमुलेशन में, "शांत होने" वाला हिस्सा नहीं हुआ। AI की बातचीत थोड़ी अधिक उतार-चढ़ाव वाली रही और इसमें वह गहरा, धीमा सुकून नहीं दिखा जो वास्तविक थेरेपी प्रदान करती है।

मानवीय कारक (The Human Factor)

जब मानव विशेषज्ञों (मनोवैज्ञानिकों और शोधकर्ताओं) ने रिकॉर्डिंग सुनी, तो उन्होंने पाया कि कुछ आश्चर्यजनक है: वे इस बात पर सहमत नहीं हो सके कि कौन सा AI सबसे अच्छा था।

• "वैधीकरण" प्रतिक्रियाओं के लिए, विशेषज्ञ इस बात पर सहमत थे कि AI इसे कर रहा था, लेकिन वे इस पर असहमत थे कि यह अच्छा था या केवल आलसी।
• "प्रश्न पूछने" वाली प्रतिक्रियाओं के लिए, विशेषज्ञ जो देख रहे थे उस पर अधिक सहमत थे, लेकिन AI ने उन्हें पर्याप्त रूप से नहीं किया।

विशेषज्ञों का सहमति स्कोर (एक सांख्यिकीय माप जिसे फ्लेस कापा कहा जाता है) बहुत कम था, जो 0 के करीब था। इसका मतलब है कि मनुष्यों के लिए भी, यह बताना कठिन है कि एक थेरेपी प्रतिक्रिया "सही" है या नहीं, जब AI इतना सुचारू और सहानुभूतिपूर्ण सुनाई देता है।

शोध पत्र क्या कहता है (और क्या नहीं कहता)

शोध पत्र इस बारे में बहुत स्पष्ट है कि वह क्या नहीं करता है:

• यह नहीं कहता कि ये AI वास्तविक थेरेपिस्ट की जगह लेने के लिए तैयार हैं। वास्तव में, यह स्पष्ट रूप से चेतावनी देता है कि वे नहीं हैं।
• यह यह दावा नहीं करता कि AI ने मानसिक स्वास्थ्य सहायता की समस्या को हल कर लिया है।
• इसमें वास्तविक मरीज शामिल नहीं हैं। सभी कहानियाँ सार्वजनिक रोल-प्ले वीडियो के आधार पर अन्य AI मॉडलों का उपयोग करके सिम्युलेटेड थीं।

मुख्य निष्कर्ष एक वास्तविकता की जाँच है: थेरेपी के नियमों को जानना, उसका अभ्यास करने के समान नहीं है। सिर्फ इसलिए कि एक AI, CBT थ्योरी पर टेस्ट पास कर सकता है, इसका मतलब यह नहीं है कि वह वास्तव में किसी व्यक्ति को बेहतर महसूस कराने में मदद कर सकता है। शोधकर्ताओं ने एक नया उपकरण ("प्रोटोकॉल लेवरेज फोर्स") बनाया ताकि यह सटीक रूप से मापा जा सके कि ये रोबोट कहाँ चूक जाते हैं, जो यह दर्शाता है कि हालांकि वे करीब आ रहे हैं, लेकिन वे अभी भी "अच्छे लेकिन अनुपयोगी" क्षेत्र में फंसे हुए हैं।

जैसा कि लेखकों ने कहा, हमें ऐसे सिस्टम की आवश्यकता है जो "भावनाओं के बारे में तर्क" कर सकें, न कि केवल "प्रतिक्रिया" दे सकें। तब तक, AI एक बहुत ही विनम्र, बहुत जानकार, लेकिन थोड़े लूप में फंसा हुआ दोस्त है।