← नवीनतम पेपर
💬 NLP

A Systematic Evaluation of Large Language Models for PTSD Severity Estimation: The Role of Contextual Knowledge and Modeling Strategies

यह अध्ययन 1,437 व्यक्तियों के एक नैदानिक डेटासेट पर 11 लार्ज लैंग्वेज मॉडल्स का व्यवस्थित रूप से मूल्यांकन करता है, जो यह प्रदर्शित करता है कि विस्तृत प्रासंगिक ज्ञान प्रदान करना और विशिष्ट मॉडलिंग रणनीतियों—जैसे कि बढ़ी हुई तर्क क्षमता और एन्सेम्बल विधियों—का उपयोग करना, पीटीएसडी (PTSD) गंभीरता के आकलन में एलएलएम (LLM) आधारित सटीकता और नैदानिक उपयोगिता को महत्वपूर्ण रूप से बढ़ाता है, जो अक्सर मानव रेटर सहमति से भी बेहतर होता है।

मूल लेखक: Panagiotis Kaliosis, Adithya V Ganesan, Oscar N. E. Kjell, Whitney Ringwald, Scott Feltman, Melissa A. Carr, Dimitris Samaras, Camilo Ruggero, Benjamin J. Luft, Roman Kotov, Andrew H. Schwartz

प्रकाशित 2026-06-16
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Panagiotis Kaliosis, Adithya V Ganesan, Oscar N. E. Kjell, Whitney Ringwald, Scott Feltman, Melissa A. Carr, Dimitris Samaras, Camilo Ruggero, Benjamin J. Luft, Roman Kotov, Andrew H. Schwartz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन है जिसने पहले कभी किसी मरीज से मुलाकात नहीं की है। आप यह देखना चाहते हैं कि क्या यह लाइब्रेरियन किसी व्यक्ति की अपने आघात (trauma) के बारे में लिखी कहानी को पढ़कर और उन्हें बात करते हुए सुनकर, उनके पोस्ट-ट्रॉमेटिक स्ट्रेस डिसऑर्डर (PTSD) की गंभीरता का अंदाजा लगा सकता है।

यह शोध पत्र एक विशाल "टेस्ट टेस्ट" की तरह है यह देखने के लिए कि इस लाइब्रेरियन के विभिन्न संस्करण (लार्ज लैंग्वेज मॉडल्स, या LLMs) इस काम में कितने अच्छे हैं, और वे कौन से तरीके हैं जो उन्हें बेहतर या बदतर बनाते हैं।

यहाँ उनके निष्कर्षों का विवरण दिया गया, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. सेटअप: "कहानी" और "स्कोरकार्ड"

शोधकर्ताओं ने 1,437 वास्तविक जीवन की कहानियाँ एकत्र कीं, जो उन लोगों की थीं जिन्होंने आघात का अनुभव किया था (विशेष रूप से वर्ल्ड ट्रेड सेंटर के उत्तरजीवों/responders की)। इन लोगों ने अपनी कहानी अपने शब्दों में सुनाई थी। उन्होंने एक मानक "स्कोरकार्ड" (PCL-5) भी भरा था जहाँ उन्होंने 1 से 5 के पैमाने पर अपने लक्षणों को रेट किया था।

लक्ष्य यह देखना था कि क्या AI कहानी को पढ़कर ऐसा स्कोर दे सकता है जो व्यक्ति के अपने स्कोरकार्ड से मेल खाता हो।

2. बड़ी खोज: सब कुछ "चीट शीट" पर निर्भर है

सबसे महत्वपूर्ण निष्कर्ष यह है कि संदर्भ (context) ही सर्वोपरि है।

  • उपमा: कल्पना कीजिए कि आप एक छात्र को गणित का टेस्ट ग्रेड करने के लिए कहते हैं।
    • परिदृश्य A: आप बस उसे टेस्ट थमा देते हैं और कहते हैं, "इसे ग्रेड करो।" वह अनुमान लगा सकता है।
    • परिदृश्य B: आप उसे टेस्ट के साथ एक विस्तृत 'रुब्रिक' देते हैं जो समझाता है कि "गंभीर चिंता" (severe anxiety) वास्तव में क्या दिखती है, साथ ही यह भी कि ज्यादातर लोग आमतौर पर कैसे स्कोर करते हैं, और छात्र से विशिष्ट रूप से क्या प्रश्न पूछे गए थे।
  • परिणाम: जब AI को यह "चीट शीट" (लक्षणों की परिभाषाएं, साक्षात्कार के प्रश्न और स्कोर का वितरण) दी गई, तो यह बहुत बेहतर हो गया। वास्तव में, सही संदर्भ मिलने पर, AI मरीजों के स्वयं द्वारा रिपोर्ट किए गए स्कोर से मेल खाने में मानव विशेषज्ञों से भी अधिक सटीक था।

3. "मस्तिष्क शक्ति" बनाम "सोचने का समय"

शोधकर्ताओं ने AI को अधिक गहराई से सोचने के दो अलग-अलग तरीकों का परीक्षण किया:

  • "बातचीत का तरीका" (Chain-of-Thought): उन्होंने AI से पूछा कि उत्तर देने से पहले वह कहे, "पहले मैं X सोचता हूँ, फिर मैं Y सोचता हूँ..."
    • परिणाम: यह मिला-जुला रहा। कभी-कभी इससे मदद मिली, लेकिन अक्सर इसने AI को बहुत अधिक बोलने और भ्रमित होने पर मजबूर कर दिया। इसने भरोसेमंद तरीके से उत्तर को बेहतर नहीं बनाया।
  • "गहरा ध्यान" (Reasoning Effort): उन्होंने नए AI मॉडल्स का उपयोग किया जिनमें "रीजनिंग एफर्ट" (Reasoning Effort) का एक डायल होता है (कम, मध्यम, उच्च)। यह AI को यह बताने जैसा है कि, "अपना समय लें और बोलने से पहले वास्तव में गणना करें।"
    • परिणाम: यह बहुत अच्छा काम करता है। जब AI को "उच्च रीजनिंग एफर्ट" (High Reasoning Effort) का उपयोग करने के लिए कहा गया, तो इसने काफी कम गलतियाँ कीं। इसने केवल अधिक बातें नहीं कीं; इसने वास्तव में गंभीरता की गणना अधिक सटीकता से की।

4. बड़ा होना हमेशा बेहतर नहीं होता ( "आकार" की सीमा)

टीम ने छोटे मॉडल्स से लेकर सैकड़ों अरबों "न्यूरॉन्स" (पैरामीटर्स) वाले विशाल मॉडल्स तक, सभी आकार के AI मॉडल्स का परीक्षण किया।

  • उपमा: मॉडल के आकार को एक लाइब्रेरी के आकार की तरह समझें।
  • परिणाम: ओपन-सोर्स मॉडल्स (जैसे LLaMA) के लिए, एक बार जब लाइब्रेरी 70 बिलियन पैरामीटर्स तक पहुँच गई, तो इसे और बड़ा बनाने से ज्यादा फायदा नहीं हुआ। यह एक ऐसी लाइब्रेरी में और किताबें जोड़ने जैसा था जो पहले से ही भरी हुई थी; लाइब्रेरियन जवाब तेजी से नहीं ढूंढ पाता था।
  • अपवाद: बंद, प्रोप्रायटरी मॉडल्स (जैसे नवीनतम GPT वर्ज़न) नए होने के साथ बेहतर होते गए, भले ही वे बहुत विशाल हों। वे वर्तमान में इस विशिष्ट कार्य के "चैंपियन" हैं।

5. "सीधा उत्तर" बनाम "बिल्डिंग ब्लॉक्स"

शोधकर्ताओं ने AI से स्कोर मांगने के दो तरीके आजमाए:

  • विधि A: कहानी के चार अलग-अलग हिस्सों को अलग-अलग ग्रेड करना और फिर उन्हें जोड़ना (जैसे गणित के टेस्ट को जोड़, घटाव, गुणा और भाग को अलग-अलग चेक करके ग्रेड करना)।
  • विधि B: AI को सीधे अंतिम स्कोर देने के लिए कहना।
  • परिणाम: आश्चर्यजनक रूप से, विधि B (सीधा उत्तर) बेहतर काम करती है। समस्या को छोटे हिस्सों में तोड़ने से वास्तव में AI भ्रमित हो गया और अंतिम स्कोर कम सटीक हो गया। ऐसा लगता है कि AI पूरी कहानी को एक साथ "बड़ी तस्वीर" के रूप में देखने में बेहतर है।

6. "सुपर-टीम" (Ensembling)

सबसे अच्छा परिणाम एक "सुपर-टीम" से आया।

  • उपमा: कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, विद्वान AI (GPT-5) है और एक बहुत ही अनुभवी, विशेष गणित ट्यूटर (एक छोटा, सुपरवाइज्ड मॉडल जिसे विशेष रूप से इस डेटा पर प्रशिक्षित किया गया है) है।
  • परिणाम: जब आपने AI और ट्यूटर को स्कोर पर मिलकर वोट देने के लिए कहा, तो परिणाम सबसे सटीक रहा। AI भाषा की सामान्य समझ लाता है, जबकि ट्यूटर विशिष्ट नैदानिक (clinical) प्रशिक्षण लाता है। साथ मिलकर, वे अकेले काम करने वाले किसी भी एक के मुकाबले बेहतर प्रदर्शन करते हैं।

7. क्या AI सिर्फ "उदासी" का अनुमान लगा रहा है?

एक बड़ी चिंता यह है: "क्या AI सिर्फ यह कह रहा है कि 'यह व्यक्ति दुखी है' और इसे PTSD मान रहा है?"

  • परीक्षण: शोधकर्ताओं ने जांचा कि क्या AI के स्कोर केवल सामान्य नकारात्मक भावनाओं (जैसे हर चीज़ के प्रति चिड़चिड़ापन या चिंता) को पकड़ रहे थे या वे विशेष रूप से PTSD को पहचान रहे थे।
  • परिणाम: AI विशिष्ट था। वह सामान्य उदासी और PTSD के बीच अंतर कर सकता था। इसने भविष्य के वास्तविक परिणामों की भी भविष्यवाणी की: जिन लोगों को AI ने उच्च PTSD गंभीरता वाला बताया, वास्तव में अगले वर्ष मानसिक स्वास्थ्य देखभाल पर अधिक खर्च किया। यह साबित करता है कि AI केवल अनुमान नहीं लगा रहा था; वह वास्तविक, सार्थक संकेतों को पकड़ रहा था।

सारांश

यह शोध पत्र दिखाता है कि AI मानसिक स्वास्थ्य को समझने के लिए एक शक्तिशाली उपकरण हो सकता है, लेकिन यह जादू नहीं है। इसे काम करने के लिए:

  1. इसे सही निर्देश दें (परिभाषाएं और संदर्भ)।
  2. इसे गहराई से सोचने दें (उच्च रीजनिंग एफर्ट का उपयोग करें)।
  3. इसे हिस्सों में तोड़ने के बजाय सीधे अंतिम उत्तर के लिए कहें।
  4. सर्वोत्तम परिणामों के लिए इसे एक विशेष मानव-प्रशिक्षित मॉडल के साथ जोड़ें।

जब सही ढंग से किया जाता है, तो ये AI उपकरण किसी व्यक्ति के अपने शब्दों से आघात की गंभीरता को पढ़ने में मानव विशेषज्ञों की बराबरी या उनसे भी बेहतर प्रदर्शन कर सकते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →