LLAMADRS: Evaluating Open-Source LLMs on Real Clinical Interviews--To Reason or Not to Reason?
यह शोध पत्र LlaMADRS को पेश करता है, जो वास्तविक मनोरोग साक्षात्कारों पर ओपन-सोर्स LLMs का मूल्यांकन करने के लिए एक बेंचमार्क है, जो यह प्रदर्शित करता है कि संरचित "आइटम-देन-सम" (Item-then-Sum) रणनीतियाँ और सुव्यवस्थित प्रॉम्प्ट अक्सर नैदानिक मूल्यांकन कार्यों में प्रत्यक्ष स्कोरिंग या रीजनिंग-ऑगमेंटेड मॉडलों से बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप रोबोटों के एक समूह को, जो बहुत बुद्धिमान लेकिन बहुत अलग-अलग हैं, एक मनोचिकित्सक (psychiatrist) की तरह व्यवहार करना सिखाने की कोशिश कर रहे हैं। विशेष रूप से, आप चाहते हैं कि वे एक मरीज और एक डॉक्टर के बीच की बातचीत को सुनें और फिर एक विशिष्ट चेकलिस्ट भरें जिसे MADRS कहा जाता है (यह अवसाद/डिप्रेशन को मापने के लिए उपयोग किया जाने वाला एक 10-आइटम वाला स्केल है)।
यह शोध पत्र, जिसका शीर्षक LLAMADRS है, इस काम को करने में 25 विभिन्न ओपन-सोर्स एआई (AI) मॉडलों के प्रदर्शन का रिपोर्ट कार्ड है। शोधकर्ताओं ने एक बड़ा सवाल पूछना चाहा: क्या इन रोबोटों को अच्छा काम करने के लिए "ज़ोर से सोचने" (तर्क करने) की आवश्यकता है, या केवल उन्हें एक स्पष्ट चेकलिस्ट देना ही काफी है?
यहाँ रोजमर्रा के उदाहरणों का उपयोग करते हुए इसका विवरण दिया गया है:
1. सेटअप: "रोबोट मनोचिकित्सक" की परीक्षा
शोधकर्ताओं ने वास्तविक थेरेपी सत्रों (541 सत्र!) की वास्तविक रिकॉर्डिंग का उपयोग किया। उन्होंने एआई मॉडलों से इन बातचीत को सुनने और रोगी को 10 अलग-अलग लक्षणों (जैसे "उदासी," "नींद की कमी," या "आत्महत्या के विचार") पर स्कोर करने के लिए कहा।
- लक्ष्य: स्कोर को उस संख्या के जितना संभव हो सके करीब लाना जो एक मानव डॉक्टर देता।
- प्रतिद्वंद्वी: 25 अलग-अलग एआई मॉडल, जो बहुत छोटे (0.6 बिलियन पैरामीटर्स) से लेकर बहुत विशाल (400 बिलियन पैरामीटर्स) तक हैं। कुछ "स्टैंडर्ड" (Standard) मॉडल हैं (जो सीधे उत्तर देते हैं), और कुछ "रीजनिंग" (Reasoning) मॉडल हैं (जिन्हें अपना काम दिखाने के लिए कहा जाता है, जैसे कि गणित के चरणों को लिखते हुए छात्र)।
2. बड़ी खोज: "लेगो बनाम पूरा घर" की रणनीति
शोधकर्ताओं ने अंतिम स्कोर प्राप्त करने के दो तरीकों का परीक्षण किया:
- रणनीति A (प्रत्यक्ष कुल स्कोर - Direct Total Score): एआई से पूछें, "पूरी बातचीत सुनें और मुझे एक अंतिम संख्या दें।"
- उदाहरण: यह एक छात्र से पूछने जैसा है कि वह एक बिखरे हुए कमरे को देखे और बिना एक-एक करके गिने तुरंत खिलौनों की कुल संख्या का अनुमान लगा ले। यह कठिन है, और वे अक्सर गलत होते हैं।
- रणनीति B (आइटम-फिर-योग - Item-then-Sum): एआई से कहें कि वह 10 अलग-अलग लक्षणों में से प्रत्येक को व्यक्तिगत रूप से स्कोर करे, और फिर अंत में उन सबको जोड़ दे।
- उदाहरण: यह छात्र को बताने जैसा है: "पहले लाल ब्लॉक गिनो, फिर नीले ब्लॉक, फिर हरे ब्लॉक। अब, उन तीनों संख्याओं को जोड़ दो।"
परिणाम: रणनीति B (आइटम-फिर-योग) एक बड़ी विजेता रही। इसने लगभग हर मॉडल के लिए त्रुटियों (errors) को 30% से 80% तक कम कर दिया। यहाँ तक कि "रीजनिंग" मॉडल भी, जो उत्तर देते समय अपने दिमाग में गणित करने की कोशिश कर रहे थे, उस सरल विधि को नहीं हरा सके जिसमें प्रत्येक आइटम को अलग से स्कोर किया जाता है और बाद में जोड़ा जाता है।
सबक: एआई को एक ही बार में एक बहुत बड़ा कदम उठाने के लिए न कहें। काम को छोटे, प्रबंधनीय चरणों में तोड़ दें।
3. "ज़ोर से सोचने" (Thinking Out Loud) की बहस
शोध पत्र ने देखा कि क्या "रीजनिंग" मॉडल (जो ज़ोर से सोचते हैं) "स्टैंडर्ड" मॉडलों की तुलना में बेहतर थे।
- निष्कर्ष: यह पूरी तरह से इस बात पर निर्भर करता है कि आप प्रश्न कैसे पूछते हैं (प्रॉम्प्ट)।
- परिदृश्य 1: अस्पष्ट परीक्षण। यदि आप केवल कहते हैं, "यहाँ एक बातचीत है, मुझे बताएं कि यह व्यक्ति कितना अवसादग्रस्त है," तो रीजनिंग मॉडल जीतते हैं। उन्हें यह समझने के लिए "ज़ोर से सोचने" की आवश्यकता होती है कि क्या करना है।
- परिदृश्य 2: विस्तृत परीक्षण। यदि आप एआई को एक स्पष्ट नियम पुस्तिका, लक्षणों की परिभाषाएं और स्कोर करने के उदाहरण देते हैं, तो स्टैंडर्ड मॉडल भी रीजनिंग मॉडलों के समान ही अच्छा प्रदर्शन करते हैं (या कभी-कभी उनसे भी बेहतर)।
उदाहरण: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है।
- यदि शिक्षक कहता है, "इस रहस्य को सुलझाओ," तो वह छात्र जो अपने जासूसी नोट्स लिखता है (Reasoning) बेहतर प्रदर्शन करता है।
- यदि शिक्षक कहता है, "यहाँ फॉर्मूला है, यहाँ एक उदाहरण है, अब इसे हल करें," तो वह छात्र जो केवल फॉर्मूला जानता है (Standard) उतना ही अच्छा करता है, लेकिन अधिक तेज़ी से और बिना ऊर्जा बर्बाद किए।
मुख्य सीख: "रीजनिंग" कोई जादू नहीं है। यह ज्यादातर तब एक सहारा (crutch) है जब निर्देश अस्पष्ट हों। यदि आप एआई को अच्छे निर्देश देते हैं, तो उसे बहुत अधिक सोचने की आवश्यकता नहीं होती।
4. आकार मायने रखता है (लेकिन सब कुछ नहीं)
- बड़ा बेहतर है: सामान्य तौर पर, मॉडल जितना बड़ा होता, उसका स्कोर उतना ही बेहतर होता। एक 70-बिलियन पैरामीटर वाला मॉडल, 1-बिलियन पैरामीटर वाले मॉडल की तुलना में बहुत अधिक विश्वसनीय था।
- "नन्हा" (Tiny) समस्या: सबसे छोटे मॉडल (8 बिलियन पैरामीटर से कम) काफी संघर्ष करते हैं। वे अक्सर एक वैध उत्तर देने में विफल रहते हैं या बहुत गलत स्कोर देते हैं। उनके पास वास्तविक थेरेपी सत्र को संभालने के लिए पर्याप्त "दिमागी शक्ति" नहीं है।
- "सोचने" का जाल: दिलचस्प बात यह है कि रीजनिंग मॉडलों के लिए, यदि वे बहुत अधिक टेक्स्ट (बहुत अधिक "सोचने" के चरण) उत्पन्न करते थे, तो वे वास्तव में काम में और खराब हो जाते थे। यह एक ऐसे छात्र की तरह है जो परीक्षा के दौरान इतना बोलता है कि उसके पास उत्तर लिखने के लिए समय ही नहीं बचता।
5. "अंधा मोड़" (The Blind Spot)
एआई मॉडल उन चीजों को स्कोर करने में बहुत अच्छे थे जैसे "कम भूख लगना" (क्या उन्होंने कम खाया?) क्योंकि बातचीत में इसे सुनना आसान है।
हालाँकि, वे "स्पष्ट उदासी" (क्या व्यक्ति दुखी दिख रहा है?) के साथ संघर्ष करते रहे।
- क्यों? एआई के पास केवल बातचीत का टेक्स्ट था। वह व्यक्ति के चेहरे, हाव-भाव या आँसू नहीं देख सकता था।
- रूपक: यह फोन कॉल पर किसी की आवाज़ सुनकर यह तय करने जैसा है कि क्या वह व्यक्ति रो रहा है। आप एक सिसकी सुन सकते हैं, लेकिन आप आँसुओं को नहीं देख सकते। शोध पत्र सुझाव देता है कि इन विशिष्ट लक्षणों के लिए, हमें ऐसे एआई की आवश्यकता है जो "देख" और "सुन" (मल्टीमॉडल) सके, न कि केवल टेक्स्ट पढ़ सके।
सारांश: हमें क्या करना चाहिए?
यदि आप डॉक्टरों को अवसाद का आकलन करने में मदद करने के लिए एआई का उपयोग करना चाहते हैं:
- जादुई नंबर के लिए न पूछें। एआई को प्रत्येक लक्षण को एक-एक करके स्कोर करने के लिए कहें, और फिर उन्हें जोड़ लें।
- स्पष्ट निर्देश दें। एआई को "खुद समझने" पर निर्भर न रहें। उसे परिभाषाएं और उदाहरण दें। यदि आपके निर्देश अच्छे हैं, तो आपको महंगे "रीजनिंग" मॉडलों की आवश्यकता नहीं है।
- बड़े मॉडलों का उपयोग करें। छोटे मॉडल अभी चिकित्सा कार्य के लिए पर्याप्त विश्वसनीय नहीं हैं।
- अंधे मोड़ को याद रखें। एआई चेहरे के भावों को नहीं देख सकता, इसलिए वह उदासी के कुछ संकेतों को मिस कर सकता है।
मुख्य बात: हमें इस काम को करने के लिए इंसानों की तरह "सोचने" वाले रोबोट की नहीं ज़रूरत है; हमें ऐसे रोबोट की ज़रूरत है जो स्पष्ट, चरण-दर-चरण निर्देशों का बहुत अच्छी तरह से पालन कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।