💬 NLP

Towards Consistent Detection of Cognitive Distortions: LLM-Based Annotation and Dataset-Agnostic Evaluation

यह शोध पत्र संज्ञानात्मक विरूपण (cognitive distortion) का पता लगाने के व्यक्तिपरक कार्य के लिए सुसंगत एनोटेशन उत्पन्न करने हेतु कई स्वतंत्र LLM रन का उपयोग करने का प्रस्ताव देता है और कोहेन के कप्पा (Cohen's kappa) पर आधारित एक डेटासेट-अज्ञेय (dataset-agnostic) मूल्यांकन ढांचे को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि LLM-जनित डेटा मानव-लेबल वाले डेटा की तुलना में बेहतर मॉडल प्रदर्शन प्रदान करता है।

मूल लेखक: Neha Sharma, Navneet Agarwal, Kairit Sirts

प्रकाशित 2026-05-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Neha Sharma, Navneet Agarwal, Kairit Sirts

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को "संज्ञानात्मक विकृतियों" (cognitive distortions) को पहचानना सिखाने की कोशिश कर रहे हैं। ये मानसिक जाल या सोचने के टेढ़े-मेढ़े तरीकों की तरह हैं (जैसे, "मैं एक टेस्ट में फेल हो गया, इसलिए मैं पूरी तरह से असफल हूँ") जो अक्सर लोगों के लेखन में दिखाई देते हैं जब वे मानसिक स्वास्थ्य से जूझ रहे होते हैं।

समस्या यह है कि इन जालों को पहचानना अविश्वसनीय रूप से व्यक्तिपरक (subjective) है। यहाँ तक कि मानव विशेषज्ञ भी इस बात पर असहमत हो सकते हैं कि कोई विशिष्ट वाक्य किसी विकृति को दर्शाता है या नहीं। यह कुछ वैसा ही है जैसे पाँच लोगों से पूछना कि क्या एक बादल खरगोश जैसा दिखता है; कोई हाँ कहेगा, कोई नहीं, और इसका कोई "सही" उत्तर नहीं है। यह असहमति डेटा को "शोरयुक्त" (noisy) और अविश्वसनीय बना देती है।

यह शोध पत्र इस गड़बड़ को ठीक करने के लिए दो चतुर समाधान प्रस्तावित करता है।

1. "रोबोटों की भीड़" रणनीति (बेहतर एनोटेशन)

एक इंसान या एक AI से केवल एक अनुमान लगाने के लिए कहने के बजाय, शोधकर्ताओं ने एक लार्ज लैंग्वेज मॉडल (LLM)—विशेष रूप से GPT-4—से एक ही टेक्स्ट को लगातार पाँच बार देखने के लिए कहा।

उपमा: कल्पना कीजिए कि आप एक बिखरे हुए कमरे में छिपी हुई वस्तु को खोजने की कोशिश कर रहे हैं। यदि आप केवल एक बार देखते हैं, तो आप उसे मिस कर सकते हैं या कुछ और देख सकते हैं। लेकिन यदि आप कमरे को पाँच बार देखते हैं, और आप हर बार वस्तु को बिल्कुल उसी स्थान पर देखते हैं, तो आप बहुत आश्वस्त हो सकते हैं कि वह वास्तव में वहीं है।
विधि: उन्होंने AI को पाँच बार चलाया। यदि AI ने बार-बार एक ही लेबल (जैसे, "यह 'सब-या-कुछ-नहीं' वाली सोच है") चार या पाँच बार दिया, तो उन्होंने उस लेबल को "सत्य" के रूप में स्वीकार किया। यदि AI भ्रमित था और हर बार अलग-अलग उत्तर दे रहा था, तो उन्होंने उस टेक्स्ट को अस्पष्ट (ambiguous) के रूप में चिह्नित किया।
परिणाम: इस "सर्वसम्मति" (consensus) दृष्टिकोण ने मूल मानव-लेबल वाले डेटा की तुलना में बहुत अधिक स्वच्छ और सुसंगत डेटासेट बनाया। जब उन्होंने इस "रोबोट-सर्वसम्मति" डेटा पर एक नया कंप्यूटर मॉडल प्रशिक्षित किया, तो वह मूल शोरयुक्त मानव डेटा पर प्रशिक्षित मॉडलों की तुलना में काफी बेहतर प्रदर्शन करने लगा।

2. "निष्पक्ष दौड़" मीट्रिक (बेहतर मूल्यांकन)

आमतौर पर, यह देखने के लिए कि कौन सा कंप्यूटर मॉडल बेहतर है, शोधकर्ता उनके स्कोर (जैसे, F1 स्कोर) की तुलना एक टेस्ट पर करते हैं। लेकिन यह तब अनुचित है जब टेस्ट के प्रश्न अलग-अलग हों। यह एक धावक के समतल ट्रैक पर समय और दूसरे के कीचड़ भरे, चढ़ाई वाले रास्ते पर समय की तुलना करने जैसा है। आप केवल नंबरों को नहीं देख सकते; स्थितियाँ मायने रखती हैं।

उपमा: कल्पना कीजिए कि दो छात्र अलग-अलग गणित के टेस्ट देते हैं। एक टेस्ट आसान है, दूसरा कठिन। यदि छात्र A ने कठिन टेस्ट पर 80% प्राप्त किया और छात्र B ने आसान टेस्ट पर 90% प्राप्त किया, तो वास्तव में कौन बेहतर है? आपको यह जानने की आवश्यकता है कि उन्होंने केवल रैंडम अनुमान लगाने की तुलना में कितना बेहतर प्रदर्शन किया।
विधि: लेखकों ने डेटासेट-एग्नोस्टिक इवैल्यूएशन (Dataset-Agnostic Evaluation) नामक एक नया तरीका पेश किया। केवल कच्चे स्कोर को देखने के बजाय, उन्होंने गणना की कि मॉडल ने एक "रैंडम गेसर" (जो बस रैंडम उत्तर चुन रहा है) की तुलना में कितना बेहतर प्रदर्शन किया। उन्होंने इसे सामान्य बनाने के लिए कोहेन का कप्पा (Cohen's Kappa) नामक एक सांख्यिकीय उपकरण का उपयोग किया।
परिणाम: इसने उन्हें विभिन्न डेटासेट पर प्रशिक्षित मॉडलों की निष्पक्ष तुलना करने की अनुमति दी। इस बात को ध्यान में रखते हुए भी कि डेटा कितना कठिन था, "रोबोट-सर्वसम्मति" लेबल पर प्रशिक्षित मॉडल दिखाते रहे कि वे मानव लेबल की तुलना में बहुत अधिक प्रभावी ढंग से सीख रहे हैं।

मानव जाँच (वास्तविकता की जाँच)

शोधकर्ताओं ने परिणामों की समीक्षा करने के लिए तीन मनोविज्ञान विशेषज्ञों से पूछा। उन्होंने विशेषज्ञों को वाक्यों के जोड़े दिखाए: एक मूल मनुष्यों द्वारा लेबल किया गया और एक "रोबोट सर्वसम्मति" द्वारा लेबल किया गया।

परिणाम: विशेषज्ञ भ्रमित थे। वे इस बात पर सहमत नहीं हो सके कि कौन सा लेबल बेहतर था। वास्तव में, विशेषज्ञ आपस में भी लगभग उतना ही असहमत थे जितना कि मूल डेटा ने संकेत दिया था।
सीख: इसने यह साबित नहीं किया कि रोबोट "सही" थे और इंसान "गलत"। इसके बजाय, इसने इस बात पर प्रकाश डाला कि डेटा स्वयं ही पेचीदा है। कई टेक्स्ट स्निपेट्स स्पष्ट रूप से विकृत विचार को व्यक्त नहीं कर रहे थे, वे केवल एक घटना या भावना का वर्णन कर रहे थे। बिना किसी थेरेपिस्ट के फॉलो-अप प्रश्नों के, यह जानना अक्सर असंभव होता है कि व्यक्ति वास्तव में क्या सोच रहा था। "शोर" केवल लेबलिंग में नहीं था; यह स्रोत सामग्री में ही था।

सारांश

यह शोध पत्र तर्क देता है कि मानसिक स्वास्थ्य पैटर्न का पता लगाने जैसे व्यक्तिपरक कार्यों के लिए:

निरंतरता महत्वपूर्ण है: एक AI को एक ही चीज़ को कई बार लेबल करने के लिए कहना और केवल उन उत्तरों पर भरोसा करना जिन्हें वह दोहराता है, एक एकल मानव या एकल AI अनुमान की तुलना में अधिक विश्वसनीय डेटासेट बनाता है।
निष्पक्ष तुलना मायने रखती है: जब मॉडल को अलग-अलग प्रकार के डेटा पर प्रशिक्षित किया जाता है, तो उनकी निष्पक्ष तुलना करने के लिए एक विशेष मीट्रिक (जैसे "रैंडम गेस" बेसलाइन) की आवश्यकता होती है।
डेटा ही मुख्य बाधा है: बेहतर लेबलिंग विधियों के साथ भी, यदि मूल टेक्स्ट विचार प्रक्रिया को स्पष्ट रूप से व्यक्त नहीं करता है, तो विकृति का सटीक पता लगाना कठिन होता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि LLMs शोरयुक्त डेटा को साफ करने के लिए निरंतर और विश्वसनीय "एनोटेटर्स" के रूप में कार्य कर सकते हैं, लेकिन अंतिम चुनौती उस टेक्स्ट की गुणवत्ता और स्पष्टता बनी हुई है जिसका हम विश्लेषण करने का प्रयास कर रहे हैं।

तकनीकी सारांश: संज्ञानात्मक विकृतियों (Cognitive Distortions) के सुसंगत पता लगाने की दिशा में

समस्या विवरण
संज्ञानात्मक विकृतियों (CDs)—जो अवसाद और चिंता जैसी मानसिक स्वास्थ्य स्थितियों से जुड़े पक्षपाती सोचने के पैटर्न हैं—का स्वचालित पता लगाना एक मौलिक चुनौती का सामना करता है: व्यक्तिपरकता। मौजूदा डेटासेट अक्सर मानव विशेषज्ञों के बीच निम्न अंतर-एनोटेटर सहमति (inter-annotator agreement - IAA) से ग्रस्त होते हैं, जिससे शोर युक्त और अविश्वसनीय "गोल्ड स्टैंडर्ड" लेबल उत्पन्न होते हैं। ऐसे असंगत डेटा पर प्रशिक्षित मॉडल सामान्यीकरण करने में संघर्ष करते हैं, जिससे अक्सर निम्न प्रदर्शन मेट्रिक्स (जैसे, 0.2–0.4 के बीच वेटेड F1-स्कोर) प्राप्त होते हैं। इसके अलावा, विभिन्न विशेषताओं (आकार, लेबल वितरण, या एनोटेशन गुणवत्ता) वाले डेटासेट पर प्रशिक्षित मॉडलों की तुलना पारंपरिक मेट्रिक्स जैसे F1-स्कोर का उपयोग करके करना समस्यात्मक है, क्योंकि विषम बेंचमार्क में पूर्ण प्रदर्शन मान सीधे तुलनीय नहीं होते हैं।

कार्यप्रणाली
लेखक एक दो-आयामी दृष्टिकोण प्रस्तावित करते हैं: सुसंगत लेबल उत्पन्न करने के लिए एक LLM-आधारित एनोटेशन फ्रेमवर्क और मॉडल प्रदर्शन की निष्पक्ष तुलना करने के लिए एक डेटासेट-अज्ञेय (dataset-agnostic) मूल्यांकन मीट्रिक।

LLM-आधारित एनोटेशन फ्रेमवर्क:
- परिकल्पना: एक एकल LLM भविष्यवाणी पर निर्भर रहने के बजाय, लेखक यह परिकल्पना करते हैं कि एक ही टेक्स्ट पर एक LLM के कई स्वतंत्र रन एक स्थिर लेबलिंग पैटर्न को प्रकट करेंगे। एक ही लेबल का कई रन में सुसंगत पुनरावृत्ति एक आंतरिक विश्वसनीयता के संकेत के रूप में कार्य करती है, जो मानव सहमति की अनुपस्थिति में 'ग्राउंड ट्रुथ' के प्रॉक्सी के रूप में काम करती है।
- प्रक्रिया: अध्ययन सार्वजनिक रूप से उपलब्ध "Therapist Q&A" डेटासेट (2,530 उपयोगकर्ता-प्रतिक्रिया युग्मों) का उपयोग करता है। लेखक API के माध्यम से GPT-4 और GPT-4o मॉडलों का उपयोग करते हैं, जिसमें रैंडमनेस (randomness) को नियंत्रित करने के लिए दो तापमान (temperature) सेटिंग्स (0.5 और 0.7) का उपयोग किया गया है।
- प्रॉम्प्टिंग (Prompting): दो प्रकार के प्रॉम्प्ट का उपयोग किया जाता है: एक मल्टी-लेबल प्रॉम्प्ट (MLP) जो अनियंत्रित CD असाइनमेंट की अनुमति देता है, और एक रैंक-लेबल प्रॉम्प्ट (RLP) जो मॉडल को सबसे प्रमुख CD (प्लस एक वैकल्पिक माध्यमिक CD) चुनने के लिए बाध्य करता है।
- सुसंगतता फ़िल्टरिंग (Consistency Filtering): प्रत्येक इनपुट को प्रत्येक कॉन्फ़िगरेशन के लिए पांच स्वतंत्र रन के माध्यम से संसाधित किया जाता है। जो लेबल 5 में से कम से कम 4 रन में दिखाई देते हैं, उन्हें अंतिम एनोटेशन के रूप में चुना जाता है। जो डेटा बिंदु इस थ्रेशोल्ड (threshold) में विफल रहते हैं, उन्हें अस्पष्ट माना जाता है और मजबूती सुनिश्चित करने के लिए बाहर कर दिया जाता है।
डेटासेट-अज्ञेय मूल्यांकन:
- चुनौती: मानक मेट्रिक्स (जैसे, F1-स्कोर) लेबल वितरण या आकार के आधार पर अलग-अलग डेटासेट पर प्रशिक्षित मॉडलों की निष्पक्ष तुलना नहीं कर सकते।
- समाधान: लेखक कोहेन के कप्पा ( $\kappa_{F1}$ ) पर आधारित एक सामान्यीकृत प्रभाव आकार (effect size) मीट्रिक पेश करते हैं।
- गणना:
  - एक रैंडम बेसलाइन ( $F1_{random}$ ) डेटासेट के क्लास वितरण के आधार पर सैद्धांतिक रूप से गणना की जाती है, जो उस अपेक्षित प्रदर्शन का प्रतिनिधित्व करती है जो बिना कुछ सीखे केवल क्लास इम्बैलेंस को प्रतिबिंबित करने वाले मॉडल का होता है।
  - मॉडल प्रदर्शन ( $F1_{calculated}$ ) प्रशिक्षित मॉडल का वेटेड F1-स्कोर है।
  - मीट्रिक की गणना इस प्रकार की जाती है: $\kappa_{F1} = \frac{F1_{calculated} - F1_{random}}{1 - F1_{random}}$ ।
  - यह संयोग (chance) के सापेक्ष प्रदर्शन को सामान्य बनाता है, जिससे विभिन्न डेटासेट्स और अध्ययनों के बीच निष्पक्ष क्रॉस-तुलना संभव होती है।

प्रमुख योगदान

पुनरावृत्ति के माध्यम से विश्वसनीय एनोटेशन: यह पेपर प्रदर्शित करता है कि कई स्वतंत्र LLM रन आंतरिक रूप से सुसंगत एनोटेशन (GPT-4 के लिए 0.5 तापमान पर Fleiss' Kappa = 0.78) उत्पन्न कर सकते हैं, जो लक्षित डेटासेट पर मानव एनोटेशन की निरंतरता से बेहतर है।
बेहतर डाउनस्ट्रीम प्रदर्शन: इन LLM-जनित, निरंतरता-फिल्टर किए गए लेबल पर प्रशिक्षित मॉडल लगातार मूल मानव-लेबल वाले "गोल्डन" डेटा की तुलना में उच्च प्रदर्शन (दोनों कच्चे F1 और सामान्यीकृत $\kappa_{F1}$ में) प्राप्त करते हैं।
मूल्यांकन ढांचा: $\kappa_{F1}$ मीट्रिक का परिचय मॉडलों को अलग-अलग विशेषताओं वाले डेटासेट्स के बीच तुलना करने के लिए एक सिद्धांतपूर्ण विधि प्रदान करता है, जो उन NLP मूल्यांकन अंतराल को संबोधित करता है जहाँ बेंचमार्क अस्थिर या गैर-मानकीकृत होते हैं।

परिणाम

एनोटेशन निरंतरता: GPT-4 (तापमान 0.5 के साथ) ने उच्चतम अंतर-रन सहमति (Fleiss' Kappa = 0.78) प्राप्त की, जो GPT-4o या उच्च तापमान सेटिंग्स की तुलना में काफी अधिक है। इष्टतम स्थितियों में 90% से अधिक डेटा बिंदुओं में पांच में से कम से कम एक लेबल दोहराया गया।
डाउनस्ट्रीम टास्क प्रदर्शन: MentalRoBERTa का उपयोग करके बाइनरी, मल्टी-क्लास और मल्टी-लेबल वर्गीकरण कार्यों में, LLM-जनित लेबल (RLP और MLP दोनों) पर प्रशिक्षित मॉडल, मानव-लेबल वाले मूल डेटासेट पर प्रशिक्षित मॉडलों की तुलना में लगातार बेहतर प्रदर्शन करते हैं। उदाहरण के लिए, GPT-4-0.7 के साथ मल्टी-लेबल कार्य में, LLM-प्रशिक्षित मॉडल ने रैंडम बेसलाइन की तुलना में 33.1% का सुधार दिखाया, जबकि मानव-लेबल वाले मॉडल के लिए यह केवल 16.1% था।
मानव सत्यापन: तीन मनोविज्ञान विशेषज्ञों द्वारा असहमति वाले नमूनों के एक उपसमूह पर किए गए सत्यापन अध्ययन के परिणाम अनिर्णायक रहे। विशेषज्ञों ने मानव लेबल की तुलना में LLM लेबल के प्रति कोई मजबूत प्राथमिकता नहीं दिखाई, और अंतर-विशेषज्ञ सहमति भी कम थी (Fleiss' Kappa = 0.20)। यह कार्य की अंतर्निहित अस्पष्टता और स्वयं डेटासेट की ओर संकेत करता है, न कि LLM पद्धति की विफलता की ओर।

महत्व और दावे
यह पेपर दावा करता है कि उन व्यक्तिपरक NLP कार्यों के लिए जहाँ ग्राउंड ट्रुथ अप्राप्य है और मानव सहमति कम है, विश्वसनीयता (आंतरिक निरंतरता) वैधता के लिए एक आवश्यक पूर्व शर्त है। एनोटेशन को एकल-शॉट भविष्यवाणी के बजाय बार-बार पूछे जाने वाली प्रक्रिया के रूप में मानकर, LLM आंतरिक रूप से सुसंगत, कम-शोर वाले प्रशिक्षण डेटा उत्पन्न कर सकते हैं जो डाउनस्ट्रीम मॉडल के सामान्यीकरण (generalization) में सुधार करते हैं।

इसके अलावा, लेखक तर्क देते हैं कि प्रस्तावित $\kappa_{F1}$ मीट्रिक व्यापक NLP समुदाय को विषम डेटासेट्स के बीच मॉडलों की तुलना करने के लिए एक स्केलेबल समाधान प्रदान करता है। अध्ययन निष्कर्ष निकालता है कि हालांकि उपयोग किए गए विशिष्ट डेटासेट की कुछ सीमाएँ हैं (जैसे, उपयोगकर्ता इनपुट अक्सर घटनाओं का वर्णन करते हैं न कि स्पष्ट विकृत विचारों का), LLM निरंतरता और प्रभाव-आकार-आधारित मूल्यांकन का लाभ उठाने की कार्यप्रणाली मानसिक स्वास्थ्य NLP और अन्य व्यक्तिपरक डोमेन में अनुसंधान को आगे बढ़ाने के लिए एक मजबूत आधार प्रदान करती है।

1. "रोबोटों की भीड़" रणनीति (बेहतर एनोटेशन)

2. "निष्पक्ष दौड़" मीट्रिक (बेहतर मूल्यांकन)

मानव जाँच (वास्तविकता की जाँच)

सारांश

इसी तरह के और पेपर