Challenges in annotations by humans and LLMs: A case study of evaluative language

तकनीकी सारांश: मानव और LLM द्वारा एनोटेशन में चुनौतियाँ: मूल्यांकनकारी भाषा का एक केस स्टडी

समस्या विवरण
यह शोध पत्र डिजिटल ह्यूमैनिटीज और कम्प्यूटेशनल सोशल साइंसेज में एनोटेशन कार्यों की बढ़ती जटिलता को संबोधित करता है, जो विशेष रूप से मूल्यांकनकारी भाषा (evaluative language) की पहचान और वर्गीकरण पर केंद्रित है। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) ने अनसुपरवाइज्ड NLP कार्यों में क्षमता दिखाई है, अत्यधिक व्यक्तिपरक और जटिल सैद्धांतिक ढांचों में मानव प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करने की उनकी क्षमता अभी तक अपुष्ट है। यह अध्ययन अप्रेजल थ्योरी (मार्टिन और व्हाइट, 2005) पर केंद्रित है, जो मूल्यांकनकारी भाषा के लिए एक कार्यात्मक मॉडल है, विशेष रूप से इसका एटीट्यूड सबसिस्टम (Affect, Judgement, Appreciation)। लेखक इन श्रेणियों के मैनुअल एनोटेशन में लगने वाले समय, कम इंटर-एनोटेटर एग्रीमेंट (IAA) की प्रवृत्ति, और संदर्भ-निर्भरता, अंतर्निहित अर्थों तथा सूक्ष्म श्रेणियों के बीच अंतर करने की कठिनाई को रेखांकित करते हैं। मुख्य शोध समस्या यह निर्धारित करना है कि क्या LLMs को भी इन जटिल कार्यों में मानव एनोटेटरों की तरह ही चुनौतियों का सामना करना पड़ता है और क्या वे ऐसी एनोटेशन कठिनाइयों को हल करने के लिए प्रभावी उपकरण के रूपв रूप में कार्य कर सकते हैं।

कार्यप्रणाली (Methodology)
यह अध्ययन ग्यारह डोमेन (जैसे विज्ञान, राजनीति, चिकित्सा) में 190 अंग्रेजी TED टॉक ट्रांसक्रिप्ट्स (EmotionalizTED कॉर्पस) के उपयोग के साथ एक मिश्रित-पद्धति केस स्टडी नियोजित करता है। कार्यप्रणाली को तीन चरणों में विभाजित किया गया है:

1. मानव एनोटेशन (Human Annotation):

   • एनोटेटर्स: प्रशिक्षण ले रहे 24 भाषाविज्ञान छात्र (गैर-देशी अंग्रेजी बोलने वाले, मुख्य रूप से जर्मन) और एक वरिष्ठ शोधकर्ता (गोल्ड स्टैंडर्ड के रूप में)।
   • कार्य: मूल्यांकनकारी सामग्री का वाक्य-स्तरीय वर्गीकरण। एनोटेटर्स ने पहले यह निर्धारित किया कि क्या एक वाक्य मूल्यांकनकारी है (बाइनरी) और फिर उसे एटीट्यूड श्रेणियों: Affect, Judgement, Appreciation, Ambiguous, या Uncertain में वर्गीकृत किया। मल्टी-लेबलिंग की अनुमति थी।
   • मूल्यांकन: इंटर-एनोटेटर एग्रीमेंट (IAA) को बाइनरी इवैलुएटिवनेस के लिए कोहेन के कप्पा (Cohen's Kappa) और मल्टी-क्लास सबक्लासिफिकेशन के लिए क्रिपेंडॉर्फ के अल्फा (Krippendorff's alpha) का उपयोग करके मापा गया। असहमति के स्रोतों की पहचान करने के लिए एक गुणात्मक त्रुटि विश्लेषण किया गया।

2. स्वचालित एनोटेशन (Automatic Annotation - LLM):

   • प्रॉम्ट इंजीनियरिंग: तीन अलग-अलग प्रॉम्ट वेरिएशंस को qwen3-30b-a3b-instruct-25075 मॉडल का उपयोग करके डिजाइन और तुलना किया गया। इनमें संदर्भ, व्यक्तित्व, बाधाओं और चेन-ऑफ-थॉट (CoT) रीजनिंग के समावेश के साथ फ्यू-शॉट और जीरो-शॉट दृष्टिकोण शामिल थे।
   • मॉडल चयन और ट्यूनिंग: सबसे अच्छा प्रदर्शन करने वाला प्रॉम्ट तीन अलग-अलग LLMs पर लागू किया गया। सर्वोत्तम प्रदर्शन करने वाले मॉडल को प्रदर्शन को अनुकूलित करने के लिए QLoRA का उपयोग करके फाइन-ट्यून किया गया।
   • प्रक्रिया: LLMs ने दो-चरणीय प्रक्रिया का पालन किया: (1) इवैलुएटिवनेस का बाइनरी वर्गीकरण, और (2) मूल्यांकनकारी वाक्यों के लिए एटीट्यूड श्रेणियों का मल्टीक्लास वर्गीकरण।

3. तुलनात्मक विश्लेषण (Comparative Analysis):

   • फाइन-ट्यून किए गए LLM के प्रदर्शन की तुलना गोल्ड स्टैंडर्ड (वरिष्ठ शोधकर्ता) और छात्र एनोटेटर्स के विरुद्ध की गई।
   • अध्ययन ने विशेष रूप से जांच की कि क्या LLMs को उन्हीं विशिष्ट भाषाई घटनाओं (जैसे अंतर्निहित अर्थ, लक्ष्य की पहचान) के साथ संघर्ष करना पड़ता है जिन्होंने मनुष्यों के बीच कम सहमति का कारण बना।

मुख्य परिणाम

• मानव प्रदर्शन: प्रशिक्षित भाषाविदों के बीच इंटर-एनोटेटर एग्रीमेंट परिवर्तनशील और अक्सर कम था। बाइनरी "इवैलुएटिव बनाम नॉन-इवैलुएटिव" निर्णय पर सहमति एंटरटेनमेंट और पॉलिटिक्स जैसे कुछ डोमेन में मध्यम (Kappa $\ge$ 0.51) रही, लेकिन हिस्ट्री और साइकोलॉजी में काफी गिर गई। विशिष्ट एटीट्यूड सबक्लासेस (Affect, Judgement, Appreciation) पर सहमति और भी कम थी, जहाँ क्रिपेंडॉर्फ का अल्फा अक्सर 0.50 से नीचे और कभी-कभी नकारात्मक मानों में रहा।
• मानवीय त्रुटियों के स्रोत: गुणात्मक विश्लेषण से पता चला कि मानवीय असहमति निम्नलिखित कारणों से उत्पन्न हुई:
  • स्पष्ट और अंतर्निहित अर्थों के बीच अंतर करने में कठिनाई।
  • "मूल्यांकन के लक्ष्य" (जैसे, क्या भावना वक्ता की है या उल्लेखित तीसरे पक्ष की है) को लेकर भ्रम।
  • नेस्टेड मूल्यांकनकारी अर्थों वाले लंबे, जटिल वाक्यों के साथ चुनौतियां।
  • अंग्रेजी दक्षता और डोमेन-विशिष्ट ज्ञान में भिन्नता।
• LLM प्रदर्शन: फाइन-ट्यून किए गए LLM ने गोल्ड स्टैंडर्ड के विरुद्ध 0.77 का F1-स्कोर प्राप्त किया।
  • तुलना: LLM ने छात्र एनोटेटर्स को पीछे छोड़ दिया और, विशेष रूप से, छात्रों की तुलना में वरिष्ठ शोधकर्ता (गोल्ड स्टैंडर्ड) के साथ उच्च सहमति प्राप्त की।
  • चुनौती संरेखण: अध्ययन ने पाया कि LLMs आवश्यक रूप से मनुष्यों की तरह ही समान विशिष्ट मुद्दों के साथ संघर्ष नहीं करते हैं; बल्कि, उन्होंने अनुभवी लेकिन प्रशिक्षु मानव समूह की तुलना में जटिल वर्गीकरण कार्यों को अधिक निरंतरता के साथ हल करने की क्षमता प्रदर्शित की।

मुख्य योगदान

1. एनोटेशन स्कीम: यह पेपर स्पोकन पॉपुलर साइंस डिस्कोर्स में वाक्य-स्तरीय विश्लेषण के लिए अनुकूलित अप्रेजल थ्योरी की एटीट्यूड श्रेणियों के लिए एक विशिष्ट एनोटेशन स्कीम प्रस्तुत करता है।
2. अनुभवजन्य तुलना: यह एक जटिल, व्यक्तिपरक भाषाई कार्य में मानव एनोटेटर्स (प्रशिक्षु और विशेषज्ञ दोनों) और LLMs के बीच सीधा अनुभवजन्य तुलना प्रदान करता है।
3. प्रॉम्ट ऑप्टिमाइजेशन: अध्ययन प्रैग्मैटिक एनोटेशन में LLMs के प्रदर्शन पर प्रॉम्ट डिजाइन (CoT और फ्यू-शॉट रणनीतियों सहित) के प्रभाव को प्रदर्शित करता है।

महत्व और दावे
लेखक दावा करते हैं कि LLMs जटिल एनोटेशन कार्यों के समाधान में प्रभावी ढंग से सहायता कर सकते हैं, जो निरंतरता और विशेषज्ञ मानकों के साथ सहमति के मामले में प्रशिक्षु भाषाविदों के प्रदर्शन से भी आगे निकल सकते हैं। यह पेपर सुझाव देता है कि यदि LLMs को प्रॉम्प्टिंग और फाइन-ट्यूनिंग के माध्यम से जटिल भाषाई सिद्धांतों जैसे अप्रेजल को सफलतापूर्वक एनोटेट करने के लिए निर्देशित किया जा सकता है, तो यह डिजिटल ह्यूमैनिटीज अनुसंधान के लिए नए मार्ग खोलता है। विशेष रूप से, यह संकेत देता है कि यदि LLMs को ठीक से निर्देशित किया जाए, तो भाषण डेटा के बड़े हिस्सों को वर्गीकृत करने के लिए व्यापक रूप से मैन्युअल रूप से एनोटेट किए गए कॉर्पस हमेशा सख्त रूप से आवश्यक नहीं हो सकते हैं। अध्ययन निष्कर्ष निकालता है कि LLMs अंतर-विषयक क्षेत्रों में एनोटेशन प्रक्रियाओं को स्केल करने के लिए एक व्यवहार्य रणनीति प्रदान करते हैं, हालांकि यह मॉडल के प्रदर्शन के कार्य-दर-कार्य सत्यापन की आवश्यकता को स्वीकार करता है।