Validity of LLMs as data annotators: AMALIA on authority

तकनीकी सारांश: डेटा एनोटेटर के रूप में LLMs की वैधता

समस्या विवरण
यह शोध पत्र सामाजिक विज्ञान अनुसंधान के लिए डेटा एनोटेटर के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) के मूल्यांकन में एक महत्वपूर्ण अंतराल को संबोधित करता है। जबकि स्थानीय टेक्स्ट का विश्लेषण करने के लिए राष्ट्रीय "संप्रभु" (sovereign) LLMs (जैसे पुर्तगाल का AMALIA) का उपयोग तेजी से बढ़ रहा है, उनका मूल्यांकन ऐतिहासिक रूप से विश्वसनीयता (मानव कोडर्स के साथ सहमति) पर निर्भर रहा है, न कि रचनात्मक वैधता (construct validity) (मापे जा रहे रचना/construct की सैद्धांतिक परिभाषा के प्रति निष्ठा) पर।

मूल समस्या यह है कि एक LLM और मानव एनोटेटरों के बीच उच्च सहमति इस बात की गारंटी नहीं देती है कि मॉडल वास्तव में इच्छित सैद्धांतिक रचना (theoretical construct) को माप रहा है। इसके बजाय, मॉडल "सतही सहसंबंधों" (surface correlates) या शॉर्टकट (जैसे, पदानुक्रम पर विशिष्ट रुख के बजाय सत्ताधारी व्यक्ति के पास नैतिक आक्रोश का पता लगाना) के माध्यम से सहमति प्राप्त कर सकता है। क्योंकि LLMs 'ब्लैक बॉक्स' हैं, मानक सहमति मेट्रिक्स वास्तविक अनुमान और भ्रामक सहसंबंध (spurious correlation) के बीच अंतर नहीं कर सकते। यह संप्रभु मॉडलों के लिए विशेष रूप से गंभीर है, जहाँ यह धारणा है कि स्थानीय डेटा और भाषा पर प्रशिक्षित मॉडल स्वाभाविक रूप से उस समुदाय के लिए एक बेहतर मापन उपकरण के रूप में कार्य करेगा।

कार्यप्रणाली
यह अध्ययन LLM के अनुमानात्मक पथ (inferential path) की जांच करने के लिए एक ग्रेन कैलिब्रेशन (grain calibration) विधि का उपयोग करता है, जो समग्र सहमति से आगे बढ़कर मापन उपकरण की वैधता का परीक्षण करता है।

1. रचना और संग्रह (Construct and Corpus): अध्ययन 'मॉरल फाउंडेशन थ्योरी' से "अधिकार/विद्रोह" (authority/subversion) नैतिक आधार पर केंद्रित है। डेटासेट 'मोरल फाउंडेशन रेडिट कॉर्पस' (MFRC) से 748 टेक्स्ट का है, जिसे एक कठोर "ट्रांसक्रिएशन" (transcreation) पाइपलाइन के माध्यम से यूरोपीय पुर्तगाली (pt-PT) में रूपांतरित किया गया है। यह पाइपलाइन सुनिश्चित करती है कि मुहावरे और शैली को अनुकूलित करते समय अर्थ, रुख और संदर्भ सुरक्षित रहें, जिसमें कोड लीकेज को रोकने के लिए ब्लाइंड जनरेशन और मानव निर्णय शामिल हैं।
2. मॉडल: प्राथमिक विषय AMALIA-9B है, जो यूरोपीय पुर्तगाली के लिए एक 9-बिलियन पैरामीटर वाला मॉडल है। इसकी तुलना दो बड़े ओपन-वेट मल्टीलिंगुअल मॉडल्स: Llama-3.3-70B और GPT-OSS-120B से की गई है।
3. रिकवरी गैप ($\Delta$): केंद्रीय मीट्रिक "रिकवरी गैप" है, जिसे $\Delta = F^u_1 - F^d_1$ के रूप में परिभाषित किया गया है।
   • $F^u_1$: अन-डिकम्पोज्ड (undecomposed) प्रॉम्प्ट (समग्र निर्देश) का प्रदर्शन (F1 स्कोर)।
   • $F^d_1$: डिकम्पोज्ड (decomposed) प्रॉम्प्ट का प्रदर्शन, जहाँ रचना को परमाणु खंडों (पहचान, भेद, मूल्यांकन) में तोड़ा जाता है और सिद्धांत से प्राप्त एक सख्त बूलियन एकीकरण नियम के माध्यम से पुनर्संयोजित किया जाता है।
   • एक $\Delta \approx 0$ इंगित करता है कि मॉडल सिद्धांत द्वारा परिभाषित रचना को मापता है। एक बड़ा $\Delta$ इंगित करता है कि मॉडल उन शॉर्टकट पर निर्भर है जो सिद्धांत द्वारा निर्दिष्ट नहीं हैं।
4. प्रायोगिक डिजाइन: अध्ययन पुर्तगाली संग्रह पर अंग्रेजी और पुर्तगाली दोनों निर्देशों के तहत AMALIA का परीक्षण करता है। यह उसी संग्रह पर संदर्भ मॉडलों के परिणामों और मूल अंग्रेजी संग्रह पर संदर्भ मॉडलों के प्रदर्शन के साथ इसकी तुलना करता है। अध्ययन प्री-रजिस्टर्ड है, जिसमें पुष्टिकारी परीक्षण के लिए होल्ड-आउट सेट (448 टेक्स्ट) पर हाइपोथेसिस को पहले ही निर्धारित कर दिया गया था।

प्रमुख परिणाम

1. AMALIA के लिए उच्च विश्वसनीयता, निम्न वैधता: AMALIA मानव एनोटेटरों के साथ उच्च सहमति (Holistic $F_1 \approx 0.71$) प्राप्त करता है, जो अपने आकार से 8-13 गुना बड़े मॉडलों के बराबर है। हालांकि, इसमें एक बड़ा रिकवरी गैप ($\Delta \approx 0.36$ पुर्तगाली निर्देशों के तहत और $\Delta \approx 0.44$ अंग्रेजी के तहत) दिखाई देता है। यह इंगित करता है कि डिकम्पोजिशन केवल AMALIA के समग्र प्रदर्शन का लगभग आधा हिस्सा ही पुनः प्राप्त कर पाता है।
2. सतही सहसंबंध बनाम सिद्धांत: त्रुटि विश्लेषण (Error analysis) से पता चलता है कि AMALIA के 'फॉल्स पॉजिटिव' (false positives) काफी हद तक सतही सहसंबंधों द्वारा संचालित होते हैं, जैसे कि सत्ता के पास "सामान्य नैतिक आक्रोश" या सत्ताधारी व्यक्ति की मात्र उपस्थिति, बजाय पदानुक्रम पर आवश्यक मूल्यांकनात्मक रुख के। 78% फॉल्स पॉजिटिव में, मॉडल ने सैद्धांतिक परिभाषा के बजाय सतही आधारों पर भरोसा किया।
3. मॉडल-विशिष्ट विफलता: यह विफलता AMALIA के विशिष्ट है, न कि संग्रह या भाषा के।
   • GPT-OSS-120B पुर्तगाली संग्रह पर गैप को कम करता है ($\Delta \approx 0.03$), जो इसके अंग्रेजी परिणामों के समान प्रदर्शन करता है।
   • Llama-3.3-70B एक मध्यम गैप दिखाता है ($\Delta \approx 0.12$), जो इसके अंग्रेजी प्रदर्शन की तुलना में अधिक है लेकिन AMALIA की तुलना में काफी कम है।
   • इससे पता चलता है कि समस्या "रचना-मॉडल उपकरण" (विशेष रूप से 9B मॉडल की सैद्धांतिक 'ग्रेन' को निष्पादित करने की क्षमता) है, न कि पुर्तगाली भाषा या ट्रांसक्रिएट किया गया संग्रह।
4. निर्देश भाषा: यह परिकल्पना कि पुर्तगाली निर्देश गैप को कम करेंगे, सांख्यिकीय रूप से समर्थित नहीं थी ($\Delta_{pt} = 0.358$ बनाम $\Delta_{en} = 0.436$; अंतर का कॉन्फिडेंस इंटरवल शून्य को शामिल करता था)। हालांकि दिशा परिकल्पना के अनुरूप थी, लेकिन प्रभाव महत्वपूर्ण नहीं था।

प्रमुख योगदान

• रचनात्मक वैधता का संचालन (Operationalizing Construct Validity): यह शोध पत्र LLMs में विश्वसनीय सहमति और वैध मापन के बीच अंतर करने के लिए एक नैदानिक उपकरण के रूप में "रिकवरी गैप" को पेश करता है और लागू करता है। यह प्रदर्शित करता है कि केवल सहमति वैज्ञानिक उपकरणों के रूप में LLMs को मान्य करने के लिए पर्याप्त नहीं है।
• संप्रभु मॉडल का मूल्यांकन: यह एक राष्ट्रीय LLM (AMALIA) का उसकी मूल भाषा में पहला वैधता अध्ययन प्रदान करता है, जो इस धारणा को चुनौती देता है कि "होम-लैंग्वेज" मॉडल स्वाभाविक रूप से बेहतर मापन वैधता रखते हैं।
• ट्रांसक्रिएशन पाइपलाइन: यह रचना सत्यापन के लिए क्रॉस-लिंगुअल संग्रह बनाने के लिए एक कठोर, प्री-रजिस्टर्ड पाइपलाइन का विवरण देता है, जो सुनिश्चित करता है कि कोड ट्रांसफर केवल धारणा के बजाय सत्यापन द्वारा न्यायसंगत है।
• विस्तृत त्रुटि विश्लेषण: प्रॉम्प्ट को परमाणु खंडों में तोड़कर, अध्ययन उन विशिष्ट विफलता मोडों (जैसे, अधिकार के प्रॉक्सी के रूप में नैतिक आक्रोश पर निर्भरता) की पहचान करता है जिन्हें समग्र मेट्रिक्स छिपा देते हैं।

महत्व और दावे
शोध पत्र निष्कर्ष निकालता है कि जबकि AMALIA एक विश्वसनीय एनोटेटर है (ऐसे कोड उत्पन्न करता है जो मानव सर्वसम्मति से मेल खाते हैं), यह अधिकार की सैद्धांतिक रचना को मापने के लिए अभी तक एक वैध उपकरण नहीं है। यह "गलत कारणों" के लिए "सही" कोड उत्पन्न करता है, जो रचना की परिभाषा द्वारा आवश्यक सैद्धांतिक अनुमानों के बजाय सतही पैटर्न पर निर्भर करता है।

लेखकों का तर्क है कि यदि संप्रप्त LLM कार्यक्रमों को मापन कार्यों के लिए भरोसेमंद बनाना है, तो उन्हें केवल सहमति मेट्रिक्स से आगे बढ़ना होगा। महत्वपूर्ण प्रश्न यह नहीं है कि क्या मॉडल मनुष्यों के साथ सहमत है, बल्कि यह है कि क्या वह सिद्धांत द्वारा परिभाषित विशिष्ट अनुमानात्मक चरणों को निष्पादित करके अपना "काम दिखा" (show its work) सकता है। अध्ययन सुझाव देता है कि छोटे राष्ट्रीय मॉडलों में बिना पुन: अंशांकन (recalibration) के जटिल सैद्धांतिक डिकम्पोजिशन करने के लिए "एग्जीक्यूटेबल ग्रेन" (executable grain) की कमी हो सकती है, और वैधता साक्ष्य विशिष्ट मापन उपयोगों के लिए उत्पन्न किए जाने चाहिए, न कि सामान्य भाषा बेंचमार्क के लिए। शोध पत्र स्पष्ट रूप से कहता है कि AMALIA छंटनी (triage) और प्री-कोडिंग के लिए उपयुक्त है, लेकिन सैद्धांतिक रचनाओं के स्टैंडअलोन मापन के लिए नहीं।