Multi-Perspective LLM Annotations for Valid Analyses in Subjective Tasks

यहाँ शोध पत्र "Multi-Perspective LLM Annotations for Valid Analyses in Subjective Tasks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

कंप्यूटेशनल सोशल साइंस में मानव श्रम को कम करने के लिए टेक्स्ट को एनोटेट (annotate) करने हेतु लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग तेजी से बढ़ रहा है। हालाँकि, मानक LLM एनोटेशन विधियाँ विषयगत कार्यों (subjective tasks) (जैसे कि विनम्रता या अपमानजनकता की रेटिंग देना) में दो महत्वपूर्ण सीमाओं का सामना करती हैं:

1. ग्राउंड ट्रुथ (Ground Truth) का अभाव: विषयगत क्षेत्रों में, "सत्यता" कोई एकल स्केलर मान नहीं है, बल्कि दृष्टिकोणों का एक वितरण (distribution) है। विभिन्न जनसांख्यिकीय समूहों के तर्कसंगत लोग इस बात पर असहमत हो सकते हैं कि कोई टेक्स्ट विषाक्त (toxic) है, विनम्र है, या सहानुभूतिपूर्ण है। इस असहमति को 'त्रुटि' मानकर बहुमत के आधार पर सुधारने की कोशिश करना सार्थक संकेतों को त्यागने जैसा है।
2. LLMs में जनसांख्यिकीय पूर्वाग्रह (Demographic Bias): LLMs सभी जनसांख्यिकीय दृष्टिकोणों का समान रूप से प्रतिनिधित्व नहीं करते हैं। वे अक्सर एक विशिष्ट विश्वदृष्टि (जैसे पश्चिमी, शिक्षित, युवा) को अपना लेते हैं और अल्पसंख्यक समूहों (जैसे वृद्ध वयस्क, विशिष्ट नस्लीय अल्पसंख्यक) की बारीकियों को पकड़ने में विफल रहते हैं।
3. मौजूदा सुधारों की विफलता: वर्तमान "सुधार" विधियाँ (जैसे Prediction-Powered Inference) यह मानती हैं कि एक एकल ग्राउंड ट्रुथ मौजूद है। इसके अलावा, पर्सोना प्रॉम्प्टिंग (LLM को किसी विशिष्ट जनसांख्यिकीय के रूप में "कार्य करने" के लिए कहना) जैसी तकनीकें अविश्वसनीय साबित हुई हैं, जो अक्सर रूढ़ियों को बढ़ा देती हैं या उन समूहों के लिए सटीकता में सुधार करने में विफल रहती हैं जिनका वे प्रतिनिधित्व करने का प्रयास करती हैं।

मुख्य चुनौती: शोधकर्ता सीमित मानव एनोटेशन बजट का उपयोग करके, एक एकल औसत के बजाय, विभिन्न जनसांख्यिकीय समूहों में एनोटेशन के वितरण (एक वेक्टर एस्टिमैंड) का अनुमान कैसे लगा सकते हैं, जबकि व्यवस्थित LLM पूर्वाग्रह को भी ठीक किया जा सके?

2. कार्यप्रणाली: पर्सपेक्टिव-ड्रिवन इन्फरेंस (Methodology: Perspective-Driven Inference - PDI)

लेखक PERSPECTIVE-DRIVEN INFERENCE (PDI) प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो समूह-विशिष्ट एनोटेशन के वितरण को ही रुचि के विषय के रूप में मानता है। यह विधि LLM प्रॉक्सी को एक अनुकूली नमूनाकरण रणनीति (adaptive sampling strategy) के साथ जोड़ती है ताकि मानव एनोटेशन के प्रयास को कुशलतापूर्वक आवंटित किया जा सके।

मुख्य घटक:

• वेक्टर एस्टिमैंड (Vector Estimand): एक एकल स्केलर $\theta^*$ का अनुमान लगाने के बजाय, लक्ष्य एक वेक्टर $\theta^* = (\theta^*_{g_1}, \dots, \theta^*_{g_K})$ का अनुमान लगाना है, जहाँ प्रत्येक प्रविष्टि एक विशिष्ट जनसांख्यिकीय समूह $g_k$ के लिए औसत एनोटेशन का प्रतिनिधित्व करती है।
• अनुकूली नमूनाकरण लूप (Adaptive Sampling Loop):
  1. बर्न-इन चरण (Burn-in Phase): एक आधार रेखा स्थापित करने के लिए यादृच्छिक रूप से मानव एनोटेशन का एक छोटा प्रारंभिक सेट एकत्र करें।
  2. त्रुटि भविष्यवाणी (Error Prediction): एनोटेटर की जनसांख्यिकीय विशेषताओं ($d_i$) के आधार पर वर्गित LLM त्रुटि $(\hat{H}_i - H_i)^2$ का अनुमान लगाने के लिए एक ब्लैक-बॉक्स प्रेडिक्टर (जैसे XGBoost) को प्रशिक्षित करें।
  3. अनुकूली आवंटन (Adaptive Allocation): टेक्स्ट $i$ के लिए एक नया मानव एनोटेशन लेने की संभावना को अनुमानित त्रुटि के आनुपातिक रूप से गणना की जाती है: $\pi_i \propto \widehat{\text{err}}_i(d_i)$। यह मानव बजट को उन समूहों की ओर निर्देशित करता है जहाँ LLM के कम सटीक होने की भविष्यवाणी की जाती है।
  4. पुनरावृत्ति (Iteration): नए डेटा के साथ त्रुटि प्रेडिक्टर को अपडेट करें और नमूनाकरण प्रक्रिया को दोहराएं।
• अनुमान और सुधार (Estimation & Correction): बजट समाप्त होने के बाद, ढांचा अनबायस्ड (unbiased) समूह-स्तरीय अनुमान और वैध विश्वास अंतराल (confidence intervals) उत्पन्न करने के लिए इन्वर्स प्रोबेबिलिटी वेटिंग (IPW) का उपयोग करता है। यह गैर-समान नमूनाकरण वितरण के लिए सुधार करता है।

3. मुख्य योगदान (Key Contributions)

1. औपचारिक ढांचा (Formal Framework): यह पेपर मल्टी-पर्सपेक्टिव कॉर्पस इन्फरेंस को एक वेक्टर एस्टिमैंड के अनुमान के रूप में औपचारिक रूप देता है, जो मानक PPI विधियों को उन सेटिंग्स तक विस्तारित करता है जहाँ कोई एकल ग्राउंड ट्रुथ मौजूद नहीं है।
2. अनुकूली नमूनाकरण रणनीति (Adaptive Sampling Strategy): एक नवीन विधि जो मानव एनोटेशन संसाधनों को उन जनसांख्यिकीय समूहों पर केंद्रित करती है जहाँ LLM प्रॉक्सी सबसे कम विश्वसनीय हैं, न कि समान (uniform) नमूनाकरण का उपयोग करती है।
3. अनुभवजन्य मूल्यांकन (Empirical Evaluation): वास्तविक दुनिया के डेटा (POPQUORN) और सिंथेटिक डेटा का उपयोग करके विनम्रता और अपमानजनकता रेटिंग कार्यों पर व्यापक मूल्यांकन, जो दर्शाता है कि PDI कठिन-से-मॉडल किए गए समूहों के लिए बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करता है।
4. पर्सोना प्रॉम्प्टिंग की आलोचना (Critique of Persona Prompting): यह अध्ययन इस बात का पुख्ता प्रमाण देता है कि पर्सोना प्रॉम्प्टिंग विशिष्ट जनसांख्यिकीय समूहों से वास्तविक मानव इनपुट के विकल्प के रूप में एक अविश्वसनीय पद्धति है, जो अक्सर इच्छित दृष्टिकोणों को पकड़ने में विफल रहती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कई बेसलाइनों के विरुद्ध PDI का मूल्यांकन किया: LLM-ओनली (जीरो-शॉट, फ्यू-शॉट, पर्सोना), और यूनिफॉर्म सैंपलिंग के साथ PPI।

• डेटासेट: POPQUORN (जनसांख्यिकीय रूप से विविध मानव एनोटेशन) से विनम्रता और अपमानजनकता रेटिंग और एक सिंथेटिक बाइनरी डेटासेट।
• मॉडल: 8 LLMs (GPT-5.2, Claude, Gemini, Llama सहित) पर परीक्षण किया गया।
• मुख्य निष्कर्ष:
  • कवरेज (Coverage): LLM-ओनली विधियाँ अक्सर वैध कवरेज प्राप्त करने में विफल रहीं (अक्सर आयु 50+ जैसे विशिष्ट समूहों के लिए <50%)। PDI ने सभी समूहों के लिए 90% से ऊपर कवरेज बनाए रखा।
  • सटीकता (Accuracy/Delta): PDI ने कम प्रतिनिधित्व वाले समूहों के लिए मीन एब्सोल्यूट एरर (MAE) को काफी कम कर दिया।
    • उदाहरण (अपमानजनकता, आयु 50+): LLM-ओनली फ्यू-शॉट का डेल्टा 24.54% था, जबकि PDI ने 5.24% प्राप्त किया।
    • उदाहरण (विनम्रता, आयु 50+): PDI ने डेल्टा को 16.31% (फ्यू-शॉट) से घटाकर 11.23% कर दिया।
  • दक्षता (Efficiency): अनुकूली रणनीति ने उच्च-त्रुटि वाले समूहों की सफलतापूर्वक पहचान की। विनम्रता कार्य में आयु 50+ समूह के लिए, PDI ने यूनिफॉर्म सैंपलिंग की तुलना में 33% अधिक मानव एनोटेशन आवंटित किया, जिससे सीधे तौर पर सटीकता में सुधार हुआ।
  • पर्सोना प्रॉम्प्टिंग की विफलता: पर्सोना प्रॉम्प्टिंग अक्सर सबसे खराब प्रदर्शन करती थी, कभी-कभी विशिष्ट समूहों के लिए 0% कवरेज देती थी, जो पुष्टि करती है कि यह मानव डेटा का स्थान नहीं ले सकती।

5. महत्व और निहितार्थ (Significance and Implications)

• विषयगत कार्यों के लिए वैध अनुमान: PDI विषयगत डेटा के विश्लेषण के लिए एक सांख्यिकीय रूप से कठोर तरीका प्रदान करता है, जो विविध मानव दृष्टिकोणों को एक एकल "औसत" में समाहित करने से बचता है जो शायद किसी का भी प्रतिनिधित्व न करता हो।
• संसाधन दक्षता: अनुकूल रूप से नमूनाकरण करके, शोधकर्ता उसी बजट के साथ अल्पसंख्यक या कठिन-से-मॉडल समूहों के लिए उच्च-निष्ठा (high-fidelity) वाले परिणाम प्राप्त कर सकते हैं जो यूनिफॉर्म सैंपलिंग के तहत खराब परिणाम देते।
• व्यापक अनुप्रयोग: यह ढांचा सरल रेटिंग कार्यों से परे निम्नलिखित के लिए भी लागू है:
  • RLHF: उस पूर्वाग्रह को संबोधित करना जहाँ मॉडल को मानव फीडबैक के एक संकीर्ण हिस्से पर प्रशिक्षित किया जाता है।
  • LLM-as-a-Judge: इस तथ्य को सुधारना कि एक एकल मॉडल सभी जनसांख्यिकीय संदर्भों में आउटपुट का निष्पक्ष निर्णय नहीं ले सकता है।
  • सर्वेक्षण सिमुलेशन (Survey Simulation): सार्वजनिक राय के वितरण के सिमुलेशन की सटीकता में सुधार करना।
• नैतिक विचार: लेखक चेतावनी देते हैं कि जबकि PDI सांख्यिकीय वैधता में सुधार करता है, यह एनोटेशन श्रम को हाशिए पर रहने वाले समूहों पर केंद्रित करता है। वे इन प्रतिभागियों के लिए उचित मुआवजे और सूचित सहमति की आवश्यकता पर जोर देते हैं।

निष्कर्ष (Conclusion)

यह शोध पत्र प्रदर्शित करता है कि LLM एनोटेशन पूर्वाग्रह को ठीक करने के लिए केवल बेहतर प्रॉम्प्टिंग की ही नहीं, बल्कि एक ऐसे सांख्यिकीय ढांचे की आवश्यकता है जो कई वैध दृष्टिकोणों के अस्तित्व को स्वीकार करता हो। पर्सपेक्टिव-ड्रिवन इन्फरेंस मानव प्रयास को वहां केंद्रित करके एक मजबूत समाधान प्रदान करता है जहां LLM विफल होते हैं, यह सुनिश्चित करता है कि डाउनस्ट्रीम विश्लेषण मॉडल के पूर्वाग्रहों के बजाय मानव राय की विविधता का निष्ठापूर्वक प्रतिनिधित्व करता है।