Through the Judge's Eyes: Inferred Thinking Traces Improve Reliability of LLM Raters

यहाँ शोध पत्र "Through the Judge's Eyes: Inferred Thinking Traces Improve Reliability of LLM Raters" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग विषयपरक मूल्यांकन कार्यों (जैसे कहानी की गुणवत्ता, निबंध स्कोरिंग, अनुवाद) के लिए स्वचालित रेटर्स के रूप में तेजी से किया जा रहा है। हालाँकि, उनकी विश्वसनीयता अक्सर मानवीय निर्णय के मामले में पीछे रह जाती है, विशेष रूप से उन कार्यों में जिनमें सूक्ष्म तर्क (nuanced reasoning) की आवश्यकता होती है।

• अंतराल (The Gap): मौजूदा एनोटेशन डेटासेट में आमतौर पर केवल लेबल (जैसे 3/5 का स्कोर) होते हैं, बिना उन सोचने के निशानों (thinking traces) के (जो वे चरण-दर-चरण तर्क प्रक्रियाएँ हैं जिनका उपयोग मानव विशेषज्ञ उन लेबलों तक पहुँचने के लिए करते हैं)।
• परिणाम (The Consequence): इन निशानों के बिना, LLM रेटर्स के पास वे "मानवीय पूर्ववृत्त" (human priors) नहीं होते जो यह समझने के लिए आवश्यक हैं कि एक विशिष्ट रेटिंग क्यों दी गई थी, जिससे मानव मूल्यांकनकर्ताओं के साथ संरेखण (alignment) में कमी आती है और विभिन्न मॉडलों के बीच असंगत परिणाम मिलते हैं।
• चुनौती (The Challenge): उच्च गुणवत्ता वाले 'सोचने के निशान' एकत्र करना अत्यधिक महंगा और समय लेने वाला है, क्योंकि इसके लिए एनोटेटरों को केवल एक लेबल चुनने के बजाय जटिल संज्ञानात्मक प्रक्रियाओं को स्पष्ट करने की आवश्यकता होती है।

2. कार्यप्रणाली (Methodology)

लेखक एक मानव-LLM सहयोगात्मक ढांचे (human-LLM collaborative framework) का प्रस्ताव करते हैं जो मौजूदा लेबल-मात्र डेटासेट से अंतर्निहित (latent) सोचने के निशानों को निकालने के लिए है। मुख्य नवाचार तर्क देने वाले मॉडल्स (Reasoning Language Models - RLMs) का उपयोग करके मानव तर्क का पुनर्निर्माण करना है।

A. अंतर्निहित सोचने के निशानों का अनुमान लगाना (Rejection Sampling)

यह ढांचा उच्च गुणवत्ता वाले तर्क निशानों को उत्पन्न करने के लिए Rejection Sampling पद्धति का उपयोग करता है:

1. इनपुट: एक डेटासेट $D_{human}$ जिसमें इनपुट ($x_i$) और मानव-एनोटेटेड लेबल ($y_i$) शामिल हैं।
2. जेनरेशन (Generation): एक RLM (जैसे DeepSeek-R1) को इनपुट और एनोटेशन कोडबुक के साथ प्रॉम्प्ट किया जाता है ताकि $k$ उम्मीदवार सोचने के निशान ($t'_{i,j}$) उत्पन्न किए जा सकें, जो एक अनुमानित लेबल ($y'_{i,j}$) के साथ समाप्त होते हैं।
3. फिल्टरिंग (Rejection): केवल वे निशान रखे जाते हैं जहाँ मॉडल का अनुमानित लेबल वास्तविक मानव लेबल से मेल खाता है ($y'_{i,j} = y_i$)।
4. चयन (Selection): पहले मेल खाने वाले निशान को पुनर्निर्मित सोचने के निशान ($t'_i$) के रूप में चुना जाता है।
5. आउटपुट: एक संवर्धित डेटासेट $D_{reason} = \{(x_i, t'_i, y_i)\}$, जहाँ प्रत्येक डेटा बिंदु में इनपुट, अनुमानित तर्क और अंतिम लेबल शामिल होता है।

B. दो पूरक अनुप्रयोग (Two Complementary Applications)

इन अनुमानित निशानों को LLM रेटर्स में सुधार करने के लिए दो अलग-अलग तरीकों से लागू किया जाता है:

1. ओपन-वेट LLMs को फाइन-ट्यून करना (Reasoning-Enhanced SFT):

   • संवर्धित डेटासेट $D_{reason}$ का उपयोग ओपन-वेट मॉडल्स को सुपरवाइज्ड फाइन-ट्यून (SFT) करने के लिए किया जाता है।
   • मानक SFT (जो केवल इनपुट $\to$ लेबल सीखता है) के विपरीत, यह दृष्टिकोण मॉडल को लेबल से पहले पूर्ण तर्क प्रक्रिया (full reasoning trace) उत्पन्न करने के लिए प्रशिक्षित करता है।
   • उद्देश्य: मॉडल को यह सिखाना कि कैसे तर्क दिया जाए, न कि केवल यह कि उत्तर क्या है।

2. प्रोपराइटरी मॉडल्स के लिए एनोटेशन कोडबुक्स को परिष्कृत करना (Refining Annotation Codebooks):

   • ब्लैक-बॉक्स मॉडल्स (जैसे GPT-4, Claude) के लिए, जहाँ वेट्स को अपडेट नहीं किया जा सकता, अनुमानित निशानों का उपयोग बेहतर एनोटेशन दिशानिर्देशों को संश्लेषित करने के लिए किया जाता है।
   • प्रक्रिया:
     • निर्देश परिशोधन (Instruction Refinement): मॉडल निशानों से सामान्य तर्क पैटर्न को स्पष्ट, चरण-दर-चरण निर्देशों में सारांशित करता है।
     • रूब्रिक संवर्धन (Rubric Enrichment): मॉडल निशानों से प्रतिनिधि आलोचनाओं (critiques) को निकालकर ठोस, उदाहरण-आधारित स्कोरिंग रूब्रिक्स बनाता है।
   • यह एक "परिष्कृत कोडबुक" ($C'$) बनाता है जो प्रोपराइटरी LLMs के लिए एक बेहतर प्रॉम्प्ट के रूप में कार्य करता है।

3. मुख्य योगदान (Key Contributions)

• नवाचारी ढांचा: RLMs और रिजेक्शन सैंपलिंग का उपयोग करके मानव सोचने के निशानों को पुनर्गठित करने की एक स्केलेबल विधि।
• दोहरी-अनुप्रयोग रणनीति: यह प्रदर्शित करना कि अनुमानित निशान या तो ओपन मॉडल्स को फाइन-ट्यून कर सकते हैं या प्रोपराइटरी मॉडल्स के लिए प्रॉम्प्ट/कोडबुक को परिष्कृत कर सकते हैं।
• कोडबुक स्वचालन: अस्पष्ट एनोटेशन दिशानिर्देशों को सफलतापूर्वक तर्क वाले उदाहरणों पर आधारित विस्तृत, चरण-दर-चरण प्रक्रियाओं में स्वचालित रूप से बदलने के लिए एक नया पाइपलाइन।
• पोस्ट-हॉक अनुकूलन (Post-Hoc Adaptation): यह दिखाना कि यह ढांचा उन मॉडल्स के साथ भी काम कर सकता है जो आंतरिक 'थिंकिंग टोकन' को उजागर नहीं करते हैं, ज्ञात लेबल के आधार पर "पोस्ट-हॉक" स्पष्टीकरणों का उपयोग करके।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का मूल्यांकन पांच विविध कार्यों पर किया गया: लघु कहानी मूल्यांकन, निबंध स्कोरिंग, समाचार सारांश, मशीन अनुवाद और चैटबॉट प्रतिक्रिया मूल्यांकन।

A. मानव निर्णयों के साथ सहमति (Agreement with Human Judgments)

• फाइन-ट्यूनिंग: रीजनिंग-एन्हांस्ड SFT ने LLM रेटर्स और मानव निर्णयों के बीच संरेखण में महत्वपूर्ण सुधार किया।
  • मीट्रिक: औसत Kendall's $\tau$ (रैंकिंग सहसंबंध) बेसलाइन के 0.197 से बढ़कर 0.281 हो गया (एक 42.6% सापेक्ष सुधार)।
  • MSE: अधिकांश कार्यों में मीन स्क्वेर्ड एरर (Mean Squared Error) काफी कम हो गया।
• कोडबुक परिशोधन: प्रोपराइटरी मॉडल्स के साथ परिष्कृत कोडबुक का उपयोग करने से भी मानव-LLM सहमति में सुधार हुआ।
  • मीट्रिक: DeepSeek निशानों का उपयोग करने पर Kendall's $\tau$ 0.316 से बढ़कर 0.361 (14.2% सुधार) हो गया।
  • तुलना: परिष्कृत कोडबुक के साथ उन्नत प्रोपराइटरी मॉडल्स को प्रॉम्प्ट करना अक्सर फाइन-ट्यून किए गए छोटे मॉडल्स से बेहतर प्रदर्शन करता है।

B. अंतर-रेट विश्वसनीयता (Inter-Rater Reliability/Consistency)

• परिष्कृत कोडबुक ने विभिन्न LLM रेटर्स के बीच सहमति (ICC3) को काफी बढ़ा दिया।
• परिणाम: औसत अंतर-रेट विश्वसनीयता 0.580 से बढ़कर 0.621 हो गई।
• अंतर्दृष्टि: अत्यधिक विषयपरक कार्यों पर, परिष्कृत कोडबुक ने कभी-कभी साझा पूर्वाग्रहों के कारण होने वाली सतही सहमति को कम कर दिया, जिससे निर्णयों का एक अधिक स्वाभाविक वितरण प्राप्त हुआ जो मानवीय भिन्नता को बेहतर ढंग से दर्शाता है।

C. एब्लेशन अध्ययन (Ablation Studies)

• निशानों की आवश्यकता: केवल लेबल पर प्रशिक्षित मॉडल (बिना निशानों के) बेसलाइन से खराब प्रदर्शन करते हैं, जो पुष्टि करता है कि मूल्यांकन कार्यों को सीखने के लिए तर्क प्रक्रिया महत्वपूर्ण है।
• घटक विश्लेषण: निर्देश परिशोधन और रूब्रिक संवर्धन दोनों ने प्रदर्शन में योगदान दिया, लेकिन उनका प्रभाव कार्य के अनुसार भिन्न था (जैसे, रूब्रिक परिशोधन ने सारांश निरंतरता में अधिक मदद की, जबकि निर्देश परिशोधन ने चैटबॉट शुद्धता में अधिक मदद की)।

5. महत्व और प्रभाव (Significance and Impact)

• विरासत डेटा को अनलॉक करना: यह शोध पत्र प्रदर्शित करता है कि विशाल मौजूदा "लेबल-मात्र" डेटासेट को नए मानव एनोटेशन लागत के बिना "तर्क-समृद्ध" संसाधनों में बदला जा सकता है।
• अंतराल को पाटना: यह LLM मूल्यांकन की "ब्लैक बॉक्स" समस्या के लिए एक व्यावहारिक समाधान प्रदान करता है, जिससे स्वचालित रेटर्स अधिक व्याख्या योग्य और विश्वसनीय बनते हैं।
• स्केलेबिलिटी: रिजेक्शन सैंपलिंग पद्धति उच्च-गुणवत्ता वाले प्रशिक्षण डेटा और दिशानिर्देशों के बड़े पैमाने पर उत्पादन की अनुमति देती है, जिससे विशेष, उच्च-प्रदर्शन वाले मूल्यांकनकर्ता बनाने की क्षमता का लोकतंत्रीकरण होता है।
• भविष्य की दिशाएं: यह कार्य मानव-AI सहयोग के लिए एक नया प्रतिमान सुझाता है जहाँ मनुष्य "गोल्ड स्टैंडर्ड" लेबल प्रदान करते हैं, और AI तर्क को स्पष्ट करने का संज्ञानात्मक भारी काम संभालता है, जिससे संभावित रूप से मानव एनोटेटरों के ऑनबोर्डिंग को भी गति मिलती है।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि अनुमानित सोचने के निशान (inferred thinking traces) मानव तर्क के लिए एक उच्च-सटीकता वाला प्रॉक्सी के रूप में कार्य करते हैं, जो विषयपरक कार्यों के लिए स्वचालित LLM मूल्यांकन में विश्वसनीयता की बाधा को प्रभावी ढंग से हल करते हैं।