Accuracy and Order Sensitivity Diverge Under Label-Free Strategies

तकनीकी सारांश: लेबल-मुक्त रणनीतियों के तहत सटीकता और क्रम संवेदनशीलता में विचलन

समस्या विवरण
बहुविकल्पीय प्रश्न (MCQ) बेंचमार्क, बड़े भाषा मॉडलों (LLMs) के मूल्यांकन के लिए उनके लागत-प्रभावी और स्वचालित स्कोरिंग गुणों के कारण प्रमुख प्रारूप हैं। हालांकि, हालिया साहित्य (Pezeshkpour और Hruschka, 2024; Zheng et al., 2024; Wang et al., 2025) इंगित करता है कि MCQ स्कोर वास्तविक ज्ञान और विकल्प क्रम के प्रति संवेदनशीलता को मिला देते हैं। मॉडल अक्सर स्थितिजन्य पूर्वाग्रह (positional bias) प्रदर्शित करते हैं, जहाँ विकल्पों की रैंकिंग (A, B, C, D) भविष्यवाणी को महत्वपूर्ण रूप से प्रभावित करती है, जिससे मानक सटीकता मेट्रिक्स अंतर्निहित सक्षमता के अविश्वसनीय माप बन जाते हैं। जबकि मौजूदा शमन रणनीतियाँ मौजूद हैं, उनमें से कई उच्च कम्प्यूटेशनल लागत (जैसे $k!$ कॉल्स के लिए पूर्ण क्रमपरिवर्तन) लागू करती हैं या मॉडल लॉजिट्स (logits) तक पहुंच की आवश्यकता होती है (जैसे, PriDe), जो कई प्रोप्रायटरी API के लिए उपलब्ध नहीं है। यह शोध पत्र इस बात की जांच करता है कि क्या "लेबल-मुक्त" रणनीतियाँ—जहाँ मॉडल विकल्प लेबल देखे बिना उत्तर देने के लिए प्रतिबद्ध होता है—इन बाधाओं के बिना स्थितिजन्य प्रभाव को हटा सकती हैं और सटीकता में सुधार कर सकती हैं।

कार्यप्रणाली
लेखक छह मॉडलों (GPT-4.1 mini, Gemini 2.5 Flash, Llama 3.1, और Qwen 2.5 सहित) और दो बेंचमार्क (MMLU और ARC-Challenge) में दो प्राथमिक लेबल-मुक्त रणनीतियों का मूल्यांकन करते हैं।

1. दो-चरणीय प्रॉम्प्टिंग (Two-Stage Prompting):

   • चरण 1: मॉडल को विकल्पों के बिना प्रश्न प्राप्त होता है और वह एक मुक्त-पाठ (free-text) उत्तर उत्पन्न करता है।
   • चरण 2: मॉडल इस मुक्त-पाठ उत्तर को दिए गए विकल्पों में से एक के साथ मिलाता है।
   • नैदानिक ग्रिड (Diagnostic Grid): विफलता बिंदुओं को अलग करने के लिए, लेखक इस रणनीति को एक $2 \times 2$ ग्रिड में विभाजित करते हैं जो दो कारकों को बदलता है: (a) चरण 1 में विकल्प दिखाई दे रहे हैं या छिपे हुए हैं, और (b) क्या चरण 2 में LLM कॉल या एम्बेडिंग-आधारित सिमेंटिक मिलान का उपयोग किया गया है।

2. स्वतंत्र परिकल्पना स्कोरिंग (Independent Hypothesis Scoring):

   • मॉडल को $k$ बार प्रॉम्प्ट किया जाता है (जहाँ $k$ विकल्पों की संख्या है)।
   • प्रत्येक प्रॉम्प्ट एक प्रश्न के साथ एक एकल विकल्प प्रस्तुत करता है, जिसमें मॉडल को इसे स्कोर करने (0–100) के लिए कहा जाता है।
   • जिस विकल्प का स्कोर सबसे अधिक होता है, उसे चुना जाता है। यह रणनीति संरचनात्मक रूप से स्थितिजन्य रूप से निष्पक्ष है, क्योंकि प्रत्येक कॉल अलग है।

बेसलाइन और मेट्रिक्स
रणनीतियों की तुलना निम्नलिखित से की जाती है:

• मानक बेसलाइन: प्रत्यक्ष MCQ प्रॉम्प्टिंग।
• चक्रीय क्रमपरिवर्तन (Cyclic Permutation): सभी स्थितियों में विकल्पों को घुमाना और बहुमत मत लेना।
• PriDe: एक लॉजिट-आधारित अंशांकन विधि (केवल उन मॉडलों पर मूल्यांकित जो लॉग-संभाव्यता प्रदर्शित करते हैं)।

प्रदर्शन को इनके माध्यम से मापा जाता है:

• एंड-टू-एंड सटीकता (End-to-end Accuracy): सही उत्तर / कुल प्रश्न (पार्सिंग विफलताओं को गलत गिनते हुए)।
• सशर्त सटीकता (Conditional Accuracy): सही उत्तर / स्कोर योग्य आउटपुट।
• रिकॉल मानक विचलन (Recall Standard Deviation - RStd): उत्तर स्थितियों (A, B, C, D) के बीच प्रदर्शन की असमानता को मापता है।
• फ्लिप रेट (Flip Rate): प्रति-प्रश्न क्रम संवेदनशीलता का एक सीधा माप, जिसे विकल्पों को चक्रीय रूप से बदलकर और यह जाँचकर निकाला जाता है कि क्या सिमेंटिक उत्तर बदलता है।

मुख्य परिणाम
शोध पत्र पाता है कि कोई भी लेबल-मुक्त रणनीति बेसलाइन की तुलना में सटीकता में विश्वसनीय रूप से सुधार नहीं करती है; वास्तव में, वे अक्सर प्रदर्शन को कम कर देती हैं।

• दो-चरणीय प्रॉम्प्टिंग:

  • 12 में से 11 मॉडल-बेंचमार्क जोड़ों में एंड-टू-एंड सटीकता को कम करती है।
  • बाधा की पहचान: $2 \times 2$ अपघटन प्रकट करता है कि प्रदर्शन में गिरावट का कारण चरण 1 में विकल्पों को रोकना है, न कि मिलान चरण। जब विकल्प छिपे होते हैं, तो मॉडल अपने मुक्त-पाठ उत्पादन को विकल्प के साथ विश्वसनीय रूप से मैप नहीं कर पाता है, जिससे उच्च पार्सिंग विफलता दर आती है (उदाहरण के लिए, MMLU पर Gemini की सटीकता 84.9% से गिरकर 68.3% हो गई, जिसका मुख्य कारण अस्पष्ट आउटपुट थे)।
  • क्रम संवेदनशीलता: दो-चरणीय प्रॉम्प्टिंग विश्वसनीय रूप से फ्लिप रेट या RStd को कम नहीं करती है। कुछ मामलों में (जैसे MMLU पर GPT-4.1 mini), फ्लिप रेट आधी हो गई जबकि सटीकता भी गिर गई, जो कम स्थितिजन्य संवेदनशीलता और बेहतर ज्ञान के बीच अलगाव को प्रदर्शित करता है।

• स्वतंत्र परिकल्पना स्कोरिंग:

  • 11 में से 8 वैध जोड़ों में सटीकता को कम करती है।
  • जबकि यह संरचनात्मक रूप से स्थितिजन्य प्रभाव को समाप्त कर देती है, यह निरंतर सटीकता लाभ प्रदान करने में विफल रहती है। एकमात्र उल्लेखनीय सुधार Llama-local पर ARC-Challenge में देखा गया था, लेकिन यह लाभ चक्रीय क्रमपरिवर्तन और दृश्य-विकल्प बेसलाइन के माध्यम से भी प्राप्त किया जा सकता था, जो सुझाव देता है कि सुधार लेबल-मुक्त तंत्र के विशिष्ट नहीं हैं।
  • यह रणनीति तुलनात्मक संदर्भ के नुकसान से ग्रस्त है; मॉडल तुलनात्मक विकल्पों पर निर्भर प्रश्न के संदर्भ में अकेले विकल्पों को स्कोर करने में संघर्ष कर सकते हैं।

• चक्रीय क्रमपरिवर्तन:

  • इसने दोनों लेबल-मुक्त रणनीतियों को पछाड़ दिया, 12 में से 10 जोड़ों में सटीकता में सुधार किया। यह सबसे मजबूत मॉडल-अज्ञेयवादी (model-agnostic) विधि बनी हुई है, इसके उच्च कम्प्यूटेशनल लागत के बावजूद।

महत्व और योगदान
इस शोध पत्र का प्राथमिक योगदान यह अनुभवजन्य प्रदर्शन है कि स्थितिजन्य प्रभाव को समाप्त करना विश्वसनीय रूप से सटीकता में वृद्धि में अनुवादित नहीं होता है। लेखक दिखाते हैं कि:

1. मेट्रिक्स का अलगाव: क्रम संवेदनशीलता (फ्लिप रेट या RStd के माध्यम से) को कम करना और सटीकता में सुधार करना अलग-अलग उद्देश्य हैं जो एक दूसरे से विचलित हो सकते हैं। एक रणनीति "डीबायस्ड" (debiased) हो सकती है फिर भी कम सटीक हो सकती है।
2. विफलता का तंत्र: दो-चरणीय प्रॉम्प्टिंग के लिए, विफलता मिलान चरण नहीं है, बल्कि उपलब्ध विकल्पों के संदर्भ के बिना सही मुक्त-पाठ उत्तर उत्पन्न करने में मॉडल की अक्षमता है (यह "अंडर-स्पेसिफिकेशन" की समस्या है)।
3. लेबल-मुक्त दृष्टिकोण की सीमाएँ: ऐसी रणनीतियाँ जो या तो विकल्प पहचानकर्ताओं को हटा देती हैं या विकल्पों को अलग करती हैं (स्वतंत्र परिकल्पना), प्रदर्शन को कम कर सकती हैं क्योंकि वे मॉडल को बहुविकल्पीय प्रारूप की तुलनात्मक गतिशीलता का लाभ उठाने से रोकती हैं, जो कि एक उपयोगी संकेत प्रतीत होता है।

अध्ययन निष्कर्ष निकालता है कि हालांकि लेबल-मुक्त रणनीतियाँ विशिष्ट कॉन्फ़िगरेशन में स्थितिजन्य पूर्वाग्रह को सफलतापूर्वक हटा देती हैं (जैसे, सिमेंटिक मिलान शून्य फ्लिप रेट देता है), वे ऐसा सटीकता की कीमत पर करती हैं। इसलिए, इन विधियों को MCQ मूल्यांकन के लिए सुरक्षा गारंटी या सार्वभौमिक सुधार के रूप में नहीं माना जाना चाहिए। लेखक इस बात पर जोर देते हैं कि मजबूत मूल्यांकन के लिए इस बात पर सावधानीपूर्वक विचार करने की आवश्यकता है कि क्या मूल्यांकन इंटरफ़ेस स्वयं (अनिवार्य चयन बनाम खुला सृजन) मॉडल की सक्षमता के मापन को विकृत करता है।