Reassessing Extractive QA Datasets at Scale: LLM-as-a-Judge and In-Depth Analyses
यह शोध पत्र एक व्यवस्थित अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि LLM-as-a-judge, एक्सट्रैक्टिव QA (extractive QA) के मूल्यांकन में पारंपरिक 'Exact Match' और 'F1' मेट्रिक्स की तुलना में काफी बेहतर प्रदर्शन करता है, क्योंकि यह मानव आकलन के साथ उच्च सहसंबंध प्राप्त करता है, जबकि संख्या-आधारित उत्तरों को संभालने, आत्म-वरीयता पूर्वाग्रह (self-preference bias) की कमी और प्रॉम्प्ट विविधताओं के प्रति न्यूनतम संवेदनशीलता में अपनी विशिष्ट शक्तियों को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप ढेर सारे छात्र निबंधों को ग्रेड करने वाले एक शिक्षक हैं। लंबे समय से, आपने एक बहुत ही सख्त, रोबोटिक ग्रेडिंग मशीन का उपयोग किया है जो केवल एक नियम के आधार पर "पास" या "फेल" देती है: क्या छात्र ने उत्तर कुंजी (answer key) के बिल्कुल समान शब्द लिखे हैं?
यदि उत्तर कुंजी में "EPA" लिखा है और छात्र ने "Environmental Protection Agency" लिखा है, तो रोबोट मशीन चिल्लाकर "FAIL!" कहेगी और उन्हें शून्य दे देगी, भले ही छात्र का अर्थ 100% सही हो। यह वही है जिसे यह पेपर Exact Match (EM) और F1-score कहता है। लेखक तर्क देते हैं कि ये पुराने तरीके उस रोबोटिक मशीन की तरह हैं: वे बहुत कठोर हैं और अक्सर बात को समझ नहीं पाते, जिससे वे AI मॉडल्स की वास्तविक बुद्धिमत्ता को कम आंकते हैं।
नया समाधान: "सुपर-ग्रेडर" (The Super-Grader)
इसे ठीक करने के लिए, शोधकर्ताओं ने कुछ नया आजमाया: उन्होंने एक लार्ज लैंग्वेज मॉडल (LLM) को एक "सुपर-ग्रेडर" (या जज) के रूप में काम करने के लिए नियुक्त किया। केवल शब्दों को समान रूप से जांचने के बजाय, यह सुपर-ग्रेडर प्रश्न, सही उत्तर और छात्र के उत्तर को पढ़ता है, और फिर अपने दिमाग का उपयोग यह तय करने के लिए करता है: "क्या इस छात्र वास्तव में प्रश्न को समझता है?"
यह पेपर एक बड़ा प्रयोग है यह देखने के लिए कि क्या यह सुपर-ग्रेडर विश्वसनीय है। यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें सरल रूप में समझाया गया है:
1. सुपर-ग्रेडर मानवीय सोच के बहुत करीब है
शोधकर्ताओं ने वास्तविक मनुष्यों को 1,288 उत्तरों को ग्रेड करने के लिए कहा। फिर, उन्होंने सुपर-ग्रेडर को उन्हीं उत्तरों को ग्रेड करने के लिए कहा।
- पुराना तरीका: रोबोट मेट्रिक्स (EM/F1) केवल 22% से 40% बार मानव शिक्षकों के साथ सहमत हुए। वे अक्सर गलत थे।
- नया तरीका: सुपर-ग्रेडर मानव शिक्षकों के साथ 85% तक सहमत हुआ।
- उपमा (Analogy): यह एक ऐसे ग्रेडर को बदलने जैसा है जो केवल वर्तनी (spelling) की जाँच करता है, उसे एक ऐसे ग्रेडर से बदलना जो वास्तव में कहानी को समझता है। सुपर-ग्रेडर देख सकता है कि "EPA" और "Environmental Protection Agency" एक ही चीज़ हैं।
2. सुपर-ग्रेडर की ताकत और कमजोरियां हैं
एक इंसान की तरह, सुपर-ग्रेडर हर चीज़ में परफेक्ट नहीं है।
- गणित का उस्ताद: यह संख्याओं और तारीखों से जुड़े उत्तरों को ग्रेड करने में अविश्वसनीय रूप से अच्छा है। यदि उत्तर "42" या "1995" है, तो सुपर-ग्रेडर लगभग हर बार सही होता है।
- भ्रमित लाइब्रेरियन: यह नौकरी के शीर्षकों (job titles) के साथ थोड़ा अधिक संघर्ष करता है। उदाहरण के लिए, यदि उत्तर "Actor" है लेकिन छात्र ने "Actor, screenwriter, and director" लिखा है, तो सुपर-ग्रेडर कभी-कभी इस बात को लेकर भ्रमित हो जाता है कि क्या यह अतिरिक्त विवरण इसे गलत बनाता है या सही। यह संख्याओं की तुलना में थोड़ा अस्पष्ट है।
3. कोई "भाई-भतीजावाद" नहीं (Self-Preference Bias)
AI की दुनिया में एक बड़ी चिंता यह है कि क्या कोई मॉडल अपने ही उत्तरों को उच्च स्कोर देने के लिए पक्षपाती हो सकता है, जैसे कोई शिक्षक अपने ही बच्चे के होमवर्क को 'A' ग्रेड दे।
- निष्कर्ष: शोधकर्ताओं ने यह परीक्षण करने के लिए कि क्या मॉडल अपने ही उत्तरों को विशेष उपचार देता है, एक ही AI मॉडल को "छात्र" और "जज" दोनों के रूप में कार्य करने दिया।
- परिणाम: कोई पक्षपात नहीं पाया गया। AI ने अपने उत्तरों को विशेष उपचार नहीं दिया। वह निष्पक्ष था, भले ही वह स्वयं का न्याय कर रहा हो। इसने "सिबलिंग बायस" (एक ही परिवार के मॉडल्स का पक्ष लेना) भी नहीं दिखाया।
4. "प्रॉम्प्ट" (Prompt) ज्यादा मायने नहीं रखता
जब आप किसी AI से कोई प्रश्न पूछते हैं, तो पूछने का तरीका (प्रॉम्प्ट) उत्तर को बदल सकता है। शोधकर्ता यह जानना चाहते थे कि क्या सुपर-ग्रेडर को ग्रेड करने के लिए कहने का तरीका परिणामों को बदल देगा।
- निष्कर्ष: इससे ज्यादा फर्क नहीं पड़ा। चाहे उन्होंने AI को पहले कुछ उदाहरण दिए हों (few-shot), कोई उदाहरण न दिया हो (zero-shot), या पृष्ठभूमि टेक्स्ट को हटा दिया हो (context), सुपर-ग्रेडर सुसंगत बना रहा।
- आश्चर्य: आश्चर्यजनक रूप से, सबसे सरल तरीका—बिना किसी अतिरिक्त उदाहरण या पृष्ठभूमि टेक्स्ट के AI से ग्रेड करने के लिए कहना—अक्सर सबसे अच्छा काम करता था। यह एक ऐसे जज की तरह है जिसे यह जानने के लिए पूरे केस फाइल को पढ़ने की आवश्यकता नहीं है कि एक सरल उत्तर सही है या गलत।
मुख्य निष्कर्ष (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि "Extractive QA" (जहाँ AI टेक्स्ट से उत्तर निकालता है) के लिए, पुराने रोबोट मेट्रिक्स पुराने हो चुके हैं। वे बहुत सख्त हैं और बारीकियों को छोड़ देते हैं।
LLM-as-a-Judge दृष्टिकोण एक बहुत बेहतर उपकरण है। यह एक निष्पक्ष, मानव जैसे शिक्षक की तरह कार्य करता है जो समझता है कि "EPA" और "Environmental Protection Agency" एक ही हैं, अपने उत्तरों के प्रति पक्षपाती नहीं है, और सरल निर्देशों के साथ विश्वसनीय रूप से काम करता है। लेखकों ने अपना कोड और डेटा जारी किया है ताकि अन्य लोग अपने स्वयं के AI मॉडल्स का परीक्षण करने के लिए इस "सुपर-ग्रेडर" का उपयोग कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।