Gaming the Answer Matcher: Examining the Impact of Text Manipulation on Automated Judgment
यह अध्ययन प्रदर्शित करता है कि एलएलएम (LLM) का उपयोग करके स्वचालित उत्तर मिलान, वर्बोसिटी (verbosity) और उत्तर एम्बेडिंग (answer embedding) जैसी रणनीतिक पाठ हेरफेर युक्तियों के विरुद्ध भी सुदृढ़ बना रहता है, जिसमें बाइनरी स्कोरिंग विशेष रूप से प्रभावी सिद्ध होती है, जिससे संदर्भ उत्तरों की उपलब्धता में मानव मूल्यांकन के एक स्केलेबल विकल्प के रूप में इसकी विश्वसनीयता प्रमाणित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही सख्त शिक्षक है (उत्तर मिलानकर्ता - Answer Matcher) जो एक आदर्श "उत्तर कुंजी" (संदर्भ उत्तर - Reference Key) के साथ तुलना करके छात्रों के निबंधों को ग्रेड देता है। इस शोध का लक्ष्य यह देखना था कि क्या छात्र "सिस्टम को चकमा" दे सकते हैं—यानी, बिना सही उत्तर जाने, केवल यह बदलकर कि वे अपना उत्तर कैसे लिखते हैं, शिक्षक को उन्हें बेहतर ग्रेड देने के लिए मजबूर कर सकते हैं।
शोधकर्ताओं ने यह देखने के लिए तीन विशिष्ट "चीटिंग" ट्रिक्स का परीक्षण किया कि क्या वे काम करती हैं:
परीक्षण किए गए तीन "चीटिंग" ट्रिक्स
"शब्दों का जाल" वाली ट्रिक (Verbosity):
- विचार: यदि किसी छात्र को उत्तर नहीं पता है, तो वह शायद एक बहुत बड़ा, लंबा पैराग्राफ लिख सकता है, इस उम्मीद में कि शिक्षक सोचेगा, "वाह, इसने इतना कुछ लिखा है, यह ज़रूर जानता होगा कि क्या बात कर रहा है।"
- रूपक: यह एक ऐसे छात्र की तरह है जो स्मार्ट दिखने के लिए खाली बातों से एक पन्ना भरने की कोशिश करता है।
- परिणाम: यह उल्टा पड़ गया। शिक्षक ने वास्तव में लंबे, शब्दबहुल उत्तरों को कम स्कोर दिया। शिक्षक को संक्षिप्त, सीधे उत्तर पसंद आए जो उत्तर कुंजी से मेल खाते थे।
"भ्रमित" करने वाली ट्रिक (Multiple Answers):
- विचार: यदि कोई छात्र अनिश्चित है, तो वह लिख सकता है, "उत्तर शायद X है, लेकिन शायद यह Y है, या शायद Z है," इस उम्मीद में कि शिक्षक उनमें से किसी एक विकल्प को ढूंढ लेगा और उसके लिए अंक दे देगा।
- रूपक: यह एक ऐसे छात्र की तरह है जो बोर्ड पर तीन अलग-अलग लक्ष्यों पर निशाना लगाने के लिए तीर फेंकता है, इस उम्मीद में कि एक पर लग जाए।
- परिणाम: यह विफल रहा। शिक्षक ने अस्पष्ट होने के लिए आंशिक क्रेडिट (partial credit) नहीं दिया। वास्तव में, ये भ्रमित उत्तर अक्सर एक सरल, ईमानदार प्रयास की तुलना में खराब स्कोर प्राप्त करते थे।
"आगे रखने" वाली ट्रिक (Forward):
- विचार: एक छात्र अपने निबंध के बिल्कुल शुरुआत में सही उत्तर रखता है, लेकिन फिर दूसरे भाग में एक गलत उत्तर के साथ उसका खंडन कर देता है, इस उम्मीद में कि शिक्षक पहला वाक्य पढ़ने के बाद ही रुक जाएगा।
- रूपक: यह कहने जैसा है, "आसमान नीला है। लेकिन वास्तव में, आसमान हरे पनीर से बना है।"
- परिणाम: यह काम नहीं आया। शिक्षक ने पूरा पढ़ा, विरोधाभास देखा, और उच्च स्कोर नहीं दिया।
बड़ी खोज: "हाँ/नहीं" बनाम "शायद"
शोधकर्ताओं ने यह भी परीक्षण किया कि शिक्षक के ग्रेड देने के दो अलग-अलग तरीके क्या हो सकते हैं:
- बाइनरी ग्रेडिंग (हाँ/नहीं): शिक्षक को "सही" या "गलत" कहना होगा।
- निरंतर ग्रेडिंग (स्केल): शिक्षक कह सकता है कि "70% सही" या "85% सही"।
निष्कर्ष: "हाँ/नहीं" वाला शिक्षक को चकमा देना बहुत कठिन था। वे सख्त थे और उन्होंने अस्त-व्यस्त उत्तरों के लिए आंशिक क्रेडिट नहीं दिया। "स्केल" वाला शिक्षक थोड़ा उदार था और उसे थोड़ा हेरफेर करना आसान था, लेकिन फिर भी, ये ट्रिक्स अच्छी तरह से काम नहीं करती थीं।
"सुपर-स्ट्रिक्ट" शिक्षक बनाम "उदार" शिक्षक
पेपर ने उत्तर मिलानकर्ता (जो एक ज्ञात कुंजी के विरुद्ध जाँच करता है) की तुलना एक पारंपरिक LLM-as-a-Judge (जो बस एक निबंध पढ़ता है और अंदाज़ा लगाता है कि वह अच्छा है या नहीं, बिना किसी कुंजी के) से की।
- उत्तर मिलानकर्ता (Answer Matcher) एक सख्त निरीक्षक की तरह है जिसके पास उत्तर कुंजी है। उन्हें बेवकूफ बनाना बहुत कठिन है।
- पारंपरिक जज (Traditional Judge) एक ऐसे शिक्षक की तरह है जिसे अपने स्वयं के विचार के आधार पर यह अनुमान लगाना होता है कि निबंध अच्छा है या नहीं। उन्हें चकमा देना आसान है और वे कुल मिलाकर उच्च स्कोर देते हैं।
एक अजीब गड़बड़ी
एक अपवाद था: एक विशिष्ट छोटे शिक्षक मॉडल (Gemma-2-2B-IT) को भ्रम हुआ और उसने बहुत अधिक परफेक्ट स्कोर दिए, जैसे कि वह मतिभ्रम (hallucinating) का शिकार हो रहा हो। यह सुझाव देता है कि हालांकि यह तरीका आम तौर पर मजबूत है, लेकिन विशिष्ट "शिक्षक" मॉडल मायने रखता है।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि उत्तर मिलान (Answer Matching) एक कठिन चुनौती है। आप इन स्वचालित ग्रेडरों को अधिक शब्द लिखकर, अस्पष्ट होकर, या टेक्स्ट के ढेर में उत्तर छिपाकर आसानी से धोखा नहीं दे सकते। यदि आपके पास एक संदर्भ उत्तर कुंजी है, तो एक स्वचालित मिलानकर्ता का उपयोग करना ग्रेडिंग का एक विश्वसनीय, सस्ता और तेज़ तरीका है, और यह इन सरल "गेमिंग" युक्तियों का बहुत अच्छी तरह से विरोध करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।