Scoring Rules! Statistical and Strategic Alignment for Text Evaluation Metrics
यह शोध पत्र तर्क देता है कि संदर्भ-आधारित पाठ मूल्यांकन मेट्रिक्स को मानव रेटिंग के साथ सांख्यिकीय रूप से सहसंबंधित और हेरफेर के विरुद्ध रणनीतिक रूप से सुदृढ़ दोनों होना चाहिए, और एक एकीकृत म्यूचुअल-इन्फॉर्मेशन-आधारित ढांचे का प्रस्ताव देता है जो मानव निर्णयों के साथ प्रतिस्पर्धी सहसंबंध बनाए रखते हुए बेहतर हेरफेर प्रतिरोध प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो निबंधों का एक ढेर ग्रेड कर रहे हैं। आप यह जानना चाहते हैं कि किस छात्र ने वास्तव में पाठ को समझा है और कौन सा छात्र केवल आपको धोखा देने के लिए 'परफेक्ट' लगने वाले शब्दों को रटकर आया है। दशकों से, कंप्यूटर यह काम हमारे लिए करने की कोशिश कर रहे हैं, जो आर्टिफिशियल इंटेलिजेंस द्वारा उत्पन्न विशाल मात्रा में टेक्स्ट के लिए स्वचालित ग्रेडर के रूप में कार्य करते हैं। ये कंप्यूटर ग्रेडर, जिन्हें "इवैल्यूएशन मेट्रिक्स" कहा जाता है, आमतौर पर एक मानव द्वारा लिखे गए "गोल्ड स्टैंडर्ड" उत्तर के साथ छात्र के उत्तर की तुलना करके काम करते हैं। यदि शब्द अच्छी तरह से मेल खाते हैं, तो कंप्यूटर उच्च स्कोर देता है। यह यह जांचने के लिए बहुत अच्छा काम करता है कि क्या कंप्यूटर सामान्य रूप से अच्छा काम कर रहा है, जैसे कि यह जांचना कि क्या किसी छात्र के निबंध में वर्तनी के शब्द सही संख्या में हैं। लेकिन यहाँ एक पेंच है: यदि आप किसी छात्र से कहते हैं, "मैं केवल इस आधार पर तुम्हारा ग्रेड दूँगा कि तुम कितने वर्तनी शब्दों का उपयोग करते हो," तो वे वास्तविक कहानी के बारे में लिखना बंद कर सकते हैं और केवल अपने निबंध में ऐसे यादृच्छिक शब्द भर सकते हैं जो ग्रेडर को अच्छे दिखें लेकिन जिनका कोई अर्थ न हो। यह "ऑप्टिमाइज़िंग फॉर द मेट्रिक" की समस्या है। जिस शोध पत्र को हम देख रहे हैं, वह एक महत्वपूर्ण प्रश्न पूछता है: हम एक ऐसा कंप्यूटर ग्रेडर कैसे बना सकते हैं जो न केवल मानव शिक्षकों के साथ सहमत हो, बल्कि उन छात्रों को भी चकमा देने से इनकार करे जो ऑप्टिमाइज़ करने की कोशिश कर रहे हैं?
यह पेपर, जिसका शीर्षक "स्कोरिंग रूल्स! स्टैटिस्टिकल एंड स्ट्रैटेजिक अलाइनमेंट फॉर टेक्स्ट इवैल्यूएशन मेट्रिक्स" है, इसी दुविधा में गहराई से उतरता है। लेखक, जो विश्वविद्यालयों और तकनीकी कंपनियों के शोधकर्ताओं की एक टीम है, तर्क देते हैं कि इन कंप्यूटर ग्रेडरों को आंकने का पुराना तरीका टूटा हुआ है। पारंपरिक रूप से, हम केवल यह देखते हैं कि कंप्यूटर के स्कोर मानव स्कोर के साथ "सह-संबंधित" (correlate) हैं या नहीं—अर्थात, क्या वे आमतौर पर यह तय करने पर सहमत होते हैं कि कौन सा निबंध बेहतर है? लेखक कहते हैं कि यह पर्याप्त नहीं है। वे एक नया, कठिन मानक प्रस्तावित करते हैं जिसे "स्ट्रैटेजिक अलाइनमेंट" कहा जाता है। एक वास्तव में अच्छा ग्रेडर केवल मनुष्यों के साथ सहमत नहीं होना चाहिए; इसे "स्ट्रैटेजिकली रोबस्ट" होना चाहिए, जिसका अर्थ है कि इसे उन निबंधों को उच्च स्कोर नहीं देना चाहिए जिन्हें बिना वास्तव में बेहतर हुए, बेहतर दिखने के लिए चतुराई से बदला गया है।
इसकी जांच करने के लिए, शोधकर्ताओं ने "ट्रिक टेस्ट" की एक श्रृंखला तैयार की। सबसे पहले, उन्होंने महत्वपूर्ण तथ्यों को हटाकर या निबंधों को छोटा और कम सूचनात्मक बनाकर उन्हें "डिग्रेड" (क्षय) करने की कोशिश की। एक अच्छे ग्रेडर को इन कम किए गए निबंधों को कम स्कोर देना चाहिए। दूसरा, उन्होंने निबंधों में फालतू बातें जोड़कर, लहजे को अत्यधिक आत्मविश्वासी बनाकर, या बिना कोई नई सच्चाई जोड़े उन्हें फिर से लिखकर "मैनिपुलेट" (हेरफेर) करने की कोशिश की। एक अच्छे ग्रेडर को इन धोखेबाज निबंधों को उच्च स्कोर नहीं देना चाहिए। उन्होंने कई अलग-अलग प्रकार के कंप्यूटर ग्रेडर का परीक्षण किया, जिसमें लोकप्रिय "एलएलएम-एज़-अ-जज" विधि (जहाँ एक सुपर-स्मार्ट एआई शिक्षक के रूप में कार्य करता है) और "म्युचुअल इंफॉर्मेशन" नामक गणितीय अवधारणा पर आधारित एक नया परिवार शामिल है (जो मापता है कि दो टेक्स्ट वास्तव में आपस में कितना साझा करते हैं)।
परिणाम आश्चर्यजनक थे और इसमें एक ट्विस्ट था। "एलएलएम-एज़-अ-जज" विधि, जो वर्तमान में बहुत लोकप्रिय है और मानव शिक्षकों के साथ सहमत होने के लिए उच्च अंक प्राप्त करती है, अनुकूलन (optimization) के खिलाफ एक भयानक डिफेंडर साबित हुई। जब शोधकर्ताओं ने इसे धोखा देने की कोशिश की, तो एआई जज अक्सर इसका शिकार हो गया, और उन निबंधों को उच्च स्कोर दिया जो केवल दिखावटी बकवास थे। इसके विपरीत, नए "म्युचुअल इंफॉर्मेशन" मेट्रिक्स, जिन्हें लेखकों ने एक विशिष्ट ढांचे का उपयोग करके डिजाइन किया था, उन्हें बेवकूफ बनाना बहुत कठिन था। वे केवल मनुष्यों के साथ सहमत नहीं थे; उन्होंने कम किए गए और भ्रामक निबंधों को दंडित भी किया।
टीम ने पाया कि "सीक्रेट सॉस" केवल एक स्मार्ट एआई का उपयोग करना नहीं था, बल्कि यह बदलना था कि एआई टेक्स्ट को कैसे देखता है। उन्होंने पाया कि निबंधों को छोटे, परमाणु "कथनों" (जैसे व्यक्तिगत तथ्य या दावे) में तोड़ना और यह जांचना कि क्या वे विशिष्ट कथन उत्तर द्वारा समर्थित हैं, पूरे निबंध को एक बड़े ब्लॉक के रूप में देखने की तुलना में बेहतर काम करता है। एक विशिष्ट नया मेट्रिक जिसे उन्होंने बनाया—इन स्टेटमेंट-लेवल चंक्स पर "टोटल वेरिएशन" माप का उपयोग करके—विजेता रहा। इसने हर उस हेरफेर वाले परीक्षण का सामना किया जो शोधकर्ताओं ने इस पर फेंके थे (30 में से 0 विफलता!) और साथ ही मानव विचारों के साथ तालमेल बनाए रखा।
संक्षेप में, यह पेपर सुझाव देता है कि यदि हम चाहते हैं कि एआई बेहतर लिखे, तो हमें ऐसे ग्रेडरों का उपयोग करना बंद करना होगा जिन्हें शैली को सार (substance) से ऊपर रखने के लिए आसानी से चकमा दिया जा सकता है। लेखक दिखाते हैं कि सतह के स्तर की समानता के बजाय, वास्तविक सूचना साझा करने के अधिक गणितीय दृष्टिकोण का उपयोग करके, हम ऐसे मूल्यांकन उपकरण बना सकते हैं जो मानवों के लिए निष्पक्ष और रणनीतिक अनुकूलन के धोखों से मुक्त हैं। यह एक याद दिलाता है कि एआई की दुनिया में, "स्मार्ट" होने का मतलब केवल उच्च स्कोर प्राप्त करना नहीं है; यह ऐसे सिस्टम बनाना है जिन्हें गेम (खेल) नहीं किया जा सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।