RECOM: A Validity Discrimination Tradeoff in Automatic Metrics for Open Ended Reddit Question Answering
यह शोध पत्र ओपन-एंडेड रेडिट प्रश्न उत्तरण (question answering) के मूल्यांकन के लिए एक संदूषण-मुक्त (contamination-free) डेटासेट, RECOM को प्रस्तुत करता है, ताकि यह प्रदर्शित किया जा सके कि वर्तमान स्वचालित मेट्रिक्स एक मौलिक वैधता-विभेदक ट्रेडऑफ़ (validity-discrimination tradeoff) का सामना करते हैं जहाँ वे या तो वास्तविक सामग्री को शोर से अलग कर सकते हैं या मॉडल के प्रदर्शन को रैंक कर सकते हैं, लेकिन अपने प्रतिनिधित्व डिज़ाइन (representation design) की अंतर्निहित सीमाओं के कारण शायद ही कभी दोनों कर पाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टैलेंट शो के जज हैं जहाँ पाँच अलग-अलग रोबोट खुले अंत वाले सवालों के जवाब देने की कोशिश कर रहे हैं, जैसे, "बारिश वाले रविवार को बिताने का सबसे अच्छा तरीका क्या है?" या "बिल्लियाँ ऐसा व्यवहार क्यों करती हैं जैसे वे घर की मालकिन हों?"
वास्तविक दुनिया में, कोई एक "सही" उत्तर नहीं होता है। इसके बजाय, आपके पास लोगों की एक भीड़ (रेडिट कम्युनिटी) है जिन्होंने पहले से ही हज़ारों अलग-अलग राय पोस्ट कर रखी हैं। आपका काम यह पता लगाना है कि कौन सा रोबोट सबसे अच्छा काम कर रहा है।
यह करने के लिए, आप रोबोटों को ग्रेड देने के लिए एक "स्कोरकार्ड" (एक स्वचालित मीट्रिक) का उपयोग करते हैं। लेकिन, इस शोध पत्र, RECOM ने एक आश्चर्यजनक समस्या की खोज की: कोई भी एकल स्कोरकार्ड एक साथ दो काम नहीं कर सकता।
सरल उपमाओं का उपयोग करके समस्या का विवरण यहाँ दिया गया है:
स्कोरकार्ड के दो काम
यह पेपर तर्क देता है कि एक अच्छे मूल्यांकन उपकरण को दो चीजें करने की आवश्यकता है:
- "असली बनाम नकली" परीक्षण (वैधता/Validity): क्या स्कोरकार्ड एक रोबोट के वास्तविक उत्तर और एक यादृच्छिक (random), निरर्थक वाक्य के बीच अंतर कर सकता है?
- "सर्वश्रेष्ठ रोबोट" परीक्षण (भेदभाव/Discrimination): क्या स्कोरकार्ड आपको बता सकता है कि उन पाँचों में से कौन सा रोबोट वास्तव में सबसे बुद्धिमान है?
शोधकर्ताओं ने पाया कि आप दोनों चीजें एक साथ नहीं कर सकते। जो उपकरण "नकली" उत्तरों को पकड़ने में माहिर हैं, वे रोबोटों को रैंक करने में बहुत खराब हैं। जो उपकरण रोबोटों को रैंक करने में अच्छे हैं, वे वास्तव में कुछ बहुत ही साधारण चीज़ को माप रहे हैं, जैसे कि रोबोट कितना लंबा बोलता है।
स्कोरकार्ड के दो प्रकार
1. "कोसाइन सिमिलैरिटी" (Cosine Similarity) स्कोरकार्ड (एक सख्त द्वारपाल)
- यह कैसे काम करता है: यह उपकरण शब्दों के अर्थ को देखता है। यह पूछता है, "क्या यह उत्तर बातचीत का हिस्सा लगता है?"
- परिणाम: यह "असली बनाम नकली" परीक्षण में अद्भुत है। यह एक वास्तविक मानव उत्तर और यादृच्छिक बकवास (जैसे सिक्का उछालने का परिणाम) के बीच आसानी से अंतर कर सकता है।
- दोष: यह रोबोटों को रैंक करने में बहुत खराब है। यह पाँचों रोबोटों को लगभग एक जैसा स्कोर देता है। यह एक ऐसे शिक्षक की तरह है जो हर छात्र को "A" ग्रेड देता है क्योंकि उन्होंने कुछ तो समझदारी भरा लिखा है, लेकिन आप यह नहीं बता सकते कि किसने सबसे अच्छा निबंध लिखा है।
2. "बर्टस्कोर" (BERTScore) स्कोरकार्ड (लंबाई गिनने वाला)
- यह कैसे काम करता है: यह उपकरण यह देखता है कि रोबोट के शब्द मानव शब्दों के साथ कितनी अच्छी तरह मेल खाते हैं।
- परिणाम: यह रोबोटों को रैंक करता हुआ प्रतीत होता है! एक रोबोट को 90 मिलता है, दूसरे को 85। ऐसा लगता है कि यह विजेता चुनने में बहुत अच्छा काम कर रहा है।
- दोष: शोध पत्र ने खोजा कि यह रैंकिंग एक धोखा है। जिस रोबोट को "सर्वश्रेष्ठ" स्कोर मिला था, वह वास्तव में वह था जिसने सबसे छोटे उत्तर लिखे थे। क्योंकि रेडिट पर मानव उत्तर अक्सर छोटे होते हैं, इसलिए जिस रोबोट ने छोटे उत्तर लिखे, उसे केवल लंबाई के मिलान के कारण उच्च स्कोर मिला, न कि गुणवत्ता के कारण।
- उपमा: कल्पना कीजिए कि एक प्रतियोगिता है जहाँ जज इस बात के अंक देते हैं कि आप कितने शब्दों का उपयोग करते हैं। यदि नियम यह है कि "संक्षिप्त रहें," तो जो रोबोट 10 शब्द लिखता है उसे पूर्ण स्कोर मिलता है, जबकि जो 30 शब्द लिखता है उसे कम स्कोर मिलता है, भले ही 30 शब्दों वाला उत्तर अधिक बुद्धिमानी भरा हो। जब शोधकर्ताओं ने "लंबाई" के कारक को हटा दिया, तो रैंकिंग गायब हो गई, और सभी रोबोट फिर से एक जैसे दिखने लगे।
"नॉइज़ फ्लोर" (Noise Floor) प्रयोग
इसे साबित करने के लिए, शोधकर्ताओं ने एक "नॉइज़ फ्लोर" बनाया। उन्होंने रोबोटों के उत्तरों को लिया और उन्हें यादृच्छिक रूप से मिला दिया, जिससे एक रोबोट के उत्तर को उस प्रश्न के साथ जोड़ा जिसे उसने कभी देखा ही नहीं था।
- उन्होंने पाया कि "असली बनाम नकली" का अंतर (एक यादृच्छिक उत्तर की तुलना में वास्तविक उत्तर कितना बेहतर है) कुछ उपकरणों के लिए बहुत बड़ा था और कुछ के लिए बहुत छोटा।
- उन्होंने पाया कि "सर्वश्रेष्ठ रोबोट" का अंतर (एक रोबोट दूसरे से कितना बेहतर है) अक्सर शब्द गणना के कारण पैदा हुआ एक भ्रम था।
"मानव" जाँच
यह सुनिश्चित करने के लिए कि उनके कंप्यूटर झूठ नहीं बोल रहे हैं, उन्होंने मानव न्यायाधीशों के रूप में कार्य करने के लिए तीन अन्य AI मॉडल का उपयोग किया।
- इन "AI न्यायाधीशों" ने पुष्टि की कि वे एक वास्तविक उत्तर और एक यादृच्छिक उत्तर के बीच अंतर कर सकते हैं (वैधता)।
- लेकिन, स्वचालित स्कोरकार्ड की तरह ही, ये "AI न्यायाधीश" यह बताने में संघर्ष कर रहे थे कि उन पाँचों में से कौन सा रोबोट वास्तव में सबसे अच्छा था (भेदभाव)। उन्होंने उन सभी को बहुत समान स्कोर दिए।
मुख्य निष्कर्ष
यह पेपर निष्कर्ष निकालता है कि समस्या रोबोटों में नहीं है; यह उन पैमाने (rulers) में है जिनका उपयोग हम उन्हें मापने के लिए कर रहे हैं।
इन स्कोरकार्डों को बनाने का तरीका (उनका "रिप्रेजेंटेशन डिज़ाइन") उन्हें बकवास को पहचानने में तो अच्छा बनाता है लेकिन सूक्ष्म अंतर (nuance) को पहचानने में बुरा बनाता है।
- यदि आप जानना चाहते हैं कि उत्तर असली है या नहीं, तो कोसाइन सिमिलैरिटी जैसे उपकरण का उपयोग करें।
- यदि आप जानना चाहते हैं कि कौन सा मॉडल बेहतर है, तो बहुत सावधान रहें: वर्तमान उपकरण केवल यह माप रहे हो सकते हैं कि रोबोट कितना बातूनी है, न कि वह कितना बुद्धिमान है।
लेखक सुझाव देते हैं कि भविष्य में, हमें दोनों अक्षों (axes) पर स्कोर रिपोर्ट करना चाहिए: "यह असली और नकली के बीच अंतर करने में कितना अच्छा है?" और "यह मॉडलों को रैंक करने में कितना अच्छा है?" ताकि हमें उस स्कोरकार्ड से धोखा न मिले जो केवल शब्दों को गिन रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।