Illusions of the Gold Standard: A Large-scale Analysis of Human Evaluation Protocols for Long-form Text Generation
यह शोध पत्र लॉन्ग-फॉर्म टेक्स्ट जनरेशन अनुसंधान में मानव मूल्यांकन प्रोटोकॉल का एक बड़े पैमाने पर विश्लेषण प्रस्तुत करता है, जो हाल ही के सीएल (CL) सम्मेलन प्रकाशनों में महत्वपूर्ण पद्धतिगत विवरणों की व्यापक स्तर पर कम रिपोर्टिंग को प्रकट करता है और पारदर्शिता एवं पुनरुत्पादकता में सुधार के लिए कार्रवाई योग्य सिफारिशें प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आर्टिफिशियल इंटेलिजेंस (AI) अनुसंधान की दुनिया एक विशाल, हलचल भरे निर्माण स्थल (construction site) की तरह है। हर दिन, टीमें नए "AI आर्किटेक्ट्स" (लार्ज लैंग्वेज मॉडल्स) बना रही हैं जो लंबी कहानियाँ लिख सकते हैं, जटिल सवालों के जवाब दे सकते हैं, या कानूनी अनुबंधों का मसौदा तैयार कर सकते हैं।
इस निर्माण स्थल में, एक नियम है जिससे हर कोई सहमत है जिसे "गोल्ड स्टैंडर्ड" (Gold Standard) कहा जाता है: किसी इमारत को सुरक्षित घोषित करने से पहले, आपको एक मानव निरीक्षक (human inspector) को उसमें घूमकर यह कहना होगा कि, "हाँ, यह ठीक लग रहा है।" AI के संदर्भ में, इसे ह्यूमन इवैल्यूएशन (Human Evaluation) कहा जाता है।
हालाँकि, "इल्यूशन्स ऑफ द गोल्ड स्टैंडर्ड" (Illusions of the Gold Standard) नामक एक नया अध्ययन बताता है कि जबकि हर कोई इन मानव निरीक्षकों का उपयोग कर रहा है, कोई भी वास्तव में निरीक्षण की रिपोर्ट को ठीक से नहीं लिख रहा है।
इस शोध ने क्या पाया है, यहाँ सरल उपमाओं (analogies) के माध्यम से समझाया गया है:
1. "लापता रेसिपी" की समस्या (The "Missing Recipe" Problem)
कल्पना कीजिए कि आप एक शेफ से केक बनाने के लिए कहते हैं। आप जानना चाहते हैं कि क्या वह अच्छा है, इसलिए आप एक दोस्त से उसे चखने के लिए कहते हैं।
- अच्छी खबर: शोध पत्र में पाया गया कि अधिकांश शोधकर्ता हमें यह तो बताते हैं कि उन्होंने अपने दोस्त को क्या चखने के लिए कहा (जैसे, "क्या आपको चॉकलेट का स्वाद पसंद आया?")।
- बुरी खबर: वे हमें यह लगभग कभी नहीं बताते कि उन्होंने कैसे पूछा।
- क्या उन्होंने दोस्त को निर्देशों के साथ एक रेसिपी कार्ड दिया था? (केवल ~50% शोध पत्रों ने हाँ कहा)।
- क्या उन्होंने दोस्त को उसके समय के लिए भुगतान किया था? (केवल ~29% ने हाँ कहा)।
- क्या उन्होंने यह जांचा कि क्या उनका दोस्त वास्तव में ध्यान दे रहा था, या केवल अनुमान लगा रहा था? (केवल ~6% ने हाँ कहा)।
- क्या उन्होंने दोस्त को एक सहमति पत्र (waiver) पर हस्ताक्षर करने के लिए कहा कि वे नियमों को समझते हैं? (केवल ~11% ने हाँ कहा)।
इन विवरणों के बिना, यह एक ऐसी रेसिपी के आधार पर केक बनाने जैसा है जिसमें लिखा है "थोड़ी चीनी डालें" लेकिन यह नहीं बताया गया कि कितनी या किस प्रकार की। आप परिणाम पर भरोसा नहीं कर सकते क्योंकि आप नहीं जानते कि परीक्षण कैसे चलाया गया था।
2. निरीक्षकों का "सीक्रेट सॉस" (The "Secret Sauce" of the Inspectors)
शोध पत्र ने इस बात की जांच की कि "निरीक्षक" (मानव एनोटेटर) वास्तव में कौन थे।
- रहस्य: कई अध्ययनों में, शोधकर्ता यह नहीं बताते कि उनके निरीक्षक छात्र थे, विशेषज्ञ थे, या इंटरनेट पर मौजूद आम लोग थे।
- जोखिम: यदि आप केक का निर्णय लेने के लिए एक पेशेवर शेफ को पूछते हैं, तो वे एक 10 साल के बच्चे की तुलना में केक को अलग तरह से चख सकते हैं। यदि शोध पत्र आपको यह नहीं बताता कि जज कौन थे, तो आप नहीं जान सकते कि "स्वाद परीक्षण" निष्पक्ष था या पक्षपाती।
- निष्कर्ष: अधिकांश शोध पत्रों (65%) ने यह भी नहीं बताया कि उन्हें जज कहाँ से मिले। यह एक रेस्टोरेंट के कहने जैसा है, "हमने लोगों से हमारे भोजन का स्वाद चखने के लिए कहा," बिना यह बताए कि वे लोग भूखे थे, पेट भरे हुए थे, या उन्हें स्वादिष्ट कहने के लिए भुगतान किया गया था।
3. "मैजिक नंबर" का मिथक (The "Magic Number" Myth)
जब शोधकर्ता यह तय करते हैं कि स्वाद परीक्षण के लिए कितने लोगों को पूछना है, तो वे अक्सर एक ऐसा नंबर चुनते हैं जो उन्हें सही लगता है, बजाय इसके कि वह गणितीय रूप से सिद्ध हो।
- वास्तविकता: शोध पत्र में पाया गया कि शून्य शोधकर्ताओं ने यह पता लगाने के लिए "पावर एनालिसिस" (power analysis) नामक सांख्यिकीय उपकरण का उपयोग किया कि जजों की सही संख्या क्या होनी चाहिए।
- परिणाम: कुछ अध्ययनों में केवल 10 लोग थे, जबकि अन्य में 23,000 से अधिक लोग थे। यह एक व्यक्ति द्वारा केवल एक दोस्त के साथ फिल्म का निर्णय लेने जैसा है, जबकि दूसरा व्यक्ति एक स्टेडियम में बैठे लोगों से पूछता है। बिना समूह के आकार को तय करने के किसी मानक तरीके के, परिणाम बहुत बिखरे हुए हैं और उनकी तुलना करना कठिन है।
4. "गोल्ड स्टैंडर्ड" में दरारें (The "Gold Standard" is Cracking)
यहाँ कहानी का सबसे आश्चर्यजनक मोड़ है:
- बदलाव: जैसे-जैसे AI स्मार्ट होता जा रहा है, शोधकर्ता अन्य AI का मूल्यांकन करने के लिए इंसानों के बजाय AI जजों (कंप्यूटरों) का उपयोग करने लगे हैं। वे इंसानों का उपयोग कम और कम कर रहे हैं।
- खतरा: जब इंसानों का उपयोग किया जाता है, तो अक्सर इसका उपयोग यह जांचने के लिए किया जाता है कि AI जज अपना काम कितनी अच्छी तरह कर रहे हैं (एक "मेटा-इवैल्यूएशन")।
- विडंबना: यदि मानव "गोल्ड स्टैंडर्ड" को ठीक से प्रलेखित (document) नहीं किया गया है और यह असंगत है (जैसा कि शोध पत्र सिद्ध करता है), तो हम AI जजों पर भी भरोसा नहीं कर सकते। यह एक नए, हाई-टेक थर्मामीटर को कैलिब्रेट करने के लिए एक टूटे हुए, बिना कैलिब्रेटेड मरकरी थर्मामीटर का उपयोग करने जैसा है। यदि आधार ही अस्थिर है, तो पूरा निर्माण जोखिम में है।
शोध पत्र का समाधान: एक "न्यूनतम व्यवहार्य रिपोर्ट" (A "Minimum Viable Report")
लेखक यह नहीं कह रहे हैं कि "मानव मूल्यांकन करना बंद कर दें।" वे कह रहे हैं, "यदि आप इसे करते हैं, तो इसे ठीक से लिखें।"
वे एक सरल चेकलिस्ट (20 आइटम) प्रस्तावित करते हैं जिसे प्रत्येक शोध पत्र में शामिल किया जाना चाहिए, जैसे:
- "यहाँ वे निर्देश दिए गए थे जो हमने जजों को दिए थे।"
- "यहाँ बताया गया है कि हमने कितने जजों का उपयोग किया और वे कौन थे।"
- "यहाँ बताया गया है कि यदि दो जजों के बीच असहमति हुई तो हमने उसे कैसे संभाला।"
उनका तर्क है कि इसे लिखना बहुत अधिक स्थान नहीं लेता है, लेकिन यह पूरे AI अनुसंधान क्षेत्र को बहुत अधिक विश्वसनीय बनाता है।
संक्षेप में
यह शोध पत्र AI समुदाय के लिए एक चेतावनी (wake-up call) है। यह कहता है: "हम मानव मूल्यांकन को एक जादू के खेल की तरह मान रहे हैं जहाँ दर्शकों को बस हम पर भरोसा करना होता है। लेकिन विज्ञान भरोसे के बारे में नहीं है; यह प्रमाण के बारे में है। यदि आप चाहते हैं कि आपका AI 'गोल्ड स्टैंडर्ड' बने, तो आपको इसे टेस्ट करने के विवरण छिपाना बंद करना होगा।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।