Improving Reproducibility in Evaluation through Multi-Level Annotator Modeling
यह शोध पत्र एक मल्टी-लेवल बूटस्ट्रैपिंग दृष्टिकोण पेश करके जनरेटिव एआई मूल्यांकन में पुनरुत्पादकता संकट (reproducibility crisis) को संबोधित करता है जो सांख्यिकीय सार्थकता के लिए आवश्यक मदों (items) की संख्या और प्रति मद प्रतिक्रियाओं के बीच इष्टतम संतुलन निर्धारित करने हेतु एनोटेटर भिन्नता को मॉडल करने के लिए स्थायी रेटर आइडेंटिफायर वाले बड़े पैमाने के डेटासेट का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह तय करने की कोशिश कर रहे हैं कि दो नए AI चैटबॉट्स में से कौन सा अधिक "सुरक्षित" और अधिक सहायक है। आप लोगों के एक समूह से उन्हें रेटिंग देने के लिए कहते हैं। लेकिन यहाँ एक समस्या है: यदि आप दस अलग-अलग बातचीत को रेट करने के लिए केवल तीन लोगों से पूछते हैं, तो आपको एक ऐसा परिणाम मिल सकता है जो भाग्यशाली (या दुर्भाग्यपूर्ण) हो सकता है और वास्तविकता को नहीं दर्शाता है। यह वह "पुनरुत्पादकता संकट" (reproducibility crisis) है जिसके बारे में पेपर बात करता है—विज्ञान निरंतर परिणाम प्राप्त करने के लिए संघर्ष कर रहा है क्योंकि हम चीजों को पर्याप्त सावधानी से नहीं माप रहे हैं।
इस पेपर के लेखक तर्क देते हैं कि हम हर मानवीय राय को इस तरह मानकर एक बड़ी गलती कर रहे हैं जैसे कि वह किसी पूरी तरह से अलग व्यक्ति से आई हो जिसका दूसरों से कोई संबंध नहीं है। वास्तव में, वही व्यक्ति अक्सर कई वस्तुओं को रेट करता है, और वे अपने साथ अपना स्वयं का एक व्यक्तिगत "स्वभाव" या पूर्वाग्रह लेकर आते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "टेस्ट टेस्ट" की समस्या (The "Taste Test" Problem)
कल्पना कीजिए कि आप दो नए स्वादों (फ्लेवर्स) के लिए एक बड़ा आइसक्रीम टेस्ट आयोजित कर रहे हैं।
- पुराना तरीका (जो अधिकांश लोग करते हैं): आप 100 अलग-अलग लोगों को बुलाते हैं और प्रत्येक को एक स्कूप चखने के लिए कहते हैं। आप मान लेते हैं कि सभी की राय स्वतंत्र है।
- वास्तविकता: वास्तव में कई अध्ययनों में, आप केवल 5 लोगों को बुलाते हैं जिन्हें 20 स्कूप चखने के लिए कहा जाता है।
- समस्या: यदि "बॉब" को चॉकलेट पसंद नहीं है, तो वह हर चॉकलेट स्कूप को खराब रेटिंग देगा, चाहे ब्रांड कोई भी हो। यदि आप बॉब की 20 राय को 20 स्वतंत्र डेटा पॉइंट मानते हैं, तो आप खुद को धोखा दे रहे हैं कि आपके पास बहुत अधिक प्रमाण हैं। वास्तव में, आप केवल बॉब की आवाज़ को 20 बार सुन रहे हैं।
पेपर दिखाता है कि जब आप इस तथ्य को अनदेखा करते हैं कि वही लोग कई वस्तुओं को रेट कर रहे हैं, तो आपको झूठी आत्म-भरोसा (false confidence) मिलता है। आपको लगता है कि आपने दो AI मॉडल के बीच एक स्पष्ट विजेता खोज लिया है, जबकि वास्तव में आपने अभी तक पर्याप्त अलग लोगों से नहीं पूछा है ताकि एक सच्चा औसत प्राप्त किया जा सके।
2. "मल्टी-लेवल" समाधान (The "Multi-Level" Solution)
लेखक डेटा को देखने का एक नया तरीका प्रस्तावित करते हैं, जिसे वे मल्टी-लेवल बूटस्ट्रैपिंग (Multi-Level Bootstrapping) कहते हैं।
- उपमा: केवल वोटों को गिनने के बजाय, कल्पना कीजिए कि आप एक जासूस हैं जिसे एहसास होता है कि "बॉब" एक चिड़चिड़ा आदमी है जो हमेशा कम स्कोर देता है। आपको अंतिम स्कोर की गणना करते समय बॉब के चिड़चिड़ेपन को ध्यान में रखने की आवश्यकता है।
- उन्होंने यह कैसे किया: उन्होंने वास्तविक दुनिया के डेटासेट लिए जहाँ उन्हें पता था कि किसने क्या रेट किया (जैसे कि 123 लोगों द्वारा रेट की गई 350 बातचीत का डेटासेट)। उन्होंने एक कंप्यूटर सिमुलेशन का उपयोग किया, जो प्रभावी रूप से यह पूछ रहा था: "क्या होता यदि हमने अलग-अलग लोगों से पूछा होता? क्या होता यदि हमने उन्हीं लोगों से फिर से पूछा होता?"
3. बड़ी खोज: अधिक वस्तुएं नहीं, बल्कि अधिक लोग (More People, Not Just More Items)
यह पेपर एक महत्वपूर्ण प्रश्न का उत्तर देता है: क्या हमें कम वस्तुओं को रेट करने के लिए अधिक लोगों को पूछना चाहिए, या अधिक वस्तुओं को रेट करने के लिए कम लोगों को?
- निष्कर्ष: यह कम वस्तुओं को रेट करने के लिए अधिक लोगों (रेटर्स) को शामिल करने से कहीं बेहतर है, बजाय इसके कि कुछ ही लोगों से सब कुछ रेट करवाया जाए।
- रूपक (Metaphor): कल्पना कीजिए कि आप एक शहर की औसत ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं।
- रणनीति A: 1 व्यक्ति को 1,000 अलग-अलग इमारतों को मापने के लिए कहें। (यह बुरा है; यदि वह व्यक्ति कम दृष्टि वाला है या एक टूटे हुए टेप का उपयोग कर रहा है, तो आपका पूरा डेटा गलत होगा)।
- रणनीति B: 1,000 अलग-अलग लोगों को 1 इमारत मापने के लिए कहें। (यह बेहतर है; भले ही एक व्यक्ति गलती करे, 1,000 लोगों का औसत सटीक होगा)।
पेपर ने पाया कि एक सांख्यिकीय रूप से विश्वसनीय परिणाम (एक "महत्वपूर्ण" खोज) प्राप्त करने के लिए, आपको अक्सर लोगों (K) की संख्या को काफी बढ़ाना पड़ता है, कभी-कभी सूची में अधिक आइटम जोड़ने के बजाय, प्रति आइटम 100 लोगों तक।
4. "बैच" प्रभाव (The "Batch" Effect)
शोधकर्ताओं ने यह भी देखा कि डेटा को "बैच" (समूहों) में कैसे एकत्र किया जाता है।
- उपमा: कल्पना कीजिए कि एक कक्षा है जहाँ शिक्षक पूरी क्लास को एक साथ टेस्ट बांटता है। छात्र आपस में चर्चा कर सकते हैं या वे सभी एक ही समय में थके हुए हो सकते हैं।
- निष्कर्ष: जब लोग समूहों (बैच) में वस्तुओं को रेट करते हैं, तो उनकी राय और भी अधिक सह-संबंधित (correlated) हो जाती है। पेपर दिखाता है कि यदि आप इन "बैच" को अनदेखा करते हैं, तो आप इस बात का कम आकलन करते हैं कि आपको वास्तव में कितने डेटा की आवश्यकता है। आपको लग सकता है कि आपको निश्चित होने के लिए 500 रेटिंग की आवश्यकता है, लेकिन "बैच" प्रभाव के कारण, आपको वास्तव में 2,500 की आवश्यकता हो सकती है।
5. मुख्य निष्कर्ष (The Bottom Line)
पेपर निष्कर्ष निकालता है कि केवल 3 से 5 रेटर्स का उपयोग करने का वर्तमान मानक अक्सर पर्याप्त नहीं है, विशेष रूप से जब यह साबित करने की कोशिश की जा रही हो कि एक AI मॉडल दूसरे से अधिक सुरक्षित है।
- सिफारिश: यदि आप जानना चाहते हैं कि क्या कोई AI वास्तव में सुरक्षित या बेहतर है, तो आपको मानव रेटर्स को केवल बदलने योग्य सिक्कों की तरह मानना बंद करना होगा। आपको यह स्वीकार करने की आवश्यकता है कि हर मनुष्य की एक अनूठी "आवाज़" होती है। एक सच्चा उत्तर पाने के लिए, आपको अधिक मानवों को नियुक्त करने की आवश्यकता है जो अपनी राय दें, भले ही इसमें अधिक पैसा खर्च हो।
संक्षेप में: केवल एक हजार चीजों को जज करने के लिए उन्हीं कुछ लोगों को न कहें। एक हजार अलग-अलग लोगों को कुछ चीजें जज करने के लिए कहें। नकली आंकड़ों से खुद को मूर्ख बनाने का यही एकमात्र तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।