Creation of the Estonian Subjectivity Dataset: Assessing the Degree of Subjectivity on a Scale
यह शोध पत्र दस्तावेज़-स्तरीय व्यक्तिपरकता (subjectivity) के लिए एक नया एस्टोनियाई-भाषा का डेटासेट प्रस्तुत करता है जिसमें मानव एनोटेटरों द्वारा एक निरंतर पैमाने पर रेट किए गए 1,000 टेक्स्ट शामिल हैं, साथ ही मानव निर्णय की तुलना में स्वचालित व्यक्तिपरकता स्कोरिंग के लिए GPT-5 का उपयोग करने की व्यवहार्यता और सीमाओं का मूल्यांकन भी करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कटोरे में कितना "स्वाद" है, इसे मापने की कोशिश कर रहे हैं। कुछ कटोरे केवल सादे पानी (पूरी तरह से वस्तुनिष्ठ तथ्य) जैसे होते हैं, जबकि अन्य मसालों, जड़ी-बूटियों और शेफ की व्यक्तिगत राय (पूरी तरह से व्यक्तिपरक) से भरे होते हैं। लंबे समय से, कंप्यूटर और भाषा की दुनिया (नेचुरल लैंग्वेज प्रोसेसिंग) के शोधकर्ता केवल यह पूछने में सक्षम थे, "क्या यह सूप तीखा है या नहीं?" (हाँ/नहीं)।
यह शोध पत्र एस्टोनियाई भाषा के लिए एक नया, बहुत अधिक सटीक मापने वाला कप बनाने के बारे में है। साधारण "हाँ या ना" के बजाय, शोधकर्ताओं ने एक डेटासेट बनाया जहाँ उन्होंने 1,000 अलग-अलग एस्टोनियाई ग्रंथों को एक स्लाइडिंग स्केल पर 0 से 100 तक रेट किया। 0 का स्कोर शुद्ध, अनछुआ तथ्य (जैसे मौसम की रिपोर्ट) है, और 100 शुद्ध व्यक्तिगत राय (जैसे किसी खराब फिल्म के बारे में भड़ास) है।
यहाँ बताया गया है कि उन्होंने इसे कैसे बनाया और उन्हें क्या मिला, जिसे सरल भाषा में समझाया गया है:
1. रेसिपी: डेटासेट बनाना
टीम चाहती थी कि वे देख सकें कि क्या इंसान इन "स्वाद स्कोर" पर सहमत हो सकते हैं।
- सामग्री: उन्होंने 1,000 टेक्स्ट एकत्र किए। 300 इंटरनेट से समाचार और राय वाले लेख थे और 700 रैंडम वेब टेक्स्ट (जैसे ब्लॉग, फ़ोरम, रेसिपी और विज्ञापन) थे।
- चखने वाले: उन्होंने मानव "चखने वालों" (एनोटेटर्स) को ये टेक्स्ट पढ़ने और उन्हें 0 से 100 के बीच स्कोर देने के लिए काम पर रखा।
- पायलट टेस्ट: सभी 1,000 पर काम करने से पहले, उन्होंने केवल 60 टेक्स्ट पर इस पद्धति का परीक्षण किया। यह अच्छी तरह काम कर गया! चखने वालों ने स्केल को समझ लिया और वे एक सूखे समाचार रिपोर्ट और एक तीखी राय वाले लेख के बीच अंतर बता सकते थे।
2. स्वाद परीक्षण: इंसान हमेशा सहमत नहीं होते
जब टीम ने एक ही 1,000 टेक्स्ट को रेट करने के लिए तीन अलग-अलग लोगों को कहा, तो परिणाम थोड़े अस्त-व्यस्त थे।
- "व्यक्तिपरकता" की समस्या: ठीक वैसे ही जैसे लोगों की मसालों के प्रति सहनशीलता अलग होती है, लोगों के पास इस बारे में भी अलग विचार होते हैं कि क्या "व्यक्तिपरक" माना जाए। एक व्यक्ति सोच सकता है कि उद्धरण (quote) वाला समाचार लेख तटस्थ है, जबकि दूसरा सोच सकता है कि वह उद्धरण उसे पक्षपाती बनाता है।
- सहसंबंध (Correlation): इंसानों के बीच सहमति "मध्यम" थी। यह बुरा नहीं था, लेकिन यह पूर्ण भी नहीं था। कभी-कभी, एक व्यक्ति ने एक टेक्स्ट को 10 (बहुत तथ्यात्मक) दिया और दूसरे ने इसे 90 (बहुत व्यक्तिपरक) दिया।
- पुनः चखना: इसे ठीक करने के लिए, उन्होंने उन 250 टेक्स्ट को चुना जहाँ इंसानों के बीच सबसे अधिक असहमति थी और दो चखने वालों को उन्हें फिर से रेट करने के लिए कहा। इस बार, सहमति बहुत बेहतर हो गई। यह पता चला कि टेक्स्ट को पढ़ने का क्रम मायने रखता था। यदि वे बस बहुत सारे गुस्से वाले लेख पढ़ते हैं, तो वे अगले टेक्स्ट के लिए निष्पक्षता के प्रति अति-संवेदनशील हो जाते हैं। यह ऐसा ही है जैसे यदि आप एक बहुत ही खट्टा नींबू खाते हैं, तो अगला फल वास्तव में मीठा होने की तुलना में अधिक मीठा लगता है।
3. रोबोट टेस्टर: GPT-5 का आगमन
शोधकर्ताओं ने एक प्रश्न पूछा: "क्या एक सुपर-स्मार्ट कंप्यूटर (एक AI जिसे GPT-5 कहा जाता है) इस काम को इंसानों की तरह अच्छी तरह से कर सकता है?"
- प्रयोग: उन्होंने AI को सभी 1,000 टेक्स्ट को रेट करने दिया।
- परिणाम: AI आश्चर्यजनक रूप से सुसंगत था। यदि आप इसे तीन बार एक ही बैच के टेक्स्ट को रेट करने के लिए कहते, तो यह लगभग हर बार एक जैसे उत्तर देता (इंसानों के विपरीत, जिनका मूड और संदर्भ उनके स्कोर बदल देता था)।
- अंतर: हालाँकि, AI और इंसान हमेशा एक-दूसरे के नजरिए से नहीं देख पाते थे।
- उद्धरण (Quotes): जब एक समाचार लेख में किसी और को उद्धृत किया गया, तो इंसानों ने समझा कि लेखक केवल तथ्यों की रिपोर्ट कर रहा था। AI ने हालांकि, उस उद्धरण को देखा और सोचा, "हे, यह व्यक्ति एक राय व्यक्त कर रहा है!" इसलिए इसने टेक्स्ट को उच्च व्यक्तिपरकता स्कोर दिया।
- स्लैंग (Slang): इंसान उन टेक्स्ट को उच्च स्कोर देना पसंद करते थे जो स्लैंग या फ़ोरम की भाषा में लिखे गए थे क्योंकि वे व्यक्तिगत और भावनात्मक महसूस होते थे। AI स्लैंग के भीतर के तथ्यों पर अधिक केंद्रित था और इसने इसे कम, अधिक "वस्तुनिष्ठ" स्कोर दिया।
4. अंतिम निर्णय
शोध पत्र निष्कर्ष निकालता है कि:
- डेटासेट वास्तविक है: उन्होंने सफलतापूर्वक पहला एस्टोनियाई डेटासेट बनाया जो केवल "हाँ/नहीं" के बजाय एक सूक्ष्म पैमाने (0-100) पर व्यक्तिपरकता को मापता है।
- इंसान त्रुटिपूर्ण हैं लेकिन मानवीय हैं: इंसान इस स्केल का उपयोग कर सकते हैं, लेकिन उनके स्कोर इस बात से प्रभावित होते हैं कि उन्होंने ठीक पहले क्या पढ़ा और उनका अपना व्यक्तिगत दृष्टिकोण क्या है।
- AI एक सहायक है, विकल्प नहीं: AI (GPT-5) सुसंगत और तेज़ होने में बहुत अच्छा है, लेकिन यह इंसानों की तुलना में टेक्स्ट को अलग तरह से "चखता" है। यह लहजे और संदर्भ की उस बारीकी को मिस कर देता है जिसे इंसान पकड़ लेते हैं।
संक्षेप में: आप AI का उपयोग यह जल्दी से जानने के लिए कर सकते हैं कि कोई टेक्स्ट कितना व्यक्तिपरक है, लेकिन यदि आपको शब्दों के पीछे की मानवीय भावना को समझने की आवश्यकता है, तो आपको अभी भी चखने के लिए एक इंसान की आवश्यकता है। AI और इंसान एक ही सामग्री का उपयोग करने वाले दो अलग-अलग शेफ की तरह हैं लेकिन थोड़े अलग व्यंजनों का पालन कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।