YTClickbait21K: Human-Annotated Multimodal Dataset for YouTube Clickbait Detection Across Diverse Channels and Content Categories
यह शोध पत्र YTClickbait21K को प्रस्तुत करता है, जो 21,000 से अधिक यूट्यूब वीडियो वाला एक बड़े पैमाने का, मानव-एनोटेटेड मल्टीमॉडल डेटासेट है जिसमें कठोर लेबलिंग और विविध मेटाडेटा शामिल है, जिसे स्वचालित क्लिकबेट डिटेक्शन और कंटेंट मॉडरेशन अनुसंधान को आगे बढ़ाने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरा बाज़ार है। इस बाज़ार में, हज़ारों वीडियो स्टॉल (यूट्यूब चैनल) हैं जो कुकिंग टिप्स से लेकर गेमिंग हाइलाइट्स तक सब कुछ बेच रहे हैं। लेकिन, किसी भी भीड़भाड़ वाले बाज़ार की तरह, कुछ विक्रेता आपको रुकने के लिए लुभाने हेतु चमकदार और भ्रामक संकेतों का उपयोग करते हैं। वे चिल्ला सकते हैं, "आप विश्वास नहीं करेंगे कि आगे क्या होता है!" या एक विशाल बर्गर की तस्वीर दिखा सकते हैं जबकि वीडियो वास्तव में एक छोटे से सैंडविच के बारे में होता है। यह क्लिकबेट (clickbait) है।
हालाँकि हम टेक्स्ट (जैसे फर्जी समाचार सुर्खियों) में इन चालों को पहचानने में काफी कुशल हो गए हैं, लेकिन वीडियो में इन्हें पहचानना बहुत कठिन है क्योंकि इसमें शब्द और चित्र दोनों शामिल होते हैं। अब तक, शोधकर्ताओं के पास कंप्यूटर को वीडियो के इन छल-कपटों को प्रभावी ढंग से पहचानने के लिए सिखाने के लिए पर्याप्त बड़ा "प्रशिक्षण स्कूल" नहीं था।
यह शोध पत्र YTClickbait21K पेश करता है, जो इस समस्या को ठीक करने के लिए डिज़ाइन किया गया एक विशाल नया टूल है। यहाँ एक सरल विवरण दिया गया है कि उन्होंने क्या किया:
1. वीडियो का "विशाल पुस्तकालय"
डेटासेट को एक विशाल पुस्तकालय के रूप में सोचें जिसमें 21,238 वीडियो हैं।
- उन्हें ये कहाँ से मिले? उन्होंने इन्हें केवल रैंडम तरीके से नहीं चुना। उन्होंने सावधानीपूर्वक 29 अलग-अलग देशों के 40 विभिन्न "स्टॉल्स" (चैनलों) का चयन किया। ये चैनल गंभीर समाचार और वृत्तचित्रों (documentaries) से लेकर मनोरंजन, गेमिंग और शिक्षा तक सब कुछ कवर करते हैं।
- बॉक्स में क्या है? प्रत्येक वीडियो के लिए, उन्होंने शीर्षक, विवरण, व्यूज/लाइक्स की संख्या और थंबनेल (वह छोटी तस्वीर जो आप क्लिक करने से पहले देखते हैं) को सहेजा। उन्होंने वास्तविक वीडियो फ़ाइलें डाउनलोड नहीं कीं (स्पेस बचाने के लिए), लेकिन उन्होंने लिंक रखे ताकि शोधकर्ता बाद में उन्हें देख सकें।
2. "मानवीय जूरी" प्रणाली
आप कंप्यूटर से यह तय करने के लिए नहीं कह सकते कि क्या क्लिकबेट है; इसे पहले मनुष्यों से सीखना होगा। लेबल सटीक हों, यह सुनिश्चित करने के लिए, शोधकर्ताओं ने केवल एक व्यक्ति पर भरोसा नहीं किया।
- प्रक्रिया: उन्होंने लेबल लगाने के लिए 15 अलग-अलग लोगों (एनोटेटर्स) को एक जूरी के रूप में काम करने के लिए नियुक्त किया।
- नियम: हर एक वीडियो को तीन अलग-अलग लोगों द्वारा स्वतंत्र रूप से देखा गया। वे निर्णय लेते समय आपस में बात नहीं कर सकते थे।
- स्कोरकार्ड: प्रत्येक व्यक्ति के पास पालन करने के लिए एक विशिष्ट चेकलिस्ट थी। उन्होंने ऐसे प्रश्न पूछे जैसे:
- क्या शीर्षक जिज्ञासा पैदा करने के लिए झूठ बोल रहा है?
- क्या थंबनेल कुछ ऐसा दिखाता है जो वास्तव में वीडियो में नहीं है?
- क्या यह पूरी चीज़ जो वादा करती है और जो प्रदान करती है, उसके बीच एक बेमेल है?
- फैसला: यदि दो या तीन लोगों में से कम से कम दो लोग सहमत थे कि वीडियो क्लिकबेट है, तो इसे "क्लिकबेट" का लेबल दिया गया। यदि वे असहमत थे, तो सिस्टम ने अंतिम उत्तर तय करने के लिए एक वोटिंग पद्धति का उपयोग किया।
3. यह पुस्तकालय विशेष क्यों है
लेखक बताते हैं कि इन पुस्तकालयों को बनाने के पिछले प्रयासों में कुछ खामियां थीं:
- बहुत छोटा: कुछ में केवल कुछ सौ वीडियो थे, जो एक स्मार्ट कंप्यूटर को सिखाने के लिए पर्याप्त नहीं हैं।
- केवल टेक्स्ट-केंद्रित: कई केवल शब्दों को देखते थे, चित्रों (थंबनेल) को अनदेखा करते थे, जो वीडियो क्लिकबेट के लिए बड़े सुराग हैं।
- आलसी लेबलिंग: कुछ ने वास्तविक मनुष्यों के बजाय लेबल का अनुमान लगाने के लिए कंप्यूटर का उपयोग किया।
- YTClickbait21K इसे ठीक करता है क्योंकि यह विशाल (21,000 से अधिक वीडियो), मल्टीमॉडल (शब्द + चित्र), और कड़ाई से जांचा गया (rigorously checked) है।
4. क्या मनुष्य सहमत थे?
शोधकर्ता यह जानना चाहते थे कि क्या मनुष्य वास्तव में एक ही बात पर सहमत थे। उन्होंने एक सांख्यिकीय परीक्षण (जिसे कोहेन का कप्पा कहा जाता है) चलाया जो एक "निरंतरता स्कोर" की तरह है।
- परिणाम: स्कोर लगभग 0.65 था। मानवीय निर्णय की दुनिया में, इसे "पर्याप्त सहमति" (substantial agreement) माना जाता है। इसका मतलब है कि हालांकि क्लिकबेट पेचीदा और व्यक्तिपरक हो सकता है (जैसे यह तय करना कि कोई मजाक मजेदार है या नहीं), मनुष्य आम तौर पर इस पर सहमत थे कि क्या भ्रामक है और क्या नहीं।
- विश्वास: मनुष्य स्वयं के चुनाव के प्रति भी बहुत आश्वस्त थे, और अधिकांश समय खुद को उच्च आत्मविश्वास स्कोर (लगभग 5 में से 5) देते थे।
5. लोग इसके साथ क्या कर सकते हैं?
पेपर में कहा गया है कि यह डेटासेट अब एक सार्वजनिक "बेंचमार्क" है।
- शोधकर्ताओं के लिए: यह एक मानक परीक्षण सेट है। यदि कोई कंप्यूटर वैज्ञानिक क्लिकबेट का पता लगाने के लिए एक नया AI बनाता है, तो वे अपने AI को इस डेटासेट के विरुद्ध चला सकते हैं ताकि यह देख सकें कि वह दूसरों की तुलना में कैसा प्रदर्शन करता है।
- डेवलपर्स के लिए: यह प्लेटफॉर्म पर भ्रामक वीडियो को स्वचालित रूप से फ्लैग करने के लिए बेहतर उपकरण बनाने में मदद करता है।
सारांश
संक्षेप में, लेखकों ने कंप्यूटर के लिए एक विशाल, उच्च-गुणवत्ता वाला प्रशिक्षण मैनुअल बनाया है। उन्होंने हजारों वास्तविक यूट्यूब वीडियो एकत्र किए, सख्त नियमों के आधार पर लेबल लगाने के लिए टीमों को नियुक्त किया, और इस पूरे संग्रह को मुफ्त में उपलब्ध कराया। यह शोधकर्ताओं को अंततः यह सिखाने की अनुमति देता है कि कंप्यूटर कैसे वास्तविक वीडियो और भ्रामक वीडियो के बीच अंतर पहचान सकते हैं, इसके लिए शब्दों और चित्रों दोनों का उपयोग किया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।