Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study
यह अध्ययन प्रदर्शित करता है कि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स फ्रांस, इटली और स्वीडन में हानिकारक सामग्री के प्रति टिकटॉक (TikTok) के एक्सपोज़र के ऑडिट के लिए एक लागत प्रभावी और स्केलेबल तरीका प्रदान कर सकते हैं, जो यह प्रकट करता है कि कीवर्ड-आधारित खोजें पैसिव स्क्रॉलिंग की तुलना में हानिकारक सामग्री के एक्सपोज़र को काफी बढ़ा देती हैं और सुरक्षा फिल्टर अक्सर स्पष्ट हानिकारक सामग्री की कम गिनती करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
हर दिन, लाखों युवा एक ऐप खोलते हैं ताकि वे छोटे वीडियो देख सकें, इस भरोसे के साथ कि स्क्रीन उन्हें वे चीजें दिखाएगी जो उन्हें पसंद आ सकती हैं। पर्दे के पीछे, जटिल कंप्यूटर प्रोग्राम तय करते हैं कि अगला वीडियो कौन सा होगा, जो हर टैप, पॉज़ और स्किप से सीखकर एक व्यक्तिगत फीड बनाने के लिए काम करते हैं। हालांकि ये सिस्टम उपयोगकर्ताओं को जोड़े रखने के लिए डिज़ाइन किए गए हैं, लेकिन कभी-कभी ये उपयोगकर्ताओं को खतरनाक या परेशान करने वाली सामग्री की ओर धकेल सकते हैं, जैसे कि आत्म-क्षति (self-harm), खाने के विकारों (eating disorders) या हिंसा को बढ़ावा देने वाली सामग्री। क्योंकि ये एल्गोरिदम कंपनी के सर्वर के भीतर एक "ब्लैक बॉक्स" की तरह काम करते हैं, इसलिए स्वतंत्र शोधकर्ताओं के लिए यह देखना कठिन रहा है कि युवा उपयोगकर्ता वास्तव में क्या देख रहे हैं। हर वीडियो की जांच करना मुश्किल है, और हानिकारक माने जाने वाले कंटेंट के नियम भाषा और देश के आधार पर भिन्न हो सकते हैं। इस एक्सपोज़र को मापने का कोई स्पष्ट तरीका न होने के कारण, यह जानना कठिन है कि सुरक्षा उपाय वास्तव में काम कर रहे हैं या वे उन्हीं लोगों को विफल कर रहे हैं जिनकी रक्षा के लिए वे बनाए गए हैं।
इसे हल करने के लिए, इटली के पॉलिटेक्निको डि मिलानो के शोधकर्ताओं की एक टीम ने तीन अलग-अलग यूरोपीय देशों: फ्रांस, इटली और स्वीडन में टिकटॉक (TikTok) का ऑडिट करने का निर्णय लिया। वे यह देखना चाहते थे कि ऐप विभिन्न आयु समूहों के उपयोगकर्ताओं को क्या वीडियो दिखाएगा, जिसमें शुरुआती किशोरों से लेकर वयस्कों तक शामिल हैं। हजारों वीडियो देखने के लिए लोगों की सेना को काम पर रखने के बजाय, उन्होंने एक नए प्रकार के आर्टिफिशियल इंटेलिजेंस का उपयोग किया जिसे 'मल्टीमॉडल लैंग्वेज मॉडल' कहा जाता है। ये उन्नत कंप्यूटर सिस्टम हैं जो एक साथ टेक्स्ट पढ़ सकते हैं, ऑडियो सुन सकते हैं और छवियों को देख सकते हैं, ठीक वैसे ही जैसे एक इंसान करता है। शोधकर्ताओं ने पहले इन AI सिस्टम्स का परीक्षण वीडियो के एक छोटे सेट पर किया था जिन्हें मानव विशेषज्ञों द्वारा पहले ही लेबल किया जा चुका था। उन्होंने पाया कि एक विशिष्ट मॉडल, जब उसे एक वीडियो से ली गई आठ स्थिर छवियों और टेक्स्ट विवरण के साथ दिखाया गया, तो वह हानिकारक सामग्री की पहचान करने में इतनी सटीकता रखता था कि इसे बड़े पैमाने पर उपयोग किया जा सके। इस दृष्टिकोण ने उन्हें लगभग $50 की लागत में लगभग 37,000 वीडियो का विश्लेषण करने की अनुमति दी, जो केवल मानव समीक्षकों का उपयोग करके करना अत्यधिक महंगा और धीमा होता।
इस अध्ययन में कंप्यूटर खातों का उपयोग किया गया जो विशिष्ट आयु के वास्तविक उपयोगकर्ताओं का नाटक कर रहे थे: तेरह, सोलह, उन्नीस और चालीस वर्ष। ये खाते फ्रांस, इटली और स्वीडन में सेटअप किए गए थे ताकि यह देखा जा सके कि ऐप विभिन्न स्थानों में कैसे व्यवहार करता है। शोधकर्ताओं ने इन खातों को बिना कुछ और किए अपने मुख्य वीडियो फीड को स्क्रॉल करने दिया, और रिकॉर्ड किया कि एल्गोरिदम ने उन्हें क्या दिखाने का विकल्प चुना। उन्होंने एक दूसरा परीक्षण भी किया जहाँ खातों ने हानिकारक विषयों से संबंधित विशिष्ट शब्दों को सक्रिय रूप से खोजा, जैसे कि "आत्महत्या" या "जुआ", यह देखने के लिए कि ऐप सीधे अनुरोधों पर कैसी प्रतिक्रिया देता है। परिणामों ने एक स्पष्ट अंतर प्रकट किया कि जब उपयोगकर्ता निष्क्रिय रूप से स्क्रॉल करते हैं तो वे क्या देखते हैं और जब वे सक्रिय रूप से खोज करते हैं तो उन्हें क्या मिलता है। जब खातों ने केवल स्क्रॉल किया, तो हानिकारक सामग्री की मात्रा देश के अनुसार काफी भिन्न थी। इटली में हर आयु वर्ग के लिए हानिकारक वीडियो की दर सबसे अधिक थी, जहाँ एक उन्नीस वर्षीय व्यक्तित्व को दिखाए गए लगभग आधे वीडियो को हानिकारक के रूप में चिह्नित किया गया था। इसके विपरीत, फ्रांस और स्वीडन में दरें कम थीं, हालांकि वे मौजूद थीं।
हालांकि, जब खातों ने खोजना शुरू किया तो स्थिति नाटकीय रूप रूप से बदल गई। जब शोधकर्ताओं ने हानिकारक विषयों से संबंधित कीवर्ड टाइप किए, तो ऐप ने तुरंत हानिकारक सामग्री की बाढ़ ला दी, जहाँ दर बढ़कर पैंतीस से छप्पन प्रतिशत के बीच हो गई। यह निष्क्रिय स्क्रॉलिंग की तुलना में एक बहुत बड़ी वृद्धि थी, जो यह दर्शाता है कि ऐप इस सामग्री को खोजने में बहुत कुशल है जब इसकी मांग की जाती है, भले ही उस समय खोज के दौरान कोई दृश्य चेतावनी या ब्लॉक न हो। दिलचस्प बात यह है कि हानिकारक सामग्री का यह उछाल अस्थायी था। एक बार खोज समाप्त होने के बाद और जब खाते वापस स्क्रॉल करने लगे, तो फीड कुछ ही मिनटों में अपनी सामान्य, कम हानिकारक सामग्री के स्तर पर वापस आ गया। इससे पता चलता है कि एल्गोरिदम एक एकल खोज के बाद उपयोगकर्ता के फीड को स्थायी रूप से "जहरीला" नहीं बनाता है, लेकिन यह अनुरोध किए जाने पर हानिकारक सामग्री तक तत्काल पहुंच प्रदान करता है।
अध्ययन में यह भी पाया गया कि उपयोगकर्ता की आयु से अधिक महत्वपूर्ण उनका देश था। फ्रांस और स्वीडन में, कम उम्र के किशोरों द्वारा देखी जाने वाली हानिकारक सामग्री वयस्कों की तुलना में कम थी, जो कि सुरक्षा नियमों का उद्देश्य है। लेकिन इटली में, सबसे कम उम्र के उपयोगकर्ताओं ने वयस्कों के बराबर या उससे भी अधिक हानिकारक सामग्री देखी, जो यह दर्शाता है कि उस विशिष्ट क्षेत्र के लिए सुरक्षा फिल्टर इच्छित अनुसार काम नहीं कर रहे थे। शोधकर्ताओं ने नोट किया कि उनके द्वारा उपयोग किया गया आर्टिफिशियल इंटेलिजेंस पूर्ण नहीं था; इसने कुछ वीडियो को मिस किया और कभी-कभी अन्य वीडियो का विश्लेषण करने से इनकार कर दिया, विशेष रूप से वे जिनमें बहुत स्पष्ट नग्नता थी। इसका मतलब है कि उनके द्वारा रिपोर्ट किए गए आंकड़े संभवतः रूढ़िवादी अनुमान हैं, और वास्तविक हानिकारक सामग्री की मात्रा थोड़ी अधिक हो सकती है। इन सीमाओं के बावजूद, यह अध्ययन सिद्ध करता है कि सोशल मीडिया प्लेटफॉर्म का ऑडिट करने के लिए उन्नत AI का उपयोग करना एक व्यवहार्य और किफायती तरीका है। यह रेखांकित करता है कि हालांकि ऐप का सर्च फंक्शन हानिकारक सामग्री का एक प्रमुख प्रवेश द्वार है, लेकिन निष्क्रिय फीड भी स्थान के आधार पर बहुत भिन्न होता है, जिसमें इटली में युवाओं का एक्सपोज़र सबसे अधिक है। निष्कर्ष बताते हैं कि प्लेटफॉर्म कंपनियों को यह देखने के लिए अधिक बारीकी से देखने की आवश्यकता है कि वे खोज परिणामों को कैसे नियंत्रित करते हैं और वे अपने सुरक्षा उपायों को विभिन्न क्षेत्रों के लिए कैसे अनुकूलित करते हैं, बजाय इसके कि वे यह मान लें कि 'वन-साइज-फिट्स-ऑल' दृष्टिकोण हर जगह बच्चों की रक्षा कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।