Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study
تُظهر هذه الدراسة أن النماذج اللغوية الكبيرة متعددة الوسائط يمكن أن توفر وسيلة فعالة من حيث التكلفة وقابلة للتوسع لتدقيق تعرض منصة تيك توك للمحتوى الضار عبر فرنسا وإيطاليا والسويد، مما يكشف أن عمليات البحث القائمة على الكلمات المفتاحية تزيد بشكل كبير من التعرض للمحتوى الضار مقارنة بالتصفح السلبي، وأن فلاتر السلامة غالباً ما تقلل من تقدير الأضرار الصريحة.
المؤلفون الأصليون:Hamidreza Saffari, Francesco Pierri
في كل يوم، يفتح الملايين من الشباب تطبيقاً لمشاهدة مقاطع الفيديو القصيرة، واثقين من أن الشاشة ستعرض لهم أشياء قد يستمتعون بها. وفي الكواليس، تقرر برامج حاسوبية معقدة أي الفيديوهات ستظهر تالياً، حيث تتعلم من كل نقرة، وتوقف مؤقت، وتخطي لبناء موجز مخصص. وبينما صُممت هذه الأنظمة لتكون جذابة، إلا أنها قد تدفع المستخدمين أحياناً نحو محتوى خطير أو مزعج، مثل المواد التي تروج لإيذاء النفس، أو اضطرابات الأكل، أو العنف. ولأن هذه الخوارزميات تعمل كـ "صندوق أسود" داخل خوادم الشركة، فقد عانى الباحثون المستقلون في محاولة لرؤية ما يراه المستخدمون الشباب بالضبط. فمن الصعب فحص كل فيديو، كما أن القواعد المتعلقة بما يُعد محتوى ضاراً يمكن أن تختلف باختلاف اللغة والبلد. وبدون وسيلة واضحة لقياس هذا التعرض، يصعب معرفة ما إذا كانت تدابير السلامة تعمل بالفعل أم أنها تخفق في حماية الأشخاص الذين وُجدت من أجلهم.
ولحل هذه المشكلة، شرع فريق من الباحثين من جامعة بوليتكنيكو دي ميلانو في إيطاليا في إجراء تدقيق لتطبيق تيك توك في ثلاث دول أوروبية مختلفة: فرنسا وإيطاليا والسويد. أرادوا معرفة نوع الفيديوهات التي سيعرضها التطبيق لمستخدمين من أعمار مختلفة، بدءاً من المراهقة المبكرة وصولاً إلى البالغين. وبدلاً من استئجار جيوش من البشر لمشاهدة آلاف الفيديوهات، لجأوا إلى نوع جديد من الذكاء الاصطناعي يسمى "نموذج اللغة متعدد الوسائط". هذه أنظمة حاسوبية متطورة يمكنها قراءة النصوص، والاستماع إلى الصوت، والنظر إلى الصور جميعاً في آن واحد، تماماً كما يفعل البشر. اختبر الباحثون أولاً عدة أنظمة من هذه الأنظمة على مجموعة صغيرة من الفيديوهات التي تم تصنيفها مسبقاً من قبل خبراء بشريين. ووجدوا أن نموذجاً معيناً، عند عرضه لثماني صور ثابتة مأخوذة من فيديو مع الوصف النصي، يمكنه تحديد المحتوى الضار بمستوى دقة جيد بما يكفي لاستخدامه على نطاق واسع. سمح هذا النهج لهم بتحليل ما يقرب من 37,000 فيديو بتكلفة تبلغ حوالي خمسين دولاراً، وهي مهمة كانت ستكون مكلفة للغاية وبطيئة جداً باستخدام المراجعين البشريين وحدهم.
استخدمت الدراسة حسابات حاسوبية تتظاهر بأنها مستخدمون حقيقيون بأعمار محددة: ثلاثة عشر، ستة عشر، تسعة عشر، وأربعين عاماً. وقد تم إعداد هذه الحسابات في فرنسا وإيطاليا والسويد لمعرفة كيفية سلوك التطبيق في أماكن مختلفة. ترك الباحثون هذه الحسابات تتصفح موجز فيديوهاتها الرئيسية دون القيام بأي شيء آخر، مع تسجيل ما تختاره الخوارزمية لعرضه عليهم. كما أجروا اختباراً ثانياً حيث قامت الحسابات بالبحث بنشاط عن كلمات محددة تتعلق بمواضيع ضارة، مثل "الانتحار" أو "القمار"، لمعرفة كيفية استجابة التطبيق للطلبات المباشرة. وكشفت النتائج عن فرق صارخ بين ما يراه المستخدمون عند التصفح السلبي وما يجدونه عند البحث النشط. فعندما كانت الحسابات تتصفح ببساطة، تباينت كمية المحتوى الضار بشكل كبير حسب البلد؛ حيث أظهرت إيطاليا أعلى معدلات الفيديوهات الضارة لكل فئة عمرية، حيث تم تصنيف ما يقرب من نصف الفيديوهات المعروضة لشخصية تبلغ من العمر تسعة عشر عاماً على أنها ضارة. وفي المقابل، كانت المعدلات في فرنسا والسويد أقل، وإن كانت لا تزال موجودة.
ومع ذلك، تغير الوضع بشكل دراماتيكي عندما بدأت الحسابات في البحث. فعندما كتب الباحثون كلمات رئيسية متعلقة بالأذى، أعاد التطبيق فوراً فيضاً من المحتوى الضار، حيث ارتفع المعدل إلى ما بين 35 و56 بالمائة. كان هذا ارتفاعاً هائلاً مقارنة بالتصفح السلبي، مما يظهر أن التطبيق بارع جداً في العثور على هذه المواد عند طلبها، حتى دون وجود أي تحذيرات أو حواجز مرئية في لحظة البحث. ومن المثير للاهتمام أن هذه الطفرة في المحتوى الضار كانت مؤقتة؛ فبمجرد انتهاء البحث وعودة الحسابات إلى التصفح، عاد الموجز إلى مستواه الطبيعي الأقل من المحتوى الضار في غضون دقائق. وهذا يشير إلى أن الخوارزمية لا "تسمم" موجز المستخدم بشكل دائم بعد بحث واحد، لكنها توفر وصولاً فورياً إلى مواد خطيرة عند الطلب.
كما وجدت الدراسة أن عمر المستخدم كان أقل أهمية من البلد الذي يتواجد فيه. ففي فرنسا والسويد، كانت كمية المحتوى الضار التي يراها المراهقون الأصغر سناً أقل مما يراه البالغون، وهو ما يُفترض أن تحققه قواعد السلامة. ولكن في إيطاليا، شاهد أصغر المستخدمين قدراً مساوياً، أو حتى أكثر، من المحتوى الضار مقارلة بالبالغين، مما يشير إلى أن فلاتر السلامة لم تكن تعمل كما هو مقصود لتلك المنطقة تحديداً. وأشار الباحثون إلى أن الذكاء الاصطناعي الذي استخدموه لم يكن مثالياً؛ فقد فاته بعض الفيديوهات ورفض أحياناً تحليل فيديوهات أخرى، خاصة تلك التي تحتوي على عري صريح. وهذا يعني أن الأرقام التي أوردوها هي تقديرات متحفظة على الأرجح، وأن الكمية الحقيقية للمحتوى الضار قد تكون أعلى قليلاً. ورغم هذه القيود، تثبت الدراسة أن استخدام الذكاء الاصطناعي المتقدم لتدقيق منصات التواصل الاجتماعي هو وسيلة ممكنة ومنخفضة التكلفة لمراقبة السلامة عبر لغات وبلدان مختلفة. كما تسلط الضوء على أنه بينما تعد وظيفة البحث بوابة رئيسية للمحتوى الضار، فإن الموجز السلبي أيضاً يتباين بشدة حسب الموقع، مع ظهور إيطاليا كأكثر المناطق تعرضاً للمحتوى الضار بالنسبة للشباب. وتشير النتائج إلى أن شركات المنصات بحاجة إلى النظر بعمق أكبر في كيفية إدارة نتائج البحث وكيفية تخصيص تدابير السلامة الخاصة بها لمختلف المناطق، بدلاً من افتراض أن نهجاً واحداً موحداً يحمي الأطفال في كل مكان.
ملخص تقني: تدقيق التعرض للمحتوى الضار على تيك توك باستخدام نماذج اللغة متعددة الوسائط
بيان المشكلة
يعد التدقيق المستقل لمنصات الفيديو القصيرة مثل تيك توك أمراً بالغ الأهمية لفهم مخاطر سلامة الشباب، ومع ذلك يواجه هذا التدقيق عوائق كبيرة في القدرة على التوسع. فالتوسيم اليدوي للفيديوهات مكلف، كما أن أحكام الإشراف تختلف باختلاف اللغات والثقافات. علاوة على ذلك، تعاني عمليات التدقيق الحالية غالباً من صعوبة في التمييز بين التعرض الخوارزمي السلبي (صفحة "لك - For You") وبين النية النشطة للمستخدم (البحث)، مع مراعاة الاختلافات عبر الدول في البنية التحتية للإشراف على المحتوى في آن واحد. تعالج الورقة البحثية الحاجة إلى إطار عمل للتدقيق يتسم بالقابلية للتوسع، والتكرار، وعبر الحدود الوطنية لتقييم التعرض للمحتوى الضار عبر مختلف الفئات العمرية والسياقات اللغوية دون الاعتماد كلياً على التوسيم البشري المكلف.
المنهجية
تستخدم الدراسة بروتوكول تدقيق يتكون من مرحلتين عبر ثلاث دول أوروبية (فرنسا، إيطاليا، السويد) وأربع فئات عمرية (13، 16، 19، و40 عاماً)، باستخدام 3 حسابات مستقلة لكل (دولة، فئة عمرية) (بإجمالي 36 حساباً عبر 12 مجموعة).
جمع البيانات
المرحلة السلبية (Passive Phase): قامت الحسابات بالتمرير في صفحة "لك" (FYP) لالتقاط التوصيات الخوارژمية الأساسية.
المرحلة النشطة (Active Phase): قامت الحسابات بدورة (تمرير مسبق ← بحث ← تمرير لاحق) باستخدام كلمات مفتاحية ضارة باللغة الأصلية، وذلك لقياس استجابة المنصة للنية الصريحة وما إذا كانت نتائج البحث ستلوث التغذية اللاحقة.
المتن (Corpus): أسفرت المرحلتان عن إجمالي 36,971 فيديو فريداً (14,093 سلبياً + 22,878 نشطاً). يلاحظ أن المرحلة السلبية وحدها احتوت على تداخل بنسبة 22% تقريباً في الفيديوهات التي تم جمعها بين الدول.
التوسيم والتحقق من النموذج (المرحلة 1)
لتوسيع نطاق التوسيم، قام المؤلفون بالتحقق من أربعة نماذج لغوية كبيرة متعددة الوسائط (MLLMs) مقابل مجموعة مرجعية مكونة من 300 فيديو تم توسيمها من قبل مسمّمين من المتحدثين الأصليين.
النماذج التي تم تقييمها: Gemini 2.5 Flash، وQwen3-VL-32B، وGPT-4o-mini، وMistral Large 3.
شروط المدخلات:
E1: نص فقط (الوصف + النص الصوتي).
E2: رفع الفيديو الأصلي (ملف MP4 خام).
E3: ثمانية إطارات عينة بالإضافة إلى النص (الوصف + النص الصوتي).
معايير الاختيار: تم تقييم النماذج بناءً على مدى الاتفاق مع المسمّمين البشريين (معامل كوهين κ). تم اختيار Gemini 2.5 Flash تحت شرط E3 (ثمانية إطارات + نص) كمُدقق أساسي، حيث حقق أعلى اتفاق إجمالي (κ=0.42) بنحو نصف تكلفة الاستدعاء لرفع الفيديو الأصلي.
قياس الانتشار (المرحلة 2)
تم تطبيق إعداد Gemini E3 الذي تم التحقق منه على عينة طبقية بنسبة 10% من المتن الكامل (5,227 فيديو صالحاً). ركز التحليل على:
تصنيف الضرر: إطار عمل مكون من 13 فئة متماشية مع إرشادات مجتمع تيك توك (مثل: اضطرابات الأكل، إيذاء النفس، المحتوى المثير جنسياً).
مقاييس التعرض: مقارنة معدلات الضرر عبر البلدان، والأعمار، ومراحل التفاعل (سلبية مقابل بحث).
النتائج الرئيسية
1. أداء النماذج اللغوية الكبيرة متعددة الوسائط (MLLM)
الجدوى: يمكن للنماذج (MLLMs) أن تعمل كموسّمين قابلين للتوسع، رغم أن الاتفاق مع البشر يظل متوسطاً (κ=0.42).
نمط المدخلات: يحسن المدخل المرئي الأداء بشكل كبير. تفوق شرط E3 (الإطارات + النص) على المدخلات النصية فقط (E1)، واقترب من أداء الفيديو الأصلي (E2) بتكلفة أقل.
الاختلاف: اختلفت النماذج بشكل كبير فيما بينها، خاصة في المدخلات النصية فقط، مما يعزز ضرورة السياق البصري لمهام الإشراف.
2. التباين عبر الدول والتقسيم حسب العمر
التباين بين الدول: أظهرت إيطاليا أعلى معدلات ضرر مقدرة عبر جميع الفئات العمرية في مرحلة التمرير السلبي. عند سن 19 عاماً، سجلت الحسابات الإيطالية معدل ضرر بنسبة 48.6%، مقارنة بحوالي 23% في فرنسا وحوالي 38% في السويد.
الاتجاهات العمرية: في فرنسا والسويد، زادت معدلات الضرر عموماً مع تقدم العمر في التمرير السلبي. أما في إيطاليا، فقد شهدت فئة الـ 13 عاماً ضرراً أكثر من البالغين، مما عكس التدرج المتوقع "لأولوية سلامة الشباب".
الفئة المهيمنة: كان المحتوى المثير جنسياً هو فئة الضرر الرئيسية عبر جميع المجموعات، حيث شكل ما يصل إلى 50% من العناصر التي تم رصدها في الحسابات الإيطالية.
3. تأثير البحث مقابل التمرير السلبي
تضخيم البحث: أعادت عمليات البحث عن الكلمات المفتاحية المتعلقة بالضرر محتوى ضاراً بنسبة 35–56%، مما يمثل زيادة قدرها 1.5–7.5 ضعف مقارنة بالخط الأساسي السلبي في عشر من أصل اثنتي عشرة مجموعة (دولة-عمر).
الزمنية: كانت طفرة التعرض للضرر مؤقتة؛ حيث عادت تغذية "التمرير اللاحق" إلى مستويات الخط الأساسي خلال نفس الجلسة، مما يشير إلى أن التأثير كان مدفوعاً باستعلام البحث نفسه وليس بتحول دائم في الخوارزمية التوصية.
انهيار التدرج العمري: تحت ظروف البحث، تسطح التفاوت في التعرض القائم على العمر؛ فحتى فئات الـ 13 عاماً تلقت نتائج بحث بمعدلات ضرر مماثلة للبالغين (37–42%).
4. فلاتر السلامة لدى المزود
معدلات الرفض: رفضت طبقة السلامة لدى المزود تقييم حوالي 1.1% من المدخلات.
التحيز: لم تكن حالات الرفض عشوائية، بل أثرت بشكل غير متناسب على الفئات الأكثر صراحة (العري، كشف الجسم، المحتوى المثير جنسياً). وبناءً على ذلك، فإن معدلات الانتشار المبلغ عنها هي على الأرجح تقديرات أقل لهذه الفئات المحددة.
الأهمية والادعاءات
تدعي الورقة أن التدقيق القائم على النماذج اللغوية الكبيرة متعددة الوسائط يوفر نهجاً قابلاً للتوسع ومنخفض التكلفة (حوالي 50 دولاراً لتكاليف واجهة برمجة التطبيقات للدراسة كاملة) لعمليات تدقيق سلامة الشباب عبر الدول.
تشمل المساهمات الرئيسية ما يلي:
الأدلة التجريبية: إثبات أن البحث بالكلمات المفتاحية، وليس التضخيم الخوارزمي السلبي، هو المسار المهيمن للوصول إلى المحتوى الضار، حيث تعيد نتائج البحث محتوى ضار بنسبة 35-56% دون وجود عوائق مرئية.
التحقق المنهجي: إنشاء خط عمل حيث يمكن لنموذج (Gemini 2.5 Flash مع إطارات عينة) أن يقترب من التوسيم البشري على نطاق واسع، مما يثبت جدوى استخدام المدخلات متعددة الوسائط بدلاً من النصوص فقط أو رفع الفيديو الكامل من أجل كفاءة التكلفة.
التفاوتات عبر الدول: تسليط الضوء على أن التعرض للمحتوى ليس موحداً عالمياً؛ حيث أظهرت إيطاليا معدلات ضرر سلبية أعلى بكثير من فرنسا أو السويد، مما يشير إلى أن القدرة على الإشراف لكل لغة أو عرض المحتوى قد يختلف بشكل جذري حتى داخل الاتحاد الأوروبي.
الاعتراف بالقيود: يذكر المؤلفون صراحة أن التدقيق باستخدام النماذج اللغوية الكبيرة ليس بعد "بديلاً جاهزاً" للتوسيم البشري في العناصر التي تقع على حافة السياسات، وذلك بسبب مستويات الاتفاق المتوسطة وتحيزات رفض المزود. تمثل النتائج ادعاءات الحد الأعلى لما يمكن للخوارزمية تقديمه بموجب قواعد التفاعل البسيطة، بدلاً من كونها تقديرات دقيقة لتعرض المستخدم الحقيقي.
تخلص الدراسة إلى أن تقليل التعرض للضرر في منصات الفيديو القصيرة يتطلب معالجة الإشراف أثناء وقت البحث في جانب المنصة والبنية التحتية للإشراف لكل لغة، حيث إن هذه هي الروافع الأساسية التي تم تحديدها للتخفيف من معدلات التعرض العالية التي وجدها التدقيق.