Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study
Deze studie toont aan dat multimodale grote taalmodellen een kosteneffectieve en schaalbare methode kunnen bieden voor het auditen van de blootstelling van TikTok aan schadelijke inhoud in Frankrijk, Italië en Zweden, waarbij wordt onthuld dat zoekopdrachten op basis van trefwoorden de blootstelling aan schadelijke inhoud aanzienlijk vergroten in vergelijking met passief scrollen en dat veiligheidsfilters expliciete schade vaak onderschatten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elke dag openen miljoenen jongeren een app om korte video's te bekijken, in de veronderstelling dat het scherm hen dingen zal tonen die zij misschien leuk vinden. Achter de schermen beslissen complexe computerprogramma's welke video's als volgende verschijnen, waarbij ze leren van elke tik, pauze en het overslaan van een video om een gepersonaliseerde feed op te bouwen. Hoewel deze systemen zijn ontworpen om verslavend te zijn, kunnen ze gebruikers soms naar content duwen die gevaarlijk of verontrustend is, zoals materiaal dat zelfbeschadiging, eetstoornissen of geweld promoot. Omdat deze algoritmen opereren als een "black box" binnen de servers van het bedrijf, hebben onafhankelijke onderzoekers moeite gehad om precies te zien wat jonge gebruikers te zien krijgen. Het is moeilijk om elke video te controleren, en de regels voor wat als schadelijk wordt beschouwd, kunnen variëren afhankelijk van de taal en het land. Zonder een duidelijke manier om deze blootstelling te meten, is het moeilijk te weten of veiligheidsmaatregelen daadwerkelijk werken of dat ze de mensen die ze juist moeten beschermen, in de steek laten.
Om dit op te lossen, zette een team onderzoekers van de Politecnico di Milano in Italië zich in om TikTok te auditeren in drie verschillende Europese landen: Frankrijk, Italië en Zweden. Ze wilden zien welke video's de app zou tonen aan gebruikers van verschillende leeftijden, van vroege tieners tot volwassenen. In plaats van legers mensen in te huren om duizenden video's te bekijken, maakten ze gebruik van een nieuw soort kunstmatige intelligentie, een zogenaamd multimodal language model. Dit zijn geavanceerde computersystemen die tekst kunnen lezen, audio kunnen beluisteren en afbeeldingen kunnen bekijken, allemaal tegelijkertijd, net zoals een mens dat zou doen. De onderzoekers testten eerst verschillende van deze AI-systemen op een kleine set video's die al door menselijke experts waren gelabeld. Ze ontdekten dat één specifiek model, wanneer het acht stilstaande beelden uit een video samen met de tekstbeschrijving kreeg getoond, schadelijke content kon identificeren met een nauwkeurigheidsniveau dat goed genoeg was om op een massale schaal te worden gebruikt. Deze aanpak stelde hen in staat om bijna 3at 37.000 video's te analyseren voor de kosten van ongeveer vijftig dollar, een taak die met alleen menselijke beoordelaars onbetaalbaar duur en traag zou zijn geweest.
De studie maakte gebruik van computeraccounts die zich voordeden als echte gebruikers met specifieke leeftijden: dertien, zestien, negentien en veertig. Deze accounts werden opgezet in Frankrijk, Italië en Zweden om te zien hoe de app zich in verschillende plaatsen gedraagt. De onderzoekers lieten deze accounts door hun hoofdvideofeeds scrollen zonder verder iets te doen, waarbij ze registreerden welke content het algoritme koos om te tonen. Ze voerden ook een tweede test uit waarbij de accounts actief zochten naar specifieke woorden gerelateerd aan schadelijke onderwerpen, zoals "zelfmoord" of "gokken", om te zien hoe de app reageerde op directe verzoeken. De resultaten toonden een scherp verschil tussen wat gebruikers zien wanneer ze passief scrollen en wat ze vinden wanneer ze actief zoeken. Wanneer de accounts simpelweg door de feed scrollden, varieerde de hoeveelheid schadelijke content aanzienlijk per land. Italië vertoonde de hoogste percentages schadelijke video's voor elke leeftijdsgroep, waarbij bijna de helft van de video's die aan een persona van negentien jaar werden getoond, als schadelijk werd aangemerkt. In tegen de verwachting waren de percentages in Frankrijk en Zweden lager, hoewel ze nog steeds aanwezig waren.
Echter, de situatie veranderde drastisch wanneer de accounts begonnen te zoeken. Wanneer de onderzoekers trefwoorden invoerden die gerelateerd waren aan schade, gaf de app onmiddellijk een vloedgolf aan schadelijke content terug, waarbij het percentage steeg naar tussen de vijfendertig en zesenvijftig procent. Dit was een enorme toename vergeleken met het passieve scrollen, wat aantoont dat de app zeer goed is in het vinden van dit materiaal wanneer erom gevraagd wordt, zelfs zonder zichtbare waarschuwingen of blokkades op het moment van zoeken. Interessant genoeg was deze piek in schadelijke content tijdelijk. Zodra de zoekopdracht voorbij was en de accounts teruggingen naar het scrollen, keerde de feed binnen enkele minuten terug naar het normale, lagere niveau van schadelijke content. Dit suggereert dat het algoritme de feed van een gebruiker na een enkele zoekopdracht niet permanent "vergiftigt", maar het biedt wel onmiddellijke toegang tot gevaarlijk materiaal wanneer daarom wordt gevraagd.
De studie vond ook dat de leeftijd van de gebruiker minder belangrijk was dan het land waarin zij zich bevonden. In Frankrijk en Zweden was de hoeveelheid schadelijke content die tieners zagen lager dan wat volwassenen zagen, wat is wat veiligheidsregels beoogden te bereiken. Maar in Italië zagen de jongste gebruikers net zoveel, of zelfs meer, schadelijke content dan de volwassenen, wat aangeeft dat de veiligheidsfilters in dat specifieke gebied niet naar behoren werkten. De onderzoekers merkten op dat de kunstmatige intelligentie die zij gebruikten niet perfect was; het miste sommige video's en weigerde soms andere te analyseren, met name die met zeer expliciete naaktheid. Dit betekent dat de gerapporteerde cijfers waarschijnlijk conservatieve schattingen zijn, en dat de werkelijke hoeveelheid schadelijke content iets hoger zou kunnen zijn. Ondanks deze beperkingen bewijst de studie dat het gebruik van geavanceerde AI om sociale mediaplatforms te auditeren een haalbare en betaalbare manier is om de veiligheid over verschillende talen en landen te monitoren. Het benadrukt dat hoewel de zoekfunctie van het platform een belangrijke toegangspoort is tot schadelijke content, de passieve feed ook sterk per locatie varieert, waarbij Italië de meest significante blootstelling voor jonge gebruikers laat zien. De bevindingen suggereren dat platformbedrijven nauwer moeten kijken naar hoe ze zoekresultaten modereren en hoe ze hun veiligheidsmaatregelen voor verschillende regio's afstemmen, in plaats van aan te nemen dat een eenheidsworst-aanpak overal kinderen beschermt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.