Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study
Este estudo demonstra que modelos de linguagem de grande escala multimodais podem fornecer um método de custo-benefício e escalável para auditar a exposição do TikTok a conteúdos prejudiciais na França, Itália e Suécia, revelando que buscas baseadas em palavras-chave aumentam significativamente a exposição a conteúdos prejudiciais em comparação com a rolagem passiva e que os filtros de segurança frequentemente subestimam danos explícitos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Todos os dias, milhões de jovens abrem um aplicativo para assistir a vídeos curtos, confiando que a tela lhes mostrará coisas de que possam gostar. Nos bastidores, programas de computador complexos decidem quais vídeos aparecerão em seguida, aprendendo com cada toque, pausa e salto para construir um feed personalizado. Embora esses sistemas sejam projetados para serem envolventes, eles podem, às vezes, empurrar os usuários para conteúdos que são perigosos ou perturbadores, como material que promove automutilação, transtornos alimentares ou violência. Como esses algoritmos operam como uma "caixa preta" dentro dos servidores da empresa, pesquisadores independentes têm tido dificuldades para ver exatamente o que os usuários jovens estão vendo. É difícil verificar cada vídeo, e as regras para o que conta como prejudicial podem variar dependendo do idioma e do país. Sem uma maneira clara de medir essa exposição, é difícil saber se as medidas de segurança estão realmente funcionando ou se estão falhando com as próprias pessoas que deveriam proteger.
Para resolver isso, uma equipe de pesquisadores do Politecnico di Milano, na Itália, partiu para auditar o TikTok em três países europeus diferentes: França, Itália e Suécia. Eles queriam ver quais vídeos o aplicativo mostraria a usuários de diferentes idades, desde adolescentes até adultos. Em vez de contratar exércitos de pessoas para assistir a milhares de vídeos, eles recorreram a um novo tipo de inteligência artificial chamada modelo de linguagem multimodal. Estes são sistemas de computador avançados que podem ler texto, ouvir áudio e olhar imagens ao mesmo tempo, de forma muito semelhante a um ser humano. Os pesquisadores primeiro testaram vários desses sistemas de IA em um pequeno conjunto de vídeos que já haviam sido rotulados por especialistas humanos. Eles descobriram que um modelo específico, quando lhe eram mostradas oito imagens estáticas tiradas de um vídeo junto com a descrição de texto, conseguia identificar conteúdo prejudicial com um nível de precisidade que era bom o suficiente para ser usado em uma escala massiva. Essa abordagem permitiu que eles analisassem quase 37.000 vídeos pelo custo de cerca de cinquenta dólares, uma tarefa que teria sido proibitivamente cara e lenta usando apenas revisores humanos.
O estudo utilizou contas de computador que fingiam ser usuários reais com idades específicas: treze, dezesseis, dezenove e quarenta anos. Essas contas foram configuradas na França, Itália e Suécia para ver como o aplicativo se comportava em diferentes lugares. Os pesquisadores deixaram essas contas percorrerem seus feeds principais de vídeos sem fazer mais nada, registrando o que o algoritmo escolhia mostrar a elas. Eles também realizaram um segundo teste onde as contas pesquisavam ativamente palavras relacionadas a tópicos prejudiciais, como "suicídio" ou "jogo", para ver como o aplicativo respondia a solicitações diretas. Os resultados revelaram uma diferença marcante entre o que os usuários veem quando navegam passivamente e o que encontram quando procuram ativamente. Quando as contas simplesmente navegavam, a quantidade de conteúdo prejudicial variava significativamente por país. A Itália apresentou as taxas mais altas de vídeos prejudiciais para todas as faixas etárias, com quase metade dos vídeos mostrados a uma persona de dezenove anos sendo sinalizados como prejudiciais. Em contraste, as taxas na França e na Suécia foram menores, embora ainda presentes.
No entanto, a situação mudou drasticamente quando as contas começaram a pesquisar. Quando os pesquisadores digitaram palavras-chave relacionadas a danos, o aplicativo retornou imediatamente uma enxurrada de conteúdo prejudicial, com a taxa saltando para entre trinta e cinco e cinquenta e seis por cento. Este foi um aumento massivo comparado à navegação passiva, mostrando que o aplicativo é muito bom em encontrar esse material quando solicitado, mesmo sem quaisquer avisos visíveis ou bloqueios no momento da pesquisa. Curiosamente, esse pico de conteúdo prejudicial foi temporário. Uma vez que a pesquisa terminou e as contas voltaram a navegar, o feed retornou ao seu nível normal e mais baixo de conteúdo prejudicial em poucos minutos. Isso sugere que o algoritmo não "envenena" permanentemente o feed de um usuário após uma única pesquisa, mas fornece acesso imediato a material perigoso quando solicitado.
O estudo também descobriu que a idade do usuário importava menos do que o país em que se encontrava. Na França e na Suécia, a quantidade de conteúdo prejudicial visto pelos adolescentes mais jovens era menor do que a vista pelos adultos, o que é o que as regras de segurança pretendem alcançar. Mas na Itália, os usuários mais jovens viram tanto ou até mais conteúdo prejudicial do que os adultos, indicando que os filtros de segurança não estavam funcionando como pretendido para aquela região específica. Os pesquisadores observaram que a inteligência artificial que utilizaram não era perfeita; ela perdeu alguns vídeos e ocasionalmente recusou-se a analisar outros, particularmente aqueles com nudez muito explícita. Isso significa que os números que relataram são provavelmente estimativas conservadoras, e a quantidade real de conteúdo prejudicial pode ser ligeiramente superior. Apesar dessas limitações, o estudo prova que usar IA avançada para auditar plataformas de redes sociais é uma forma viável e acessível de monitorar a segurança através de diferentes idiomas e países. Destaca que, embora a função de pesquisa do aplicativo seja uma grande porta de entrada para conteúdo prejudicial, o feed passivo também varia drasticamente por localização, com a Itália mostrando a exposição mais significativa para usuários jovens. As descobertas sugerem que as empresas de plataforma precisam olhar mais de perto para como moderam os resultados de pesquisa e como adaptam suas medidas de segurança para diferentes regiões, em vez de assumir que uma abordagem de tamanho único está protegendo as crianças em todos os lugares.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.