Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study
Questo studio dimostra che i modelli linguistici di grandi dimensioni multimodali possono fornire un metodo efficace in termini di costi e scalabile per l'audit dell'esposizione di TikTok a contenuti dannosi in Francia, Italia e Svezia, rivelando che le ricerche basate su parole chiave aumentano significativamente l'esposizione a contenuti dannosi rispetto allo scorrimento passivo e che i filtri di sicurezza spesso sottostimano i danni espliciti.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Ogni giorno, milioni di giovani aprono un'app per guardare video brevi, confidando che lo schermo mostri loro cose che potrebbero gradire. Dietro le quinte, complessi programmi informatici decidono quali video appariranno successivamente, imparando da ogni tocco, pausa e salto per costruire un feed personalizzato. Sebbene questi sistemi siano progettati per essere coinvolgenti, a volte possono spingere gli utenti verso contenuti pericolosi o deprimenti, come materiale che promuove l'autolesionismo, i disturbi alimentari o la violenza. Poiché questi algoritmi operano come una "scatola nera" all'interno dei server dell'azienda, i ricercatori indipendenti hanno faticato a vedere esattamente cosa vedano i giovani utenti. È difficile controllare ogni singolo video, e le regole su ciò che viene considerato dannoso possono variare a seconda della lingua e del paese. Senza un modo chiaro per misurare questa esposizione, è difficile sapere se le misure di sicurezza stiano effettivamente funzionando o se stiano fallendo proprio con le persone che dovrebbero proteggere.
Per risolvere questo problema, un team di ricercatori del Politecnico di Milano in Italia ha deciso di sottoporre a un audit TikTok in tre diversi paesi europei: Francia, Italia e Svezia. Volevano vedere quali video l'app mostrerebbe agli utenti di diverse età, dagli adolescenti agli adulti. Invece di assumere eserciti di persone per guardare migliaia di video, si sono rivolti a un nuovo tipo di intelligenza artificiale chiamata modello linguistico multimodale. Questi sono sistemi informatici avanzati in grado di leggere il testo, ascoltare l'audio e guardare le immagini contemporaneamente, molto più come farebbe un essere umano. I ricercatori hanno prima testato diversi di questi sistemi IA su un piccolo set di video che erano già stati etichettati da esperti umani. Hanno scoperto che un modello specifico, quando gli venivano mostrate otto immagini fisse tratte da un video insieme alla descrizione testuale, era in grado di identificare contenuti dannosi con un livello di accuratezza sufficiente per essere utilizzato su larga scala. Questo approccio ha permesso loro di analizzare quasi 37.000 video al costo di circa cinquanta dollari, un compito che sarebbe stato proibitivamente costoso e lento utilizzando solo revisori umani.
Lo studio ha utilizzato account informatici che fingevano di essere utenti reali con età specifiche: tredici, sedici, diciannove e quaranta anni. Questi account sono stati configurati in Francia, Italia e Svezia per vedere come l'app si comportasse in luoghi diversi. I ricercatori hanno lasciato che questi account scorressero i loro feed video principali senza fare nient'altro, registrando ciò che l'algoritmo sceglieva di mostrare loro. Hanno inoltre eseguito un secondo test in cui gli account cercavano attivamente parole chiave relative a temi dannosi, come "suicidio" o "gioco d'azzardo", per vedere come l'app rispondeva a richieste dirette. I risultati hanno rivelato una netta differenza tra ciò che gli utenti vedono quando scorrono passivamente e ciò che trovano quando cercano attivamente. Quando gli account scorrevano semplicemente, la quantità di contenuti dannosi variava significativamente per paese. L'Italia ha mostrato i tassi più elevati di video dannosi per ogni fascia d'età, con quasi la metà dei video mostrati a un profilo di diciannovemila anni segnalata come dannosa. Al contrario, i tassi in Francia e Svezia erano inferiori, sebbene comunque presenti.
Tuttavia, la situazione cambiava drasticamente quando gli account iniziavano a effettuare ricerche. Quando i ricercatori digitavano parole chiave relative al danno, l'app restituiva immediatamente un'ondata di contenuti dannosi, con il tasso che balzava tra il trentacinque e il cinquantasei per cento. Si trattava di un aumento massicciamente superiore rispetto allo scorrimento passivo, dimostrando che l'app è molto brava a trovare questo materiale quando richiesto, anche senza avvisi visibili o blocchi al momento della ricerca. Interessante notare che questo picco di contenuti dannosi era temporaneo. Una volta terminata la ricerca e una volta che gli account tornavano a scorrere, il feed tornava al suo normale livello inferiore di contenuti dannosi entro pochi minuti. Ciò suggerisce che l'algoritmo non "avvelena" permanentemente il feed di un utente dopo una singola ricerca, ma fornisce un accesso immediato a materiale pericoloso quando richiesto.
Lo studio ha anche scoperto che l'età dell'utente contava meno del paese in cui si trovava. In Francia e in Svezia, la quantità di contenuti dannosi visti dai giovanissimi adolescenti era inferiore rispetto a quella vista dagli adulti, che è ciò che le norme sulla sicurezza dovrebbero ottenere. Ma in Italia, i più giovani vedevano quanti o persino più contenuti dannosi degli adulti, indicando che i filtri di sicurezza non stavano funzionando come previsto per quella specifica regione. I ricercatori hanno osservato che l'intelligenza artificiale utilizzata non era perfetta; ha saltato alcuni video e occasionalmente si è rifiutata di analizzarne altri, in particolare quelli con nudità molto esplicita. Ciò significa che i numeri riportati sono probabilmente stime conservative, e la quantità reale di contenuti dannosi potrebbe essere leggermente superiore. Nonostante queste limitazioni, lo studio dimostra che utilizzare l'IA avanzata per sottoporre a audit le piattaforme di social media è un modo fattibile ed economico per monitorare la sicurezza attraverso diverse lingue e paesi. Evidenzia che, sebbene la funzione di ricerca dell'app sia una porta d'accesso principale ai contenuti dannosi, anche il feed passivo varia enormemente in base alla posizione, con l'Italia che mostra l'esposizione più significativa per gli utenti giovani. I risultati suggeriscono che le aziende della piattaforma devono guardare più attentamente a come moderano i risultati di ricerca e a come adattano le loro misure di sicurezza per diverse regioni, invece di assumere che un approccio unico possa proteggere i bambini ovunque.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.