Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study
Diese Studie zeigt, dass multimodale große Sprachmodelle eine kosteneffiziente und skalierbare Methode zur Überprüfung der TikTok-Exposition gegenüber schädlichen Inhalten in Frankreich, Italien und Schweden darstellen, wobei sie offenlegt, dass keyword-basierte Suchanfragen die Exposition gegenüber schädlichen Inhalten im Vergleich zum passiven Scrollen signifikant erhöhen und Sicherheitsfilter explizite Schäden oft untererfassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jeden Tag öffnen Millionen junger Menschen eine App, um kurze Videos anzusehen, in der Hoffnung, dass der Bildschirm ihnen Dinge zeigt, die ihnen gefallen könnten. Hinter den Kulissen entscheiden komplexe Computerprogramme, welche Videos als Nächstes erscheinen, indem sie aus jedem Tippen, Pausieren und Überspringen lernen, um einen personalisierten Feed aufzubauen. Obwohl diese Systeme darauf ausgelegt sind, Nutzer zu binden, können sie Nutzer manchmal zu Inhalten führen, die gefährlich oder verstörend sind, wie etwa Material, das Selbstverletzung, Essstörungen oder Gewalt propagiert. Da diese Algorithmen als „Black Box“ auf den Servern des Unternehmens operieren, haben unabhängige Forscher Schwierigkeiten zu sehen, was junge Nutzer genau zu sehen bekommen. Es ist schwierig, jedes Video zu überprüfen, und die Regeln dafür, was als schädlich gilt, können je nach Sprache und Land variieren. Oh sich eines klaren Weges zur Messung dieser Exposition fehlt es an der Möglichkeit zu wissen, ob Sicherheitsmaßnahmen tatsächlich funktionieren oder ob sie genau die Menschen enttäuschen, die sie eigentlich schützen sollen.
Um dies zu lösen, setzte sich ein Forscherteam der Politecnico di Milano in Italien zum Ziel, TikTok in drei verschiedenen europäischen Ländern zu prüfen: Frankreich, Italien und Schweden. Sie wollten sehen, welche Videos die App Nutzern unterschiedlicher Altersgruppen zeigen würde, von frühen Teenagern bis hin zu Erwachsenen. Anstatt Armeen von Menschen anzuheuern, die tausende Videos anschauen, wandten sie sich an eine neue Art von künstlicher Intelligenz, ein multimodales Sprachmodell. Dies sind fortschrittliche Computersysteme, die Text lesen, Audio hören und Bilder gleichzeitig betrachten können, ganz ähnlich wie ein Mensch. Die Forscher testeten zuerst mehrere dieser KI-Systeme an einem kleinen Satz von Videos, die bereits von menschlichen Experten etikettiert worden waren. Sie fanden heraus, dass ein spezifisches Modell, wenn man ihm acht Standbilder aus einem Video zusammen mit der Textbeschreibung zeigte, schädliche Inhalte mit einem Genauigkeitsgrad identifizieren konnte, der gut genug war, um auf einer massiven Skala eingesetzt zu werden. Dieser Ansatz ermöglichte es ihnen, fast 37.000 Videos für Kosten von etwa fünfzig Dollar zu analysieren – eine Aufgabe, die bei der Verwendung allein menschlicher Prüfer prohibitiv teuer und langsam gewesen wäre.
Die Studie verwendete Computer-Accounts, die echte Nutzer mit einem spezifischen Alter vorgaben: dreizehn, sechzehn, neunzehn und vierzig Jahre. Diese Accounts wurden in Frankreich, Italien und Schweden eingerichtet, um zu sehen, wie die App sich an verschiedenen Orten verhält. Die Forscher ließen diese Accounts durch ihre Haupt-Video-Feeds scrollen, ohne sonst etwas zu unternehmen, und zeichneten auf, was der Algorithmus ihnen anzuzeigen entschied. Sie führten auch einen zweiten Test durch, bei dem die Accounts aktiv nach bestimmten Wörtern im Zusammenhang mit schädlichen Themen suchten, wie etwa „Suizid“ oder „Glücksspiel“, um zu sehen, wie die App auf direkte Anfragen reagiert. Die Ergebnisse zeigten einen drastischen Unterschied zwischen dem, was Nutzer sehen, wenn sie passiv scrollen, und dem, was sie finden, wenn sie aktiv suchen. Als die Accounts einfach nur scrollten, variierte die Menge an schädlichen Inhalten erheblich nach Land. Italien wies die höchsten Raten an schädlichen Videos für jede Altersgruppe auf, wobei fast die Hälfte der den neunzehnjährigen Person gezeigten Videos als schädlich eingestuft wurde. Im Gegensatz dazu waren die Raten in Frankreich und Schweden niedriger, wenn auch dennoch vorhanden.
Die Situation änderte sich jedoch dramatisch, als die Accounts begannen zu suchen. Wenn die Forscher Keywords im Zusammenhang mit Schaden eingaben, lieferte die App sofort eine Flut von schädlichen Inhalten, wobei die Rate auf zwischen fünfunddreißig und sechsundfünfzig Prozent sprang. Dies war ein massiver Anstieg im Vergleich zum passiven Scrollen und zeigte, dass die App sehr gut darin ist, dieses Material zu finden, wenn danach gefragt wird, selbst ohne sichtbare Warnungen oder Sperren im Moment der Suche. Interessanterweise war dieser Anstieg der schädlichen Inhalte vorübergehend. Sobald die Suche beendet war und die Accounts zurück zum Scrollen übergingen, kehrte der Feed innerhalb von Minuten zu seinem normalen, niedrigeren Niveau an schädlichen Inhalten zurück. Dies deutet darauf hin, dass der Algorithmus den Feed eines Nutzers nach einer einzigen Suche nicht dauerhaft „vergiftet“, aber er bietet unmittelbaren Zugang zu gefährlichem Material, wenn danach verlangt wird.
Die Studie ergab auch, dass das Alter des Nutzers weniger wichtig war als das Land, in dem er sich befand. In Frankreich und Schweden war die Menge der schädlichen Inhalte, die junge Teenager sahen, niedriger als die, die Erwachsene sahen, was genau das ist, was Sicherheitsregeln erreichen sollen. Aber in Italien sahen die jüngsten Nutzer genauso viele oder sogar mehr schädliche Inhalte als die Erwachsenen, was darauf hindeutet, dass die Sicherheitsfilter für diese spezifische Region nicht wie beabsichtigt funktionierten. Die Forscher merkten an, dass die von ihnen verwendete künstliche Intelligenz nicht perfekt war; sie übersah einige Videos und verweigerte gelegentlich die Analyse anderer, insbesondere bei sehr expliziter Nacktheit. Das bedeutet, dass die von ihnen berichteten Zahlen wahrscheinlich konservative Schätzungen sind und die tatsächliche Menge an schädlichen Inhalten etwas höher sein könnte. Trotz dieser Einschränkungen beweist die Studie, dass die Nutzung fortgeschrittener KI zur Prüfung von Social-Media-Plattformen eine machbare und erschwingliche Methode ist, um die Sicherheit über verschiedene Sprachen und Länder hinweg zu überwachen. Sie verdeutlicht, dass die Suchfunktion der App zwar ein großes Tor zu schädlichen Inhalten ist, der passive Feed jedoch ebenfalls stark nach Standort variiert, wobei Italien die signifikanteste Exposition für junge Nutzer aufweist. Die Ergebnisse legen nahe, dass Plattformunternehmen genauer darauf schauen müssen, wie sie Suchergebnisse moderieren und wie sie ihre Sicherheitsmaßnahmen für verschiedene Regionen anpassen, anstatt davon auszugehen, dass ein Einheitsansatz überall Kinder schützt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.