Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study
本研究は、マルチモーダル大規模言語モデルが、フランス、イタリア、およびスウェーデンにおけるTikTokの有害コンテンツへの露出を監査するための、費用対効果が高くスケーラブルな手法を提供できることを実証しており、キーワードに基づく検索は、受動的なスクロールと比較して有害コンテンツへの露出を著しく増加させること、および安全フィルターが露骨な害を過小評価することが多いことを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
毎日、何百万人もの若者がアプリを開いて短い動画を視聴しており、画面には自分が楽しめそうなものが表示されると信じています。その舞台裏では、複雑なコンピュータプログラムが、どの動画を次に表示するかを決定しており、タップ、一時停止、スキップのすべてから学習して、パーソナライズされたフィードを構築しています。これらのシステムはユーザーを夢中にさせるように設計されていますが、時には自傷行為、摂食障害、暴力などを助長するような、危険または不快なコンテンツへとユーザーを押しやってしまうことがあります。これらのアルゴリズムは企業のサーバー内にある「ブラックボックス」として機能しているため、独立した研究者が、若いユーザーが実際に何を見ているのかを正確に把握することは困難でした。すべての動画をチェックすることは難しく、何が有害であるかという基準も、言語や国によって異なります。この露出度を測定する明確な方法がないため、安全対策が実際に機能しているのか、それとも守るべき人々を見放しているのかを知ることは困難です。
これを解決するために、イタリアのミラノ・ポリテクニテク大学の研究チームは、フランス、イタリア、スウェーデンの3つの異なるヨーロッパ諸国でTikTokの監査を行うことにしました。彼らは、アプリが、初期のティーンエイジャーから大人まで、さまざまな年齢層のユーザーに対してどのような動画を見せるのかを確認したいと考えました。何千もの動画を視聴するために大量の人員を雇う代わりに、彼らは「マルチモーダル言語モデル」と呼ばれる新しい種類の人工知能を活用しました。これらは、人間と同じように、テキストを読み、音声を聞き、画像を同時に認識できる高度なコンピュータシステムです。研究チームはまず、人間の専門家によってラベル付けされた少数の動画セットを用いて、これらのAIシステムのいくつかをテストしました。その結果、ある特定のモデルが、ビデオから抽出された8枚の静止画とテキストによる説明を提示された際、大規模な運用に耐えうる十分な精度で有害なコンテンツを特定できることが分かりました。この手法により、研究チームはわずか50ドル程度のコストで約3万7,000本の動画を分析することができました。これは、人間のレビューアーのみで行うには、コストがかかりすぎ、非常に時間がかかる作業です。
この研究では、特定の年齢を設定した、実在のユーザーを装うコンピュータアカウントを使用しました。設定された年齢は、13歳、16歳、19歳、そして40歳です。これらのアカウントは、アプリが場所によってどのように振る舞うかを確認するため、フランス、イタリア、スウェーデンに設置されました。研究チームは、これらのアカウントにメインの動画フィードをただスクロールさせ、他に何も操作を行わずに、アルゴリズムが何を表示することを選択したかを記録しました。また、彼らは「自殺」や「ギャンブル」といった有害なトピックに関連する特定の単語を積極的に検索させ、アプリが直接的なリクエストに対してどのように反応するかを確認するという、2つ目のテストも行いました。その結果、ユーザーが受動的にスクロールしている時と、能動的に探している時とでは、劇的な違いがあることが明らかになりました。アカウントが単にスクロールしていた場合、有害なコンテンツの量は国によって大きく異なりました。イタリアではすべての年齢層において有害な動画の割合が最も高く、19歳のペルソナ（人格）に対して表示された動画のほぼ半分が有害であると判定されました。対照的に、フランスとスウェーデンの割合は低かったものの、依然として存在していました。
しかし、アカウントが検索を開始すると、状況は劇的に変化しました。研究者が有害なトピックに関連するキーワードを入力すると、アプリは即座に有害なコンテンツの洪水をもたらし、その割合は35%から56%の間へと跳ね上がりました。これは受動的なスクロールと比較して大幅な増加であり、検索の瞬間に目に見える警告やブロックがなくても、アプリがこの素材を見つけ出すことに非常に長けていることを示しています。興味深いことに、この有害コンテンツの急増は一時的なものでした。検索が終了してアカウントが再びスクロールに戻ると、フィードは数分以内に通常の、より低いレベルの有害コンテンツへと戻りました。このことは、一度の検索によってアルゴリズムがユーザーのフィードを永続的に「汚染」することはないものの、要求された場合には危険な素材への即時アクセスを提供してしまうことを示唆しています。
また、この研究では、ユーザーの年齢よりも、どの国にいるかの方が重要であることが分かりました。フランスとスウェーデンでは、若いティーンエイジャーが見る有害なコンテンツの量は大人よりも少なく、これは安全規則が意図している通りの結果です。しかし、イタリアでは、最も若いユーザーが大人と同じ、あるいはそれ以上の有害なコンテンツを見ており、特定の地域においては安全フィルターが意図した通りに機能していないことを示しています。研究チームは、使用した人工知能が完璧ではないことも指摘しています。AIはいくつかの動画を見逃したり、特に非常に露骨な裸体を含むものに対して分析を拒否したりすることがありました。これは、報告された数値が控えめな見積もりであることを意味しており、実際の有害コンテンツの量はこれよりも高い可能性があります。こうした制限はあるものの、本研究は、高度なAIを使用してソーシャルメディアプラットフォームを監査することが、異なる言語や国々を監視するための実現可能かつ手頃な方法であることを証明しています。また、アプリの検索機能が有害なコンテンツへの主要な入り口となっている一方で、受動的なフィードも場所によって大きく変動しており、特にイタリアでは若いユーザーの露出が顕著であることを浮き彫りにしました。これらの知見は、プラットフォーム企業に対し、一律の対策で世界中の子供たちを守っていると仮定するのではなく、検索結果のモデレーションや、地域ごとに合わせた安全対策をより精査する必要があることを示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。