Towards Unified Multimodal Misinformation Detection in Social Media: A Benchmark Dataset and Baseline
本論文は、人間が作成した誤情報とAI生成コンテンツを組み合わせた大規模なベンチマークデータセットであるOmniFakeと、ソーシャルメディア上の多様な種類のマルチモーダルな欺瞞を検出し、特化型モデルを統合してそれを凌駕するカテゴリー認識型混合エキスパートアーキテクチャを利用したUMFDetフレームワークを導入するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
インターネットを、誰もが物語を叫び、写真を共有し、ニュースを投稿している、巨大で賑やかな町の広場だと想像してみてください。この広場には、主に2種類のトラブルメーカーがいます。1つ目は「人間のペテン師」です。これは、注目を集めたり、噂を広めたり、人々を怒らせたりするために、偽の物語を書いたり写真を加工したりする人物です。2つ目は「ロボットの芸術家」です。これは、空飛ぶ犬の絵を描いたり、起こってもいない出来事についての説得力のあるニュースの見出しを書いたりすることができる、強力なコンピュータプログラムです。長い間、町の広場の安全を守ろうとしてきた人々（研究者たち）は、2つの異なるセキュリティガードを構築してきました。一方のガードは人間の嘘を見抜くエキスパートであり、もう一方はロボットの偽物を見抜くエキスパートでした。しかし、現実の世界では、巧妙な投稿は人間によるものかもしれないし、ロボットによるものかもしれないし、あるいはその両方が混ざり合ったものかもしれません。そして、これまでのガードたちはどちらを呼べばよいのか分かりませんでした。それはまるで、木製の火災だけを消す方法しか知らない消防署と、銀行強盗を捕まえることしか知らない警察隊を併設しているようなもので、銀行で火災が発生したとき、どちらのチームもどう対処すべきか分からなくなってしまうのです。この論文は、その混沌とした状況に踏み込み、誰が作ったものであれ、あらゆる種類のフェイクニュースに対処できる、たった一つの超スマートな探偵を構築するためにあります。
この論文の著者である中国の大学やテック企業のチームは、「人間の嘘」と「AIの偽物」を切り離す古いやり方は、現実の世界においてはあまりにも遅く、使い勝手が悪いことに気づきました。そこで、彼らはOmniFakeと呼ばれる、大規模で新しい訓練場を作り上げました。このデータセットは、98,592個の例、つまり10万近い投稿を含む巨大なライブラリだと考えてください。これには、本物のニュース、人間が書いたデマ、そしてAIが生成したトリックが含まれています。彼らはこれらをただ収集したのではなく、自ら作り出したのです。彼らは本物の写真を取り込み、AIを使って顔を入れ替えたり、背景を変えたり、あるいは存在しないものの全く新しい画像を生成したりしました。また、本物の見出しを取り上げ、AIを使ってそれらを誤解を招くような物語へと書き換えました。彼らはさらに、これらのテクニックを組み合わせ、「混合操作（Mixed Manipulation）」、つまり、写真は本物だがストーリーが偽物であったり、写真が偽物だがストーリーが本物であったりするケースさえも作り出しました。この巧妙さをテストするために、彼らは8人の専門家にこれら600個のサンプルを見てもらいました。人間はわずか40％程度しか正解できず、これらの偽物がどれほど見抜くのが難しいかを証明しました。
これを解決するために、チームはUMFDetと呼ばれる新しい探偵システムを構築しました。別々のガードを雇う代わりに、彼らは中に「専門家チーム」を備えた一つのスマートな脳を構築しました。中央のハブが投稿（画像とテキスト）を受け取り、「この件を見るのに最適な専門家は誰か？」と問いかける様子を想像してください。このシステムには、3つの特化した専門家がいます。一つは真実（Real）のニュース用、一つは人間が作り出した嘘用、そしてもう一つはAIが合成した偽物用です。これは「カテゴリ認識型混合エキスパート（Category-aware Mixture-of-Experts）」と呼ばれます。投稿が入ってくると、システムはそれを適切な専門家へとルーティングします。しかし、ここが巧妙な点ですが、彼らはこれらの専門家が混乱しないように工夫しました。彼らは特別なトレーニング規則（「エキスパート別識別正則化（Expert-wise Discriminative Regularization）」と呼ばれるもの）を使用し、「人間の専門家」が他の人間の嘘には非常に近く、AIの偽物からは遠ざかるように強制しました。同様に、AIの専門家も同様です。また、「クロスモーダル整合性（Cross-modal Consistency）」チェックも追加しました。これは、「画像は実際にストーリーと一致しているか？」と問いかけるファクトチェッカーのような役割を果たします。もしテキストが「空飛ぶ犬」と言っているのに、画像が猫を示している場合、このチェックが不審としてフラグを立てます。
結果は、この新しい探偵が従来の専門家よりもはるかに優れていることを示しています。彼らの新しい9万8千サンプルのライブラリでテストした際、UMFDetは平均して約82％の割合で誤情報の種類を正しく特定しました。これは、他の手法と比較して大きな飛躍です。例えば、「テキスト操作（Text Manipulation）」（偽の物語）を見たとき、この新しいシステムは、既存の最高の手法を13％以上も上回りました。また、このシステムは「混合操作（Mixed Manipulation）」（本物と偽物の混合）に対しても、他の誰よりもうまく対処できることを証明しました。チームは、DGM4やMMFakeBenchといった既存の他のデータセットでもシステムをテストしましたが、依然としてトップを走り続け、単一のタイプの偽物専用に設計された専門モデルをも打ち負かしました。
この論文は、これらのタスクを統合することで、より実用的で強力なソーシャルメディア・セーフティ・ツールを構築できることを示唆しています。著者たちは、フェイクニュースの問題を永遠に解決したと主張しているわけではありませんが、人間の嘘とAIの偽物を切り離すのではなく、単一の統一された課題として扱うことが、いかに優れた結果をもたらすかを明らかにしました。彼らのシステムは、その巨大な新しいデータセットとともに、他の人々が利用し改善できるように公開されており、誰が真実を隠そうとしても、真実を見つけやすくなる町を目指すための、有望な一歩を提示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。