How Generative AI Empowers Attackers and Defenders Across the Trust & Safety Landscape
この論文は、43 名の専門家への定性調査を通じて、生成 AI が信頼と安全の分野において、攻撃者の手口を高度化・大規模化する一方で、検知や対策、モデレーターの支援など防御側にも大きな可能性をもたらす両刃の剣であることを明らかにし、その責任ある活用に向けた戦略的枠組みを提示しています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
この論文は、「生成 AI（GenAI）」という新しい魔法の道具が、インターネットの「警察（守り手）」と「泥棒（攻撃者）」の戦いにどう影響するかを、現場の専門家 43 人にインタビューして調べたものです。
簡単に言うと、**「新しい武器が両方の手に渡り、戦いが激化しているが、守り手も新しい武器で対抗できるかもしれない」**という話です。
以下に、わかりやすい比喩を使って解説します。
🏰 物語の舞台：インターネットというお城
インターネットというお城には、**「守り手（トラスト＆セーフティ）」**がいます。彼らは、子供への虐待、詐欺、ヘイトスピーチ、選挙への干渉、テロなど、お城を壊そうとする「攻撃者」から住民を守っています。
そして今、**「生成 AI」という、何でも作れてしまう「魔法の杖」**が出現しました。
⚔️ 攻撃者への魔法：「悪の量産工場」
攻撃者（泥棒や悪人）にとって、この魔法の杖は**「悪事を量産する工場」**になりました。
スピードと量の爆発
- 昔： 詐欺メールを送るには、人が一つ一つ手書きで書く必要があり、時間がかかりました。
- 今： AI を使えば、1 秒間に何千通もの詐欺メールや、子供への虐待画像（CSAM）を自動で生成できます。
- 比喩： 昔は「手作業で石を投げて城壁を壊す」感じでしたが、今は「AI が自動で石を連射する機関銃」を手に入れたようなものです。守り手は追いつけません。
ハードルが下がる（誰でも悪人になれる）
- 昔： 本物のような偽物（ディープフェイク）を作るには、高度な技術と Photoshop のスキルが必要でした。
- 今： 誰でもスマホ一つで、有名人の顔を別人にすり替えたり、嘘のニュース記事を書かせたりできます。
- 比喩： 以前は「プロの泥棒」しかできなかったことが、今では「子供でもできる」レベルに簡単になりました。
巧妙な嘘と「楽しさ」の罠
- 攻撃者は AI を使って、単なる嘘ではなく、**「面白いアニメ」や「おもしろ動画」**のように見せかけて、過激な思想を広めたりします。
- 比喩： 毒入りのお菓子に、子供が大好きなキャラクターのラベルを貼って配っているようなものです。最初は「ただの面白い動画」と思っても、気づけば過激な思想に染め上げられています。
情報の信頼性が崩壊
- 「これは嘘だ」と言われても、「いや、それは AI が作った偽物だ」と悪人が言い逃れできるようになり、**「何が真実かわからない」**という状態（嘘の配当）が生まれます。
🛡️ 守り手への魔法：「賢い助手と盾」
一方で、この魔法の杖は**「守り手（警察やモデレーター）」**にとっても、強力な味方になる可能性があります。
大量のゴミ箱を片付ける
- 攻撃者が AI で大量の有害コンテンツを作ると、人間が全部見るのは不可能です。でも、AI 自体を使って、有害なものを自動で見つけ、フィルタリングできます。
- 比喩： 洪水のように押し寄せるゴミを、人間が手で拾うのではなく、巨大な「自動掃除ロボット」に任せるイメージです。
人間の心の負担を減らす
- 守り手（モデレーター）は、過酷な内容（虐待画像など）を見ることで精神的に傷つきます。AI が「一番ひどいもの」を先に選別すれば、人間は「判断が難しい微妙なケース」だけを見れば良くなり、心の健康を守れます。
犯人の巣窟を暴く
- 詐欺グループやテロ組織のネットワークを AI が分析し、「誰が誰と繋がっているか」「お金がどう動いているか」を瞬時に突き止め、捜査を助けます。
「いい話」で対抗する
- 攻撃者が嘘の propaganda（プロパガンダ）を広めるなら、守り手も AI を使って**「魅力的な正しい話（カウンターナラティブ）」**を大量に作って、人々を正しい方向へ導くことができます。
- 比喩： 悪魔が「誘惑の歌」を歌っているなら、天使が「希望の歌」を AI に作らせて、同じように大勢に歌い聞かせる戦いです。
⚖️ 戦況の行方：「軍拡競争」と「地域ごとの戦い」
この論文の重要な発見は、**「国や分野によって戦い方が違う」**ということです。
- 子供の安全： 攻撃者が AI で「ありえないほどリアルな虐待画像」を無限に作れるため、従来の「画像の指紋（ハッシュ）」で探す方法は通用しなくなります。システム自体を根本から作り変える必要があります。
- 選挙： すでに嘘やプロパガンダは溢れていますが、AI はそれをさらに「本物らしく」します。ここは「情報の質」をどう守るかが鍵です。
- 詐欺： 詐欺は「ビジネス」なので、AI でコストを下げ、効率化します。守り手も AI で効率化して対抗する**「軍拡競争」**が続きます。
🚀 私たちがすべきこと
この論文は、「AI は悪だから禁止する」だけではダメだと言っています。
- 分野ごとの対策が必要： 「子供を守る方法」と「選挙を守る方法」は違うので、それぞれの専門家が AI を使いこなす必要があります。
- 協力体制： 企業、政府、NGO がバラバラだと負けます。AI の技術や情報を共有して、みんなで戦う必要があります。
- AI の「防具」を強化する： 開発者が AI に「悪事を防ぐ機能」を入れるだけでなく、守り手が「悪事を防ぐための AI」を自由に使えるようにするバランスが重要です。
🌟 まとめ
生成 AI は、**「両刃の剣」です。
攻撃者はこれを使って、「より速く、より多く、より巧妙に」お城を攻めます。
しかし、守り手もこれを使って、「より賢く、より速く、より多くの人を守れる」**可能性があります。
これからのインターネットの安全は、**「攻撃者が AI をどう使うか」よりも、「守り手が AI をどう使いこなすか」**にかかっています。私たちは、この魔法の杖を、どうやって「悪」ではなく「善」のために使うかを、みんなで知恵を絞って考えなければなりません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。