A Closer Look at the Existing Risks of Generative AI: Mapping the Who, What, and How of Real-World Incidents

以下は、論文「生成 AI の既存リスクに焦点を当てる：現実世界のインシデントにおける『誰が』『何が』『どのように』をマッピングする」の詳細な技術的サマリーです。

1. 問題提起

人工知能（AI）の「存亡的」リスクには大きな注目が集まっていますが、現実世界で既に観察され、個人、コミュニティ、社会に害を及ぼしている「既存」のリスクに関する理解には重大な欠落があります。

• 欠落: 既存のリスク分類体系は、実証的根拠に基づいていないことが多く、誰が影響を受けるか、害がどのように発生するか（失敗モード）、技術的失敗と下流の社会的影響との間の具体的な関係を特定できていません。
• 具体的な課題: 生成 AI（GenAI）は、その汎用性と出力モダリティ（テキスト、画像、音声、動画）において、従来の AI とは異なります。現在のフレームワークは、特に技術の恩恵を受けるユーザーと、害を被る第三者との間の乖離を含む、GenAI の失敗の固有の状況網を十分に捉えきれていません。
• 目的: 現実世界のインシデントに基づき、GenAI の失敗と害のデータ駆動型の分類体系を構築し、「誰が」（ステークホルダー）、「何が」（害の種類）、「どのように」（社会技術的失敗モード）をマッピングすることです。

2. 方法論

著者らは、499 の公開された生成 AI インシデントの体系的な実証分析を行いました。

• データソース: データセットは、**AI インシデントデータベース（AIID）とAI、アルゴリズム、自動化インシデントおよび論争（AIAAIC）**の 2 つの主要なリポジトリから収集されました。OECD の AI インシデントモニターは、自動収集および「インシデント」の定義が広範であるため除外されました。
• 選択基準: 生成 AI システムがイベントの主な原因となったインシデントのみを含めました。
• コーディングフレームワーク: 各インシデントをケーススタディとして扱い、以下の 4 つの属性についてコーディングを行いました。
  1. モダリティ: 出力タイプ（テキスト、画像、音声、動画、マルチモーダル）。
  2. 影響を受けたステークホルダー: 「相互作用する」（エンドユーザー、開発者）と「相互作用しない」（第三者の個人、組織、コミュニティ、社会）に分類。
  3. 害: 負の結果の性質。
  4. 社会技術的失敗モード: 直接的な原因（技術的、人的、またはシステム的）。
• 分類体系の構築:
  • 害: 既存の分類体系（Weidinger ら、Abercrombie ら）を基盤としつつ、新しいカテゴリ**「生態系への過負荷」（AI コンテンツによる人間がキュレーションする空間の氾濫）を追加して改訂しました。最終的な分類体系には、12 のカテゴリにわたる41 の具体的な害**が含まれています。
  • 失敗モード: 4 つのカテゴリに整理された14 の失敗モードからなる新規分類体系を開発しました。
    1. 設計関連（例：問題のあるデータ収集）。
    2. 開発/評価関連（例：ハルシネーション、堅牢性の欠如）。
    3. リリース関連（例：透明性の欠如）。
    4. 使用関連（例：悪意ある使用、不適切な使用）。
• 分析プロセス: 2 名の著者が独立してデータをコーディングし、合意形成を通じて不一致を解決しました。その後、失敗モードの発生頻度、共起性、および失敗モード、害、ステークホルダー間のマッピングを分析しました。

3. 主要な貢献

1. GenAI 害の実証的分類体系: 理論的なリスク評価を超え、野外で観察された 41 の具体的な害の検証済みかつ定量的なマッピング。
2. 社会技術的失敗モードの新規分類体系: 設計、開発、リリース、使用に関連する失敗を区別する構造化されたフレームワークで、特に GenAI に特化しています。
3. 「誰・何・どのように」のマッピング: 特定の失敗モードを特定の害と結びつけ、さらに重要なのは恩恵を受ける者と犠牲者との格差を特定する包括的な分析。
4. 従来の AI からの差別化: GenAI の害の状況が従来の AI とは異なり、特に悪意ある使用の発生頻度や、相互作用しないステークホルダーへの影響において顕著であることを示す証拠。

4. 主要な結果と知見

A. 誰が害を被っているのか？（ステークホルダーの格差）

• 相互作用しないステークホルダーが主要な犠牲者: インシデントの大部分（約 80% 以上）は、AI システムと直接相互作用しなかった当事者（例：ディープフェイクの標的となった個人、AI スパムを受け取った組織、誤情報に直面する社会）に害をもたらしました。
• 相互作用するステークホルダーは稀に害を被る: エンドユーザーや開発者は、彼らが生成する害の直接的な結果をほとんど被りません。
• 説明責任の崩壊: これは、利益を得る者（ユーザー/開発者）がリスクをほとんど負わず、リスクを負う者（社会/第三者）が直接的な救済手段を持たないというミスマッチを生み出しています。

B. どのような害が発生しているのか？（発生頻度）

• 上位の害のカテゴリ:
  1. 自律性/主体性の喪失（n=178）: しばしばなりすましや身元窃盗に関連。
  2. 政治的・経済的（n=106）: 操作や不安定化に関連。
  3. 情報的（n=84）: 情報生態系の汚染。
• 特定の頻度の高い害: なりすまし/身元窃盗（n=108）、政治的操作（n=95）、信頼の喪失（n=58）。

C. 害はどのように発生するのか？（失敗モード）

• 使用関連の失敗が支配的: 使用関連の失敗モードがインシデントの大部分（n=301）を占め、設計や開発の失敗を大幅に上回っています。
• 悪意ある使用が主要な駆動力: 悪意ある使用（n=198）は単一の最も prevalent な失敗モードであり、自律性、政治的操作、心理的苦痛、金銭的詐欺に関連する害を駆動しています。
• ハルシネーション: 全体としては悪意ある使用ほど頻繁ではありませんが、ハルシネーション（n=56）は、相互作用するステークホルダー（例：誤った法的助言に依存するユーザー）に影響を与える主要な失敗モードです。

D. 相関とモダリティ

• 失敗 - 害のペアリング:
  • 悪意ある使用 $\rightarrow$ 自律性、政治的、心理的、金銭的害（しばしばディープフェイクを介して）。
  • ハルシネーション $\rightarrow$ 人権/市民的自由への害（例：裁判における偽証）。
  • 問題のあるデータ収集 $\rightarrow$ プライバシーとセキュリティへの害。
• モダリティの影響: テキストベースのシステムはハルシネーションと最も関連しています。画像、動画、音声システムは、圧倒的に悪意ある使用（例：同意のないディープフェイクポルノ、音声詐欺）と関連しています。
• オープンソースモデル: この研究は、同意のない親密な画像（AIG-NCII）を可能にするツールが、主にオープンソースモデル（例：Stable Diffusion）に基づいて構築されていることを裏付け、規制の隙間を浮き彫りにしました。

5. 意義と提言

意義

この論文は、AI リスクが主に技術的または将来志向であるという支配的な物語に挑戦します。それは、現在の GenAI リスクは主に社会技術的であり、人間の意図（悪意ある使用）とシステム的な設計欠陥（データ収集）によって駆動されており、これらのリスクの負担が不釣り合いに無実の第三者に降りかかっていることを証明しています。これは、焦点を純粋な「モデルの安全性」から「生態系の安全性」へとシフトさせます。

提言

1. 相互作用しないステークホルダーを優先: 政策とガバナンスは、システムと相互作用しないがその結果を被る第三者を保護するよう焦点を移す必要があります。
2. 公衆教育と AI 識字: 「不適切な使用」が主要な失敗モードであるため、公衆は GenAI の能力と限界（ハルシネーションの理解など）についてより良い教育を受け、偶発的な害を減らす必要があります。
3. オープンソースに対する規制スタンス: 現在の規制環境（EU AI 法など）はオープンソース開発を促進していますが、誤用（AIG-NCII など）の特定のリスクを軽減できていません。著者らは、イノベーションと乱用ツールの防止のバランスを取る証拠に基づく規制を呼びかけています。
4. 出所と検出: 誤情報やディープフェイク詐欺などの害を軽減するために、データ追跡と合成コンテンツの検出の実施が必要ですが、これらはより広範な説明責任の措置とセットでなければなりません。
5. 技術的対策から非技術的対策への転換: 著者らは、技術的修正（ガードレール）だけでは不十分であると主張しています。効果的な軽減には、問題の人間層とシステム層に対処するための公開、教育、慎重な規制スタンスが必要です。