Resilience Meets Autonomy: Governing Embodied AI in Critical Infrastructure

論文要約：重要インフラにおける具現化 AI（EAI）のガバナンスと自律性の境界

1. 問題定義 (Problem)

重要インフラ（CI: Critical Infrastructure）は、AI による監視、予知保全、意思決定支援の導入により変革されつつある。しかし、既存の AI システムは「統計的に表現可能な不確実性（訓練データに基づく確率的モデル）」の処理には長けているが、以下のようなシステム的な驚き（Systemic Surprise）やカスケード故障には対応できないという根本的な課題を抱えている。

• 未知のリスクへの対応不足: 「既知の未知（Known Unknowns）」や「未知の未知（Unknown Unknowns）」と呼ばれる、訓練データに存在しない異常事態や、因果関係が危機発生後でしか明確にならない複雑な事象に対し、AI は予測不能な挙動（作動停止、脆いルーチンへの回帰、誤作動）を示すリスクがある。
• 脆弱性の増幅: 具現化 AI（EAI: 物理世界で動作するロボットや自律システム）は、センサー限界、ハードウェア摩耗、環境ノイズなどの「内的脆弱性」と、敵対的攻撃やサイバー物理的干渉などの「外的脆弱性」の両方にさらされる。これらが複合することで、システム全体の制御不能に至る可能性がある。
• ガバナンスの欠如: 完全な自動化と単純な人間による上書き（オーバーライド）の二者択一では不十分であり、安全性と効率性の両立を図るための構造化された「人間と機械の責任分担」の枠組みが欠けている。

2. 手法・アプローチ (Methodology)

本論文は、EU AI 法（2024 年）、ISO 安全規格（ISO/IEC TR 5469:2024, ISO/IEC TS 8200:2024）、および危機管理研究を統合し、重要インフラにおける AI 自律性のガバナンスを再構築するハイブリッド・ガバナンス・アーキテクチャを提案している。

• 理論的枠組みの構築: AI の自律性を「人間の判断」と「機械の能力」の構造化された組み合わせとして捉え、完全自動化から戦略的制御までを連続的に捉える「4 つの監視モード（Oversight Modes）」を定義した。
• 分野別マッピング: 重要インフラの 11 分野（エネルギー、交通、水、医療など）における具現化 AI の具体的応用例（ドローン、自律船舶、点検ロボットなど）を分析し、各タスクの複雑さ、リスクレベル、結果の重大さに基づいて、最適な監視モードを割り当てるマトリクスを作成した。
• 脆弱性分析: 環境要因（外的）、システム内部要因（内的）、およびそれらの相互作用（混合）による脆弱性を分類し、各モードがどのようにこれらのリスクに対処するかを論じた。

3. 主要な貢献 (Key Contributions)

本論文の核心的な貢献は、重要インフラにおける AI 自律性を「固定された設計選択」ではなく、「状況に応じた動的な配分」として再定義し、以下の4 つの監視モードを体系的に提示した点にある。

1. 完全 AI 自動化 (Human-out-of-the-Loop):
   • 役割: 人間は関与しない。
   • 適用: 定常運転、ミリ秒単位の物理的安定化（例：スマートグリッドの負荷分散）。
   • 条件: システム設計による機能的安全が保証され、人間が物理的に介入する速度を超えている場合。
2. 人間による監視 (Human-on-the-Loop, HOTL):
   • 役割: 人間は監督者（受動的）。システムは自律運転し、人間は監視・介入・上書きが可能。
   • 適用: 予知保全、定常状態の運用。
   • 条件: システムが安定しているが、物理的異常の誤解釈時に人間が制御を奪える必要がある場合。
3. 人間による承認 (Human-in-the-Loop, HITL):
   • 役割: 人間はゲートキーパー（能動的）。高影響・安全上の重要なアクションには人間の承認が必須。
   • 適用: サービス復旧、再構成。
   • 条件: 誤りが物理的・社会的・環境的甚大な被害をもたらす可能性のある場合。
4. 人間による指揮 (Human-in-Command, HIC):
   • 役割: 人間は政策決定者（戦略的）。目標、安全限界、エスカレーション閾値を定義し、AI はその制約内で動作。
   • 適用: 危機管理、大規模災害復旧、サイバー戦争シナリオ。
   • 条件: 予期せぬ事象が発生し、倫理的・政治的・法的な責任が問われる戦略的トレードオフが必要な場合。

技術的洞察:

• これらのモードは排他的ではなく、タスクの複雑さや危機の状況に応じて動的に切り替える、あるいは同時に運用するハイブリッドシステムが最適である。
• 具現化 AI（EAI）の文脈では、SLAM（同時自己位置推定と地図作成）などの技術が環境の不確実性（霧、暗闇、通信制限）に直面した際、どのように内的・外的脆弱性を引き起こすかを特定し、それに対応する監視レベルを決定する必要がある。

4. 結果と知見 (Results & Findings)

• 分野別の最適化: 表 II に示されるように、エネルギー分野（送電塔点検など）では HOTL/HITL が基本だが、大規模停電時には HIC へ移行する必要がある。医療分野では、生命に関わるエラーの重大性からデフォルトとして HITL が推奨され、戦略的・倫理的判断には HIC が適用される。
• 認知負荷の課題: AI が生成する膨大なアラートは、危機状況における人間の「認知的過負荷（Cognitive Overload）」を招き、意思決定の遅延や疲労を引き起こす可能性がある。したがって、AI は人間にとって「最適なフィルタリング」を行い、関連性の高い洞察のみを提供する設計が不可欠である。
• レジリエンスの再定義: レジリエンスは単なる「回復力」ではなく、構造的な不確実性の中で、人間の文脈的解釈・規範的判断と AI の計算能力を組み合わせることで発現する「創発的な能力」として捉えられるべきである。

5. 意義と重要性 (Significance)

• 政策的・規制的意義: EU AI 法や ISO 規格などの現行フレームワークを具体化し、重要インフラにおける「高リスク AI」の運用において、単なるコンプライアンスを超えた実用的なガバナンスモデルを提供する。
• 安全性の向上: 完全自動化への過度な依存を避け、システム的な驚き（Systemic Surprise）が発生した際にも、人間の判断が最終的な安全網（Safety Net）として機能する仕組みを確立することで、社会基盤の安全性を担保する。
• 将来の研究方向: 本論文は、AI と重要インフラの交差点における「ハイブリッド・ガバナンス」の研究の基礎を築き、今後の研究が、AI の能力と人間の認知的限界をどう調和させ、持続可能でレジリエントな協働を実現するかという点に焦点を当てるべきであることを示唆している。

結論:
重要インフラにおける AI の導入は避けられないが、その自律性は「人間の責任の枠組み」の中に埋め込まれなければならない。完全自動化ではなく、**「限定された自律性（Bounded Autonomy）」と「ハイブリッド・ガバナンス」**の組み合わせこそが、システム的な危機や予期せぬ事態に対する真のレジリエンスを可能にする。