Frontier Technologies, Complex Externalities, and the Evolution of Private Order: Implications for AI Governance

新しい技術が登場するとき、それは恩恵という約束とともに、リスクという影を伴ってやってくる。そのリスクの真の性質は、その技術が実際に現実世界で使用されるまで隠されていることが多い。これは、私たちの生活、仕事、コミュニケーションのあり方を変えうる道具である人工知能にとって、特に当てはまることである。危険性は非常に複雑で特定の状況に依存するため、政府関係者を含む誰にとっても、技術が展開される前に完璧な規則を書くことは困難である。社会が直面している中心的な問いは、単に悪い結果をいかに止めるかではなく、私たちがリスクについてより多くを学ぶにつれて、それらを管理するための適切な方法をいかに発見するかである。これには、経済学者が、本来の取引の当事者ではない人々に影響を与えるコストや利益を表現するために用いる用語である「外部性」を理解することが含まれる。新しい技術が隣人や見知らぬ人々に問題を引き起こすとき、それらの問題は外部性となる。課題は、これらの外部性が非常に複雑で予測不可能であり、単一の権力機関が事前にそれらをすべて描き出すことはできないという点にある。

二人の研究者、アリ・パリダとニコラス・シールマンは、この問題に対する異なる角度を探るために研究を行った。彼らは、政府がいかに人工知能を規制すべきかを問うのではなく、政府による規制がいかにして民間グループによる独自の解決策の発見を妨げてしまう可能性があるかを問うた。彼らは、新しい技術を使用するプロセスは、一種の「発見」の形態であると主張している。物事を試し、実行することで、人々は何が機能し、何が失敗し、誰を保護する必要があるのかを学ぶ。この学習プロセスにより、民間グループ（保険会社、安全認証機関、あるいは互いに交渉を行う隣人など）は、特定の状況に適合する柔軟なルールを構築することができる。著者らは、もし政府が早すぎる段階で厳格な禁止令や硬直した規則を導入すれば、技術を統治するための最善の方法を見つけ出すために必要な実験そのものを阻止してしまう可能性があると示唆している。

この考えを検証するために、研究者たちは、新しい技術が同様の不確実性に直面した3つの歴史的な事例を調査した。最初の事例は、1800年代後半の電気に関するものである。電灯や送電線が初めて導入されたとき、頻繁に火災が発生したが、どの装置が安全であるかは誰も正確に知らなかった。政府は直ちに介入して安全基準を設定することはなかった。その代わりに、Underwriters Laboratoriesと呼ばれる民間組織が登場した。火災による損失を懸念する保険会社によって設立されたこのグループは、電気機器のテストを開始し、独自の安全基準を作成し始めた。より多くの装置をテストし、何が原因で火災が起きるのかを観察するにつれて、彼らはルールを洗練させていった。彼らの民間システムは非常に信頼されるようになり、都市は彼らの基準を法律として採用し、製造業者は製品を販売するために彼らの承認を求めるようになった。著者らは、このシステムが機能したのは、それが柔軟であったからだと指摘している。つまり、誰かがリスクを知る前に書かれたルールに縛られるのではなく、実際の使用を通じて新たな危険が発見されるにつれて、ルールを変更することができたのである。

第二の事例は、サイバー保険の世界からである。コンピュータとインターネットが普及するにつれ、ハッカーは大きな脅威となったが、その脅に与える性質は絶えず変化していた。ある年はクレジットカード情報の窃取が主なリスクであり、翌年には病院の記録をロックアップするランサムウェアが主なリスクになることもあった。リスクが流動的であったため、政府の規制当局は関連性を維持できるルールを書くことに苦慮した。しかし、民間の保険会社は迅速に適応した。彼らは、補償を受けるために特定のセキュリティ基準を満たすことを条件とするポリシーを提供し始めた。もし企業がセキュリティの更新を怠れば、保険会社は保険料を引き上げるか、契約を解除した。これにより、フィードバックループが生まれた。すなわち、新しいタイプの攻撃が現れるたびに、保険会社はクレームデータから学び、要求事項を更新していったのである。この民間システムにより、動きの遅い政府の官僚機構では対応が難しいであろう、継続的かつリアルタイムな安全ルールの調整が可能となった。

第三の物語は、ラジオ放送の初期段階におけるものである。政府が電波を管理する中央機関を創設する前、放送局は互いに干渉し合い、信号の混沌とした混濁状態を引き起こしていた。この混乱は中央当局によってのみ解決できるというのが一般的な通説であった。しかし、研究者たちは、政府が介入する前に、ラジオ局が実際には互いに交渉を行っていたことを発見した。彼らは周波数を交換したり、放送時間を合意したり、干渉を避けるために競合他社を買収したりしていた。この交渉と財産権に基づく民間システムにより、ラジオ産業は成長し、価値を持つようになった。その後、政府がこの柔軟な民間システムを硬直した中央集権的な計画に置き換えた。著者らは、この変化が民間システムが失敗したために起きたのではなく、政治家や有力な放送事業者が、価値ある電波を自らの支配下に置きたかったために起きたのだと論じている。その結果、より適応力が低く、イノベーションが遅いシステムとなった。

このプロセスのメカニズムを理解するために、研究者たちは未来が未知である場合の意思決定がどのように機能するかについての単純なモデルを構築した。彼らのモデルでは、新技術が使用され、その結果が観察される。この観察によって、あらゆる人が新しいことを学ぶ。もし技術の影響を受ける人々が、何かを学ぶたびに集まってルールを再交渉できるのであれば、彼らは新しい現実に合わせてアプローチを調整することができる。彼らは、もし技術が危険であれば使用を停止することを決定できるし、もし安全であるが微調整が必要であれば、その使用方法を変更することもできる。しかし、もし外部の権威が恒久的な禁止令や、民間合意によって変更できない固定されたルールを課した場合、学習プロセスは停止する。禁止令はその真実を明らかにするための実験を阻害する。たとえ後になって、その技術が安全で有益であることを学んだとしても、彼らは政府の拒否権によって交渉することができないため、古いルールのまま取り残されてしまう。

研究者たちは、これが2つの具体的な問題を引き起こすことを発見した。第一に、恒久的な禁止は、リスクを理解するために必要な学習を停止させる。第二に、たとえグループが、異なる取り決めの方が全員にとってより良いと学んだとしても、固定された政府のルールがその変更を妨げる。著者らは、政府のルールが常に悪いわけではないことを強調している。時には、リスクを取るにはあまりにも深刻な災害を防ぐために、禁止が必要な場合もある。しかし、本研究は、禁止による即時の安全性と、より優れた柔軟な解決策の発見を阻む長期的なコストとの間で、天秤にかける必要があることを示唆している。目標は、危険な技術を完全に放置することではなく、最適なルールを見つけるための機会を奪わないことである。

論文は、人工知能のための効果的なガバナンスとは、最初から完璧に設計できるものではないかもしれないと結論づけている。むしろ、それは私たちが技術を使用し、失敗から学ぶ中で立ち上がってくるものかもしれない。民間グループは、契約、保険、および認証を通じて、直接的な利害関係を持っているため、迅速に学び、適応することに長けていることが多い。彼らは、新しい情報が入ってくるやいなや、ルールを変更することができる。政府の介入は、時には必要であるが、適切なルールが発見される前にシステムを固定してしまうリスクを孕んでいる。著者らは、最善の道は、このような民間の実験が行われるためのスペースを確保することであり、それによって、技術を安全に管理する方法を教えてくれるはずのプロセスそのものを阻害しないようにすることであると提案している。政策立案者の課題は、目先の危害から人々を守りつつ、将来的に、より効果的で優れたガバナンスへの道を閉ざさないようにすることである。