Administrative Law's Fourth Settlement: AI and the Scrutable State

政府を、交通渋滞の解消や空気の浄化、病気になった時の支援といった大きな問題を解決するために設計された、巨大で複雑な機械だと想像してみてください。長い間、この機械を動かしている人々（行政機関のエキスパートたち）は、非常に難しい仕事に直面してきました。彼らは複雑な問題を解決するために、極めて知的であり、高度なツールを使う必要があります。しかし、もし彼らが賢くなりすぎたり、理解するのが難しすぎるツールを使いすぎたりすると、一般市民や彼らを監視する裁判官には、何が起きているのかが見えなくなってしまいます。それはまるで、手品師が帽子からウサギを取り出すようなものです。もし手品が複雑になりすぎると、観客は「これは本物か？ 公平なのか？ 誰がこれをやっているのか？」と疑問を持ち始めてしまいます。

この論文は、政府における有名な問題である「能力と説明責任の罠（capability-accountability trap）」について探求しています。「能力」とは、困難な技術的作業を行う政府の能力を指します。「説明責任」とは、公衆がその作業を理解し、チェックできる能力を指します。1世紀以上にわたり、政府が高度な作業（コンピュータや統計の使用など）に長けてようになるたびに、一般の人々がその仕組みを理解することはより困難になってきました。これを解決するために、政府は自らの誠実さを証明するための膨大な書類や規則（手続き）を追加してきました。しかし現在では、書類が多すぎて、政府は動きが遅く、混乱しており、修正が困難な状態になっています。この論文は、政府が理解しやすくするために自らを縮小させようとしているが、そうすることで、気候変動やパンデミックのような新しく恐ろしい問題に対処するための力が弱まってしまう可能性がある、と論じています。大きな問いは、「人工知能（AI）という新しいツールを使って、政府を『超スマート』かつ『超透明』に同時にできるのか？」ということです。

---

政府の成長痛の物語

この論文は、アメリカ政府が過去140年間にわたり、自らの知力をどのように管理しようとしてきたかの物語を伝えています。新しいテクノロジーが登場するたびに、政府は物事を行う能力において「成長期」を迎えますが、同時に、一般の人々が状況を把握することを困難にする「霧」も発生させるのだと論じています。

最初の3つの合意（古いやり方）
著者は、政府が適応しなければならなかった歴史上の3つの大きな瞬間を辿っています。

1. 鉄道時代： 列車が初めて国中を駆け巡ったとき、それは地元の裁判官が理解するにはあまりにも速く、複雑でした。政府は、それらを管理するために専門の委員会（ICCなど）を創設しました。これらの専門家を抑制するために、法律は「記録を保持し、その理由を説明しなければならない」と定めました。これは機能しましたが、ルールをどんどん追加していくという傾向の始まりとなりました。
2. 大恐慌： 経済が崩壊したとき、政府は一度に数百万人もの人々を助ける必要がありました。政府は、社会保障などのプログラムを管理するために、新しい統計ツールやパンチカード式の機械を使用しました。しかし、これらの決定は非常に多くの人々に影響を与えるため、一般の人々はその数学的な仕組みを理解できませんでした。その解決策として、行政手続き法（APA）が導入されました。これは、「正しい手順を踏み、書類の足跡を残している限り、問題はない」とするものでした。
3. コンピュータ時代： 大気汚染や核安全保障などを扱うためにコンピュータが登場すると、問題はさらに科学的になりました。政府は複雑なモデルを使用し始めました。裁判所は、科学を理解できないことを悟り、政府がルールに従っているかどうかだけをチェックすることに決めました。これが有名な「シェブロン判決（Chevron decision）」へとつながりました。これは基本的に、「法律が不明確な場合は、妥当な理由がある限り、専門家が判断を下すことを信頼する」というものでした。

現在の危機：「堆積した状態」
現在、私たちは奇妙な状況にあります。政府は書類の山に溺れています。公平にするために新しいルールが追加されるたびに、それは古いルールの上に積み重なり、まるで堆積岩の層のようになりました。この「堆積した状態（sedimentary state）」により、政府は鈍重で混乱したものになりました。

• 問題点： 政府はルールに縛られすぎており、新しい問題を解決するために素早く動くことができません。
• 反発： 最近、最高裁判所や大統領は、これらの専門機関を解体し始めています。彼らは、「これらの専門家が何をしているのか理解できないので、目に見えるサイズまで政府を縮小させる」と言っています。彼らは独立した専門家の保護を取り除き、権力を大統領や裁判所に押し戻そうとしています。
• リスク： 論文は、これが悪い考えであると警告しています。政府を「scrutable（精査可能＝見えやすい）」にするために、単に小さく単純にすれば、気候変動や新しい感染症のような巨大で複雑な問題に対処する能力を失ってしまうかもしれません。

新しい解決策：AIによる「第4の合意」

著者は、スマートな政府と透明な政府のどちらか一方を選ばなければならないわけではないと示唆しています。AIのおかげで、両方を手に入れることができるかもしれないのです。

「翻訳者」および「懐中電灯」としてのAI
論文は、AIが政府の複雑な仕事を、単純化することなく理解可能にする特別な種類のインフラストラクチャとして機能できると提案しています。

• 公衆のために： 大気汚染に関する200ページの政府規則を読み取り、それを平易な英語で説明し、それがあなたの家族に具体的にどう影響するかを伝えるチャットボットを想像してください。
• 裁判官のために： ルールに対する数千件のコメントを読み、主要なポイントを要約したり、政府の計算が実際に正しいかどうかをチェックしたりできるツールを想像してください。
• 目標： 単に政府がチェックリストに従ったかどうか（手続き）を確認するのではなく、AIは政府が実際に正しいことを行っているか（実体）を確認する助けとなるのです。

AI政府のための3つの新しいルール
これが機能するようにするために、論文は政府がAIをどのように使用すべきかについて、3つの新しいルールを提案しています。

1. 「モデルおよびシステム・ドシエ（Model and System Dossier）」（身分証明書）： エージェンシーがAIシステムを使用するたびに、その詳細な「身分証明書」を保持しなければなりません。この文書には、そのAIが何をすべきか、どのようにテストされたか、どのような間違いを犯す可能性があるか、そして誰が責任を負うのかが記載されます。これは、政府のアルゴリズムに対する「栄養成分表示」のようなものです。
2. 「重大なモデル変更（Material Model Change）」のトリガー（更新アラート）： AIシステムは時間の経過とともに変化し、学習します。論文によれば、AIシステムが意思決定を大幅に変えるような変更（例：障害年金の承認方法を変更するなど）を行った場合、政府はその旨を公表し、理由を説明しなければなりません。これは、車のエンジンが突然異なる動きをし始めた場合、運転する前にそのことを知りたいと思うのと同じです。
3. 監査への尊重（「信頼して検証せよ」のルール）： 裁判官がAIの決定の背後にある複雑な数学を理解しようとする代わりに、エージェンシーがAIを「監査（オーディット）」するための独立した専門家を雇ったかどうかをチェックすべきです。もしエージェンシーが「我々はこれを徹底的にテストし、これが適切に機能するという証拠はこれである」と示すことができれば、裁判所はそれを信頼すべきです。これにより、焦点は「書類の手続きを守ったか？」から「そのツールが安全で公平であることを証明したか？」へと移行します。

なぜこれが重要なのか
この論文は、このアプローチが、1世紀にわたって政府を束縛してきた「罠」を打破できる可能性があると論じています。

• 示唆： AIは理解にかかるコストを下げることができると示唆しています。現在、複雑な政府の決定を理解することは難しく、コストがかかります。AIはそれを安価で容易なものにするかもしれません。
• 示唆： 私たちは最終的に、単に書類をチェックすることから、AIが実際に公衆の目標に沿っているかどうかをチェックすることへと移行できるかもしれません。
• 警告： これは魔法の解決策ではないと警告しています。もしAIにバイアスがあったり、政府が不適切な決定を隠すためにAIを利用したりした場合（「価値の洗浄（value laundering）」と呼ばれる問題）、それを阻止するための厳格なルールが必要です。

この論文が述べていないこと
論文は、AIがすべてを一晩で解決すると約束しているわけではありません。

• 述べていないこと： AIが人間の裁判官や政治家に取って代わるべきだとは言っていません。大きな道徳的問題については、依然として人間が最終決定を下さなければなりません。
• 述べていないこと： AIが現在完璧に説明できると主張しているわけでもありません。技術はまだ発展途上であり、「ハルシネーション（AIが事実を捏造すること）」のようなリスクも存在します。
• 述べていないこと： すべての古いルールを直ちに停止すべきだと論じているわけではありません。むしろ、ルールをより良く、より苦痛なく機能させるためにAIを使用することを提案しています。

総括

ここにある物語は、希望と警戒心が入り混じったものです。政府は現在、複雑さを解決するために自らを小さくしようとするサイクルに陥っており、それが将来の危機に対して私たちを脆弱にする可能性があります。著者は別の道を提案しています。AIを単に作業を行うためだけでなく、その作業に光を当てるために使うという道です。AIツールの透明性、テスト、および監査を求める新しい一連のルールを作ることで、私たちは未来に対処できるほどスマートでありながら、誰もが理解できるほど明快な政府を築くことができるのです。それは、スマートな政府と説明責任のある政府の両方を手に入れるための「第4の合意」なのです。