Co-constructing sociotechnical AI governance: participatory system mapping using algorithm registers

技術要約：参加型システムマッピングによる社会技術的AIガバナンスの共同構築

問題提起
アルゴリズム登録簿は、公共サービスにおけるアルゴリズムの使用に関する透明性を提供するために、公共部門の組織でますます採用されている。しかし、現在の実装には重大な限界がある。それらは、多様なステークホルダー（市民、市民社会、監視機関）の異なる情報ニーズを調整できていないことが多く、提供される情報は、有用であるにはあまりに乏しいか、あるいは理解するにはあまりに専門的すぎる傾向がある。その結果、これらの登録簿は、有意義な説明責任を果 촉たすことや、アルゴリズムが組み込まれている完全な社会技術的システムを表現することに苦慮している。本論文は、登録簿がどのようにアルゴリズム・ガバナンスを構成し、またそれに情報を与えるかを理解しなければ、ガバナンスの実践は、実際の安全上のハザードを予測したり対処したりできない、断片的な取り組みとなるリスクがあると主張している。

方法論
本研究は、オランダのある都市において、法的自動化（ビジネスルールエンジン）を通じて福祉給付の受給資格を判定するためにケースワーカーが使用する意思決定支援ツール「Avola」のケーススタディを中心とした、混合研究法を採用している。研究は5つの段階で行われ、特に第IV段階と第V段階に焦点を当てている。

1. ステークホルダーの特定: 本研究では、3つの異なるグループに関与した：自治体職員（直接的なステークホルダー：アルゴリズム・ガバナンス担当官およびプロダクトオーナーを含む）、自治体オンブズマン、および市民社会組織（CSO）（間接的なステークホルダー）。
2. 参加型システムマッピング（第IV段階）: 2つのワークショップがこれらのグループと共に実施された。参加者には、自治体のアルゴリズム登録簿および公開文書から導出された予備的なシステムマップ（M0）が提示された。ワークシートと大型フォーマットのマップを使用し、参加者は欠落しているアクター、プロセス、およびフィードバックループを特定するためにシステムに注釈を付与した。このプロセスは、間接的なステークホルダーの「状況に根ざした知識（situated knowledge）」を、登録簿の技術的文書と統合したものである。
3. システム理論的プロセス分析（STPA）（第V段階）: 著者らは、安全性分析を行うために、システム理論的事故モデルおよびプロセス（STPA/STAMP）フレームワークを利用した。参加型マップは、階層的制御構造（HCS）の構築に活用された。分析は以下の4つの反復的なステップに従った：
   • 潜在的な損失（例：給付の不当な拒否）の特定。
   • 階層的制御構造（技術的、運用的、組織的、および制度的レイヤー）のモデリング。
   • 制御メカニズムが失敗する不安全制御アクション（UCA）の特定。
   • システムのハザードと特定の損失を結びつける損失シナリオの導出。

主な貢献
本論文は、AIガバナンスおよび安全科学の分野に対して、以下の3つの核心的な貢献を行っている。

1. 実証的評価: アルゴリズム登録簿を批判的に評価し、それが内部的な現状把握のための「規律的」ツールとしては機能しているものの、抽象化と詳細な実行可能性の欠如により、外部のステークホルダーの透明性ニーズを満たすには至っていないことを示した。
2. 参加型マッピング・スキーム: 直接的および間接的なステークホルダーの視点を統合することにより、アルゴリズム・システムとそのガバナンス構造をマッピングするための手法を開発し、検証した。このアプローチは、標準的な登録簿の開示では隠蔽されているシステム構成要素とダイナミクスを明らかにする。
3. 規範的反省: システム安全分析の政治的側面について考察し、ガバナンス構造をマッピングするために使用される抽象化は、何が可視化され、何が隠されたままになるかを決定する、本質的に政治的な選択であることを論じている。

結果
参加型マッピングとそれに続くSTPA分析により、アルゴリズム登録簿だけでは明らかにならなかったいくつかの安全上のハザードとガバナンスのギャップが明らかになった。

• ヒューマン・イン・ザ・ループの失敗: 登録簿はケースワーカーが最終的な裁量権を持つと主張しているが、分析の結果、時間的圧力や「法的自動化」を客観的なものとして信頼することによる「オートメーション・バイアス」のリスクが特定された。これにより、エラー（例：更新されていない市民データ）を検知できないリスクが生じ、給付の不当な拒否という損失シナリオにつながる。
• 苦情手続きの不備: 登録簿は、インシデント報告が開発者に共有されていることを示していたが、参加型プロセスを通じて、エラー指標が体系的に追跡されていないことが判明した。その結果、苦情はシステム的なパターンを特定するために集計されるのではなく、ケースバイケースで処理される可能性が高く、必要なモデルの更新を妨げている。
• 監視と説明責任のギャップ: オンブズマンとCSOは、登録簿によるリスクアセスメント（FRAIAおよびDPIA）の開示が不十分であると考えている。登録簿はアセスメントが実施されたことを述べているが、その結果やエラー指標の詳細を伏せている。この技術的文書の欠如により、外部のアクターが決定に効果的に異議を唱えたり、民事裁判で法的争いを展開したりすることが困難になっている。
• 政治的文脈: マッピングにより、アルゴлоム・アルゴリズム登録簿が複雑な政治的階層（評議員、市議会、内務省）の中に組み込まれていることが明らかになった。開示される情報は政治的な交渉やリソースの制約に左右されており、しばしば一般市民よりも専門的な仲介者のニーズを優先している。

意義と主張
本論文は、アルゴリズム登録簿は現在の形態では、有意義な公的説明責任を達成するには不十分であると主張している。著者らは、透明性とは「公衆（publics）」の異質性を理解することを必要とする、関係的な行為であると論じている。参加型システムマッピングを通じて間接的なステークホルダー（オンブズマン、CSO）を関与させることで、本研究は以下を実証している。

• システム安全には複数主義が必要である: 安全分析は純粋に技術的なものであるべきではなく、オートメーション・バイアスや不透明なフィードバックループのようなハザードを特定するために、システムの影響を受ける人々や監視する人々の状況に根ざした知識を取り入れなければならない。
• 政治的アーティファクトとしての登録簿: アルゴリズム登録簿の内容は中立ではない。それは何を公開するかについての政治的な選択を反映している。したがって、これらの手段を改善するには、それらを形作る政治的プロセスに関与する必要がある。
• 方法論的転換: 著者らは、参加型デザインと組み合わせたSTPAのようなシステム理論的手法が、アルゴリズム・ガバナンスの社会技術的構造を再構築するための堅牢なフレームワークを提供すると提案している。これにより、登録簿単独よりも包括的な安全上のハザードの特定が可能となる。

本研究は、アルゴリズム登録簿は透明性への必要な一歩ではあるものの、多様なステークホルダーの情報ニーズにより良く適合するように進化し、より広範で政治的に位置付けられた社会技術的システムの一部として理解されなければならないと結論付けている。