Opening the Black Box or Responding to Demands? Rethinking and Reconstructing the European Standard of Algorithmic Explanation

現代の世界において、コンピュータはローンの承認可否から、どのニュース記事を私たちに見せるかまで、私たちの日常生活を形作る無数の決定を下しています。数十年の間、支配的な考え方は、もしコンピュータが選択を行ったのであれば、数学の宿題の答えが正しいことを証明するために手順を示す生徒のように、そのプロセス（仕事のやり方）を示すことができるべきだというものでした。この概念は「アルゴリズムの説明可能性」として知られており、欧州連合やその他の地域におけるプライバシー法の礎石となっています。法律は、自動化された決定によって影響を受ける人々には、その背後にある論理を理解する権利があると考えています。しかし、重大な問題が生じています。それは、これらの決定を下しているコンピュータが変化したことです。旧来のシステムは、容易に追跡可能な明確で段階的なルールに従っていました。しかし、今日の最も強力なシステム、しばしばニューラルネットワークと呼ばれるものは、膨大な量のデータから学習しますが、その方法は非常に複雑かつ相互に関連しており、その製作者たちでさえ、内部のあらゆるステップを完全にマッピングすることはできません。これは、「ブラックボックス」状況を生み出します。つまり、入力が行われ、決定が出力されるものの、その間の経路は隠されたままなのです。技術的に開けることができない箱の中身を見せることが法律で求められるとき、システムは崩壊し、混乱、法的回避、そして信頼の喪失を招きます。

中国の重慶にある人工知能法学部の研究者である、馮志（Feng Zhi）氏は、この行き詰まりを解決するための新しい方法を提案しています。ブラックボックスを無理にこじ開けようとするのではなく、制御権を持つ人々が実際に答えられる質問を投げかけるべきだと、この研究は示唆しています。この研究の核心となる知見は、説明の要求を、コンピュータ・システムを制御しているのが誰かに基づいて、二つの異なる時間軸に分割する必要があるということです。第一の瞬間は、システムが構築され、セットアップされている時です。第二の瞬間は、システムが特定の個人に対して実際に決定を下している時です。この二つの段階を分離することで、コードを見せろという不可能な要求を、人々の権利を守るために十分に効果的な、より実用的な要求へと置き換えることができると著者は主張しています。

論文では、求める詳細度のレベルを質問者に合わせて変えようとする現在のプローチは、依然として同じ不可能な技術的偉業、すなわちブラックボックスの中を覗き見ようとする行為を要求しているため、失敗であると論じています。ユーザーが単純な質問をしようと複雑な質問をしようと、コンピュータは回答するために内部の論理を明らかにしなければならず、それは正確性を損なうか、あるいは営業秘密を漏洩することなくに行うことは困難です。また、システムが安全そうに見える場合や、それを作った人々が有能である場合に、単にシステムを信頼するという考えもあります。著者はこれについても否定しており、優れた人々によって作られたシステムであっても、後に誤った決定を下す可能性があること、また、作り手を信頼することは「なぜ特定の個人がローンを拒否されたのか」を説明するものではないことを指摘しています。この研究は、最終的な結果が事後的に異議申し立て可能であるかどうかを単にチェックするだけでは不十分であるとも示唆しています。なぜなら、その時にはすでに被害が発生しており、取り返しがつかない可能性があるからです。

これを解決するために、論文は「時間的ノード（temporal nodes）」に基づくフレームワークを導入しています。これは、単に異なる人々が制御の主導権を握っている特定の時点のことです。第一の段階は「行動段階（behavior stage）」です。これは、システムが公に利用される前に行われます。この期間中、開発者やシステムを導入する企業が完全な制御権を持っています。彼らはどのようなデータを使用するか、モデルをどのように訓練するか、そしてどのような安全策を講じるかを決定します。彼らが制御権を持っているため、この段階における説明の要求は、最終的な決定に関するものではなく、「リスク」に関するものであるべきです。研究によ ظل すると、これらの主体はコードを示す代わりに、どのようにリスクを評価し、危害を防ぐためにどのような措置を講じたかについての詳細な声明を提出することを義務付けられるべきです。彼らはまた、システムの活動ログを記録しておく必要があります。これにより、焦点は「数学はどう機能しているのか？」から「これは安全であることを確認するために、あなたの職務を果たしたのか？」へとシフトします。もし後に問題が発生した場合、これらの記録によって規制当局は遡って調査し、製作者がルールに従っていたかどうかを確認できるため、理解不能な数学を理解する必要なく、実効的に責任を割り当てることができます。

第二の段階は「結果段階（outcome stage）」です。これは、システムが稼働し、現実の人々に影響を与える決定を下している時です。この時点では、開発者は制御権を失っています。システムはリアルタイムで新しいデータに反応しています。ここでは、説明の要求が変わります。目標はもはやリスク管理をチェックすることではなく、結果に対する信頼を築くことです。論文は、人々は複雑な内部論理を理解する必要はなく、その決定が一般的な人間の経験に基づいているかどうかを知る必要があると示唆しています。例えば、信用スコアリング・システムがローンを拒否した場合、ユーザーはニューラルネットワークの重みを知る必要はありません。彼らは、その決定が、所得水準や負債比率といった、社会一般で考慮される公正な基準と一致しているかどうかを知る必要があるのです。研究では、企業はこれらの一般的な社会的ルールを公開すべきであると提案しています。これにより、人々は決定をそれらのルールと比較できるようになります。もし決定が常識的な示唆から逸脱している場合、システムは人間によるレビューを起動しなければなりません。その後、実在の人間がそのケースを精査し、なぜそのような異例の決定がなされたのかについて、明確で論理的な説明を提供する必要があります。

このアプローチは、保護を減らすことを求めているのではなく、実際に提供可能な、別の種類の保護を求めているのです。内部コードを見せるという要求を、リスク記録への要求と常識的な一貫性への要求に置き換えることで、システムは壊れることなく機能することができます。著者は、これは新しい発明ではなく、企業の処理活動の記録義務といった既存の法的手段の再編成であると述べています。研究は、この手法が現代のテクノロジーの現実を尊重しつつ、説明責任という法的約束を依然として果たしていることを強調しています。これは、ブラックボックスを開けるという不可能な課題から、システムを構築し使用する人々がその行動に対して責任を負い、その結果がそれと共に生きる人々にとって納得のいくものであることを保証するという、実用的な課題へと議論を移行させるものです。研究は、この視点の転換こそが、アルゴリズムの説明可能性の実質的な価値を回復させ、知的な機械の時代においても法律が関連性を持ち続けるために必要であると結論付けています。