Open Veins of Algorithmic Auditing: Why AI Assessment Lags Behind Its Deployment in the Global South

目に見えないロボットが、人々の生活に関する重大な決定を下している世界を想像してみてください。子供に助けが必要かどうか、患者が病気であるかどうか、あるいは農家が融資を受けられるかどうかを決定しています。これらのロボットは人工知能（AI）によって動かされています。しかし、ここには落とし穴があります。ロボットが賢いからといって、それが公平で、安全で、あるいは製作者が言う通りに機能しているとは限らないのです。これを知るためには、「AI監査」が必要です。監査とは、車を買う前に整備士が点検したり、教師がテストを採点して答えが本当に正しいかを確認したりすることに似ています。豊かな地域（「グローバル・ノース」）には、これらのAIロボットをチェックする整備士や教師がたくさんいます。しかし、発展途上の地域（「グローバル・サウス」）では、誰もチェックすることなく、ロボットが野放し状態になっています。この論文は、シンプルかつ緊急な問いを投げかけています。誰も「ボンネットの下」を覗くことが許されていない場所で、これらの強力なロボットに生死を分ける決定を任せたとき、一体何が起きるのか？

大いなる監査の格差：南半球で野放しにされるロボット

エティカス財団（Eticas Foundation）の専門家によって書かれたこの論文は、巨大な不均衡の物語を伝えています。アフリカ、ラテンアメリカ、アジア全域で、病院、学校、政府機関にAIが猛スピードで導入されている一方で、これらのシステムが安全であることを確認すべき人々は、ほとんど完全に欠落しています。

著者らによると、これらの地域におけるAI構築には数十億ドルもの資金が投じられているにもかかわらず、これらのシステムが現実世界でどのように機能しているかを実際にテストした独立した専門家による報告書は、20件未満しか存在しません。これを比較すると、イギリスだけでも、グローバル・サウス全体よりも多くのAI監査人を抱えています。それは、ある国に1,000本の新しい橋を建設しているのに、その安全性をチェックできるエンジニアが一人しかおらず、そのエンジニアは別の国の橋をチェックするのに忙しいようなものです。

数少ないチェックが明らかにしたこと

著者らは単にチェックが足りない数を数えただけではありません。彼らは実際にいくつかのチェックを行いました。彼らはブラジルやアルゼンチンなどの国々のシステムを調査しましたが、そこで見つけたことは恐ろしく、かつ非常に明確なものでした。

1. 「貧困検知器」の罠
あるケースでは、政府がどの子供がリスクにさらされており、社会サービスを必要としているかを判断するためにAIを使用しました。このシステムは、権利が侵害されている子供を見つけるためのものでした。しかし、監査人が詳しく調べたところ、ロボットは実際には虐待を探しているのではなく、貧困を探していることが分かりました。学習データが貧困層の地域から来ていたため、AIは「貧けさ」を「リスク」と同一視してしまったのです。それは、実際の火災を無視して、トーストを焼いた時だけに作動する煙探知器のようなものでした。システムは、一度も見たことがないはずの何百万人もの子供たちに対し、何が「リスク」であるかという誤った概念に基づいてスコアを付けていたのです。

2. 「精度94%」という嘘
別の例では、ブラジルのある病院が、どの患者が病気になりつつあるかを予測するためにAIを使用していました。システムは94%の精度があると主張していました。素晴らしい数字に聞こえますよね？しかし、監査人はこれがトリックであることを見抜きました。このAIは、「ほとんどの人」は大丈夫であると予測することに非常に長けていたため、高いスコートを得ていましたが、実際には病気になっている特定の患者を見逃していました。それは、「明日は雨は降らない」と毎日予報する天気アプリのようなものです。雨がめったに降らない地域では、99%の確率で正解と言えますが、嵐が来ている時には全く役に立ちません。監査人は、このシステムが、実際に危険にさらされている若い女性たちに対して警告を発することに失敗していることを発見しました。

3. 「ブラックボックス」の神話
論文はまた、ロボットが壊れていると知るために、その秘密のコード（「ブラックボックス」）を見る必要はないとも主張しています。車が始動しない、あるいは焦げた臭いがする場合、メカニックでなくても車が壊れていることは分かります。監査人は、AIが「何をしたか」——誰を助け、誰を無視したか——を観察するだけで、問題を特定できることを発見しました。問題はコードが理解しにくいことではなく、誰も「結果」を見ていなかったことなのです。

なぜこのようなことが起きているのか？（それは「能力」の問題ではない）

あなたはこう思うかもしれません。「グローバル・サウスには、これらのロボットをチェックするための賢い人々や資金が足りないのではないか」と。論文はこう答えています。「いいえ、それは違います」

著者らは、自分たちでこれらのチェックを行うことが可能であることを証明しました。彼らは小さなチームと小さな予算でこれを行いました。問題は、その作業が不可能であることではなく、誰もその対価を支払っていないことなのです。

学校を例に考えてみましょう。もし校長（政府）が教師の評価を求めず、学校理事会（出資者）が採点者の費用を支払わないのであれば、その教師がチェックされることは決してありません。グローバル・サウスにおいて、これらのAIシステムを構築している人々は、しばしば国際的な銀行や慈善団体から資金提供を受けています。しかし、これらの出資者は通常、「あなたは親切であると約束しましたか？」と聞くだけです。「あなたのシステムが実際に機能しているという証拠を見せてください」とは言いません。

システムの構築者に「仕事のプロセス」を示すことを強制する人もおらず、検査のための費用を支払う人もいないため、検査は決して行われません。これは才能の問題ではなく、資金の問題なのです。

解決策：契約の中にチェックを組み込む

論文は、明確でシンプルな解決策で締めくくられています。この問題を解決する力を持っているのは、出資者です。

銀行や慈善団体がAIシステムを構築するための資金を出す場合、次のようなルールを作るべきです。「独立した専門家が事前にあなたのシステムをチェックしない限り、この資金を受け取ることはできません」。そして、単にコードをチェックするのではなく、結果をチェックすべきです。そのシステムは、本来助けるべき人々を実際に助けたのでしょうか？

著者らは、これらの出資者に向けた5つのシンプルなルールを提案しています。

1. チェックを義務付ける： 資金提供の条件として、独立した監査を必須とする。
2. 数学だけでなく結果をチェックする： コードが優れているかどうかではなく、システムが現実の人々にどのような影響を与えているかを見る。
3. 調査結果を公表する： 結果を秘密にさせない。もしシステムが壊れていれば、公衆はその事実を知る必要がある。
4. 現地のチームを育成する： 遠く離れた地の専門家に頼らなくても済むよう、その国の現地の人々にチェックを行う訓練をする。
5. ツールを共有する： チェックリストや手法を、誰もが使えるように公開する。

結論

この論文は、私たちが岐路に立っていると主張しています。私たちは、監視なしにグローバル・サウスでAIシステムが稼働し続けることを容認し続け、その結果、最も困窮している人々に対して間違いが繰り返されるのを放置することもできます。あるいは、ゲームのルールを変えることもできます。資金提供の条件として独立したチェックを義務付けることで、これらの「開いた静脈」のようなデータと意思決定のプロセスを、安全で公平で責任あるものに変えることができるのです。

これを修正するための道具はすでに存在します。専門家も準備できています。欠けているのは、「検査に代金を支払う」という決断だけです。著者らが言うように、次の10年が、「グローバル・サウスが制御できないシステムを構築し続けた時代」として記憶されるか、あるいは「ついにそれらに責任を負わせ始めた瞬間」として記憶されるかは、その選択にかかっています。その選択を下すのは、小切手を切る人々なのです。