Living with Algorithms: Human-AI Assemblages and Ethical Governance in West African Pastoral Conflict

ビッグピクチャー：コンピュータが村を運営しようとするとき

何世紀もの間、共に暮らしてきた隣人たちのグループを想像してみてください。彼らには、水の共有、放牧地の利用、そして争いの解決方法について、複雑で明文化されていない一連のルールがあります。それは、ささやき声や握手、そして「誰が誰に恩があるか」を正確に把握することに基づいた、人間味あふれるシステムです。それは混沌としており、柔軟で、深く人間的なものです。

ここで、あるテクノロジーの専門家チームがやってきて、「私たちの超スマートなコンピュータ・プログラムは、あなたの古いやり方よりも速く、より公平に、あらゆる問題を解決できます」と言ったとしましょう。彼らはカメラを設置し、生体認証IDスキャナーを導入し、どこで争いが起きるかを予測するAIを設置します。

この論文は問いかけます。「このコンピュータは本当に状況を改善しているのか、それとも平和を維持している繊細な社会構造を壊してしまっているのか？」

研究者たちは、この状況をまさに体験した2つの場所、ナイジェリアのプラトー州とニジェールのティラベリ州を調査しました。これらの地域は、農民と牧畜民が土地や資源を巡ってしばしば衝突する場所です。

主な発見：「正当性のギャップ」

研究の結果、奇妙なパラドックスが見つかりました。コンピュータは技術的な仕事においては優秀だったのです。従来の人間によるシステムよりも、アラートを送信する速度も、パターンを見つけ出す能力も優れていました。

しかし、そこに住む人々は、そのシステムを信頼していませんでした。

これは、**「最短ルートを教えてくれるが、隣人のリビングルームを突き抜けて走るGPS」**のようなものです。GPSは技術的には「正しい」（最短の経路である）のですが、社会的な規範に反し、隣人を怒らせてしまうため、あなたはそのGPSを使わないでしょう。

論文ではこれを**「正当性のギャップ（Legitimacy Gap）」**と呼んでいます。システムは効率的（高速）でしたが、正当性（コミュニティから公平で正しいと見なされること）が欠けていました。人々がシステムを信頼しないとき、彼らは協力を停止し、結果としてシステムは最終的に機能しなくなります。

システムが崩壊した3つの理由

研究者たちは、「スマート」なシステムが「現実の」生活と衝突した3つの具体的な方法を見つけました。

1. 「硬直したIDカード」問題

• テクノロジー: システムは生体認証IDカードを使用して人々を識別しました。もしあなたが牧畜民であれば、カードには「牧畜民」と表示されます。もし農民であれば、「農民」と表示されます。
• 現実: これらのコミュニティにおいて、アイデンティティは流動的です。ある男性は乾季には家畜を放牧し、雨季には作物を栽培することがあります。また、フルベ族であり、同時にベロム族でもあるといった性質も持ち得ます。
• 比喩: 図書館が、「あなたのIDに『フィクション読者』と書いていない限り、本の貸出を認めない」というルールを持っている状況を想像してください。もしあなたが料理本を借りたいと思っても、コンピュータは「あなたのIDはフィクション読者です」と拒否します。コンピュータは、あなたが多くの関心を持つ一人の人間であることを理解していません。
• 結果: コンピュータは人々を誤ってラベル付けし、それが誰に支援を与えるべきかについての不公平な決定につながりました。

2. 「システムを出し抜く」問題

• テクノロジー: AIは、群れのサイズや移動などのデータに基づいて紛争を予測しました。
• 現実: 人々はコンピュータが自分たちを見ていることに気づきました。そのため、コンピュータを欺き始めました。
• 比喩: それは、先生が相対評価（カーブ）で成績をつけていることを知っている生徒のようなものです。勉強する代わりに、生徒は先生がどのような質問を好むかを正確に把握し、その質問だけに絞って勉強します。
• 結果: 牧畜民は夜間にGPS首輪を隠したり、家畜の数を嘘をついたりし始めました。この「出し抜き（ゲーミング）」によって、コンピュータのデータは乱れ、時間の経過とともに精度が低下しました。人々が積極的にシステムを出し抜こうとしたため、システムはどんどん「愚か」になっていったのです。

3. 「静かな反乱」問題

• テクノロジー: AIは「リスクスコア（色分けされたマップ）」を使用して、誰に緊急援助を行うかを決定しました。雨が遅れると、コンピュータは「作付けはリスクが高すぎる。援助なし」と判断しました。
• 現実: 農民たちは、現地の季節を衛星よりもよく知っていたため、コンピュータが間違っていることを理解していました。彼らはコンピュータと議論する代わりに、ただ無視することを選びました。
• 比喩: 「雨が降ったら外に出てはいけません」と言う厳格な親を想像してください。子供たちは、それはただの霧雨に過ぎないと知っているので、外に出て、まるで何もしていないかのように振る舞います。
• 結果: コンピュータは（誰も作付けの報告をしなかったため）すべてが順調であると考えていましたが、実際には農民たちは懸命に働いていました。人々がその硬直したルールに従うことを拒否したため、コンピュータは真実に対して盲目になってしまったのです。

解決策：「人間とAIのハイブリッド法廷」

論文は、単にコードを修正するだけでは不十分であると主張しています。コンピュータと人間がどのように協力するかを変えなければなりません。彼らは**「人間とAIのアサンブラージュ（集合体）」**と呼ばれる新しいシステムを提案しています。

これは、ロボットの裁判官ではなく、**「副操縦士（コ・パイロット）システム」**だと考えてください。

彼らは、3段階の修正策をテストしました。

1. 参加型しきい値の設定（ルールを共に決める）:
   テクノロジー企業が何をもって「危険地帯」とするかを決めるのではなく、農民、牧畜民、そして地域のリーダーたちとのワークショップを開催しました。彼らは一緒にコンピュータの感度を調整しました。

   • 結果: 地元の人間が「コンピュータが過剰に神経質になっている」と認識していたため、誤報を50%削減できました。

2. 公開バイアス監査（スコアカードのチェック）:
   数ヶ月ごとに、コンピュータが異なるグループを公平に扱っているかを公開してチェックしました。もしコンピュータが農民よりも牧畜民への援助を18%多く拒否していた場合、すぐにフラグを立てました。

   • 結果: これにより、深刻な被害が出る前にシステムが間違いを修正することを強制できました。

3. ハイブリッド法廷（人間のオーバーライド）:
   選出された農民、牧畜民、そしてテクノロジーの専門家からなる地元の裁判所を設置しました。もしコンピュータが「援助なし」と判断しても、このグループが「待ってください、この家族は実際に困っています。コンピュータの判断を上書き（オーバーライド）してください」と言うことができます。

   • 結果: 人々は、人間がコンピュータのミスを修正できると知ったことで、再びシステムを信頼し始めました。協力率は58%から79%へと上昇しました。

「フォーマライゼーション・フロンティア（形式化の境界線）」

この論文は、**「フォーマライゼーション・フロンティア」**という面白い概念を紹介しています。

完璧なシチューのレシピを書こうとしている場面を想像してください。

• 0%から55%: 材料と調理時間を書き留めます。これは非常に役に立ちます。
• 55%: 壁にぶつかります。もし、あらゆる細かなディテール（シェフのその時の気分、キッチンの湿度、使っている塩の特定のブランドなど）まで書き留めようとすると、レシピは使い物にならなくなります。あまりに硬直的すぎるからです。

研究者たちは、地元の生活の55%以上を数値データに変換しようとすると、システムへの信頼が失われ始めることを発見しました。人間の柔軟性を完全にコード化することはできないのです。

結論

この論文の結論は、**「信頼なしに、成功するAIシステムは存在しない」**ということです。

• 古いやり方: より速く、よりスマートなコンピュータを作り、人々がそれを使ってくれることを期待する。
• 新しいやり方: コンピュータを一つのツールとし、人間が主導権を握るシステムを作る。コンピュータはデータを提供するが、判断、公平性、そして文脈（コンテキスト）は人間が提供する。

この研究は、システムの成功の63%は「倫理的正当性（人々がそれを信頼していること）」に依存しており、単にコンピュータがいかに速く計算できるかではないことを証明しています。人間的な要素を無視すれば、コンピュータはいずれ人間によって無視されることになるのです。