Who Evaluates AI's Social Impacts? Mapping Coverage and Gaps in First and Third Party Evaluations
本論文は、186件の当事者による評価ソースと248件の第三者による評価ソースを分析することで、開発者が希薄で表面的な社会的影響に関する報告を行う一方で、独立した評価者はより広範ではあるが不完全な評価を提供しているという決定的なガバナンスの格差を明らかにし、最終的に透明性を義務付け、独立した評価エコシステムを強化する政策を提唱するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能（AI）の世界を、シェフ（開発者）たちが毎日新しい、超強力なレシピ（AIモデル）を作り出している、巨大で賑やかなキッチンだと想像してみてください。これらのレシピは、物語を書いたり、数学の問題を解いたり、画像さえ生成したりできるほど強力です。しかし、これらのレシピが一般に公開される前に、私たちは知っておく必要があります。それらは安全か？ それはすべての人にとって美味しいものか、それとも一部の人を病ませてしまうのか？ 電気は使いすぎていないか？
「誰がAIの社会的影響を評価しているのか？」 という題名のこの論文は、食品批評家や衛生検査官のような存在であり、誰が実際にこれらのレシピの安全性や公平性をチェックしているのかを突き止めようとしています。彼らは、シェフ自身が書いた**186件の公式レポート（一次情報）と、外部の批評家や独立したテスターが書いた248件のレポート（第三者情報）**を調査しました。
調査結果を分かりやすく分類すると、以下の通りです。
1. シェフたちは自分たちの健康報告書を書くのが苦手である
シェフが新しい料理をリリースする際、通常は「モデルカード」（栄養成分表示のようなもの）を配布します。研究者たちは、これらのラベルが曖昧であったり、不完全であったり、あるいは完全に欠落していたりすることが多いと指摘しました。
- 問題点: シェフたちは、「この料理は素早く調理できます！」（技術的性能）と言うのは得意ですが、「この料理は人によっては刺激が強いかもしれません」（バイアス）や、「この料理を作るには大量の水を使います」（環境コスト）といったことについては、非常に寡黙です。
- 傾向: 以前は、シェフたちはこうした問題に対してもう少しオープンでした。しかし最近では、環境コストやバイアスに関する報告は、むしろ悪化しています。シェフたちは、自分の評判を落としたくない、あるいは説明するのが複雑すぎると考えているのかもしれませんが、これらのトピックを軽視しているようです。
2. 独立した批評家たちが重労働を引き受けている
シェフたちが優れた報告書を書かないため、外部の批評家（第三者評価者）が介入しています。
- 良いニュース: これらの独立したテスターたちは、より優れた仕事をしています。彼らは「刺激的な部分」（バイアス）を見つけ出し、料理がすべての人にとって安全か（有害なコンテンツ）を確認し、異なるグループの人々に対して料理がどのように機能するかを測定しています。
- 限界: 批評家たちは料理を味わうことはできますが、キッチンの中を見ることはできません。オーブンがどれだけの電気を使ったのか、材料がいくらしたのか、あるいはキッチンのスタッフ（データを整理している人間）がどのように扱われたのか、彼らには分かりません。それらの秘密を知っているのは、シェフだけなのです。
3. 「欠けている」材料
研究者たちは、AIが社会に与える影響（社会的影響）に関する7つの特定の領域を調査しました。各領域の状況は以下の通りです。
- センシティブなコンテンツ（毒性）: これは最も報告されている領域です。AIが悪口を言うことを誰もが心配しているため、シェフも批評家もこのことについては多くを語っています。
- バイアスと公平性: ここでもいくらかの報告はありますが、時間の経過とともに悪化しています。シェフたちは、「測定するのが難しすぎる」とか「今は政治的に敏感すぎる」といった言い訳を始めています。
- 環境コスト: これは大きな空白です。かつてシェフたちはモデルがどれだけのエネルギーを使用したかを報告していましたが、その報告は急激に減少しています。まるで、レストランが料理を作るのにどれだけの水を使っているかを教えるのを拒んでいるかのようです。
- 労働と人権: これが最大の盲点です。データをラベル付けしたりコンテンツをモデレートしたりしている人々について、ほとんど誰も報告していません。それはまるで、レストランが皿洗いの労働条件について一切触れないかのようです。
- プライバシーとコスト: これらは詳細に報告されることがめったにありません。
4. なぜシェフたちは真実を隠すのか？
研究者たちは、なぜこのようなことが起きるのかを理解するために、企業内部の人々にインタビューを行いました。そこには主に2つの理由がありました。
- 恐怖: もしシェフが自分の料理に欠陥があると認めてしまえば、評判を傷つけたり、法的なトラブルに巻き込まれたりする可能性があります。そのため、彼らは沈黙を守ります。
- インセンティブ（動機）: シェフたちは、テストを行うことが料理の販売に役立つ場合や、政府から強制される場合にのみ、その困難な作業を行います。透明性を高めることに利益がないのであれば、彼らは行わないのです。
5. 「有名なシェフ」への偏り
この研究では、外部の批評家が、主に（アメリカや中国などの）有名なシェフたちに焦点を当てていることも指摘しています。なぜなら、彼らの料理が人気だからです。
- 結果: 小規模なシェフや、あまり有名ではない地域のシェフたちは、ほとんど注目されません。彼らの「レシピ」も同様に危険である可能性がありますが、トレンドになっていないため、誰もチェックしていないのです。
結論
この論文は、企業の書いたラベルを読むだけでは、AIが安全であると信頼することはできないと主張しています。
- ギャップ: AIが環境、構築に関わる人々、そしてユーザーのプライバシーにどのような影響を与えるかについて、私たちの知識には巨大な穴が開いています。
- 解決策: シェフに正直であることを強いる新しいルール（政策）が必要です。また、独立した批評家が仕事をするために必要なデータを得られるようにするための、より優れたシステムを構築する必要があり、さらに、声を上げた人々が罰せられないように保護する必要があります。
要約すると、シェフたちはキッチンの汚い部分を隠しており、独立した検査官たちは中を覗き見ようと最善を尽くしていますが、シェフの助けなしにはすべてを見ることはできないのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。