Social and Ethical Risks Posed by General-Purpose LLMs for Settling Newcomers in Canada

カナダの定住支援セクターを、世界中からやってくる人々のための巨大で賑やかな「ウェルカムセンター」と想像してみてください。その役割は、新しい住民が家、仕事、学校、医師を見つけ、新しい人生を築けるように支援することです。しかし現在、このセンターは過剰な負担に直面しています。過去最高レベルの人数が到着しており、スタッフは人手不足に陥っています。

スタッフが忙殺されているため、多くの新しい住民（そして支援者自身さえも）がポケットの中の「魔法のロボット」、すなわち汎用人工知能（人気の ChatGPT など）に頼るようになっています。彼らは何でも尋ねます。「どこで仕事が見つかる？」「子供に必要なワクチンは何か？」「銀行口座はどうやって開設する？」

この論文は、その魔法のロボットに貼られた警告ラベルです。著者たちは、このロボットは賢いものの、この特定のウェルカムセンター向けに作られたものではないと指摘しています。その成果を検証せずに「そのまま（オフ・ザ・シェルフ）」利用することは、外国の街で道案内を頼む際、有能だが訓練されていない旅行者に尋ねるようなものです。自信に満ちた口ぶりかもしれませんが、容易に間違った道へ導いてしまう可能性があります。

以下は、この論文が特定した具体的な危険性を、シンプルな比喩を用いて解説したものです。

1. 「雇用バイアス」（ステレオタイプのフィルター）

主張：著者たちが AI に新しい住民への職業提案を求めたところ、回答は人物の出身国によって変化しました。
比喩：ある国出身の人は清掃しかできないと密かに思い込み、別の国出身の人は生まれながらのリーダーだと信じている採用担当者を想像してください。

• 何が起こったか：フィリピンやアフガニスタン出身の新しい住民について尋ねると、AI は「事務補助」のような低賃金の仕事を提案しました。一方、イギリスやドイツ出身の人について尋ねると、「ソフトウェア開発者」のような高給の仕事が提案されました。
• リスク：AI はバイアスのかかったフィルターとして機能し、生まれ育った場所という理由だけで、人々が実際には資格を持っているキャリアから遠ざかるよう誘導しています。

2. 「言語の格差」（不平等な翻訳者）

主張：AI は英語では優れていますが、多くの他の言語では困難に直面するか、完全に失敗します。
比喩：完璧な英語を話すが、フランス語やスペイン語を数語しか知らない医師を想像してください。もし母国語で健康について尋ねれば、彼らはうなずいて曖昧なことを言うか、最悪の場合、誤った助言を与えるかもしれません。

• 何が起こったか：著者たちが英語で子供のワクチンについて尋ねたところ、AI は良い回答をしました。しかし、ソマリ語、イボ語、タミル語などの言語で尋ねると、AI はワクチンに関するゼロの正しい情報を提供し、代わりに本や避妊について語ることもありました。
• リスク：あまり一般的でない言語を話す新しい住民は「壊れた」バージョンのサービスを受け取り、深刻な健康問題につながる可能性があります。

3. 「二つの頭を持つ怪物」（英語対フランス語）

主張：カナダの二つの公用語であっても、AI は公平ではありません。
比喩：英語には詳細な 10 段階の地図が載っているが、フランス語には重要な曲がり角を省略した曖昧な 8 段階の地図しか載っていないガイドブックを想像してください。

• 何が起こったか：銀行口座の開設方法について尋ねた際、英語の回答は明確な 10 段階のリストでした。一方、フランス語の回答は重要な詳細を欠いた 8 段階のリストでした。さらに、英語版ではユーザーが自分の銀行を選べるのに対し、フランス語版は問いかけずに一つを勝手に選びました。
• リスク：フランス語を話す新しい住民は、英語を話す隣人よりも少ないコントロールと少ない情報しか得られません。

4. 「憎悪のホログラム」（ステレオタイプと画像）

主張：AI は、難民や移民に関する有害なステレオタイプを強化する偽の画像や物語を作成します。
比喩：難民を常に悲しげな、ヒジャブを被った中東の家族としてのみ配役し、難民が世界中から来ており、他の人々と変わらない姿をしていることを無視する映画監督を想像してください。

• 何が起こったか：「難民家族」の画像生成を求めると、AI は常に中東のイスラム教徒の家族を描きました。「移民」について尋ねると、主に南アジアの家族が描かれました。また、父親は高学歴で母親は低学歴であると仮定しました。
• リスク：これは人々の心に偽りの現実を創り出し、社会がすべての難民が同じように見え、同じように行動すると考えさせることで、偏見を助長し、コミュニティの真の多様性を無視します。

5. 「自信満々の嘘つき」（幻覚）

主張：AI は本物のように聞こえるが、完全に偽物の事実を捏造します。
比喩：ガイドが自信満々に建物指差して「あの有名な図書館だ」と言いますが、実際は更地だったと想像してください。ガイドはあまりに確信しているため、あなたは信じてしまいます。

• 何が起こったか：AI は存在しない学校やコミュニティセンターの名前を捏造しました。実際の診療所の誤った住所を提示しました。ある診療所が「予約不要（ウォークイン）」だと伝えましたが、実際はそうではありませんでした。
• リスク：まだ街に慣れていない新しい住民は、存在しない建物へ向かい、時間と希望を無駄にする可能性があります。

6. 「時代遅れの暦」（誤情報）

主張：AI は「今」何が起きているかを知りません。
比喩：今日の天気について図書館員に尋ねますが、彼らが参照しているのは 3 年前に印刷された本だと想像してください。彼らは過去には「正しい」答えをくれますが、今日にとっては無意味です。

• 何が起こったか：オンタリオ州の最低賃金について尋ねた際、AI は 2021 年または 2022 年の数値を答えましたが、現在のレートはそれよりもはるかに高いものでした。
• リスク：新しい住民は、「ロボット」がそのレートが正しいと教えてくれたため、法律で要求される金額よりも少ない賃金で仕事を受け入れてしまう可能性があります。

7. 「羊の皮を被った狼」（悪意ある利用）

主張：悪意ある行為者がこの AI を使って新しい住民を騙すことができます。
比喩：詐欺師が高度な音声変換器を使って警察官や銀行支店長と全く同じ声を出し、お金を盗もうとするのを想像してください。

• 何が起こったか：著者たちは、AI にはある程度の安全対策があるものの、巧妙な詐欺師はそれを欺いて偽の賃貸広告を作成したり、偽の ID 画像を作ったり、脆弱な新しい住民を標的とした電話詐欺の台本を書かせたりできることを示しました。
• リスク：システムがどのように機能するかについてすでに混乱している新しい住民は、これらの AI 生成詐欺の格好の的となります。

解決策：ロボットを解雇するのではなく、より良く訓練する

この論文は、AI を禁止すべきだとは述べていません。代わりに、この特定の仕事には「そのまま（オフ・ザ・シェルフ）」のロボットを使うのをやめる必要があると述べています。

• ツールのカスタマイズ：インターネット全体ではなく、検証済みのカナダの定住データのみで訓練された特別な AI を構築する必要があります。
• 人間の関与：パイロットが副操縦士を必要とするように、AI は定住支援者の代替ではなく、彼らを支援する助手であるべきです。新しい住民に届く前に、人間の専門家が AI の成果を検査しなければなりません。
• デジタルリテラシーの教育：新しい住民には、「魔法のロボット」は嘘をつく可能性があることを教え、重要な事実を再確認するよう教える必要があります。

要約すると：現在の AI は、助けたいという善意はあるが訓練されていないインターンのようなものです。熱心ですが、事実を捏造し、バイアスを示し続けます。新しい住民の安全のために、そのインターンを、専門的で監督され、慎重に訓練されたアシスタントに置き換える必要があります。