PLURAL: A Global Dataset for Value Alignment
本論文は、92カ国にわたるIntegrated Values Surveyから派生した大規模なデータセットであるPLURALを紹介するものであり、これは多様で非西洋的な文化的価値観への大規模言語モデルのアライメントを向上させるために合成された選好の三つ組（preference triplets）を生成し、自動化された指標および人間による評価の両方において著しい改善を実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、100万ものレシピを料理できる超スマートなロボットシェフを作ったと想像してみてください。しかし、そこには一つ落とし穴があります。そのシェフは、西欧のある特定の近隣地域に住むごく少数の人々によって、ほぼ全面的に訓練されてしまったのです。その結果、そのロボットは、たとえ東京、ムンバイ、あるいはリオデジャネイロからの顧客が異なるものを求めたとしても、誰もが西洋的な価値観を添えた料理を欲しがっていると思い込んでしまいます。そのロボットは日本語やポルトガル語を流暢に話せるかもしれませんが、その「魂」は依然としてアメリカ的なままなのです。それは、あなたの言語を完璧に話してはいるものの、あなたの家族の伝統については理解していない、流暢だが異質なゲストのようなものです。
ここに、コーネル大学の研究者たちによる新しいプロジェクト「PLURAL」があります。これは、このロボットの文化的な盲点を修正しようとする試みです。
ビッグアイデア：グローバルな味覚テスト
研究者たちは、ロボットに異なる文化を尊重することを教えるためには、インターネット上の不特定多数の人々に好みを尋ねるだけでは不十分であることに気づきました。その代わりに、彼らは情報の源へと向かいました。それは、統合価値観調査（IVS）と呼ばれる、大規模で科学的に厳密な調査です。この調査は、世界92カ国、156,658人以上の人々に対し、彼らの最も深い信念——何が正しく、何が間違っており、何が重要で、何がくだらないと考えているのか——について問いかけてきました。
IVSを、世界中のあらゆる隅々に住む人々が、人生におけるお気に入りの「味わい」を評価した、巨大なグローバルな「味覚テスト」だと考えてみてください。しかし、ここで問題が発生します。ロボットにアンケートの回答が並んだスプレッドシートを食べさせることはできないのです。ロボットが必要としているのは、単なる「はい／いいえ」のチェックボックスではなく、物語や会話なのです。
マジック・パイプライン：調査を物語へと変える
そこで、チームは、これらの乾燥した調査回答を500,000個のリアルな会話シナリオ（「好みの三つ組」と呼ばれます）へと変換する、二段階の「翻訳マシン」を構築しました。
- ステージ・ワン（翻訳者）： 彼らは、ある実在の人物の調査回答（例えば、レジャーよりも家族の義務を重んじる日本の66歳の男性）を取り出し、その人物が直面するであろう困難な選択肢をAIに想像させました。AIは、「友人がゴルフに行きたがっているが、娘のベビーシッターが必要だ。どうすればいいだろうか？」といったプロンプトを生成しました。
- ステージ・ツー（ストーリーテラー）： 次に、AIは二つの応答を書き出しました。一つの応答（「好ましい」とされるもの）は、その日本人男性の実際の価値観（家族の義務を優先すること）を反映しています。もう一つの応答（「好ましくない」とされるもの）は、別の妥当な視点（レジャーを優先すること）を反映しています。
彼らはこれを20の多様な国に対して行い、「その国の人々なら実際にこう言うだろう」というシナリオの膨大なライブラリを作成しました。さらに、データが同じタイプの人ばかりにならないよう、調査における実際の年齢、性別、教育レベルの混ざり具合を代表する人々を抽出するようにしました。
効果はあったのか？ 味覚テストの結果
研究者たちは、ただ上手くいくことを願ったわけではありません。彼らは三つの方法でテストを行いました。
- 「それはリアルか？」チェック： 新しい物語が、各国のユニークな「風味」を保持していることを検証しました。彼らは、新しいデータが、例えばブラジルと日本の間の明確な違いを維持しており、さらには各国内における意見の多様性をも維持していることを発見しました。それは単なるステレオタイプの集まりではなく、現実の人間が持つ多様性を豊かに、かつ混沌とした形で反映していました。
- ロボットの訓練： 彼らは標準的な言語モデルを取り出し、この新しいPLURALデータを用いて訓練しました。そして、ロボットが一度も見ることのなかった別の文化的な質問セット（GLOBEフレームワーク）を用いて、ロボットをテストしました。その結果、PLURALで訓練されたロボットは、インドのような国の文化的プロファイルに一致する能力において、他の強力な手法と比較して**27.7%**向上しました。それは単なる推測ではなく、対象となる文化の特定の「雰囲気」を学習していたのです。
- 人間の判定： 彼らは、インド、ブラジル、日本の176人の実在の人々に、新しいロボットと古いロボットの回答を読んでもらいました。人間は圧倒的に、PLURALで訓練されたロボットの回答の方が、自分たちの国家的な価値観にとってより「典型的」であると選びました。ある人物は、家族がどのようにWhatsAppを使ってつながりを保っているかという具体的な方法まで捉えているとして、ある回答を「典型的なインド的である」と評しました。
これは「何ではない」のか（「流暢だが異質」の罠）
論文は、これが何を意味しないのかについても非常に明確に述べています。彼らは、単にロボットを現地の言語（ヒンディー語やアラビア語など）を話せるようにすることが十分であるという考えに反対しています。これまでの試みは、現地の言葉でチャットはできるものの、依然として西洋的な価値観を押し付ける「流暢だが異質な」モデルを生み出してきました。PLURALは、単に言葉を学ぶのではなく、価値観そのものを訓練する必要があることを示しています。
また、論文は、ロボットに対して「あなたはブラジル人です」と指示する（プロンプトを与える）だけで、文化的な意識を持たせることができるという考えも明確に否定しています。それはわずかながら助けにはなりますが、数千もの現実的で価値観に基づいた例を用いて実際にロボットを訓練することには、到底及びません。
課題：ロボットはまだ少し「押しつぶされて」いる
ここからは、研究者が限界について正直に述べている部分です。ロボットは異なる文化を理解するのが非常に上手くなりましたが、訓練プロセス自体が、差異を少し「押しつぶして」しまったようです。
異なる国々の文化的プロファイルを、広い野原に散らばった点だと想像してみてください。実際の国々は互いに離れています。訓練後、ロボットの新しい「文化的ポイント」は正しい方向へ移動しましたが、それらは実際の国々よりも密集してしまいました。ロボットは、元の多様性の約**18%**を捉えました。研究者たちは、これはデータが悪かったからではなく、現在の訓練手法（DPOと呼ばれる手法）が、物事をあまりにも滑らかにしすぎてしまう傾向があるためだと示唆しています。それは、全員を少し似たように見せてしまう写真のフィルターのようなものです。たとえ、それぞれが明らかに異なっていても。
結論
PLURALは、20カ国（そして92カ国へと拡張可能）からの実際の調査に基づいた、価値観に焦点を当てた500,000の物語からなる、巨大でオープンなライブラリです。これは、私たちがロボットに幅広い人間の価値観を尊重することを教えられることを証明しており、単一の西洋的な視点から脱却させてくれます。これは、私たちのデジタルアシスタントが、単に私たちの言語を話すだけでなく、真に私たちの心と家庭を理解する未来への大きな一歩です。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。