OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models
本論文は、大規模言語モデルの多言語能力を評価および改善するために、5つの言語にわたる厳密に検証され、文化的にローカライズされた804個のオープンエンドな質問を特徴とする、初のオープンソースの多言語生成評価ベンチマークであるOMGEvalを紹介するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、あらゆる言語を話すことができる、天才的で全知全能の司書を創り出したと想像してください。あなたは、その司書が本当にあらゆる文化において賢いのか、それとも単にアメリカの文化しか理解していない「ローカルな専門家」に過ぎないのかをテストしたいと考えています。
この論文は、これらのAI司書（大規模言語モデル）のための、本質的に多文化的な「運転免許証」テストであるOMGEvalを紹介するものです。
以下に、著者が行ったことを簡単な比喩を用いて解説します。
1. 問題点：「アメリカのテレビ番組」のような偏り
現在のほとんどのAIテストは、英語のみで放送され、アメリカの祝日、食べ物、歴史について語るテレビ番組を見ているようなものです。
- 問題: もしあなたがAIに「感謝祭の伝統的な食べ物は何ですか？」と尋ねれば、AIは正しく「七面鳥」と答えるでしょう。しかし、もしあなたが中国語の話し手に「端午節の伝統的な食べ物は何ですか？」と尋ねた場合、アメリカのデータのみで訓練されたAIは、現地の文化を理解していないために混乱したり、間違った答えを出したりする可能性があります。
- 論文の主張: 既存のテストの多くは英語に集中しすぎています。それらは、ロシアではイースターに特定のケーキが登場することや、スペインには聖人の日のための特定の菓子があることなど、AIが文化的な文脈を理解しているかどうかをチェックしていません。
2. 解決策：OMGEval（「ローカル・ツアーガイド」テスト）
著者らは、OMGEvalと呼ばれる新しいテストを作成しました。単に英語の質問を他の言語に翻訳する（それはロシア映画に英語の字幕をつけるようなものです）のではなく、彼らは質問を現地の文化に合わせて書き換えました。
- 比喩: 「夏休み」に関するテストの質問を想像してください。
- 旧来の方法（翻訳）: 「アメリカ人は夏休みにどこへ行きますか？」（答え：ハワイ）。
- OMGEvalの方法（ローカライズ）: 「中国の人々は夏休みにどこへ行きますか？」（答え：三亜）。
- なぜ重要か: 両方の質問は「夏休みの目的地」について尋ねていますが、文化的文脈は異なります。OMGEvalは、AIが単にアメリカ版のストーリーを翻訳できる能力ではなく、現地のバージョンのストーリーを理解しているかどうかを確認します。
3. 構築方法
チームは単にロボットを使って翻訳したのではなく、**文化的なエディター（編集者）**として機能する言語学者の専門家チームを使用しました。
- プロセス: 彼らは804個のオープンエンド形式の質問（謎解き、事実、またはクリエイティブな執筆プロンプトなど）を取り上げ、それらを中国語、ロシア語、フランス語、スペイン語、アラビア語の5つの言語に適応させました。
- 「人の手によるタッチ」: もし質問に特定のアメリカのセレブリティが登場する場合、彼らはそれを有名な現地の人物に置き換えました。もし特定の米国の祝日が登場する場合、それを現地の祭りに置き換えました。これは、AIが単に言葉を翻訳する能力ではなく、その特定の文化を理解する能力を持っているかどうかをテストするためです。
4. AIの採点方法
人間は数千の回答を5つの言語ですぐに読むことはできないため、彼らは審判としてGPT-4（非常に高度なAI）を使用しました。
- ゲーム: 彼らはAIモデルに質問に答えさせました。次に、GPT-4に2つの回答を並べて見せ、どちらが良いかを判断させました。
- 検証: 彼らはまた、AIの審判が公平であるかどうかを確認するために、少数のサンプルに対して実際の人間が採点を行いました。その結果、AIの審判は人間と高い一致率（約90%）を示しました。
5. 結果：誰がテストに合格したのか？
彼らは、主要な商用モデル（GPT-4など）やオープンソースモデル（誰でもダウンロードできる無料のモデル）を含む、いくつかの異なるAIモデルをテストしました。
- 勝者: GPT-4は、一貫して50%を超えるスコアを叩き出した唯一のモデルでした（つまり、ベースラインよりも半分以上の確率で勝利しました）。それは「スター生徒」でした。
- 苦戦: オープンソースモデル（Guanaco、Phoenix、その他）は、著しく苦戦しました。
- 格差: GPT-4は文化的なニュアンスをうまく扱うことができましたが、オープンソースモデルはしばしば事実誤認を起こしたり、文化的な文脈を見落としたりしました。例えば、ある有名な中国の映画監督の初作品について尋れた際、一部のオープンソースモデルは公開年や映画のタイトルを間違えましたが、GPT-4は正解しました。
- 教訓: トップクラスの商用モデルと、文化的な理解におけるオープンソースモデルの間には、巨大な格差が存在します。オープンソースモデルは、教科書は勉強したが、現地の言葉（方言）を理解できなかった学生のようなものです。
まとめ
OMGEvalは、AIモデルが世界の多様な文化を理解しているか、あるいはアメリカ版の世界観しか理解していないのかをチェックする、新しくより公平なテストです。この論文は、最高のAI（GPT-4）はこれにかなり長けている一方で、他の多くのモデルは、異なる言語や文化の「ローカルな味わい」を理解するのにまだ苦労していることを示しています。著者らは、このテストが将来、より文化的に認識能力の高いAIを構築するための助けとなることを期待しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。