💬 NLP

ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models

本論文は、2700以上の言語を網羅し、大規模言語モデルの語彙理解および生成能力を評価するために設計された8つのサブタスクを備えた大規模な多言語ベンチマークであるChiKhaPoを紹介しており、最先端のモデルであっても、世界の書き言葉の大部分において基本的な言語能力に苦慮していることを明らかにしている。

原著者： Emily Chang, Niyati Bafna

公開日 2026-06-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Emily Chang, Niyati Bafna

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、何千もの異なる言語で書かれた本が詰まった、巨大で超スマートな図書館を所有していると想像してください。あなたは、特定の単語を見つけたり翻訳したりするために、優秀な新しい司書（大規模言語モデル、またはLLM）を雇いました。あなたはこう知りたいと考えています：この司書は本当に言葉を理解しているのか、それとも、最も多く学習した数少ない言語に基づいて推測しているだけなのか？

この論文は、まさにその疑問に答えるための、ChiKhaPo（読み方：チ・カ・ポ）と呼ばれる新しいテストを紹介しています。その名前は「一歩ずつ」という意味の言葉に由来しており、著者たちは、AIモデルが世界の言語に対して実際にどのように機能しているかを理解するためには、小さく慎重なステップを踏む必要があると考えているからです。

以下は、日常的な例えを用いた、彼らが行ったことの解説です。

1. 問題点：「言語のVIPラウンジ」

現在、AIに対するほとんどのテストは、VIPラウンジのようなものです。そこには、数十の「高リソース言語」（英語、スペイン語、フランス語など）しか入れません。これらは、インターネット上に膨大なデータが存在する言語です。

現実： 世界には3,800以上の書き言葉が存在します。その大多数は、これらのVIPラウンジから締め出されています。
ギャップ： AIが他の3,700以上の言語を扱えるのかどうか、私たちは知りません。英語では天才的であっても、低リソース言語の単語を翻訳するように求められると、完全に迷子になってしまう可能性があるのです。

2. 解決策：「大規模多言語試験」（ChiKhaPo）

著者たちは、2,700以上の言語をカバーする大規模な試験を構築しました。AIに複雑なエッセイを書かせたり数学の問題を解かせたりする（これらは難しいタスクです）代わりに、彼らは基礎である**語彙能力（Lexical Competence）**に焦点を当てました。

例え： これは、学生に小説を書かせる前に、その学生の語彙力をテストするようなものです。単語を認識できるか？その意味を言えるか？文章の中でそれを使えるか？

この試験には、さまざまな角度からこれらのスキルをテストするための**8つの異なるセクション（サブタスク）**があります。

単語翻訳： 「マレー語で『雨』を表す単語は何ですか？」（直接翻訳）。
文脈付き単語翻訳： 「嵐についてのこの物語の中で、『ujan』という単語はどういう意味ですか？」（文脈の手がかりを使用）。
翻訳条件付きモデリング： AIはある言語の文章を与えられ、その翻訳の次の単語を予測しなければなりません。（これは「穴埋めゲーム」のようなものです）。
バッグ・オブ・ワーズ（Bag-of-Words）翻訳： AIが文章全体を翻訳し、たとえ文章の構造が少し乱れていても、個々の単語が正しかったかどうかをテストで確認します。

3. 結果：AIは基礎で苦戦している

著者たちは、現在利用可能な最もスマートな6つのAIモデルをこの試験でテストしました。

発見： 最も優れたモデルでさえ、特に低リソース言語において著しく苦戦しました。
「理解 vs 生成」のギャップ： モデルは、単語を理解すること（単語を読み、その意味を知ること）は得意ですが、それを生成すること（単語を自分で言ったり書いたりすること）は苦手でした。
- 例え： それは、外国語のメニューを読んで「スープ」が何であるかを知ることはできるが、いざ注文しようとすると、言葉が出てこなくて固まってしまう人のようです。
「豊か vs 貧しい」のギャップ： モデルは、データが豊富な言語（高リソース）と比較して、データが非常に少ない言語（低リソース）ではパフォーマンスが大幅に低下しました。パフォーマンスの差は極めて大きかったのです。

4. なぜこれが重要なのか（論文による主張）

論文は、AIが英語でうまく機能しているからといって、単に「多言語対応している」と決めつけてはいけないと主張しています。

「プロキシ（代理指標）」の発見： もしAIが単語の翻訳（単純なテスト）に優れていれば、通常は文章全体の翻訳（複雑なテスト）にも優れているということが分かりました。これは、単純な単語テストが、より難しい仕事への準備ができているかをチェックするための、安価で簡単な方法であることを意味します。
目標： 著者たちは、言語の不平等に光を当てたいと考えています。現在、自然言語処理（NLP）は、数千の言語を無視しているため、不公平です。ChiKhaPoは、研究者たちがこれらの放置された言語に注意を払い、より優れた、より公平なAIを構築することを強制するためのツールなのです。

まとめ

ChiKhaPoは、2,700以上の言語にわたる、AIのための巨大でステップバイステップの語彙テストです。これは、最もスマートなAIモデルでさえ、現在、世界のほとんどの言語に対して「言葉が見えていない（word-blind）」状態であることを明らかにしています。彼らは単語を理解することはできますが、それを生成することには苦労しており、オンラインにデータが少ない言語に対しては、パフォーマンスが極めて低くなります。著者たちは、このテストがAIコミュニティに対し、「VIP」言語だけに集中するのをやめ、世界全体を真に理解するモデルを構築することを促すことを期待しています。

技術要約: ChiKhaPo

問題提起

現在の大規模言語モデル（LLM）のベンチマークは、主に高リソース言語（HRL）に限定されており、複雑な推論やコンテンツ生成といった高次のタスクに焦点を当てています。その結果、世界に存在する3,800以上の表記体系を持つ言語すべてに対して、LLMの基礎的な言語能力を評価することには大きな隔たりが生じています。FLORES+などの既存の多言語ベンチマークは、わずか212言語といった一部の言語しかカバーしておらず、単語レベルの理解や生成といった基本的な能力においてさえ、世界の大多数の言語が未評価のまま残されています。このような評価の欠如は、自然言語処理（NLP）における言語的不平等の特定を妨げています。

メソドロジー

著者らは、LLMにおける語彙的理解および生成能力を評価するために設計された、大規模多言語ベンチマークであるChiKhaPoを導入します。このベンチマークは、既存の公開リソース（語彙集、単一言語データ、および対訳データ）を用いて構築されており、2,700以上の言語をカバーすることを可能にしています。

ベンチマークの構造

ChiKhaPoは、4つのコアタスクから派生した8つのサブタスクで構成されており、それぞれが2つの方向性で評価されます：

理解 ( $X \to \text{model}$ ): 対象言語 $X$ の単語を理解するモデルの能力を評価する（多くの場合、それを英語に翻訳することで行う）。
生成 ( $\text{model} \to X$ ): 英語のプロンプトが与えられた際に、対象言語 $X$ の単語を生成するモデルの能力を評価する。

4つのコアタスクは以下の通りです：

単語翻訳 (WT): 単一の単語を翻訳するための直接的なプロンプト。このタスクは語彙集のみに依存しており、2,746言語をカバーしています。
文脈付き単語翻訳 (WTWC): ソース文の文脈が与えられた状態で単語を翻訳する。これには単一言語データが必要であり、525言語をカバーしています。
翻訳条件付き言語モデリング (TCLM): ソース文と部分的なターゲット文脈が与えられた際の、ターゲット単語の生成確率を測定する。これは並列文ペア（対訳データ）を使用し、211言語をカバーしています。
Bag-of-Words 機械翻訳 (BOW MT): 文レベルの翻訳出力の中に、特定のターゲット単語が含まれているかどうかを評価する。これも対訳データを使用し、211言語をカバーしています。

スコアリングと評価

本ベンチマークは単語レベルのスコアリング指標を採用しています。バイナリタスク（WT, WTWC）では、完全一致、屈折の処理、部分一致、および類義語（英語の出力にはWordNetを使用）を通じて正誤を判定します。確率的タスク（TCLM）では、指標は正しい単語の生成確率となります。BOW MTでは、ターゲット単語の出力への存在に基づいてスコアが集計されます。

著者らは、6つの最先端（SOTA）多言語LLMを評価しました：aya-101, aya-23-8b, bloomz-7b1-mt, falcon-7b-instruct, gemma-2b-it, および Llama-3.1-8B-Instruct です。計算上の制約により、ベンチマークの「ライト」バージョンが使用され、WT/WTWCについては言語ごとに最大300の語彙エントリをサンプリングし、文レベルのタスクについては利用可能なデータの30%をサンプリングしました。

主な結果

パフォーマンスの格差: 評価された6つのモデルすべてにおいて、特に低リソース言語（LRL）において大幅な改善の余地があることが示されました。本ベンチマークは、多言語性能の挑戦的な尺度として機能することに成功しました。
方向性の不均衡: モデルは一貫して、生成の方向 ( $\text{model} \to X$ ) よりも理解の方向 ( $X \to \text{model}$ ) において高いパフォーマンスを示しました。これは、多言語設定における自然言語理解（NLU）と自然言語生成（NLG）の間のギャップを浮き彫りにしています。
リソースと語族の相関: パフォーマンスは、言語リソースのレベル（Wikipediaのドキュメント数によってプロキシされる）および言語家族と強く相関していました。印欧語族は、オーストロネシア語族やアトランティック・コンゴ語族のような過小評価されている語族よりも一貫して優れた成績を収めました。リソースレベルとパフォーマンスの関係は、概ね対数的であることが判明しました。
モデルの違い: aya-101 モデルは、8つのサブタスクのうち5つで最も高い平均スコアを獲得しました。著者らは、これをエンコーダー・デコーダー・アーキテクチャ、より大きなパラメータ数（13B）、および101言語に対するインストラクション・チューニングによるものと考えています。
MTとの相関: 単語翻訳（WT）のスコアは、FLORES+データにおける文レベルの機械翻訳（BLEU）スコアと強い線形相関を示しました（ $X \to \text{model}$ において $r \approx 0.87$ ）。これは、広範な対訳データが存在しない場合でも、WTが機械翻訳能力を評価するためのコスト効率の高いプロキシとして機能できることを示唆しています。

意義と主張

本論文は、ChiKhaPoをNLPにおける言語的不平等に対処するための重要なステップとして位置付けています。その主な貢献は以下の通りです：

大規模なスケール: 2,700以上の言語をカバーする初の語彙能力ベンチマークを提供し、既存のベンチマークの言語カバー範囲を桁違いに上回っています。
粒度の高い評価: 複雑な推論から「原子的な」単語レベルの能力へと焦点を移すことで、特定の言語におけるLLMの基礎的な言語能力を追跡することを可能にします。
リソース効率: 既存の語彙集や単一言語データを活用することで、並列コーパスが存在しない言語の評価を可能にします。

著者らは、本ベンチマークが公開リソース（特にPanLexのようにノイズが含まれる可能性があるもの）に依存しているものの、低リソース言語の改善の必要性を浮き彫りにすることに成功していると控えめに主張しています。彼らは、この研究がより優れた語彙リソースの収集を促し、より公平なAIシステムへの不可欠なステップとして、LLMの極めて大規模な多言語ベンチマークを推進することを期待しています。